Увеличьте количество исполнителей в jupyter/pyspark-notebook

Я работаю над проектом с pyspark, который требует большего количества исполнителей. В настоящее время я использую этот очень удобный образ (jupyter/pyspark-notebook), который автоматически создает блокнот Jypyter с pyspark. Это действительно легко использовать.

Моя проблема в том, что этот образ создает только одного исполнителя - память для хранения всего 434,4 МБ.

Есть ли способ создать больше исполнителей для этого образа докера?

Я нашел в Интернете много docker-compose, которые создают больше исполнителей, но они как бы делают все с нуля. Я думаю, что делать все с нуля выглядит как переутомление, поскольку этот образ прекрасно работает, но я открыт для этого, если нет быстрого обходного пути.

Это мой файл для создания докеров:

jupyter:
  container_name: jupyter_pyspark
  build: .
  ports: 
    - "8888:8888"
    - "4040:4040"
    - "4041:4041"
  environment: 
    - JUPYTER_ENABLE_LAB=yes
  volumes: 
    - ./work:/home/jovyan/work
  hostname: localhost
  command: "start-notebook.sh --NotebookApp.token='' --NotebookApp.password=''"

А это мой Dockerfile:

FROM jupyter/pyspark-notebook

# Change to root user to install java 8
USER root
  
# Install requirements
# COPY requirements.txt ./
# RUN pip3 install -r requirements.txt

# RUN rm -rf requirements.txt

EXPOSE 8088 8042 4040

USER $NB_UID

OBS: я пытался изменить переменные конфигурации, но безуспешно. Я думаю, мне придется создать больше приложений в docker-compose, но я не знаю, как подключить их к этому образу.

from pyspark.sql import SparkSession
import pyspark.sql.functions as f
from pyspark.sql.types import *

spark = SparkSession \
            .builder \
            .config(conf=sparkConf) \
            .master("local[*]") \
            .appName("appYou") \
            .getOrCreate()