В последнее время я немного смутился между различными настройками SPARK spark.executor.memory
, SPARK_WORKER_MEMORY
, SPARK_MEM
, SPARK_MASTER_MEMORY
, а отношение к SPARK_WORKER_INSTANCES
и SPARK_WORKER_CORES
Я нашел этот пост, но он не обсуждает SPARK_MASTER_MEMORY Конфигурация искры: SPARK_MEM против SPARK_WORKER_MEMORY