Я пытаюсь перезаписать конфигурацию по умолчанию для искрового сеанса/искрового контекста, но он выбирает весь ресурс node/cluster.
spark = SparkSession.builder
.master("ip")
.enableHiveSupport()
.getOrCreate()
spark.conf.set("spark.executor.memory", '8g')
spark.conf.set('spark.executor.cores', '3')
spark.conf.set('spark.cores.max', '3')
spark.conf.set("spark.driver.memory",'8g')
sc = spark.sparkContext
Он отлично работает, когда я устанавливаю конфигурацию в иске submit
spark-submit --master ip --executor-cores=3 --diver 10G code.py