Как я могу настроить из кода Java (или Scala) количество исполнителей, имеющих SparkConfig
и SparkContext
? Я постоянно вижу 2 исполнителя. Похоже, spark.default.parallelism
не работает и что-то другое.
Мне просто нужно установить количество исполнителей равным размеру кластера, но всегда есть только два из них. Я знаю размер моего кластера. Я работаю на YARN, если это имеет значение.