Какова формула, которую Spark использует для вычисления количества задач сокращения?
Я запускаю несколько запросов spark-sql, а число задач сокращения всегда равно 200. Количество задач карты для этих запросов - 154. Я на Spark 1.4.1.
Связано это с spark.shuffle.sort.bypassMergeThreshold, по умолчанию 200