У меня есть конвейер Apache Beam, который загружает большой файл импорта размером около 90 ГБ. Я написал конвейер в Apache Beam Java SDK.
Используя настройки по умолчанию для PipelineOptionsFactory, моя работа занимает много времени.
Как я могу контролировать и программно определять параллелизм для моей работы и, следовательно, количество работников?