Можно ли сделать карту из функции сопоставления (т.е. из задач) в pyspark? Другими словами, можно ли открыть "подпрограммы" из задачи? Если да - как я передаю sparkContext для задач - как переменную?
Я хотел бы иметь работу, состоящую из множества задач - каждая из этих задач должна также создавать множество задач, не возвращаясь к драйверу.
Мой пример использования выглядит так: Я делаю перенос кода приложения, которое было написано с использованием рабочих очередей - в pyspark. В моих старых задачах приложения были созданы другие задачи - и мы использовали эту функциональность. Я не хочу перепроектировать весь код из-за перехода на искру (особенно потому, что мне нужно будет убедиться, что обе платформы работают в переходной фазе между системами)...