Я запускаю пакетное задание spark и использую SparkSession
, так как мне нужно много функций spark-sql для обработки в каждом из моих компонентов.
SparkContext
инициализируется в моем родительском компоненте и передается дочерним компонентам как SparkSession
.
В одном из моих дочерних компонентов я хотел добавить еще две конфигурации к моему SparkContext
. Следовательно, мне нужно извлечь SparkContext
из SparkSession
, остановить его и воссоздать SparkSession
с дополнительной конфигурацией. Для этого, как я могу получить SparkContext из SparkSession?