Я новичок в Spark. Как узнать, какой фрагмент кода будет работать на драйвере и который будет работать у исполнителей?
Всегда ли мы должны пытаться кодировать, чтобы все выполнялось над исполнителями?. Существуют ли какие-либо рекомендации/способы заставить большую часть вашего кода работать с исполнителями?
Обновление: насколько я понимаю, Transformations запускается на исполнителях и действиях, запускаемых на драйвере, потому что ему нужно вернуть значение. Так ли это нормально, если действие выполняется на драйвере или оно также должно выполняться на исполнителе? Где действительно работает драйвер? на кластере?