Представьте, что я делаю некоторые операции Spark в файле, размещенном в HDFS. Что-то вроде этого:
var file = sc.textFile("hdfs://...")
val items = file.map(_.split('\t'))
...
Потому что в мире Hadoop код должен идти туда, где находятся данные, верно?
Итак, мой вопрос: как работники Spark знают узлы данных HDFS? Как Spark знает, на каких узлах данных будет выполняться код?