Я создал модуль python, и я хочу импортировать его в приложение pyspark.
Структура каталога моего пакета:
wesam/
|-- data.py
'-- __init__.py
Простой import wesam
в верхней части моего сценария pyspark приводит к ImportError: No module named wesam
. Я также попытался закрепить его и отправить его своим кодом с --py-files
как рекомендовано в этом ответе, без везения.
./bin/spark-submit --py-files wesam.zip mycode.py
Я также добавил файл программным путем, как это предложил этот ответ, но я получил тот же ImportError: No module named wesam
error.
.sc.addPyFile("wesam.zip")
Что мне здесь не хватает?