Я пытаюсь импортировать и использовать pyspark
с помощью anaconda.
После установки искры и установки переменной $SPARK_HOME
я попытался:
$ pip install pyspark
Это не сработает (конечно), потому что я обнаружил, что мне нужно отправить python, чтобы искать pyspark
в разделе $SPARK_HOME/python/
. Проблема в том, что для этого мне нужно установить $PYTHONPATH
, в то время как anaconda не использует эту переменную среды.
Я попытался скопировать содержимое $SPARK_HOME/python/
в ANACONDA_HOME/lib/python2.7/site-packages/
, но это не сработает.
Есть ли какое-либо решение использовать pyspark в anaconda?