Не удается запустить Apache Spark в Windows с помощью Cygwin

Прошу прощения, если это слишком тривиально, но я очень новичок в Spark. Я создал Apache Spark на Windows из кода с использованием Maven. Я использовал Cygwin для сборки, и он работал нормально. Теперь я не могу запустить его с помощью команды (./start-master.sh) из каталога sbin.

Я получаю следующую ошибку: не удалось запустить org.apache.spark.deploy.master.Master:

Error: Could not find or load main class org.apache.spark.launcher.Main
full log in /cygdrive/c/Spark/spark-1.5.1/sbin/../logs/spark-auser-org.apache.spark.deploy.master.Master-1.host

Я понимаю, что он ищет исходный объект spark-launcher_2.10-1.5.1.jar в пути к классам, но я не могу идентифицировать его в сценариях, где он определяет путь к классам или каталог lib.

ОТВЕТЫ

Ответ 1

Вы можете следить за шагами Building the Runnable Distribution, как упоминал Gimby, например:

./make-distribution.sh --name custom-spark --tgz -Psparkr -Phadoop-2.4 -Phive -Phive-thriftserver -Pyarn

Как упоминал Патрик МакГлоин, вы также можете запустить Spark Cluster на самой Windows, например:

spark-class.cmd org.apache.spark.deploy.master.Master
spark-class.cmd org.apache.spark.deploy.worker.Worker spark://localhost:7077

Вы можете прочитать больше в Спарковый автономный режим и Как настроить Spark-кластер в Windows машины?

Наконец, как упоминалось в OP, (s), он смог построить исполняемый дистрибутив, создавший новый tar файл Custom-spark в родительском каталоге. (S) он взял этот файл, распаковал его в другом каталоге, перешел в подкаталог bin и затем смог открыть scala -shell.