Я вытащил последний источник из репозитория Spark и создал локально. Он отлично работает с интерактивной оболочкой, например spark-shell
или spark-sql
.
Теперь я хочу подключить Zeppelin к моей Spark 1.5, в соответствии с этим руководством по установке. Я опубликовал обычную сборку Spark в локальном репозитории maven и установил пользовательскую версию Spark в команде сборки Zeppelin. Процесс сборки завершился успешно, но когда я пытаюсь запустить базовые вещи, такие как sc
внутри ноутбука, он бросает:
akka.ConfigurationException: версия Akka JAR [2.3.11] не соответствует предоставленной конфигурационной версии [2.3.4]
Версия 2.3.4 установлена в pom.xml
и spark/pom.xml
, но простое изменение их даже позволит мне получить сборку.
Если я перестрою Zeppelin со стандартным -Dspark.vesion=1.4.1
, все будет работать.