Сравнение Apache Livy с сервером spark-jobserver

Я знаю, что Apache Livy - это интерфейс для взаимодействия с искру из любого места. Итак, каковы преимущества использования Apache Livy вместо spark-jobserver. Каковы недостатки искробезопасного сервера, для которого Ливи используется в качестве альтернативы. И я не мог найти много в этом в Интернете. Не могли бы вы помочь мне получить ясность в этом.

Спасибо,

ОТВЕТЫ

Ответ 1

По состоянию на сентябрь 2018 года единственным существенным отличием между Livy и (Ooyala) Spark Job-сервером является тот факт, что хотя (текущая версия) Livy построена на Spark 2.2.0, версия Spark, используемая при запуске Livy, не Нужно соответствовать версии, используемой для сборки Livy. Livy внутренне обрабатывает различия между различными версиями Spark.

Это поведение отличается от Spark Job-сервера, который тесно связан с версией Spark, против которой он построен.

Ответ 2

Есть несколько основных отличий, которые были важны для моего варианта использования.

Живые преимущества:

  • Livy не требует никаких изменений в вашем коде, в то время как задания SJS должны расширять определенный класс.
  • Livy позволяет отправлять фрагменты кода, а также предварительно скомпилированные файлы jar, в то время как SJS принимает только файлы jar.
  • В дополнение к REST Livy имеет API Java и Scala. Python API находится в разработке, SJS имеет "привязку к Python"

Преимущества SJS:

  • SJS также может управлять банками. Это позволяет загружать и хранить файлы Jar, а затем развертывать задания из этих файлов JAR с помощью отдельного вызова REST. Ливи требует банку всякий раз, когда вам нужно развернуть работу.
  • Задания SJS могут быть настроены в формате HOCON, который может быть отправлен как часть вызова REST.

Кроме того, SJS имеет лучшую документацию, хотя в обоих случаях она не является исчерпывающей. И, конечно же, имейте в виду, что оба проекта являются pre v1, поэтому все может быстро измениться.

В моем случае мы закончили с SJS, так как я не использовал отправку фрагментов, а управление Jar и конфигурация HOCOCN пригодились. Я, однако, рассматриваю возможность пересмотра Livy в ближайшем будущем для более тщательной оценки.

Источники: