Как запустить сотрудника Kafka connect в YARN?

Я играю с Kafka-Connect. У меня HDFS connector работает как в автономном режиме, так и в распределенном режиме.

Они рекламируют, что с рабочими (которые отвечают за запуск соединителей) можно управлять через YARN Однако я не видел никакой документации, описывающей, как достичь этой цели.

Как мне добиться, чтобы YARN казнил рабочих? Если нет особого подхода, есть ли общие инструкции о том, как заставить приложение работать в YARN?

Я использовал YARN с SPARK, используя spark-submit однако я не могу понять, как заставить соединитель работать в YARN.

ОТВЕТЫ

Ответ 1

На YARN теоретически можно запустить что угодно, даже простую программу hello world. Вот почему говорить, что Kafka-Connect работает на YARN, технически правильно. Предостережение заключается в том, что для запуска Kafka-Connect на YARN в настоящий момент потребуется значительное количество смазки для локтей. Есть два способа сделать это:

  1. Непосредственно поговорите с API YARN, чтобы получить контейнер, развернуть двоичные файлы Kafka-Connect и запустить Kafka-Connect.
  2. Используйте отдельный проект Slider https://slider.incubator.apache.org/docs/getting_started.html, который Стефан уже упоминал в комментариях.

ползунок

Вам нужно будет прочитать немало документации, чтобы заставить его работать, но идея Slider заключается в том, что вы можете заставить любую программу работать на YARN, не имея дело с API YARN и написав мастер-приложение YARN, выполнив следующие действия:

  • Создайте пакет слайдера из вашей программы
  • Определите конфигурацию для вашего пакета
  • Используйте ползунок cli для развертывания приложения на YARN

Слайдер управляет развертыванием и восстановлением поврежденных контейнеров, что приятно. Также Slider становится родной частью YARN, когда YARN 3.0 выпущен.

альтернативы

Также в качестве дополнительного примечания, получить Kafka-Connect для развертывания в Kubernetes или Mesos/Marathon, вероятно, будет проще. Основной рабочий процесс для этого будет:

  • Создайте док-контейнер Kafka-Connect или просто используйте конфлюентный док-контейнер
  • Создайте конфигурацию развертывания для Kubernetes или Marathon
  • Нажмите кнопку/запустите команду

Учебники

  • Хороший учебник по Месосу/Марафону можно найти здесь
  • Учебник Kubernetes здесь
  • Графики Шлюза Кубернетеса здесь