Мы создаем приложение для планирования рабочего процесса. Мы обнаружили, что Airflow является хорошим вариантом для диспетчера рабочих процессов и Kubernetes как хороший вариант для менеджера кластеров. Таким образом, поток будет,
- Мы отправим DAG рабочего процесса в Airflow.
- Airflow должен представить задачи данной DAG для Kubernetes, указав изображение докеров.
- Kubernetes должен выполнить задачу, запустив контейнер докера на доступном рабочем узле EC2 кластера.
При поиске мы обнаружили, что Airflow имеет операторы для интеграции с ECS, Mesos, но не для Kubernetes. Тем не менее, мы нашли запрос для оператора Kubernetes Operator on Airflow wiki, но никаких дополнительных обновлений на нем.
Итак, вопрос, который нужно просто поставить, - как интегрировать Airflow с Kubernetes?