Воздушный поток случайно не выполняет поставленные в очередь задачи, некоторые задачи даже не получают статус в очереди. Я продолжаю видеть ниже в журналах планировщика
[2018-02-28 02:24:58,780] {jobs.py:1077} INFO - No tasks to consider for execution.
Я вижу задачи в базе данных, которые либо не имеют статуса, либо находятся в очереди, но они никогда не запускаются.
Настройка воздушного потока выполняется на https://github.com/puckel/docker-airflow в ECS с Redis. Есть 4 потока планировщика и 4 рабочих задания Celery. Для задач, которые не выполняются, отображаются в состоянии очереди (серый значок), когда при наведении курсора на значок задачи оператор равен нулю, а в сведениях о задаче говорится:
All dependencies are met but the task instance is not running. In most cases this just means that the task will probably be scheduled soon unless:- The scheduler is down or under heavy load
Метрики в планировщике не показывают большую нагрузку. Даг очень прост с 2 независимыми задачами, зависящими только от последнего запуска. В том же даге есть также задания, которые застряли без статуса (белый значок).
Интересно отметить, что когда я перезапускаю задачи планировщика, переходят в рабочее состояние.