Я хотел знать, могут ли выполняться задачи воздушного потока при получении запроса через HTTP. Меня не интересует часть планирования Airflow. Я просто хочу использовать его в качестве заменителя сельдерея.
Итак, пример операции будет примерно таким.
- Пользователь отправляет форму, запрашивающую какой-либо отчет.
- Бэкэнд получает запрос и отправляет пользователю уведомление о том, что запрос был получен.
- Затем backend запускает работу, используя Airflow для немедленного запуска.
- Затем Airflow выполняет ряд задач, связанных с DAG. Например, сначала вытащите данные из красного смещения, вытащите данные из MySQL, сделайте некоторые операции над двумя наборами результатов, объедините их, а затем загрузите результаты в Amazon S3, отправьте электронное письмо.
Из всего, что я читаю в Интернете, вы можете запускать задания воздушного потока, выполнив airflow ...
в командной строке. Мне было интересно, есть ли api python, который может выполнять одно и то же.
Спасибо.