Как установить воздушный поток?

Кажется, я делаю что-то другое. неправильно.

https://pythonhosted.org/airflow/start.html

$ export AIRFLOW_HOME=~/airflow
$ pip install apache-airflow
Requirement already satisfied
$ airflow initdb
airflow: Command not found 

питон --version
Python 2.7.10

Это странно - установка, казалось, работала нормально (с некоторыми предупреждениями - ничего серьезного), говоря: воздушный поток, колба и т.д. Успешно установлены. Но даже после перезагрузки ПК (Ubuntu 15.10) воздушный поток, похоже, не является командой.

Ответ 1

  • Вы можете создать виртуальную среду для Airflow, чтобы сохранить ее как отдельный объект: virtualenv airflow_virtualenv
  • Перейдите в папку bin виртуального env: cd airflow_virtualenv/bin
  • Включить активацию виртуального env: source
  • Задайте исходный путь воздушного потока: экспортируйте AIRFLOW_HOME = ~/airflow [Вы также можете поместить это выражение в свой файл ~/.profile или ~/.bashrc, чтобы вам не приходилось экспортировать каждый раз]
  • Установите Airflow: pip install airflow [Если он выбрасывает "шестую" ошибку при установке, тогда выполните: pip install airflow --ignore-installed six ]
  • Инициализация базы данных: воздушный поток initdb
  • Запуск веб-сервера: веб- сервер воздушного потока -p 8080
  • Просмотр пользовательского интерфейса Airflow: http://localhost: 8080/

Ответ 2

Ваши действия выглядят правильными, если вы ничего не пропустили. Но вы можете попробовать Python virtualenv и virtualenvwrapper со следующими шагами, чтобы иметь изолированный airflow.

pip install virtualenv
pip install virtualenvwrapper
# update and source your .profile
mkvirtualenv airflow
workon airflow
export AIRFLOW_VERSION=1.7.0
pip install airflow==${AIRFLOW_VERSION}
# optionally other modules
#pip install airflow[celery]==${AIRFLOW_VERSION}

Ответ 3

Использование Python 3.6

export AIRFLOW_HOME="/Users/your_user_name/airflow"
export SLUGIFY_USES_TEXT_UNIDECODE=yes
brew install python python3
pip install -U apache-airflow[celery,s3,postgres,jdbc,mysql,gcp_api,crypto,kubernetes]

Использование Python 3.7 Во время установки возникают некоторые проблемы с

from tenacity.async import AsyncRetrying

Airflow работал с Python 3.7, поэтому на инкубационной стороне есть один PR,
просто нужно ударяться версию для зависимостей имя tenacity: http://mail-archives.apache.org/mod_mbox/airflow-commits/201808.mbox/%[email protected]%3E HTTPS://issues.apache.org/jira/browse/AIRFLOW-2876 pip install tenacity==4.12.0

Теперь запустите Ariflow:

airflow initdb
airflow webserver

Убедитесь, что приложение работает в браузере, посетив http://localhost: 8080.

Затем запустите:

airflow scheduler

Ответ 4

Ниже приведены шаги, которые я выполнил для установки Airflow:

Установите домашний поток воздуха в ~/.bashrc

export AIRFLOW_HOME=~/airflow

Установить с pypi с помощью pip

pip install airflow

инициализация базы данных метаданных

airflow initdb

запуск веб-сервера

airflow webserver -p 8080

открыть браузер и перейти на localhost: 8080 для просмотра и использования пользовательского интерфейса

Ответ 5

В дополнение к вышеприведенным командам вам может потребоваться запустить планировщик, чтобы разрешить выполнение заданий. Команда:

планировщик воздушного потока

Ответ 6

Похоже, что путь к воздушному потоку не в вашей ПУТЕ. это происходит с другими пакетами python?

попробовать:

export PATH=$PATH:/usr/local/bin/

это путь по умолчанию для воздушного потока и должен заставить его работать

Ответ 7

Решение, с которым работал, было создание среды, установка воздушного потока, а затем ее запуск.

- > Установить virtualenv: $pip install virtualenv

- > Создать среду: $python -m venv myvenv

- > Активировать среду: $source myenv/bin/activate

- > Установить воздушный поток: (myenv)$pip install airflow с postgres: pip install airflow[postgres]

- > Запустить сервер: (myenv)$airflow webserver -p 8080

Ответ 8

Важное дополнение ко всем сообщениям.

Apache Airflow изменяет имя своего пакета с воздушного потока на апач-воздушный поток. Таким образом, все сообщения в этом потоке будут устанавливать Apache Airflow 1.8, поскольку этот пакет все еще существует.

Чтобы установить более позднюю версию

export AIRFLOW_HOME=~/airflow
pip install apache-airflow

Также рассмотрите, какую версию Python нужно взять. Вы можете установить воздушный поток с помощью Python 2 или Python 3.

Ответ 9

Это сработало для меня:

$ SLUGIFY_USES_TEXT_UNIDECODE = да pip3 установить apache-airflow

Ответ 10

Я попытался установить pip apache-airflow и pip3 установить apache airflow, и у обоих были проблемы, потому что он установил все в ~/.local/bin/

Если вы получите сообщение об ошибке, что вы не можете запустить airflow, вы найдете его в ~/.local/bin/airflow. Затем вы можете добавить псевдоним в ваш .bashrc: alias airflow='~/.local/bin/airflow' затем запустить bash и вы сможете запускать airflow.

Затем, когда вы попытаетесь запустить веб-сервер с версией python2 или python3, он выдаст ошибку, потому что не может найти gunicorn, и вы можете это исправить, добавив ~/.local/bin в PATH:

export PATH=$PATH:~/.local/bin