ETL с использованием Python

Я работаю над хранилищем данных и ищет решение ETL, использующее Python. Я играл с SnapLogic как ETL, но мне было интересно, есть ли там какие-то другие решения.

Этот хранилище данных только начинается. Я еще не привел данные. Он легко будет состоять из более чем 100 концертов с исходным подмножеством данных, которые я хочу загрузить в него.

Ответ 1

Да. Просто напишите Python, используя интерфейс DB-API в вашей базе данных.

Большинство программ ETL предоставляют фантастические "языки высокого уровня" или графический интерфейс с перетаскиванием мышью, которые не очень помогают.

Python столь же выразителен и так же прост в работе.

Освободить обфускацию. Просто используйте простой Python.

Мы делаем это каждый день, и мы очень, очень довольны результатами. Это просто, понятно и эффективно.