У меня есть вопрос о Nifi и его возможностях, а также о соответствующем случае использования.
Я читал, что Nifi действительно стремится создать пространство, которое позволяет обрабатывать потоки. После того, как я немного поиграл с Nifi, я понял, что это возможность моделировать/форматировать данные так, как это полезно для меня. Можно ли сказать, что Nifi также может использоваться для моделирования данных?
Благодарю!
Моделирование данных может означать много вещей для многих людей, поэтому я буду осторожно использовать этот термин здесь. То, что я думаю в том, что вы просите, очень ясно, так это то, что Apache NiFi - отличная система, которая поможет вам форматировать данные в правильном формате, схеме и контенте, которые вам нужны для последующей аналитики и обработки. NiFi имеет расширяемую модель, поэтому вы можете добавлять процессоры, которые могут это сделать, или вы можете использовать существующие процессоры во многих случаях, и вы даже можете использовать процессоры ExecuteScript, чтобы вы могли писать сценарии "на лету", чтобы манипулировать данными.
Моделирование данных - это немного перегруженный термин, но в контексте вашего желания моделировать/форматировать данные так, как это полезно для вас, похоже, что это может быть жизнеспособным подходом. Остальная часть этого находится в этом предположении.
В то время как NiFi использует поток данных через принципы и дизайн, тесно связанные с потоковым программированием (FBP) в качестве средства, функция заключается в получении данных из точек A в B (и, возможно, обратно). Разумеется, системы не по своей сути говорят в тех же протоколах, форматах или схемах, поэтому необходимо что-то форматировать данные в том, что потребитель ожидает от того, что производитель производит. Это приводит к общим схемам интеграции предприятий (EIP) [1], таким как посредничество и маршрутизация. В более широком смысле, это просто получение данных тем, кто в ней нуждается (системы, пользователи и т.д.), Когда и как им это нужно.
Джо Витт, один из создателей NiFi, дал отличный разговор, который может соответствовать этой идее формирования данных в контексте Data Science на Meetup. Слайды из которых доступны [2].
Если у вас возникнут дополнительные вопросы, я бы указал вам, чтобы проверить списки рассылки сообщества [3] и задать дополнительные вопросы, чтобы вы могли больше копать и получить более широкую перспективу.