Можно ли как-то просмотреть содержимое сообщения, отправленного kafka по заданной теме? Скажите что-нибудь вроде просмотра последних 5 сообщений на эту тему, если это возможно.
Как просмотреть сообщение kafka
Ответ 1
Вы можете использовать консольный потребитель для просмотра сообщений, созданных по какой-либо теме:
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
Ответ 2
Используйте потребителя Kafka, предоставленного Kafka:
bin/kafka-console-consumer.sh --bootstrap-server BROKERS --topic TOPIC_NAME
Он отобразит сообщения, когда он их получит. Добавьте --from-beginning, если вы хотите начать с самого начала.
Ответ 3
Если вы делаете из папки Windows, я имею в виду, если вы используете Кафку из машины Windows
kafka-console-consumer.bat --bootstrap-server localhost:9092 --<topic-name> test --from-beginning
Ответ 4
Прилично обсуждается инструментарий Kafka в следующих SO-потоках, которые достаточно полны по охвату:
Если вам нужен веб-инструмент, попробуйте Kafdrop 3 (это воскресение оригинального Kafdrop, которое сейчас в основном неактивно). Он позволяет вам просматривать темы и настраивать кластер (но это не полный инструмент администратора). Это простое приложение с весенней загрузкой и поставляется со сборкой Docker. (Небольшой отказ от ответственности: я один из авторов, но я не оригинальный автор.)
Для инструмента командной строки попробуйте Kafkacat для просмотра тем и публикации сообщений. На момент написания он также поддерживает печать заголовков сообщений (в отличие от встроенных инструментов Kafka).
Ответ 5
Если вы хотите сделать это программно, вы можете написать приложение, обертывающее клиента Kafka (оно будет доступно практически для каждого языка), или сценарий bash, который использует либо один из встроенных инструментов kafka kafka-console-consumer или Kafkacat, который немного более гибок (но недостатком является то, что вам нужно скачать отдельный инструмент, в то время как kafka-console-consumer входит в комплект Kafka).
Если вам нужен графический интерфейс, отображающий несколько последних сообщений по теме, вы можете использовать Kafdrop 3 или Kafka Tool. Первый - это веб-приложение (приложение Springboot), а второй - настольное приложение на основе Swing.
Ответ 6
Вы можете попробовать Kafka Magic - это бесплатно, и вы можете написать сложные запросы в JavaScript, ссылаясь на свойства сообщения и метаданные. Также работает с сериализацией Avro
Ответ 7
Если вы ищете простой и интуитивно понятный способ просмотра и поиска сообщений Apache Kafka, вам следует попробовать KaDeck. Общественная версия полностью бесплатна и поддерживает Win, Mac OS и Linux.
Для использования в корпоративном контексте также доступна корпоративная версия, которая включает веб-сервис.