Как увидеть удержание определенной темы в кафке

Я хочу увидеть срок хранения, установленный для конкретной темы. Есть ли какая-нибудь команда? Я попытался с помощью bin/kafka-topics.sh --zookeeper hostname:2181 --alter --config retention.ms=172800000 --topic <topic_name> удалить данные за 2 дня.

Но я хочу посмотреть, сколько дней установлено в сроке хранения для всех тем.

Ответ 1

Если вы изменили тему и хотите просмотреть конфигурацию тем, вам будет полезна следующая команда

kafka-topics.sh --zookeeper localhost: 2181 --describe --topics-с-переопределениях

Здесь будут описаны только темы, а также конфигурации, которые имеют конфигурации, которые отличаются от значений по умолчанию для кластера.

Если вы хотите просмотреть конфигурации для всех тем Либо вы можете просмотреть эти свойства log.retention.hours или log.retention.ms в server.properties в каталоге конфигурации kafka.

Ответ 2

См. config 'log.retention.hours' в Kafka Doc:

Количество часов, чтобы сохранить файл журнала перед его удалением (в часах), третичным по отношению к свойству log.retention.ms

Значение по умолчанию - 168 часов, что составляет 7 дней.

Ответ 3

Просто приведенная ниже команда поможет

kafka-topics.sh --bootstrap-server server_ip: 9092 --describe --topic theme_name

Вместе с другой информацией будет напечатано delete.retention.ms.

Пример вывода будет

Тема: ИМЯ ТЕМЫ PartitionCount: 6 ReplicationFactor: 1 Конфиги: сжатие .type = gzip, сегмент .bytes = 1073741824, retention.ms = 100, max.message.bytes = 100001200, delete.retention.ms = 100000

Topic: TOPIC NAME   Partition: 0    Leader: 2   Replicas: 2 Isr: 2
Topic: TOPIC NAME   Partition: 1    Leader: 3   Replicas: 3 Isr: 3
Topic: TOPIC NAME   Partition: 2    Leader: 1   Replicas: 1 Isr: 1
Topic: TOPIC NAME   Partition: 3    Leader: 2   Replicas: 2 Isr: 2
Topic: TOPIC NAME   Partition: 4    Leader: 3   Replicas: 3 Isr: 3
Topic:  TOPIC NAME  Partition: 5    Leader: 1   Replicas: 1 Isr: 1

Ответ 4

Альтернативные способы:

используйте вызов sh-command через контейнер

docker run --rm -it confluentinc/cp-kafka:latest sh -c "kafka-topics --zookeeper 11.22.33.44:5555 --describe --topic topic-name"

использовать Kafka Tool

Учтите, что он будет отображаться только с параметрами, отличными от значений по умолчанию.

В приведенном выше примере retention.ms составляет 14 дней, а по умолчанию - 7 дней.