Есть ли возможность удалить сообщения темы kafka старше одного часа в теме
Есть ли возможность удалить сообщения кафки старше одного часа в теме. Нужно всего лишь последние один час сообщений в теме. Производитель Kafka будет принимать сообщения каждую минуту в тему. Мне нужно получить данные за последний час из текущей темы. 1. есть ли возможность удалить сообщения, которые старше одного часа в теме, необходимо хранить менее одного часа данных в этой теме 2. Есть ли возможность прочитать данные за последний час из темы, в теме есть данные за один день
Ответы 1
Вы можете настроить retention.ms для одной темы или настроить log.retention.ms на брокерах, чтобы переопределить недельное удержание по умолчанию.
В противном случае после Kafka 0.10.2 ваши потребители также могут искать смещение по метке времени, поэтому вам придется искать, откуда потреблять, исходя из текущего времени минус час.