Как заставить GetKafka всегда читать с последнего смещения в Apache Nifi?

Я использую GetKafka Apache Nifi для чтения сообщения.

Когда я начать сначала процессор, я бы хотел, чтобы он всегда читал из последнего смещения, а не из смещения, зафиксированного этой группой.

Как я могу достичь этого?

apache-kafka apache-nifi

23.05.2019 03:04

Построение конвейеров данных в реальном времени с Apache Kafka: Руководство по Python

Apache Kafka - популярная платформа распределенной потоковой передачи данных, которую можно использовать для построения конвейеров данных в реальном...

Перейти к ответу Данный вопрос помечен как решенный

Ответы 1

Ответ принят как подходящий

Процессор GetKafka — устарел. Вместо этого используйте процессор ConsumeKafka. Этот процессор имеет параметр Сброс смещения, который принимает самый ранний, самый последний и никто в качестве параметров. Самый последний должен делать то, что вам нужно.

Примечание:, если вам все еще нужно GetKafka для работы с экземпляром Kafka 0.8, есть вариант для Автоматический сброс смещения с возможными значениями самый маленький и самый большой.

Чтобы добавить к комментарию Энди ... даже с ConsumeKafka, сброс смещения используется, когда для текущей группы потребителей нет смещения, поэтому, если вы раньше запускали процессор, останавливали его и запускали снова, это не будет используется, потому что он будет начинаться со смещения раньше. Вам нужно изменить идентификатор группы потребителей, чтобы начать сначала.

— 23.05.2019 15:05

23.05.2019 03:27