Как правильно запланировать потребителя кафки в apache nifi?

Я пытаюсь использовать одного потребителя, который постоянно читает данные из kafka. Как установить параметры расписания?

Я прочитал User Guide, но не могу понять, как установить график работы и продолжительность запуска, если мне нужно, чтобы потребитель работал непрерывно.

Как правильно запланировать потребителя кафки в apache nifi?

попробуй Strategy = Event driven - если это работает для кафки - используй.

daggett 22.05.2019 14:17

@daggett Я бы не рекомендовал использовать стратегию Event Driven. Она считается экспериментальной, и если бы Apache знал, что ее никто не использует, она была бы полностью удалена.

Ben Yaakobi 22.05.2019 16:24

@BenYaakobi Тогда что мне использовать?

xingbin 22.05.2019 16:44

Как сказал @BryanBende, расписание, управляемое таймером, равное 0 секундам, поможет (в основном та же конфигурация, что и на вашем изображении).

Ben Yaakobi 22.05.2019 16:55

Спасибо. Тогда имеет ли значение параметр продолжительности запуска в этом случае?

xingbin 22.05.2019 16:58
Построение конвейеров данных в реальном времени с Apache Kafka: Руководство по Python
Построение конвейеров данных в реальном времени с Apache Kafka: Руководство по Python
Apache Kafka - популярная платформа распределенной потоковой передачи данных, которую можно использовать для построения конвейеров данных в реальном...
0
5
275
1
Перейти к ответу Данный вопрос помечен как решенный

Ответы 1

Ответ принят как подходящий

Расписание работы, управляемое таймером, равное 0 секунд, означает непрерывное выполнение с максимально возможной скоростью.

Означает ли это, что nifi будет постоянно останавливать и перезапускать потребителя?

xingbin 22.05.2019 16:45

Нет, после запуска процессора потребитель создается и подключается, расписание запуска определяет, как часто будет выполняться процессор, и выполнение в этом случае означает вызов Consumer.poll

Bryan Bende 22.05.2019 17:00

Спасибо, тогда имеет ли значение параметр продолжительности запуска в этом случае?

xingbin 22.05.2019 17:01

Процессоры ConsumeKafka действительно не должны иметь даже Run Duration, вы используете GetKafka? Это старая версия, предназначенная только для использования с Kafka 0.8.

Bryan Bende 22.05.2019 17:04

Да, я использую kafka 0.8 и GetKafka. Меня смущает, что у него есть эта опция

xingbin 22.05.2019 17:05

Run Duration предназначен для использования для объединения нескольких операций API NiFi, но это имеет смысл только тогда, когда они считаются «свободными от побочных эффектов», что означает, что весь пакет можно откатить, я не уверен, что это действительно так. как работает GetKafka, поэтому я бы сказал, что нет причин использовать это

Bryan Bende 22.05.2019 17:19

Другие вопросы по теме