Сохранение той же группы потребителей при переходе с Mirror maker 1.0 на Mirror maker 2.0

Пытался обновить производителя зеркал 1.0 до производителя зеркал 2.0 и заметил, что при закрытии производителя зеркал 1.0 и запуске производителя зеркал 2.0 потребитель начинает получать сообщения с самого начала (дубликаты). Нашел этот пост, освещающий ту же проблему.
а. Как передать consumer group name в мастере зеркал 2.0, чтобы сохранить тот же consumer group name, который используется в создателе зеркал 1.0?
б. Как настроить свойство auto.offset.reset в Mirror Maker 2.0?

Построение конвейеров данных в реальном времени с Apache Kafka: Руководство по Python
Построение конвейеров данных в реальном времени с Apache Kafka: Руководство по Python
Apache Kafka - популярная платформа распределенной потоковой передачи данных, которую можно использовать для построения конвейеров данных в реальном...
0
0
685
1
Перейти к ответу Данный вопрос помечен как решенный

Ответы 1

Ответ принят как подходящий

a) Вы не можете напрямую повторно использовать группу потребителей из MM1 с MM2, потому что MM2 не использует группу потребителей, это соединитель Kafka Connect.

б) auto.offset.reset в настоящее время не настраивается в MM2. Его можно будет настроить в следующем выпуске, 2.7.0, который, как ожидается, будет выпущен очень скоро (по состоянию на 17 декабря продолжается голосование по кандидату на выпуск).

Начиная с версии 2.7.0 его можно будет настроить с помощью <alias>.consumer.auto.offset.reset или consumer.auto.offset.reset в вашей конфигурации.

не использует группу потребителей, это коннектор Kafka Connect Source, верно? Раковины используют группы потребителей

OneCricketeer 18.12.2020 05:46

попытался использовать имя в свойствах производителя зеркал, чтобы установить группу потребителей, но оно не отображалось в группах потребителей, когда я их перечислял.

Tushar 18.12.2020 17:11

Другие вопросы по теме