Apache Kafka: дублирование групп потребителей
Мне было интересно, есть ли быстрый способ дублировать группу потребителей Kafka.
Допустим, есть группа потребителей: test_cosnumer_group_a и мне нужна другая группа потребителей test_consumer_group_b с теми же свойствами (темы, смещения и т. д.)
Есть ли простой способ добиться этого?
Ответы 2
Вы можете использовать kafka-utils для копирования метаданных определенной группы потребителей в новую. Согласно документы на GitHub,
Consumer groups can have metadata copied into a new group using the
copy_groupsubcommand.
$ kafka-consumer-manager --cluster-type=test copy_group my_group1 my_group2
Если вы используете скрипты конфлюэнт, у вас будет kafka-consumer-groups вместо kafka-consumer-manager.
Вы можете экспортировать смещения из группы потребителей в CSV-файл, а затем восстановить его в другой группе потребителей:
bin/kafka-consumer-groups \
--bootstrap-server $KAFKA \
--export --group $FROM_GROUP_NAME --topic $TOPIC \
--reset-offsets --to-current \
--dry-run > offsets.txt
bin/kafka-consumer-groups \
--bootstrap-server $KAFKA \
--execute --group $TO_GROUP_NAME \
--reset-offsets --from-file offsets.txt
Кредиты на другой вопрос SO: https://stackoverflow.com/a/57423974/2004857
Я думаю, вам нужно предоставить больше информации о том, как вы запускаете своих потребителей и как вы инициализируете объект KafkaConsumer. То, о чем вы спрашиваете, является фундаментальной концепцией Кафки. Вы просто запускаете своих потребителей с уникальным значением group.id и читаете из той же темы. Смещения будут управляться независимо между двумя группами потребителей.