Kafka для google Pub/Sub с помощью Sink Connector
Извините за основной вопрос.
Требование: Необходимо отправить полезную нагрузку json из весеннего загрузочного приложения в подписку google pub.
Я начал внедрять производителя kafka и публиковать сообщения в темах, а оттуда потребитель kafka получает json.
Теперь мне нужно отправить полезную нагрузку json от потребителя kafka в pub/sub google. Я в замешательстве, должен ли мне для этого понадобиться потребитель kafka. Или просто от производителя kafka в сабвуфер google pub, который я могу отправить, используя kafka Connector.jar и настроив темы в свойствах. Любая помощь очень ценится для этой реализации
Ответы 1
Если вы хотите получать сообщения от Kafka в Google Cloud Pub/Sub, вам не нужно писать собственный потребитель. Вы можете создать экземпляр Соединитель Google Cloud Pub/Sub Kafka. Служба Кафка Коннект обычно является частью самого развертывания Kafka, поэтому вам просто нужно запустить ее экземпляр, настроенный для запуска коннектора синхронизации Cloud Pub/Sub. В файле README для соединителя подробно описаны шаги, которые необходимо предпринять, но вкратце:
- Загрузите последний релиз и соберите его с помощью команды
mvn package. - Скопируйте target/cps-kafka-connector.jar в место на вашем пути Java, чтобы он был доступен при запуске Kafka Connect.
- Скопируйте конфиг приемника и измените его, чтобы он указывал на соответствующий проект и тему Cloud Pub/Sub, а также на соответствующие темы Kafka.
- Сделайте копию config/connect-standalone.properties или config/connect-distributed.properties в зависимости от того, хотите ли вы, чтобы работал один экземпляр или несколько экземпляров соединителя.
- Обновите свойства
key.converterиvalue.converter, чтобы они былиorg.apache.kafka.connect.storage.StringConverter. Таким образом, коннектор не будет пытаться интерпретировать передаваемые данные, а просто передаст JSON прямо в Cloud Pub/Sub. - Запустите коннектор с помощью соответствующей команды на основе автономного или распределенного коннектора, например,
bin/connect-standalone.sh <standalone config file> <connector config file>.
Сообщения теперь должны поступать из Kafka в Google Cloud Pub/Sub. Если вы просто используете Kafka для перехода от Spring Boot к Cloud Pub/Sub, вы можете избежать шага Kafka, настроив адаптер исходящего канала для прямой отправки сообщений в Cloud Pub/Sub.
Спасибо @Kamal Aboul-Hosn за подробное объяснение. Очень полезно
Начиная с v0.5 Alpha они предоставляют готовая банка с выпуском. Мы можем просто использовать это и избежать шага по сборке пакета из исходного кода :)