Confluent — разделение сообщений Avro из одной темы kafka на несколько тем kafka

У нас есть входящая тема kafka с сериализованными в нее сообщениями на основе схемы несколько Avro.

Нам нужно разделить сообщения в формате Avro на несколько других тем kafka на основе определенного значения общего атрибута схемы.

                             |------> [OUTGOING TOPIC(AVRO) - A] 
[INCOMING TOPIC(AVRO)] ----->|------> [OUTGOING TOPIC(AVRO) - B]
                             |------> [OUTGOING TOPIC(AVRO) - C]

Хотелось бы понять, как этого добиться, избегая при этом создания промежуточного клиента для этого разделения/маршрутизации на объединенной платформе.

Я изучил коннектор kafka, но не нашел существующий коннектор, который бы так работал.

Вы можете использовать KSQL или Kafka Streams.

— 22.05.2019 23:36

KSQL может не работать, потому что во входном топике нет одной схемы.

— 03.06.2019 07:19

apache-kafka avro apache-kafka-streams apache-kafka-connect confluent-platform

22.05.2019 17:44

Построение конвейеров данных в реальном времени с Apache Kafka: Руководство по Python

Apache Kafka - популярная платформа распределенной потоковой передачи данных, которую можно использовать для построения конвейеров данных в реальном...

283

Перейти к ответу Данный вопрос помечен как решенный

Ответы 1

Ответ принят как подходящий

Вы можете написать приложение Kafka Streams и использовать branch():

KStream input = builder.stream("topic");
KStream[] splitStreams = input.branch(...);
splitStream[0].to("output-topic-1");
splitStream[1].to("output-topic-2");
// etc.

03.06.2019 07:21

Другие вопросы по теме

Установка атрибутов в значение null с помощью файла конфигурации, заданного пользователем

Avro -> Паркет -> Spark SQL

Могу ли я удалить элемент из моей схемы AVRO?

Как читать данные из файла AVRO с помощью интерфейса C++?

Как использовать пакет spark-avro для чтения файла avro из spark-shell?

Луч записывает в ошибку сериализации файла avro

Как загрузить несколько файлов AVRO с помощью команды загрузки bq

Как мы можем настроить value.subject.name.strategy для схем в производителях Spring Cloud Stream Kafka, потребителях и KStreams?

Как получить поток из темы кафки в эластичный поиск с помощью слияния?

Несовместимые сообщения Avro между Spring Cloud Stream Kafka Stream и собственными приложениями и производителями Kafka Stream

Confluent — разделение сообщений Avro из одной темы kafka на несколько тем kafka

Ответы 1

Другие вопросы по теме

Похожие вопросы