Confluent Kafka: данные из темы (одна полезная нагрузка) в несколько таблиц
Позволяет ли слитный коннектор kafka jdbc (приемник) извлекать данные из темы, а затем определять, в какие таблицы базы данных Oracle распределять эти данные?
то есть
Одна запись темы будет содержать много данных, которые необходимо распределить по нескольким таблицам в нашей CRM, работающей на базе данных Oracle. Возможно ли это?
Можно ли определить, какие узлы полезных данных будут предназначены для каких таблиц? как показано ниже
Ответы 2
Определение приемника представляет собой однозначное сопоставление темы и таблицы.
Если вам нужно несколько таблиц, вам нужно будет отфильтровать тему с помощью таких инструментов, как потоки kafka или ksqlDB, чтобы создать новые темы, а затем создать для них новые соединители.
Использование промежуточного программного обеспечения ETL:
Другой подход из ответа @OneCricketeer — введение промежуточного программного обеспечения ETL (извлечение, преобразование, загрузка), которое использует тему Kafka, обрабатывает полезную нагрузку, а затем записывает обработанные данные в соответствующие таблицы в базе данных Oracle.
Вот необходимые шаги:
Kafka Consumer: инструмент ETL использует записи из темы Kafka, который содержит сложную полезную нагрузку JSON.
Анализ данных: инструмент ETL анализирует полезную нагрузку JSON.
Преобразование данных:
- Таблица 1 («Таблица участников»): Извлечение полей, связанных с участником. информацию и загрузите ее в таблицу участников.
- Таблица 2 («Таблица адресов»): извлечение полей, связанных с адресной информацией, и загрузка их в адрес. стол.
- Таблица 3 («Таблица контактной информации»): Извлечение контактной информации. и загрузите их в таблицу contactable_info.
Загрузка в базу данных Oracle. Инструмент ETL записывает извлеченные и преобразованные данные в соответствующие таблицы базы данных Oracle.
Инструменты :
- Апач Нифи: https://www.javatpoint.com/apache-nifi
- Таленд: https://www.tutorialspoint.com/talend/index.htm
- Apache Camel: https://www.tutorialspoint.com/apache_camel/apache_camel_overview.htm
Примечание. Использование промежуточного программного обеспечения ETL — это надежное решение для сложных задач обработки данных, например, для распределения одной записи темы Kafka в несколько таблиц в базе данных Oracle. Он позволяет выполнять пользовательские преобразования данных и гарантирует правильную маршрутизацию данных в правильные таблицы.