Как работает коннектор kafka для базы данных postgresql и mysql
Я слежу за руководствами по быстрому запуску отсюда быстрый старт-кафка-подключение
В этом руководстве показано, как передать изменения таблицы базы данных mysql в тему kafka.
Единственная часть - скачать все, просто добавить файл /tmp/kafka-connect-jdbc-source.json с некоторыми свойствами конфигурации и запустить
Как это работает в фоновом режиме?
1 : Does it create connection with database and monitor tables for specific intervals of time? OR
2 : Does it uses replication log? (i don't know how this works)
3 : Is this same mechanism for mysql and postgresql?
Ответы 1
Debezium контролирует OpLog.
Kafka Connect JDBC от Confluent (с которым вы связались) может использовать временной интервал, и эта конфигурация используется всеми JDBC-совместимыми соединениями, включая MySQL и Postgres.
For incremental query modes that use timestamps, the source connector uses a configuration
timestamp.delay.interval.ms...
replication log? (i don't know how this works)
Вы можете найти руководство по Дебезиуму здесь, но этот механизм отличается для Mongo, Postgres, MySQL, MSSQL, Oracle и т. д.