Как выполнить jar-файл JDBC Kafka Connector

kafka-connect-jdbc - это коннектор Kafka для загрузки данных в любую JDBC-совместимую базу данных и из нее. Документацию для этого коннектора можно найти здесь.

Минимальный пример для коннектора источника JDBC (из sqlite db)

Скачать Confluent и запускайте службы с помощью confluent start

Создайте базу данных sqlite

sqlite3 test.db

Создайте таблицу и добавьте несколько строк:

CREATE TABLE users(id INTEGER PRIMARY KEY AUTOINCREMENT NOT NULL, username VARCHAR(255));
INSERT INTO users(username) VALUES('giorgos');

Загрузите исходный коннектор JDBC:

confluent load jdbc-source

(Ваш результат должен напоминать :)

{
  "name": "jdbc-source",
  "config": {
    "connector.class": "io.confluent.connect.jdbc.JdbcSourceConnector",
    "tasks.max": "1",
    "connection.url": "jdbc:sqlite:test.db",
    "mode": "incrementing",
    "incrementing.column.name": "id",
    "topic.prefix": "test-sqlite-jdbc-",
    "name": "jdbc-source"
  },
  "tasks": [],
  "type": null
}

Запустите консоль-потребитель, чтобы использовать данные, созданные в теме test-sqlite-jdbc-users:

./bin/kafka-avro-console-consumer --bootstrap-server localhost:9092 --topic test-sqlite-jdbc-users --from-beginning
{"id":1,"name":{"string":"giorgos"}}