Kafka-Connect добавляет файл SQL JAR в путь к классам
Я пытаюсь развернуть автономное задание подключения для потоковой передачи с сервера mssql, однако столкнулся с проблемой (Kafka-Connect является частью моего развертывания Ambari, а не докером). Это файл свойств, который я использую:
name=JdbcSourceConnector
connector.class=io.confluent.connect.jdbc.JdbcSourceConnector
connection.user=ue
connection.password=pw
tasks.max=1
connection.url=jdbc:sqlserver://servername
topic.prefix=iblog
query=SELECT * FROM IB_WEBLOG_DUMMY_small
value.converter=org.apache.kafka.connect.json.JsonConverter
key.converter=org.apache.kafka.connect.json.JsonConverter
poll.interval.ms=5000
table.poll.interval.ms=120000
mode=incrementing
incrementing.column.name=ID
Я добавил файл jarsqljdbc42.jar в /usr/share/java
и запустили export CLASSPATH=/usr/share/java/*
однако я все еще сталкиваюсь с ошибкой Failed to find any class that implements Connector and which name matches io.confluent.connect.jdbc.JdbcSourceConnector
Я что-то делаю не так или могу еще что-нибудь проверить?
Ответы 4
Вам необходимо включить jar-файл kafka-connect-jdbc, который содержит класс io.confluent.connect.jdbc.JdbcSourceConnector.
Если вы используете maven, вы можете добавить его как зависимость:
[Add the following repo to your project if you haven't done so yet.]
<repository> <id>confluent</id> <url>http://packages.confluent.io/maven/</url> </repository>After this, add the following dependency:
<dependency> <groupId>io.confluent</groupId> <artifactId>kafka-connect-jdbc</artifactId> <version>3.3.0 (or whatever version you want)</version> </dependency>
https://github.com/confluentinc/kafka-connect-jdbc/issues/356
Вы процитировали то, как построить проект, а не как его развернуть. Другими словами, нет другого проекта, который можно было бы «добавить зависимости» к
Kafka-Connect is part of my Ambari deployment
Это означает, что вы используете установку Hortonworks.
Тебе надо
git clone https://github.com/confluentinc/kafka-connect-jdbc/- Найдите ветку выпуска, которая идеально соответствует вашей версии Kafka. Например ветка
v3.1.2- это Кафка 0.10.1.1 mvn clean packageсгенерирует несколько папок вtarget/этого проекта.- SCP эти файлы для всех рабочих Kafka Connect в вашем кластере в
/usr/hdp/current/kafka/.../share/java/kafka-connect-jdbc(создайте это, если не существует) - Перезапустите процессы Kafka, чтобы получить новые настройки CLASSPATH.
Вам могут понадобиться дополнительные пакеты Confluent, от которых зависит подключение JDBC.
Я столкнулся с той же проблемой, я решил ее, запустив connect-standalone в корневой папке confluent, в моем случае это было: /opt/confluent-5.0.1
У меня тоже была такая же проблема. с коннектором Couchbase не найден
ОШИБКА Остановка после ошибки соединителя (org.apache.kafka.connect.cli.ConnectStandalone: 113) java.util.concurrent.ExecutionException: org.apache.kafka.connect.errors.ConnectException: не удалось найти какой-либо класс, реализующий соединитель и который имя совпадает с com.couchbase.connect.kafka.CouchbaseSourceConnector
Установка пути к классам теряла существующий путь к классам, и я не мог добавить в качестве пути к классам Я переместил требуемый файл jar из файлов kafka-connect-couchase / *. Jar в / path / kafka_verison / libs / libs - это папка, в которой хранятся все файлы jar.
Поэтому мне просто нужно использовать intellij, добавить их в pom.xml, а затем развернуть банку в usr / share / java?