Определить совместимость Kafka-Client с kafka-broker
В удаленном облачном кластере kafka брокеры kafka будут обновлены до новой версии (5.1), поэтому применяется новый протокол kafka.
Теперь я должен обновить свой клиент kafka, чтобы он мог подключаться. Прямо сейчас я использую следующие соответствующие зависимости kafka в своем приложении с весенней загрузкой:
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-parent</artifactId>
<version>1.3.8.RELEASE</version>
<groupId>org.springframework.integration</groupId>
<artifactId>spring-integration-kafka</artifactId>
<version>2.0.1.RELEASE</version>
<groupId>org.springframework.kafka</groupId>
<artifactId>spring-kafka-test</artifactId>
<version>1.0.3.RELEASE</version>
<groupId>org.springframework.kafka</groupId>
<artifactId>spring-kafka</artifactId>
<version>1.0.3.RELEASE</version>
<groupId>org.apache.kafka</groupId>
<artifactId>kafka-clients</artifactId>
<version>0.9.0.1</version>
<groupId>org.apache.kafka</groupId>
<artifactId>kafka_2.11</artifactId>
<version>0.9.0.1</version>
Я уже искал подходящую матрицу совместимости для кафка-клиентов и кафка-брокеров.
- У кого-нибудь есть идеи, как успешно обновиться?
- У кого-нибудь есть матрица совместимости для этих зависимостей?
Ответы 3
В Spring для страницы проекта Apache Kafka есть ссылка на конфлюэнтная матрица (наряду с совместимостью с spring-kafka/kafka-clients).
0.9 очень и очень старая.
Как правило, клиенты/брокеры новее 0.10.2.0 могут общаться друг с другом, но если записи имеют заголовки, вам понадобится клиент >= 0.11.0.0.
От https://github.com/spring-cloud/spring-cloud-stream/wiki/Kafka-Client-Compatibility
Матрица совместимости
+--------+--------------+------------------+---------------+-------------+
| Spring | Spring for | Spring | kafka-clients | Kafka |
| Cloud | Apache Kafka | Integration | | Broker |
| Stream | | for Apache Kafka | | |
+--------+--------------+------------------+---------------+-------------+
| 2.1.x | 2.2.x | 3.1.x | 2.0.0, | 2.0.0, |
| | | | 1.1.x, | 1.1.x, |
| | | | 1.0.x(*) | 1.0.x, |
| | | | | 0.11.0.x(*) |
+--------+--------------+------------------+---------------+-------------+
| 2.0.x | 2.1.x | 3.0.x | 1.1.x, | 1.1.x, |
| | | | 1.0.x(*) | 1.0.x, |
| | | | | 0.11.0.x(*) |
+--------+--------------+------------------+---------------+-------------+
| 1.3.x | 1.3.x, | 2.3.x, | 0.11.0.x(**), | 0.10.x.x |
| | 1.2.x, | 2.2.x, | 0.10.2.x | or higher |
| | 1.1.x | 2.1.x | | |
+--------+--------------+------------------+---------------+-------------+
| 1.2.x | 1.2.x, | 2.2.x, | 0.10.1.x | 0.10.x.x |
| | 1.1.x | 2.1.x | | or higher |
+--------+--------------+------------------+---------------+-------------+
Другие источники
Теперь поддерживается двунаправленная совместимость клиентов, вам больше не нужно беспокоиться о матрице совместимости, для клиентов с поддержкой KIP-35 хороша любая версия, KIP-35 выпущен из протокола Broker - 0.10.0, клиенты Java - 0.10. 2
ссылаться:
https://cwiki.apache.org/confluence/display/KAFKA/Compatibility+Matrix
https://www.confluent.io/blog/upgrading-apache-kafka-clients-just-got-easier/
Ясэ Доган, как ты решил эту проблему?