Kafka: запуск Confluent в среде Windows

Лучший способ - запустить Kafka, Zookeeper через Docker, например: https://hub.docker.com/r/wurstmeister/kafka/

Confluent Platform не поддерживается в Windows. Лучшим вариантом, если вам нужно использовать Windows, является Образы докеров, которые полностью поддерживаются.

Команда confluent написана на Bash, поэтому вам понадобится что-то вроде WASL или Cygwin, чтобы успешно запустить ее изначально (за пределами Docker / виртуальной машины).

По «оракулу» звучит так, будто вы пытаетесь запустить Kafka Connect JDBC.

Вы можете найти connect-standalone.bat в каталоге bin/windows.

Требуется файл конфигурации свойств, который будет соответствовать файлу kafka-connect-jdbc-source.json, а не самому файлу JSON.

Если вы хотите отправить JSON в Connect API, вам необходимо использовать скрипт connect-distributed.

Программное обеспечение Confluent имеет множество сценариев оболочки, и вы можете использовать их в Windows, если можете использовать Cygwin (https://www.cygwin.com/).

Предварительное условие: используемый Java SDK должен быть установлен на путь к файлу без пробела.

Предварительные требования: Cygwin с установленным curl

Скачайте дистрибутив Confluent и установите (распакуйте) по пути к файлу без пробела.

Для каждого из следующих запусков сеанса Cygwin и установки JAVA_HOME в SDK и goto / bin

Запустите zookeeper с

./zookeeper-server-start ../etc/kafka/zookeeper.properties

Запустите брокера Kafka с

./kafka-server-start ../etc/kafka/server.properties

Запустите Confluent Schema Registry с помощью

./schema-registry-start ../etc/schema-registry/schema-registry.properties

да, вы можете запустить его в окнах. Ниже приведен патч окна для confluent 5.0.1.

https://github.com/mduhan/confluent-windows-5.0.1

Последний пакет confluent поддерживает Windows. https://docs.confluent.io/4.0.0/installation/installing_cp.html#installation-archive

У них есть файлы летучих мышей zookeeper и Kafka server. Но файлов bat в реестре схемы нет. Однако вы можете скачать следующие файлы.

https://github.com/renukaradhya/confluentplatform/blob/master/bin/windows/schema-registry-run-class.bathttps://github.com/renukaradhya/confluentplatform/blob/master/bin/windows/schema-registry-start.bat

Сохраните указанные выше файлы bat в каталоге CONFLUENT_HOME \ bin \ windows и запустите, как показано ниже:

схема-реестр-start.bat .... \ etc \ schema-registry \ schema-registry.properties

Я знаю, что это устарело, но поскольку он все еще появляется в поиске Google, важно получить практический ответ на него.

В этом ответе я предположил, что в какой-то момент вы также собираетесь развернуть свое приложение на Windows Server.

Как сказал Робин Моффатт, Kafka не поддерживается «чисто» (я добавил это ^^) для окон, а образы докеров для контейнеров Linux в Windows полностью поддерживаются.

Но не разрабатывайте свое приложение на основе контейнеров Linux в окнах докеров, потому что контейнеры Linux работают только с Windows 10, и у вас их нет на сервере Windows (Да, я знаю, что есть экспериментальная версия, но вы не можете доверять этому с производством, и он действительно не работает на старых версиях сборки Windows Server 2016, если ваши клиенты, такие как наши, являются людьми старой школы).

Я также сейчас борюсь с той же проблемой, и я связываюсь с нашим менеджером проекта, чтобы выбрать одно из следующих решений:

1. Найдите хорошую альтернативу Kafka, которая работает в Windows, а также работает в контейнерах Windows.
2. Запустите приложение на компьютере с Linux и установите там докер. если у вас архитектура микросервисов с ядром .net, она отлично работает в Linux.
3. Этот способ похож на изобретение некоторых частей колеса. Вам необходимо создать службы Windows для объединенной Kafka, которую они предоставляют вам в виде zip-файла. Вам нужно попробовать запустить schema-registry, kafka connect, а также запустить центр управления самостоятельно. Управление Kafka без помощи центра управления - это проблема, особенно в производственной среде, когда вы не собираетесь устанавливать все (если бы вы могли использовать вариант 3, вы, вероятно, можете создать свой собственный образ Windows для Kafka (колесо изобретено ))

Я знаю, что это не очень полезно, но это результат моего исследования этой проблемы, и я надеюсь, что либо Microsoft завершит разработку контейнеров Linux, либо confluent выпустит образ контейнера Windows. Для меня решение номер 2, если возможно, является лучшим решением.