Kafka не публикует изменения файла в теме

Чтение:Kafka Connect FileStreamSource игнорирует добавленные строки

Ответ от 2018 года гласит:

Kafka Connect does not "watch" or "tail" a file. I don't believe it is documented anywhere that it does do that.

Кажется, Кафка теперь поддерживает это как чтение:

https://docs.confluent.io/5.5.0/connect/managing/configuring.html#standalone-example

указывает, что файл просматривается:

Соединитель FileSource Соединитель FileSource считывает данные из файла. и отправляет его в Apache Kafka®. Помимо конфигураций, общих для всех соединители он принимает только входной файл и выходную тему в качестве свойств. Вот пример конфигурации:

name=local-file-source Connector.class=FileStreamSource tasks.max=1 file=/tmp/test.txt theme=connect-test Этот коннектор будет доступен только для чтения один файл и отправить данные из этого файла в Kafka. Тогда это будет смотрите файл только для добавленных обновлений. Любая модификация файла строки, уже отправленные в Kafka, не будут повторно обработаны.

Моя конфигурация такая же, как опубликованный вопрос Kafka Connect FileStreamSource игнорирует добавленные строки

connect-file-source.properties содержит:

name=my-file-connector
connector.class=FileStreamSource
tasks.max=1
file=/data/users/zamara/suivi_prod/app/data/logs.txt
topic=connect-test

Запуск автономного подключения с помощью

connect-standalone connect-standalone.properties connect-file-source.properties 

Добавляет все содержимое файла logs.txt в тему connect-test , добавление новых строк в logs.txt не добавляет строки в тему. Требуется ли настройка, позволяющая Kafka просматривать файл, чтобы новые данные, добавленные в logs.txt, добавлялись в тему connect-test?

Построение конвейеров данных в реальном времени с Apache Kafka: Руководство по Python
Построение конвейеров данных в реальном времени с Apache Kafka: Руководство по Python
Apache Kafka - популярная платформа распределенной потоковой передачи данных, которую можно использовать для построения конвейеров данных в реальном...
0
0
369
1
Перейти к ответу Данный вопрос помечен как решенный

Ответы 1

Ответ принят как подходящий

Если только вы не экспериментируете с FileStreamSource в образовательных целях, вы зашли в тупик. Соединитель существует только как пример соединителя.

Для загрузки файлов в Kafka используйте Kafka Connect Spooldir, Kafka Connect FilePulse или посмотрите на такие вещи, как Filebeat от Elastic.

спасибо за Ваш ответ. На данный момент это образовательные цели, должен ли FileStreamSource просматривать файлы по умолчанию или требуется конфигурация, которую я в настоящее время не использую? Я попробую что-то более надежное, как вы предлагаете, как только я докажу первоначальный вариант использования.

blue-sky 18.12.2020 18:24

Другие вопросы по теме