Чтение:Kafka Connect FileStreamSource игнорирует добавленные строки
Ответ от 2018 года гласит:
Kafka Connect does not "watch" or "tail" a file. I don't believe it is documented anywhere that it does do that.
Кажется, Кафка теперь поддерживает это как чтение:
https://docs.confluent.io/5.5.0/connect/managing/configuring.html#standalone-example
указывает, что файл просматривается:
Соединитель FileSource Соединитель FileSource считывает данные из файла. и отправляет его в Apache Kafka®. Помимо конфигураций, общих для всех соединители он принимает только входной файл и выходную тему в качестве свойств. Вот пример конфигурации:
name=local-file-source Connector.class=FileStreamSource tasks.max=1 file=/tmp/test.txt theme=connect-test Этот коннектор будет доступен только для чтения один файл и отправить данные из этого файла в Kafka. Тогда это будет смотрите файл только для добавленных обновлений. Любая модификация файла строки, уже отправленные в Kafka, не будут повторно обработаны.
Моя конфигурация такая же, как опубликованный вопрос Kafka Connect FileStreamSource игнорирует добавленные строки
connect-file-source.properties содержит:
name=my-file-connector
connector.class=FileStreamSource
tasks.max=1
file=/data/users/zamara/suivi_prod/app/data/logs.txt
topic=connect-test
Запуск автономного подключения с помощью
connect-standalone connect-standalone.properties connect-file-source.properties
Добавляет все содержимое файла logs.txt
в тему connect-test
, добавление новых строк в logs.txt
не добавляет строки в тему. Требуется ли настройка, позволяющая Kafka просматривать файл, чтобы новые данные, добавленные в logs.txt
, добавлялись в тему connect-test
?
Если только вы не экспериментируете с FileStreamSource
в образовательных целях, вы зашли в тупик. Соединитель существует только как пример соединителя.
Для загрузки файлов в Kafka используйте Kafka Connect Spooldir, Kafka Connect FilePulse или посмотрите на такие вещи, как Filebeat от Elastic.
спасибо за Ваш ответ. На данный момент это образовательные цели, должен ли FileStreamSource просматривать файлы по умолчанию или требуется конфигурация, которую я в настоящее время не использую? Я попробую что-то более надежное, как вы предлагаете, как только я докажу первоначальный вариант использования.