Процессор Nifi QueryDatabaseTable приводит к потере данных при работе как Docker Image

Как правило, QueryDatabaseTable (QDT) должна планироваться со скоростью, соизмеримой со значениями в столбце максимального значения. Использование столбца максимального значения типа Date (без отметки времени) означает, что вы должны проверять наличие новых значений (т.е. планировать процессор QDT) только каждый день, а не каждые 5 минут. В противном случае как процессор узнает, что нужно брать строки с текущим днем, которые поступили с момента последней проверки? Он смотрит только на дату и (гипотетически) либо захватит все данные с этим значением для даты, что приведет к дублированию данных, либо (как он на самом деле ведет себя) будет искать данные со значением следующего дня, которые он выиграл. не найти до следующего дня, что также приводит к потере данных.

Возможные обходные пути - запланировать запуск QDT один раз в день или добавить / изменить столбец, чтобы включить временную метку и запланировать QDT соответственно, или использовать другой столбец (возможно, через представление БД), который всегда увеличивается для каждой новой строки в качестве максимального значения Столбец.

Надеюсь, что когда-нибудь появится также процессор Oracle CDC (вероятно, использующий LogMiner) для получения изменений в режиме, близком к реальному времени, может быть способ использовать таблицы QDT и Oracle / LogMiner для эмуляции этой возможности, если изменения доступны в таблица с такими же качествами (т. е. столбец максимального значения, который всегда увеличивается по отношению к расписанию выполнения QDT).