У меня есть схема avro в NiFi, которая проверяет столбцы файла CSV, все работает хорошо, однако в идеале я хотел бы иметь дополнительный уровень проверки для определенного столбца строки, чтобы проверить, придерживаются ли они определенных шаблонов. Например ABC1234-X или что-то еще. Здесь есть морщинка: схема avro создается для определенных ожидаемых файлов, поэтому процессоры NiFi должны быть универсальными.
Есть ли способ сделать это с помощью схемы avro?
Таким образом, для каждого выбранного файла csv в реестре схем будет указана соответствующая схема avro. Итак, avro знает, каких столбцов он ожидает. Что мне нужно сделать, так это для определенных строковых столбцов применить правило проверки на основе регулярного выражения
Одно и то же имя столбца для каждого файла, для которого вы хотите его проверить? Или есть регулярное выражение, связанное с именем столбца, которое вы хотите применить для целей проверки?