Как проверить имена столбцов и порядок столбцов в фабрике данных Azure
Я хочу прочитать имена столбцов из файла, хранящегося в файлах Azure, а затем проверить имена столбцов и последовательность, например. "First_Column"="First_Column", "Second_Column"= "Second_Column", ... и т. д., а также порядок должен совпадать. Предложите способ сделать это в фабрике данных Azure.
Ответы 1
Обновлять:
В качестве альтернативы мы можем использовать операцию поиска для просмотра заголовков, но условие оценки будет немного сложным.
В If Condition1 мы можем использовать выражение:
@and(and(equals(activity('Lookup1').output.firstRow.Prop_0,'First_Column'),equals(activity('Lookup1').output.firstRow.Prop_1,'Second_Column')),equals(activity('Lookup1').output.firstRow.Prop_2,'Third_Column'))
Мы можем проверить имена и последовательность столбцов в потоке данных с помощью шаблонов столбцов в производном столбце.
Например:
CSV-файл исходных данных выглядит так:
Поток данных такой: Я не выбираю First row как header , поэтому мы можем считывать заголовки файла csv в поток данных.
Затем я использую SurrogateKey1, чтобы добавить row_no к данным.
Предварительный просмотр данных выглядит так:
В действии ConditionalSplit1 я использую
row_no == 1для фильтрации заголовков.В действии DerivedColumn1 я использую несколько шаблонов столбцов для проверки имен и последовательности столбцов. Результат такой:
Спасибо, Джозеф. Это возможно только через потоки данных. Без потоков данных есть ли возможность в обычных других действиях в ADF? Если возможно.
Привет @Yogesh Kulkarni, я думаю, мы можем использовать действие «Поиск» и действие «Если условие». Но условие суждения будет немного сложным. Пожалуйста, смотрите мой обновленный ответ.
Большое спасибо Джозеф. Я проверю этот вариант.
Я думаю, вы можете проверить это с помощью шаблонов столбцов в производном столбце в потоке данных.
nameпредставляет имя каждого входящего столбца, аposition— порядковое положение столбцов в вашем потоке данных.