Как реализовать дополнительную нагрузку на АПД
У нас есть 2 папки в источнике и назначении adls. В исходной папке есть 4 файла, а в целевой — 3. Как реализовать инкрементальную загрузку в ADF. Какие все действия мы должны выполнить для достижения дополнительной загрузки в ADF.
Мой подход:
1) use getmetadata activity parallelly for both source and
destination folder and pass child item on field list.
2) store the immediate result on set variable activity parallelly for both source and destination.
3) Use If condition and pass condition if (not(contains(destination_set_varriable,set_varriable) then use copy activity
@Bhavani Я отредактировал свой подход
Ответы 1
Вы можете выполнить следующую процедуру для достижения вашего требования:
Используйте два действия получения метаданных, чтобы получить файлы в источнике и месте назначения со списком полей дочерних элементов. Вы можете найти результаты получения метаданных, как показано ниже:
Источник:
Место назначения:
Добавьте действие фильтра при успешном выполнении действий с метаданными с исходными дочерними элементами в качестве элементов @activity('source').output.childItems и задайте условие @not(contains(activity('destination').output.childItems,item())), как показано ниже:
Вы получите выходную активность фильтра, как показано ниже:
Добавьте действие копирования в действие фильтра, возьмите источник с параметром набора данных имя_файла для имени файла со значением @activity('Filter1').output.Value[0].name в качестве источника и добавьте набор данных приемника, отладьте конвейер, файл, которого нет в пункте назначения, будет успешно скопирован в пункт назначения, как показано ниже:
Не могли бы вы описать свой подход и при каких условиях вы хотите реализовать дополнительную нагрузку?