Как выполнить экспорт из таблицы сервера sql в несколько CSV-файлов в Фабрике данных Azure
У меня есть простая таблица клиентов на сервере sql, которая содержит 2 столбца - имя клиента и город. В фабрике данных Azure, как я могу экспортировать эту таблицу в несколько файлов csv, каждый файл будет содержать только список клиентов из одного города, который будет именем файла
Я уже пытался и преуспел, разбить его на разные файлы, используя поиск и foreach, но данные остаются нефильтрованными по городу.
есть идеи у кого-нибудь?
Ответы 2
Вам нужно будет следовать приведенной ниже схеме:
- LookUp Activity: Запрос: Выберите отдельный город из таблицы
- За каждое занятие
Ввод:@activity('LookUp').output.valueа) Копирование деятельности i) Источник: Dynamic Query Select * from t1, где city=@item().City
Это должно создавать отдельные файлы для каждой страны по мере необходимости.
Шаги: 1)
Пакетное задание может быть любым числом параллельных выполнений.
- Создайте параметризованный набор данных:
5)
Результат: у меня есть 2 разных объекта, поэтому генерируются 2 файла.
Вход :
Выход:
@Golan: см. приведенный выше отредактированный ответ. Это должно помочь вам в настройке конвейера. Примечание. Страна эквивалентна объекту в примере.
Нандан, большое спасибо за ваш подробный ответ - он безупречен и совершенен, спасибо!
@Golan Рад, что смог помочь :) надеюсь, вы примете это как ответ, так как это может быть полезно и другим членам сообщества.
Привет @Nandan. можно ли добавить фильтр к исходному запросу в действии копирования данных. например - действие копирования i) Источник: динамический запрос Выберите * из t1, где State=@item().State И я хочу добавить к запросу фильтр по городу = 'Лондон'
Привет @Golan, вы можете ответить взаимностью на любой SQL-запрос в операции копирования данных по мере необходимости :) Потому что в идеале этот запрос выполняется на самом SQL-сервере.
Вы можете использовать Поток данных, чтобы легко добиться этого.
Я сделал для вас пример. Я создаю таблицу как источник, экспортирую эту таблицу в несколько файлов csv, каждый файл будет содержать только список клиентов из одного города, который будет именем файла.
Источник потока данных:
Настройки приемника потока данных: Параметры имени файла: как данные в столбце и использовать автоматическое сопоставление.
Проверьте выходные файлы и данные в нем:
ХТН.
Спасибо за ваш подробный ответ, который также является способом сделать это.
@Golan Добро пожаловать! Я думаю, что использовать Data Flow намного проще, просто выберите способ, который вам больше нравится. Если ответ полезен для вас, надеюсь, вы примете его как ответ. Это может быть полезно другим участникам сообщества. Спасибо и счастливого Рождества!
не сработало ... Я получил эту ошибку - Операция над целью ForEach1 не удалась: сбой операции, потому что внутренняя активность не удалась