Как преобразовать столбец перед копированием?
Я хотел бы скопировать таблицу из источника A в источник B, но прежде чем я хочу преобразовать значения столбца. Как я мог это сделать? Я пытался сделать это в отображении, пытаясь добавить динамический контент, но я думаю, что делаю это неправильно.
Спасибо!
Ответы 4
jnoguerm, пожалуйста, продолжайте использовать идею хранимой процедуры, о которой я упоминал в предыдущем случае: Как копировать данные в Фабрике данных Azure в зависимости от значений?.
Вы можете скопировать данные из исходной таблицы во временную таблицу. И выполнить преобразование и вставить операции в хранимую процедуру. В этом случае: Фабрика данных Azure, сопоставление 2 столбцов в одном столбце, спрашивающий хочет объединить два столбца в один столбец (изменить, объединить, вычислить, обновить ,уменьшить и т. д.), вы можете обратиться к деталям на этой странице.
Ваш вариант использования звучит так, как будто вы могли бы использовать новую функцию потока данных (в настоящее время в предварительной версии): https://docs.microsoft.com/en-us/azure/data-factory/data-flow-create.
Прежде чем я смогу ответить на ваш вопрос, важно знать объем и источник данных. Однако у этой проблемы может быть три возможных решения.
1. Действия с хранимыми процедурами в Фабрике данных Azure
- Используйте действие копирования в фабрике данных Azure, чтобы перенести данные в SQL (промежуточные таблицы), но если ваш источник уже является SQL, вы можете пропустить этот шаг.
- Напишите хранимую процедуру, включающую все необходимые преобразования.
- Используйте действие хранимой процедуры, чтобы выполнить все необходимые преобразования и вставить данные в итоговую таблицу.
2. Используйте пакет SSIS в Фабрике данных Azure.
Вам не нужно переносить данные в промежуточную среду, вы можете создать пакет SSIS с помощью SQL Server Data Tools на своем локальном компьютере. Добавить источник, преобразования и назначения
Добавьте этот пакет служб SSIS в Фабрику данных Azure, если для вас обязательно должна быть Фабрика данных Azure. В противном случае вы можете просто запланировать пакет служб SSIS с помощью агента задания SQL.
3. Используйте поток данных с фабрикой данных Azure версии 2.0
Data Flow сейчас находится в режиме предварительного просмотра, поэтому вы не можете использовать это решение для любого готового решения.
При создании Фабрики данных Azure вам будет предложено выбрать Фабрику данных версии 1, Фабрику данных версии 2 или Поток данных с фабрикой данных версии 2. Итак, вам нужно выбрать третий вариант
Теперь вы можете выполнять здесь большинство своих преобразований, которые вы могли бы выполнять в пакете SSIS. Он прост в использовании, все средства перетаскивания для различных преобразований между источником и местом назначения. И это лучшее решение, даже если объем данных очень велик.
Надеюсь, это будет полезно для вас. Всего наилучшего. Ваше здоровье!
Использовать сопоставление потоков данных в ADF: https://docs.microsoft.com/en-us/azure/data-factory/data-flow-derived-column