Зарегистрируйте состояние запуска конвейера ADF (Azure Data Factory)
У меня есть конвейер ADF с триггером, который запускает конвейер один раз в день. Я хотел бы узнать статус запуска конвейера (последний запуск конвейера) и зарегистрировать его где-нибудь (возможно, в журнале аналитики). Как мне это сделать?
ОБНОВЛЯТЬ:
Я следовал предложенному ниже решению, однако не вижу журналов при выполнении запроса ADFPipelineRun в аналитике журналов. Что мне не хватает?
Ответы 1
В случае, если вы хотите иметь журнал, относящийся только к последнему запуску, вам придется написать собственную логику в вашем конвейере (например, действие сценария, которое будет записывать в базу данных статус конвейера в конце)
ссылка на образец: https://datasharkx.wordpress.com/2021/08/19/error-logging-and-the-art-of-avoiding-redundant-activities-in-azure-data-factory/
В случае, если вам удобно запрашивать список журналов и отфильтровывать последние из них на основе некоторой логики фильтрации, вы можете использовать аналитику журналов или большие двоичные объекты хранилища, включив параметры диагностики.
learn.microsoft.com/en-us/azure/data-factory/… этот документ может помочь
Спасибо! Не могли бы вы пояснить 2-й вариант? Должен ли я добавить аналитику журналов в конвейер? Просьба уточнить? Или мне следует обновить настройку конвейера для отправки журналов в аналитику журналов? Уточните, пожалуйста, необходимые шаги.