Каждый день я запускаю конвейер, который запускает операцию копирования данных (DB2 => файл Parquet).
Как я могу сохранить «Последнюю дату выполнения» этого действия?
Есть ли передовое решение?
Потому что было бы прискорбно, если бы мы должны были делать это по-старому (сохранять дату в текстовом файле или таблице SQL,...)
Спасибо.
У меня нет определенного места. Есть ли лучший способ сделать это? Без записи в файл (текстовый файл, паркет,...) и последующего чтения. Может быть, лучше всего хранить его в SQL Serverless?
Если вы хотите знать, когда ADF был активирован запланированным триггером. Вы можете использовать этот API.
https://learn.microsoft.com/en-us/rest/api/datafactory/trigger-runs/query-by-factory?tabs=HTTP
{
"value": [
{
"triggerName": "exampleTrigger",
"triggerRunId": "08586724970898148904457116912CU27",
"triggerType": "ScheduleTrigger",
"triggerRunTimestamp": "2018-06-16T00:43:15.660141Z",
"status": "Succeeded",
"message": "",
"properties": {
"TriggerTime": "6/16/2018 12:43:15 AM",
"ScheduleTime": "6/16/2018 12:43:14 AM"
},
"triggeredPipelines": {
"examplePipeline": "9f3ce8b3-37d7-43eb-96ac-a656c0476283"
}
}
]
}
а для запуска Pipelines вы можете использовать API
https://learn.microsoft.com/en-us/rest/api/datafactory/pipeline-runs/query-by-factory?tabs=HTTP
{
"value": [
{
"runId": "2f7fdb90-5df1-4b8e-ac2f-064cfa58202b",
"pipelineName": "examplePipeline",
"parameters": {
"OutputBlobNameList": "[\"exampleoutput.csv\"]"
},
"invokedBy": {
"id": "80a01654a9d34ad18b3fcac5d5d76b67",
"name": "Manual"
},
"runStart": "2018-06-16T00:37:44.6257014Z",
"runEnd": "2018-06-16T00:38:12.7314495Z",
"durationInMs": 28105,
"status": "Succeeded",
"message": "",
"lastUpdated": "2018-06-16T00:38:12.7314495Z",
"annotations": [],
"runDimension": {
"JobId": "79c1cc52-265f-41a5-9553-be65e736fbd3"
}
},
{
"runId": "16ac5348-ff82-4f95-a80d-638c1d47b721",
"pipelineName": "examplePipeline",
"parameters": {
"OutputBlobNameList": "[\"exampleoutput.csv\"]"
},
"invokedBy": {
"id": "7c5fd7ef7e8a464b98b931cf15fcac66",
"name": "Manual"
},
"runStart": "2018-06-16T00:39:49.2745128Z",
"runEnd": null,
"durationInMs": null,
"status": "Cancelled",
"message": "",
"lastUpdated": "2018-06-16T00:39:51.216097Z",
"annotations": [],
"runDimension": {
"JobId": "84a3c493-0628-4b44-852f-ef5b3a11bdab"
}
}
]
}
Лучший способ сохранить «Последнюю дату выполнения» в Фабрике данных Azure
Таблица SQL — это лучший способ сохранить Last Execution Date
активность или конвейер, потому что в таблице SQL вы можете обновлять значение, а также добавлять значение. Но в файле csv, текстовом файле вы не можете добавить в него значение. Он просто перезапишет это значение.
Чтобы сохранить значение в таблице SQL, вы можете выполнить следующую процедуру:
Просто вы можете использовать script activity
после этого copy activity
с запросом на вставку и функцией @utcnow()
.
ВЫВОД
где вы хотите сохранить последнюю дату выполнения конвейера?