Лучший способ сохранить «Последнюю дату выполнения» в Фабрике данных Azure

Каждый день я запускаю конвейер, который запускает операцию копирования данных (DB2 => файл Parquet).

Как я могу сохранить «Последнюю дату выполнения» этого действия?

Есть ли передовое решение?

Потому что было бы прискорбно, если бы мы должны были делать это по-старому (сохранять дату в текстовом файле или таблице SQL,...)

Спасибо.

Где вы хотите сохранить последнюю дату выполнения конвейера?

Pratik Lad 19.11.2022 04:52

У меня нет определенного места. Есть ли лучший способ сделать это? Без записи в файл (текстовый файл, паркет,...) и последующего чтения. Может быть, лучше всего хранить его в SQL Serverless?

Salah K. 19.11.2022 13:36
Как настроить Tailwind CSS с React.js и Next.js?
Как настроить Tailwind CSS с React.js и Next.js?
Tailwind CSS - единственный фреймворк, который, как я убедился, масштабируется в больших командах. Он легко настраивается, адаптируется к любому...
LeetCode запись решения 2536. Увеличение подматриц на единицу
LeetCode запись решения 2536. Увеличение подматриц на единицу
Увеличение подматриц на единицу - LeetCode
Переключение светлых/темных тем
Переключение светлых/темных тем
В Microsoft Training - Guided Project - Build a simple website with web pages, CSS files and JavaScript files, мы объясняем, как CSS можно...
Отношения "многие ко многим" в Laravel с методами присоединения и отсоединения
Отношения "многие ко многим" в Laravel с методами присоединения и отсоединения
Отношения "многие ко многим" в Laravel могут быть немного сложными, но с помощью Eloquent ORM и его моделей мы можем сделать это с легкостью. В этой...
В PHP
В PHP
В большой кодовой базе с множеством различных компонентов классы, функции и константы могут иметь одинаковые имена. Это может привести к путанице и...
Карта дорог Беладжар PHP Laravel
Карта дорог Беладжар PHP Laravel
Laravel - это PHP-фреймворк, разработанный для облегчения разработки веб-приложений. Laravel предоставляет различные функции, упрощающие разработку...
0
2
135
2
Перейти к ответу Данный вопрос помечен как решенный

Ответы 2

Если вы хотите знать, когда ADF был активирован запланированным триггером. Вы можете использовать этот API.

Https://learn.microsoft.com/en-us/rest/api/datafactory/trigger-runs/query-by-factory?tabs=HTTP

{
  "value": [
    {
      "triggerName": "exampleTrigger",
      "triggerRunId": "08586724970898148904457116912CU27",
      "triggerType": "ScheduleTrigger",
      "triggerRunTimestamp": "2018-06-16T00:43:15.660141Z",
      "status": "Succeeded",
      "message": "",
      "properties": {
        "TriggerTime": "6/16/2018 12:43:15 AM",
        "ScheduleTime": "6/16/2018 12:43:14 AM"
      },
      "triggeredPipelines": {
        "examplePipeline": "9f3ce8b3-37d7-43eb-96ac-a656c0476283"
      }
    }
  ]

}

А для запуска Pipelines вы можете использовать API

Https://learn.microsoft.com/en-us/rest/api/datafactory/pipeline-runs/query-by-factory?tabs=HTTP

{
  "value": [
    {
      "runId": "2f7fdb90-5df1-4b8e-ac2f-064cfa58202b",
      "pipelineName": "examplePipeline",
      "parameters": {
        "OutputBlobNameList": "[\"exampleoutput.csv\"]"
      },
      "invokedBy": {
        "id": "80a01654a9d34ad18b3fcac5d5d76b67",
        "name": "Manual"
      },
      "runStart": "2018-06-16T00:37:44.6257014Z",
      "runEnd": "2018-06-16T00:38:12.7314495Z",
      "durationInMs": 28105,
      "status": "Succeeded",
      "message": "",
      "lastUpdated": "2018-06-16T00:38:12.7314495Z",
      "annotations": [],
      "runDimension": {
        "JobId": "79c1cc52-265f-41a5-9553-be65e736fbd3"
      }
    },
    {
      "runId": "16ac5348-ff82-4f95-a80d-638c1d47b721",
      "pipelineName": "examplePipeline",
      "parameters": {
        "OutputBlobNameList": "[\"exampleoutput.csv\"]"
      },
      "invokedBy": {
        "id": "7c5fd7ef7e8a464b98b931cf15fcac66",
        "name": "Manual"
      },
      "runStart": "2018-06-16T00:39:49.2745128Z",
      "runEnd": null,
      "durationInMs": null,
      "status": "Cancelled",
      "message": "",
      "lastUpdated": "2018-06-16T00:39:51.216097Z",
      "annotations": [],
      "runDimension": {
        "JobId": "84a3c493-0628-4b44-852f-ef5b3a11bdab"
      }
    }
  ]
}
Ответ принят как подходящий
Лучший способ сохранить «Последнюю дату выполнения» в Фабрике данных Azure

Таблица SQL — это лучший способ сохранить Last Execution Date активность или конвейер, потому что в таблице SQL вы можете обновлять значение, а также добавлять значение. Но в файле csv, текстовом файле вы не можете добавить в него значение. Он просто перезапишет это значение.

Чтобы сохранить значение в таблице SQL, вы можете выполнить следующую процедуру: Просто вы можете использовать script activity после этого copy activity с запросом на вставку и функцией @utcnow().

ВЫВОД

Другие вопросы по теме

Похожие вопросы

Фабрика данных Azure — повторите попытку для действия копирования вставки (AzureSQL DB)
Каков отраслевой стандарт метода дедупликации в потоках данных?
Как снова использовать вновь созданный столбец в преобразовании производного столбца в том же преобразовании производного столбца?
Как проверить, пусты ли файлы в каталоге озера данных с помощью Фабрики данных Azure?
Azure Databricks: непредвиденный сбой при ожидании готовности кластера. Причина Кластер непригоден для использования, так как драйвер неисправен
Выражение фабрики данных Azure
Как скопировать данные из действия «Добавить переменную» в CSV-файл с помощью Фабрики данных Azure
Добавление, созданное при копировании данных из SQL в Azure Data Lake 2-го поколения
Обработка исключений для действия копирования в фабрике данных Azure
Как создать карту "ключ-значение" с выражением конвейера (не с выражением потока данных) в фабрике данных Azure (Synapse Studio)