Лучший способ сохранить «Последнюю дату выполнения» в Фабрике данных Azure

Каждый день я запускаю конвейер, который запускает операцию копирования данных (DB2 => файл Parquet).

Как я могу сохранить «Последнюю дату выполнения» этого действия?

Есть ли передовое решение?

Потому что было бы прискорбно, если бы мы должны были делать это по-старому (сохранять дату в текстовом файле или таблице SQL,...)

Спасибо.

где вы хотите сохранить последнюю дату выполнения конвейера?

Pratik Lad 19.11.2022 04:52

У меня нет определенного места. Есть ли лучший способ сделать это? Без записи в файл (текстовый файл, паркет,...) и последующего чтения. Может быть, лучше всего хранить его в SQL Serverless?

Salah K. 19.11.2022 13:36
Стоит ли изучать PHP в 2023-2024 годах?
Стоит ли изучать PHP в 2023-2024 годах?
Привет всем, сегодня я хочу высказать свои соображения по поводу вопроса, который я уже много раз получал в своем сообществе: "Стоит ли изучать PHP в...
Поведение ключевого слова "this" в стрелочной функции в сравнении с нормальной функцией
Поведение ключевого слова "this" в стрелочной функции в сравнении с нормальной функцией
В JavaScript одним из самых запутанных понятий является поведение ключевого слова "this" в стрелочной и обычной функциях.
Приемы CSS-макетирования - floats и Flexbox
Приемы CSS-макетирования - floats и Flexbox
Здравствуйте, друзья-студенты! Готовы совершенствовать свои навыки веб-дизайна? Сегодня в нашем путешествии мы рассмотрим приемы CSS-верстки - в...
Тестирование функциональных ngrx-эффектов в Angular 16 с помощью Jest
В системе управления состояниями ngrx, совместимой с Angular 16, появились функциональные эффекты. Это здорово и делает код определенно легче для...
Концепция локализации и ее применение в приложениях React ⚡️
Концепция локализации и ее применение в приложениях React ⚡️
Локализация - это процесс адаптации приложения к различным языкам и культурным требованиям. Это позволяет пользователям получить опыт, соответствующий...
Пользовательский скаляр GraphQL
Пользовательский скаляр GraphQL
Листовые узлы системы типов GraphQL называются скалярами. Достигнув скалярного типа, невозможно спуститься дальше по иерархии типов. Скалярный тип...
0
2
135
2
Перейти к ответу Данный вопрос помечен как решенный

Ответы 2

Если вы хотите знать, когда ADF был активирован запланированным триггером. Вы можете использовать этот API.

https://learn.microsoft.com/en-us/rest/api/datafactory/trigger-runs/query-by-factory?tabs=HTTP

{
  "value": [
    {
      "triggerName": "exampleTrigger",
      "triggerRunId": "08586724970898148904457116912CU27",
      "triggerType": "ScheduleTrigger",
      "triggerRunTimestamp": "2018-06-16T00:43:15.660141Z",
      "status": "Succeeded",
      "message": "",
      "properties": {
        "TriggerTime": "6/16/2018 12:43:15 AM",
        "ScheduleTime": "6/16/2018 12:43:14 AM"
      },
      "triggeredPipelines": {
        "examplePipeline": "9f3ce8b3-37d7-43eb-96ac-a656c0476283"
      }
    }
  ]

}

а для запуска Pipelines вы можете использовать API

https://learn.microsoft.com/en-us/rest/api/datafactory/pipeline-runs/query-by-factory?tabs=HTTP

{
  "value": [
    {
      "runId": "2f7fdb90-5df1-4b8e-ac2f-064cfa58202b",
      "pipelineName": "examplePipeline",
      "parameters": {
        "OutputBlobNameList": "[\"exampleoutput.csv\"]"
      },
      "invokedBy": {
        "id": "80a01654a9d34ad18b3fcac5d5d76b67",
        "name": "Manual"
      },
      "runStart": "2018-06-16T00:37:44.6257014Z",
      "runEnd": "2018-06-16T00:38:12.7314495Z",
      "durationInMs": 28105,
      "status": "Succeeded",
      "message": "",
      "lastUpdated": "2018-06-16T00:38:12.7314495Z",
      "annotations": [],
      "runDimension": {
        "JobId": "79c1cc52-265f-41a5-9553-be65e736fbd3"
      }
    },
    {
      "runId": "16ac5348-ff82-4f95-a80d-638c1d47b721",
      "pipelineName": "examplePipeline",
      "parameters": {
        "OutputBlobNameList": "[\"exampleoutput.csv\"]"
      },
      "invokedBy": {
        "id": "7c5fd7ef7e8a464b98b931cf15fcac66",
        "name": "Manual"
      },
      "runStart": "2018-06-16T00:39:49.2745128Z",
      "runEnd": null,
      "durationInMs": null,
      "status": "Cancelled",
      "message": "",
      "lastUpdated": "2018-06-16T00:39:51.216097Z",
      "annotations": [],
      "runDimension": {
        "JobId": "84a3c493-0628-4b44-852f-ef5b3a11bdab"
      }
    }
  ]
}
Ответ принят как подходящий

Лучший способ сохранить «Последнюю дату выполнения» в Фабрике данных Azure

Таблица SQL — это лучший способ сохранить Last Execution Date активность или конвейер, потому что в таблице SQL вы можете обновлять значение, а также добавлять значение. Но в файле csv, текстовом файле вы не можете добавить в него значение. Он просто перезапишет это значение.

Чтобы сохранить значение в таблице SQL, вы можете выполнить следующую процедуру: Просто вы можете использовать script activity после этого copy activity с запросом на вставку и функцией @utcnow().

ВЫВОД

Другие вопросы по теме

Похожие вопросы

Фабрика данных Azure — повторите попытку для действия копирования вставки (AzureSQL DB)
Каков отраслевой стандарт метода дедупликации в потоках данных?
Как снова использовать вновь созданный столбец в преобразовании производного столбца в том же преобразовании производного столбца?
Как проверить, пусты ли файлы в каталоге озера данных с помощью Фабрики данных Azure?
Azure Databricks: непредвиденный сбой при ожидании готовности кластера. Причина Кластер непригоден для использования, так как драйвер неисправен
Выражение фабрики данных Azure
Как скопировать данные из действия «Добавить переменную» в CSV-файл с помощью Фабрики данных Azure
Добавление, созданное при копировании данных из SQL в Azure Data Lake 2-го поколения
Обработка исключений для действия копирования в фабрике данных Azure
Как создать карту "ключ-значение" с выражением конвейера (не с выражением потока данных) в фабрике данных Azure (Synapse Studio)