Как отслеживать ежедневные входящие файлы данных в файлах Azure и сохранять их в базе данных SQL
Я хотел бы ежедневно регистрировать все файлы, загружаемые в хранилище Azure. Можно ли получить доступ к этой информации в виде сводки?
Мне нужна информация, такая как имя файла и время загрузки. И как я могу их прочитать и сохранить в базе данных, есть ли какая-либо услуга?
Спасибо.
Формат таблицы, два столбца с именем файла и датой загрузки в качестве заголовка. Или формат json, если он каким-то образом читается и обрабатывается в базе данных, возможно, с помощью процедуры хранения. Может быть, это можно прочитать с помощью фабрики данных Azure?
Фабрика данных получает Метаданные могут получить желаемый результат.
решил мою проблему. Спасибо
Привет @Walerius, пожалуйста! Не могли бы вы принять это как ответ (нажмите на галочку рядом с ответом, чтобы переключить его с серого на заполненный.)? Это может быть полезно другим участникам сообщества. Спасибо.
Ответы 1
Вы можете использовать Data Factory Get Metadata active, он может получить желаемый результат.
См. ссылку: https://learn.microsoft.com/en-us/azure/data-factory/control-flow-get-metadata-activity
Get Metadata отлично работает для имен файлов. У меня есть папка, и я получаю дочерние элементы (фактические файлы и данные, которые мне нужны). Есть ли способ получить фактическое время/дату загрузки данных в хранилище Azure?
@Walerius Обычно в файле есть метаданные: LAST MODIFIED, если мы не модифицировали или не меняли файлы, это время, когда файлы были загружены. На данный момент мы не можем получить фактическое время/дату загрузки данных.
Каким способом хотели бы получить сводку?