Синхронизация файлов Azure с хранилищем BLOB-объектов

Синхронизируйте файлы Azure с хранилищем BLOB-объектов.

AzCopy — лучший инструмент для синхронизации данных между общим файловым ресурсом Azure и хранилищем BLOB-объектов Azure.

Вы можете использовать AzCopy для копирования данных между общими файловыми ресурсами и хранилищем BLOB-объектов. Он поддерживает как однократные, так и запланированные операции синхронизации.

Чтобы использовать AzCopy для синхронизации данных между общими файловыми ресурсами Azure и хранилищем BLOB-объектов, вы можете выполнить следующую команду:

Команда и вывод:

azcopy sync "https://venkatxxxx.file.core.windows.net/share1/sample/?sv=2022-11-02&ss=bfqt&srt=sco&sp=rwdlacupyx&se=2024-06-27T14:41:41Z&st=2024-06-27T06:41:41Z&spr=https&sig=ozzzzzzzD" "https://venkatxxxx.blob.core.windows.net/test/data/?sv=2022-11-02&ss=bfqt&srt=sco&sp=rwdlacupyx&se=2024-06-27T14:41:41Z&st=2024-06-27T06:41:41Z&spr=https&sig=oVE3Szzzzzz3D" --recursive=true

INFO: Any empty folders will not be processed, because source and/or destination doesn't have full folder support

Job 8c7e4zzzzf71d1c31ef has started
Log file is located at: C:\Users\zzz\.azcopy\8zzzzf-63f2-12f71d1c31ef.log

INFO: azcopy.exe 10.22.2: A newer version 10.25.1 is available to download

100.0 %, 5 Done, 0 Failed, 0 Pending, 5 Total, 2-sec Throughput (Mb/s): 0

Job 8c7zzzzzz1d1c31ef Summary
Files Scanned at Source: 5
Files Scanned at Destination: 0
Elapsed Time (Minutes): 0.1339
Number of Copy Transfers for Files: 5
Number of Copy Transfers for Folder Properties: 0
Total Number Of Copy Transfers: 5
Number of Copy Transfers Completed: 5
Number of Copy Transfers Failed: 0
Number of Deletions at Destination: 0
Total Number of Bytes Transferred: 272650
Total Number of Bytes Enumerated: 272650
Final Job Status: Completed

Вы можете выполнить приведенную выше команду на виртуальной машине или любом компьютере, имеющем доступ как к общему файловому ресурсу Azure, так и к хранилищу BLOB-объектов. Чтобы автоматизировать операцию синхронизации, вы можете запланировать запуск команды через регулярные промежутки времени, используя такой инструмент, как Azure Functions или Azure Logic Apps.

Я думал об использовании AzCopy на виртуальной машине, но мне интересно, есть ли более простое решение.

Другой вариант — Azure data factory, который создает конвейер, который передает данные (действия копирования) из файлового ресурса Azure в контейнер BLOB-объектов, а затем планирует выполнение конвейера через регулярные промежутки времени.

Ссылка:

Действия копирования — Фабрика данных Azure и Azure Synapse | Microsoft Learn