Постепенно копируйте S3 в лазурный BLOB-объект

Я изучаю способы постепенного копирования больших двоичных объектов S3 в лазурные капли. Я попробовал лазурную фабрику данных, но мне не удалось найти эту опцию.

В S3 миллионы объектов, и без дополнительной опции на его выполнение уйдут часы.

Я открыт для изучения других инструментов / опций.

Как установить LAMP Stack - Security 5/5 на виртуальную машину Azure Linux VM
Как установить LAMP Stack - Security 5/5 на виртуальную машину Azure Linux VM
В предыдущей статье мы завершили установку базы данных, для тех, кто не знает.
Как установить LAMP Stack 1/2 на Azure Linux VM
Как установить LAMP Stack 1/2 на Azure Linux VM
В дополнение к нашему предыдущему сообщению о намерении Azure прекратить поддержку Azure Database для MySQL в качестве единого сервера после 16...
0
0
429
1

Ответы 1

если вам нужно делать ежедневное / ежечасное инкрементное копирование, можно использовать триггер Запланированное / опрокидывающееся окно. Здесь - это пример для ссылки. ADFv2 также поддерживает сжатие при копировании, вы можете указать тип и уровень сжатия для объекта s3, щелкните здесь для получения дополнительной информации.

Я все еще новичок в фабрике данных. Мне кажется, что этот пример хорош, если файлы хорошо структурированы в корзине S3. В нашем сценарии мы не знаем, в какой папке или в каком файле будут обновления. Я пытаюсь достичь после начальной загрузки, и если мы запустим фабрику данных по расписанию, мы хотим, чтобы из AWS в Azure были перемещены только измененные файлы.

Dan 02.11.2018 20:09

Вы нашли решение этого?

Markive 20.11.2018 12:23

Другие вопросы по теме