Я изучаю способы постепенного копирования больших двоичных объектов S3 в лазурные капли. Я попробовал лазурную фабрику данных, но мне не удалось найти эту опцию.
В S3 миллионы объектов, и без дополнительной опции на его выполнение уйдут часы.
Я открыт для изучения других инструментов / опций.
если вам нужно делать ежедневное / ежечасное инкрементное копирование, можно использовать триггер Запланированное / опрокидывающееся окно. Здесь - это пример для ссылки. ADFv2 также поддерживает сжатие при копировании, вы можете указать тип и уровень сжатия для объекта s3, щелкните здесь для получения дополнительной информации.
Вы нашли решение этого?
Я все еще новичок в фабрике данных. Мне кажется, что этот пример хорош, если файлы хорошо структурированы в корзине S3. В нашем сценарии мы не знаем, в какой папке или в каком файле будут обновления. Я пытаюсь достичь после начальной загрузки, и если мы запустим фабрику данных по расписанию, мы хотим, чтобы из AWS в Azure были перемещены только измененные файлы.