Дополнительные файлы (блочные BLOB-объекты), создаваемые при копировании хранилища BLOB-объектов в ADF
Я последовал решению, приведенному в этой теме , копирование данных прошло успешно, но я получаю имена папок в виде блочных объектов, которые являются дополнительными файлами в целевой учетной записи хранения:
Данные контейнера исходного хранилища:
После копирования целевой контейнер хранения, содержащий дополнительные файлы блочных BLOB-объектов, как показано ниже:
Почему создаются эти дополнительные файлы и есть ли ошибки в решении, которому я следовал:
Весь трубопровод:
Шаг 1. Получите активность метаданных
Шаг 2: Для каждого мероприятия:
Скопируйте действие внутри для каждого действия:
как контейнеры, а не как папки
А в вашей целевой учетной записи хранения все копируются как папки в один контейнер? эти папки также являются папками в источнике?
Четкая деталь: исходное хранилище содержит 1 контейнер >> 11 папок + 1 файл. То же самое копируется в целевую учетную запись хранения с использованием вышеуказанного решения ADF. После копирования я вижу, что добавлено 10 дополнительных файлов (папки представлены в виде блочных объектов).
Одно из моих наблюдений: моя исходная учетная запись хранения имеет тип ADLS2, а целевая учетная запись хранения — типа GPv2. Является ли это причиной того, что папки снова копируются как блочные объекты в целевой контейнер хранилища? @РакешГовиндула
Привет @RakeshGovindula! Эта проблема с нашей стороны. На развернутых нами ресурсах была включена некоторая политика ITS, что несколько нарушило операцию копирования данных. Теперь это решено. Спасибо. Вы можете опубликовать решение, например 1. Убедитесь, что исходная и целевая учетные записи хранения имеют один и тот же тип, например ADLS2 или GPv2. 2. Убедитесь, что для обеих учетных записей хранения не включены ограничения доступа для операций чтения/записи данных. Тщательно проверьте проверки, а затем скопируйте перенос данных.
Ответы 1
Спасибо, @Jashua Criss, за публикацию нашего обсуждения как ответа для сообщества.
Чтобы удовлетворить ваши требования, вам необходимо убедиться, что исходная и целевая учетные записи хранения совпадают: ADLS2 или GPv2. Кроме того, используйте связанные службы ADLS gen2 как для источника, так и для цели.
Результаты в одном контейнере:
Хотите скопировать контейнеры из исходной учетной записи хранения в качестве контейнеров в целевой учетной записи хранения? или как папки в одном контейнере целевой учетной записи хранения?