Как скопировать приватную корзину aws в хранилище azure

Я хочу скопировать папку с большими файлами в хранилище Azure.

Я нашел эту статью, в которой показано, как скопировать общедоступную корзину aws в azure: https://microsoft.github.io/AzureTipsAndTricks/blog/tip220.html

Но как мне это сделать, если ведро aws приватное? Как я могу передать учетные данные azcopy, чтобы он мог напрямую копировать мои файлы из корзины aws в azure?

общедоступен ли ваш контейнер хранилища BLOB-объектов/файлов?

Asri Badlah 24.12.2020 17:03

@AsriBadlah Нет, оба хранилища являются частными. Я знаю, как настроить azure azcopy для использования моих учетных данных, но я не могу предоставить azcopy информацию об учетных данных учетной записи aws.

mans 24.12.2020 17:26

Проблема не в том, как передать учетные данные AWS или Azure в azcopy, основная причина заключается в отсутствии сетевого подключения между учетной записью AWS и учетной записью Azure, что вы можете сделать с помощью поставщика мультиоблачных подключений (Aviatrix). Проверьте следующий пример: docs .aviatrix.com/HowTos/GettingStartedAzureToAWSAndGCP.html

Asri Badlah 24.12.2020 17:36

@AsriBadlah Если вы посмотрите на этот документ: microsoft.github.io/AzureTipsAndTricks/blog/tip220.html вы увидите, что у azcopy есть параметр команды для копирования корзины из aws в azure, но в приведенном выше документе предполагается, что оба хранилища являются общедоступными. Мой вопрос в том, как я могу использовать этот метод, когда оба хранилища являются частными?

mans 24.12.2020 17:44

Да, я знаю об инструменте azcopy, они упомянули, что оба хранилища должны быть общедоступными, чтобы использовать Интернет для подключения, поскольку оба они являются частными, вы не можете использовать Интернет, поэтому необходимо создать еще одно соединение между AWS и Azure, которое предоставляет Aviatrix.

Asri Badlah 24.12.2020 18:11

Заявление «общедоступно» в этой статье Azure azcopy кажется очень вводящим в заблуждение. Инструмент поддерживает учетные данные Azure и AWS. Я не думаю, что это требует, чтобы объекты были общедоступными. Было бы не очень полезно, если бы это было так.

jarmod 24.12.2020 22:37
Скопируйте данные из Amazon S3 в хранилище Azure с помощью AzCopy | Microsoft Docs также не упоминает о необходимости общедоступных данных.
John Rotenstein 25.12.2020 00:41

@JohnRotenstein в статье есть раздел, в котором указано, как установить ключ доступа и идентификатор aws, здесь: Learn.microsoft.com/en-us/azure/storage/common/…, поскольку это ваша ссылка на статью , пожалуйста, поднимите его как ответ, и я приму его.

mans 25.12.2020 11:52
Стоит ли изучать PHP в 2023-2024 годах?
Стоит ли изучать PHP в 2023-2024 годах?
Привет всем, сегодня я хочу высказать свои соображения по поводу вопроса, который я уже много раз получал в своем сообществе: "Стоит ли изучать PHP в...
Поведение ключевого слова "this" в стрелочной функции в сравнении с нормальной функцией
Поведение ключевого слова "this" в стрелочной функции в сравнении с нормальной функцией
В JavaScript одним из самых запутанных понятий является поведение ключевого слова "this" в стрелочной и обычной функциях.
Приемы CSS-макетирования - floats и Flexbox
Приемы CSS-макетирования - floats и Flexbox
Здравствуйте, друзья-студенты! Готовы совершенствовать свои навыки веб-дизайна? Сегодня в нашем путешествии мы рассмотрим приемы CSS-верстки - в...
Тестирование функциональных ngrx-эффектов в Angular 16 с помощью Jest
В системе управления состояниями ngrx, совместимой с Angular 16, появились функциональные эффекты. Это здорово и делает код определенно легче для...
Концепция локализации и ее применение в приложениях React ⚡️
Концепция локализации и ее применение в приложениях React ⚡️
Локализация - это процесс адаптации приложения к различным языкам и культурным требованиям. Это позволяет пользователям получить опыт, соответствующий...
Пользовательский скаляр GraphQL
Пользовательский скаляр GraphQL
Листовые узлы системы типов GraphQL называются скалярами. Достигнув скалярного типа, невозможно спуститься дальше по иерархии типов. Скалярный тип...
1
8
856
3
Перейти к ответу Данный вопрос помечен как решенный

Ответы 3

Одно из решений, хотя и не идеальное, заключается в том, что вы можете запросить AWS Snowball с данными вашей корзины, а затем использовать службу Azure Import/Export для отправки Snowball в Azure для приема.

Вы знаете, используют ли они совместимые форматы? Мне не удалось найти в Интернете никакой информации об интеграции Azure <--> Snowball.

John Rotenstein 25.12.2020 00:38

Вы пытались создать предварительно подписанный URL-адрес с ограниченным ttl на время копирования?

https://docs.aws.amazon.com/AmazonS3/latest/dev/ShareObjectPreSignedURL.html

таким образом вы можете просто выполнить azcopy <aws_presigned_url> <azure_sas_url>

URL-адрес содержит информацию, необходимую для аутентификации/аутентификации с обеих сторон.

Ответ принят как подходящий

Из Скопируйте данные из Amazon S3 в хранилище Azure с помощью AzCopy | Документы Майкрософт:

AzCopy — это служебная программа командной строки, которую можно использовать для копирования больших двоичных объектов или файлов в учетную запись хранения или из нее. Эта статья поможет вам скопировать объекты, каталоги и сегменты из Amazon Web Services (AWS) S3 в хранилище BLOB-объектов Azure с помощью AzCopy.

В статье объясняется, как предоставить учетные данные Azure и AWS.

Следует отметить, что Amazon S3 не может «отправлять» данные в хранилище BLOB-объектов Azure. Следовательно, что-то должно вызвать GetObject() на S3, чтобы получить данные, а затем отправить их в Azure. Я предполагаю, что хранилище BLOB-объектов Azure не может напрямую запрашивать данные из Amazon S3, поэтому это означает, что данные будут «загружены» из S3, а затем «отправлены» в Azure. Чтобы повысить эффективность, запустите команду AzCopy либо с виртуальной машины AWS, либо с виртуальной машины Azure, чтобы уменьшить задержку отправки через ваш собственный компьютер.

Это не совсем правильно. Я запустил приложение со своего ноутбука, и azure получает данные от aws со скоростью 5 ГБ/с, намного быстрее, чем моя сеть. Когда вы предоставляете учетные данные azcopy, они отправляются в центр Azure, а затем облако Azure очень быстро загружает данные из aws. Поэтому, если вы запускаете команду из любой системы, это очень быстро.

mans 25.12.2020 23:37

Ах! Так что, похоже, мое предположение неверно. Azure должна предоставить специальную функцию, которая может получать данные непосредственно из S3. Это может быть так: Переместите данные из AWS S3 в хранилище Azure с помощью AzCopy | Блог Azure и обновления | Майкрософт Азур

John Rotenstein 26.12.2020 06:31

пожалуйста, обновите ответ с приведенной выше информацией

Kush 17.04.2022 15:13

Другие вопросы по теме