Я хочу скопировать папку с большими файлами в хранилище Azure.
Я нашел эту статью, в которой показано, как скопировать общедоступную корзину aws в azure: https://microsoft.github.io/AzureTipsAndTricks/blog/tip220.html
Но как мне это сделать, если ведро aws приватное? Как я могу передать учетные данные azcopy, чтобы он мог напрямую копировать мои файлы из корзины aws в azure?
@AsriBadlah Нет, оба хранилища являются частными. Я знаю, как настроить azure azcopy для использования моих учетных данных, но я не могу предоставить azcopy информацию об учетных данных учетной записи aws.
Проблема не в том, как передать учетные данные AWS или Azure в azcopy, основная причина заключается в отсутствии сетевого подключения между учетной записью AWS и учетной записью Azure, что вы можете сделать с помощью поставщика мультиоблачных подключений (Aviatrix). Проверьте следующий пример: docs .aviatrix.com/HowTos/GettingStartedAzureToAWSAndGCP.html
@AsriBadlah Если вы посмотрите на этот документ: microsoft.github.io/AzureTipsAndTricks/blog/tip220.html вы увидите, что у azcopy есть параметр команды для копирования корзины из aws в azure, но в приведенном выше документе предполагается, что оба хранилища являются общедоступными. Мой вопрос в том, как я могу использовать этот метод, когда оба хранилища являются частными?
Да, я знаю об инструменте azcopy, они упомянули, что оба хранилища должны быть общедоступными, чтобы использовать Интернет для подключения, поскольку оба они являются частными, вы не можете использовать Интернет, поэтому необходимо создать еще одно соединение между AWS и Azure, которое предоставляет Aviatrix.
Заявление «общедоступно» в этой статье Azure azcopy кажется очень вводящим в заблуждение. Инструмент поддерживает учетные данные Azure и AWS. Я не думаю, что это требует, чтобы объекты были общедоступными. Было бы не очень полезно, если бы это было так.
@JohnRotenstein в статье есть раздел, в котором указано, как установить ключ доступа и идентификатор aws, здесь: Learn.microsoft.com/en-us/azure/storage/common/…, поскольку это ваша ссылка на статью , пожалуйста, поднимите его как ответ, и я приму его.
Одно из решений, хотя и не идеальное, заключается в том, что вы можете запросить AWS Snowball с данными вашей корзины, а затем использовать службу Azure Import/Export для отправки Snowball в Azure для приема.
Вы знаете, используют ли они совместимые форматы? Мне не удалось найти в Интернете никакой информации об интеграции Azure <--> Snowball.
Вы пытались создать предварительно подписанный URL-адрес с ограниченным ttl на время копирования?
https://docs.aws.amazon.com/AmazonS3/latest/dev/ShareObjectPreSignedURL.html
таким образом вы можете просто выполнить azcopy <aws_presigned_url> <azure_sas_url>
URL-адрес содержит информацию, необходимую для аутентификации/аутентификации с обеих сторон.
Из Скопируйте данные из Amazon S3 в хранилище Azure с помощью AzCopy | Документы Майкрософт:
AzCopy — это служебная программа командной строки, которую можно использовать для копирования больших двоичных объектов или файлов в учетную запись хранения или из нее. Эта статья поможет вам скопировать объекты, каталоги и сегменты из Amazon Web Services (AWS) S3 в хранилище BLOB-объектов Azure с помощью AzCopy.
В статье объясняется, как предоставить учетные данные Azure и AWS.
Следует отметить, что Amazon S3 не может «отправлять» данные в хранилище BLOB-объектов Azure. Следовательно, что-то должно вызвать GetObject()
на S3, чтобы получить данные, а затем отправить их в Azure. Я предполагаю, что хранилище BLOB-объектов Azure не может напрямую запрашивать данные из Amazon S3, поэтому это означает, что данные будут «загружены» из S3, а затем «отправлены» в Azure. Чтобы повысить эффективность, запустите команду AzCopy либо с виртуальной машины AWS, либо с виртуальной машины Azure, чтобы уменьшить задержку отправки через ваш собственный компьютер.
Это не совсем правильно. Я запустил приложение со своего ноутбука, и azure получает данные от aws со скоростью 5 ГБ/с, намного быстрее, чем моя сеть. Когда вы предоставляете учетные данные azcopy, они отправляются в центр Azure, а затем облако Azure очень быстро загружает данные из aws. Поэтому, если вы запускаете команду из любой системы, это очень быстро.
Ах! Так что, похоже, мое предположение неверно. Azure должна предоставить специальную функцию, которая может получать данные непосредственно из S3. Это может быть так: Переместите данные из AWS S3 в хранилище Azure с помощью AzCopy | Блог Azure и обновления | Майкрософт Азур
пожалуйста, обновите ответ с приведенной выше информацией
общедоступен ли ваш контейнер хранилища BLOB-объектов/файлов?