Проблемы доступа к хранилищу BLOB-объектов Azure через частную конечную точку в конвейере Azure DevOps
У меня возникли проблемы с доступом к хранилищу BLOB-объектов Azure через частную конечную точку с использованием токена SAS в конвейере Azure DevOps. Несмотря на правильную настройку частной конечной точки, токена SAS и конвейера, я сталкиваюсь с ошибками AuthorizationFailure, когда конвейер пытается выполнить операции с большими двоичными объектами, такие как чтение и запись. Сообщение об ошибке:
azure.core.exceptions.HttpResponseError: This request is not authorized to perform this operation.
RequestId:70336d7b-201e-005c-179d-938271000000
Time:2024-04-21T03:36:35.5944080Z
ErrorCode:AuthorizationFailure
Content: <?xml version = "1.0" encoding = "utf-8"?><Error><Code>AuthorizationFailure</Code><Message>This request is not authorized to perform this operation. RequestId:70336d7b-201e-005c-179d-938271000000 Time:2024-04-21T03:36:35.5944080Z</Message></Error>
Код:
from azure.storage.blob import BlobServiceClient, generate_account_sas, ResourceTypes, AccountSasPermissions
from datetime import datetime, timedelta
import pandas as pd
from io import BytesIO
ACCOUNT_NAME = "****"
CONTAINER_NAME = "****"
account_url = f"https://{ACCOUNT_NAME}.blob.core.windows.net"
account_key = '****'
sas_token = generate_account_sas(
account_name=ACCOUNT_NAME,
account_key=account_key,
resource_types=ResourceTypes(container=True, object=True),
permission=AccountSasPermissions(read=True, write=True, list=True),
expiry=datetime.utcnow() + timedelta(hours=1)
)
Я думаю, проблема в том, что мой Blob является «частным», а брандмауэр заблокирован для всех. У меня есть частная конечная точка, но как использовать ее в конвейере Azure, возможно ли это?
Ответы 1
Если вы хотите использовать частную конечную точку из своего конвейера Azure, вам придется создать автономный агент, подключенный к той же виртуальной сети (или одноранговой виртуальной сети), что и частная конечная точка BLOB-объекта. Агенты, размещенные Microsoft, просто не могут получить доступ к частным конечным точкам.
Я бы только добавил, что по моему опыту внедрение автономных агентов в масштабируемом наборе виртуальных машин оказалось гораздо менее сложной задачей, чем я думал. Это действительно требует затрат на вычисления, но если вашей организации требуется частная конечная точка и она не может принять освобождение, которое потребуется для Azure Pipelines (а оно немалое), тогда вам просто придется покрыть затраты на вычисления.
У организации уже есть собственный компьютер. Могу ли я использовать его для подключения к моей частной конечной точке?
Я не вижу, где находится эта конфигурация, могу ли я что-то добавить или мне нужно настроить ее с нуля?
@LUCASXX Если в вашей организации уже есть автономный агент, и этот агент размещен в той же виртуальной сети (или в одноранговой виртуальной сети), что и ваша частная конечная точка, вам следует использовать его, если только политика компании не предполагает этого :) Перейдите на автономный размещенный агент, просто переключив атрибут «пул» в файле yaml и убедитесь, что у вас есть необходимые разрешения на его использование.
Какой тип агента Azure Pipelines вы используете? если вы используете агенты, размещенные Microsoft, то по умолчанию у них не будет возможности подключения к частной конечной точке, поскольку это частный IP-адрес. Попробуйте настроить самостоятельный агент Learn.microsoft.com/en-us/azure/devops/pipelines/agents/…