Как экспортировать и импортировать точно настроенную модель ИИ в другой экземпляр службы Azure AI или Azure OpenAI?
Я пишу здесь, потому что Microsoft Q&A Azure, когда я публикую свой вопрос, я получаю ошибку кода 404.
Давайте представим, что я работаю с разными средами для разработки, тестирования и производства, каждая из которых имеет собственную группу ресурсов с ресурсами ИИ, службой Azure OpenAI или службами ИИ Azure.
Теперь, после тонкой настройки модели инженерами ИИ, я хочу развернуть ее в целевом экземпляре, отличном от исходного/обучающего экземпляра.
Однако я не могу выбрать целевой экземпляр, поскольку здесь, в Azure AI Studio, этот параметр неактивен. Вот мои подключенные сервисы:
В студии AzureOpenAI:
На целевой экземпляр, независимо от того, находится ли он в том же или другом регионе, используется соединение в студии Azure AI.
Возможно ли развертывание в целевом экземпляре, отличном от исходного?\
Можно ли это автоматизировать с помощью конвейеров CI/CD?
Где я могу найти документацию по этому классическому сценарию?
Кстати, для Azure Synapse Workspace можно создать артефакт/шаблон Synapse ARM JSON и развернуть его в различных средах/экземплярах.
Спасибо, что помогли мне.
Я попробовал несколько экземпляров концентратора и проекта для Azure AI Studio, а также Azure OpenAI Studio, но возможности развертывания в другом экземпляре службы нет.
Ответы 1
Согласно этой документации вы развертываете точно настроенную модель в другой подписке/регионе.
И ниже приведен пример кода Python
import json
import os
import requests
token= os.getenv("<TOKEN>")
subscription = "<DESTINATION_SUBSCRIPTION_ID>"
resource_group = "<DESTINATION_RESOURCE_GROUP_NAME>"
resource_name = "<DESTINATION_AZURE_OPENAI_RESOURCE_NAME>"
source_subscription = "<SOURCE_SUBSCRIPTION_ID>"
source_resource_group = "<SOURCE_RESOURCE_GROUP>"
source_resource = "<SOURCE_RESOURCE>"
source = f'/subscriptions/{source_subscription}/resourceGroups/{source_resource_group}/providers/Microsoft.CognitiveServices/accounts/{source_resource}'
model_deployment_name = "gpt-35-turbo-ft" # custom deployment name that you will use to reference the model when making inference calls.
deploy_params = {'api-version': "2023-05-01"}
deploy_headers = {'Authorization': 'Bearer {}'.format(token), 'Content-Type': 'application/json'}
deploy_data = {
"sku": {"name": "standard", "capacity": 1},
"properties": {
"model": {
"format": "OpenAI",
"name": <"FINE_TUNED_MODEL_NAME">, # This value will look like gpt-35-turbo-0613.ft-0ab3f80e4f2242929258fff45b56a9ce
"version": "1",
"source": source
}
}
}
deploy_data = json.dumps(deploy_data)
request_url = f'https://management.azure.com/subscriptions/{subscription}/resourceGroups/{resource_group}/providers/Microsoft.CognitiveServices/accounts/{resource_name}/deployments/{model_deployment_name}'
print('Creating a new deployment...')
r = requests.put(request_url, params=deploy_params, headers=deploy_headers, data=deploy_data)
print(r)
print(r.reason)
print(r.json())
и то же самое вы можете использовать в своих конвейерах CI/CD.
Дополнительную информацию о точно настроенном развертывании модели можно найти в этой документации.
Вы также упомянули
Однако я не могу выбрать целевой экземпляр, поскольку этот параметр неактивен (в Azure AI Studio).
Это связано с тем, что целевой регион не поддерживается для развертывания.
Ниже указано ограничение для развертывания в разных регионах/подписке.
Единственные ограничения заключаются в том, что новый регион также должен поддерживать тонкую настройку, а при развертывании перекрестной подписки учетная запись, генерирующая токен авторизации для развертывания, должна иметь доступ как к исходной, так и к целевой подписке.
Хорошо, в том же регионе и той же подписке вы создали новый ресурс AI и пытаетесь его развернуть. Попробуйте приведенный выше код, указав тот же источник и место назначения, за исключением имени ресурса. Также добавьте, пожалуйста, снимок экрана, на котором вы сталкиваетесь с блокирующими.
Я говорил об интерфейсе пользовательского интерфейса. Но я использовал ваш код и смог выполнить развертывание на новом экземпляре Azure OpenAI в тех же регионах. Кстати, я пытался сделать то же самое с точно настроенной моделью, созданной в Azure AI Studio, в службах AI, которая интегрирует Azure OpenAI, но это невозможно (я проверил пути к ресурсам/поставщикам, и они одинаковые): < Ответ [400]> Неверный запрос {'error': {'code': 'BadRequest', 'message': 'В настоящее время поддерживается только OpenAI, заданный тип - AIServices.'}}
Можете ли вы добавить скриншот ошибки в вопросе?
Я постараюсь поставить это в исходный вопрос, когда мне позволит очередь редактирования.
мне удалось добавить скриншоты
В ошибке говорится, что вы используете тип AIservice для развертывания. Дайте Azure OpenSI вид
И почему вы просите использовать это в ci/cd, когда вы хотите в пользовательском интерфейсе? Используйте SDKS.
Оба ваших ресурса Azure Openai находятся в правильном регионе для развертывания?
Проверьте это Learn.microsoft.com/en-us/azure/ai-services/openai/concepts/…
И почему вы просите использовать это в ci/cd, когда вы хотите в пользовательском интерфейсе? Используйте sdks => Я хотел сначала попробовать это с помощью пользовательского интерфейса 5. Если он есть на портале Azure, то это можно сделать с помощью кода), я забыл, что сначала функции появляются в REST API, а затем в Azure CLI/Az PowerShell.
В ошибке говорится, что вы используете тип AIservice для развертывания. Дайте Azure opensi kind => Я изменил значение формата в форме тела JSON OpenAI на AI AIServices, но это не имеет никакого эффекта.
Оба ваших ресурса Azure OpenAI находятся в правильном регионе для развертывания? => да, и я проверил документацию. Используя REST API работает (для Azure OpenAI), студия не предлагает выбора
В ошибке говорится, что вам нужно использовать Azure Openai для развертывания в разных регионах или по подписке, а не студию ai. поскольку в настоящее время он не поддерживается.
Что вы подразумеваете под «целевой регион не поддерживается для развертывания»? Когда я хочу использовать новый экземпляр службы в том же регионе, я все равно не могу развернуть модель с помощью Azure AI Studio.