Как подготовить данные для пакетного вывода в Azure ML?

Формат данных (.csv), который я использую для вывода, выдает ошибку:

«каждая точка данных должна представлять собой массив диалогов» при выполнении пакетного задания оценки. Вся документация, представленная в Интернете, касается данных изображений, поэтому я не могу определить формат своих данных.

Я пытаюсь создать задание с помощью кнопки «Создать задание» под конечной точкой пакета.

Я использую платформу Azure ML и точно настроил модель инструкций phi-3-mini-4k, используя данные «eurlex», доступные на Huggingface. Процесс обучения требовал формата jsonl для данных обучения. Однако при попытке запустить пакетный вывод ресурсы данных сохраняются только в форматах csv, png и т. д. Данные обучения выглядели примерно так, как показано на первом изображении. Я преобразовал это в формат jsonl.

Я создал пакетную конечную точку и развернул там модель. Я создал задание и предоставил данные, которые отформатировал так, как показано на втором изображении. Я просто передал все приглашение в виде строки в фрейме данных с одним столбцом, который я преобразовал в CSV, прежде чем записать его в файл .csv.

Я также попытался создать фрейм данных с тремя столбцами - система, помощник, пользователь, но это тоже не работает.

Добавьте код, который вы пытаетесь сделать запросом к модели. пожалуйста, не добавляйте код на изображении, добавьте его в текстовом формате.

JayashankarGS 05.07.2024 07:14
Как установить LAMP Stack - Security 5/5 на виртуальную машину Azure Linux VM
Как установить LAMP Stack - Security 5/5 на виртуальную машину Azure Linux VM
В предыдущей статье мы завершили установку базы данных, для тех, кто не знает.
Как установить LAMP Stack 1/2 на Azure Linux VM
Как установить LAMP Stack 1/2 на Azure Linux VM
В дополнение к нашему предыдущему сообщению о намерении Azure прекратить поддержку Azure Database для MySQL в качестве единого сервера после 16...
1
1
84
1
Перейти к ответу Данный вопрос помечен как решенный

Ответы 1

Ответ принят как подходящий

Вы должны предоставить CSV-файл с именами столбцов, который имеет правильное имя или подпись в соответствии с развертыванием.

Если вы видите этот пример, который представляет собой пакетное развертывание модели суммирования текста.

Код драйвера принимает пакетный ввод, затем загружает его с помощью load_dataset и извлекает столбец text для прогнозов.

def run(mini_batch):
    resultList = []

    print(f"[INFO] Reading new mini-batch of {len(mini_batch)} file(s).")
    ds = load_dataset("csv", data_files = {"score": mini_batch})

    start_time = time.perf_counter()
    for idx, text in enumerate(ds["score"]["text"]):

Кроме того, при вызове конечной точки пакета данные передаются как тип input.

input = Input(type=AssetTypes.URI_FOLDER, path = "data")
job = ml_client.batch_endpoints.invoke(
   endpoint_name=endpoint.name,
   input=input,
)

Здесь тип ввода — это тип папки и файлы csv или сохраненные в папке data.

Итак, проверьте код драйвера или сценарий оценки, к какому столбцу он обращается, и укажите то же самое в CSV.

Кроме того, вы вызываете конечную точку пакета с количеством файлов CSV, как указано в приведенном выше коде.

Если вы не можете найти сценарий или подпись оценки, разверните конечную точку пакета с помощью собственного сценария оценки с помощью code/batch_driver.py в приведенной выше документации.

Создайте файлы CSV с сообщением столбца, содержащим строку, а затем прочитайте его в своем пользовательском сценарии оценки для прогнозирования.

Привет! Я ценю ваши отзывы, однако я не совсем понял. Я новичок в платформе Azure ML. Я ничего не программирую и не использую блокноты. Я просто создаю задание с функциональностью, предоставляемой в созданной мной конечной точке под названием «slm-finetune-phi3-test2». Я не предоставил никакого файла оценок со своей стороны. Я думаю, что он автоматически генерирует его, я не уверен.

S R 07.07.2024 16:04

Посмотрите, можете ли вы предоставить собственный сценарий оценки или получить подпись конечной точки.

JayashankarGS 08.07.2024 05:37

Большое спасибо! Я сослался на сообщение, на которое вы ссылались, как на пример и изменил код пакетного_драйвера в соответствии с моим вариантом использования. Я смог сделать вывод.

S R 10.07.2024 15:55

Другие вопросы по теме