Я могу выполнять вызовы API бессерверного вывода к моделям, размещенным в HuggingFace, используя вызовы запросов в Python.
Я хочу достичь той же задачи, используя семантическое ядро на С#.
Для этого я импортирую Microsoft.SemanticKernel.Connectors.HuggingFace;
и пишу следующий код:
IKernelBuilder builder = Kernel.CreateBuilder();
builder.Services.AddHuggingFaceTextGeneration(
model: "meta-llama/Meta-Llama-3-70B-Instruct",
apiKey: "<<my huggingface API goes here>>",
endpoint: new Uri("https://api-inference.huggingface.co/models/meta-llama/Meta-Llama-3-70B-Instruct")
);
Kernel kernel = builder.Build();
Task<string?> result = kernel.InvokePromptAsync<string>("What is the capital of Turkey");
Console.WriteLine(result.Result);
Однако я получаю следующую ошибку.
HttpRequestException: код состояния ответа не указывает на успех: 404 (не найден).
Может ли кто-нибудь помочь в решении этой проблемы?
При использовании общедоступного API HuggingFace вам не нужно указывать конечную точку, она должна работать с приведенным ниже кодом.
Конечная точка необходима только в том случае, если вы развертываете TGI (API генерации текста) HuggingFace.
IKernelBuilder builder = Kernel.CreateBuilder();
builder.Services.AddHuggingFaceTextGeneration(
model: "meta-llama/Meta-Llama-3-70B-Instruct",
apiKey: "<<my huggingface API goes here>>")
);