Я создал очень простое приложение, используя Azure Open AI, Langchain и Streamlit. Ниже приведен мой код:
from dotenv import load_dotenv,find_dotenv
load_dotenv(find_dotenv())
import streamlit as st
from langchain.llms import AzureOpenAI
from langchain.prompts import PromptTemplate
LLM = AzureOpenAI(max_tokens=1500, deployment_name = "gpt-35-turbo-16k", model = "gpt-35-turbo-16k")
prompt_template = """
If you don't know the answer, just say that you don't know, don't try to make up an answer.
Question: {question}
"""
PROMPT = PromptTemplate(template=prompt_template, input_variables=["question"])
st.title('Experiment AzureOpenAI :)')
user_question = st.text_input('Your query here please')
if user_question:
prompt = prompt_template.format(question = user_question)
response = LLM(prompt)
st.write(response)
st.write('done')
Когда я запускаю приведенный выше код, я получаю следующую ошибку:
InvalidRequestError: операция завершения не работает с указанная модель, gpt-35-turbo-16k. Пожалуйста, выберите другую модель и Попробуйте еще раз. Вы можете узнать больше о том, какие модели можно использовать с каждым операцию здесь: https://go.microsoft.com/fwlink/?linkid=2197993.
Однако мой код работает отлично, если я изменю модель с gpt-35-turbo-16k на gpt-35-turbo. Итак, работает следующий код:
LLM = AzureOpenAI(max_tokens=1500, deployment_name = "gpt-35-turbo", model = "gpt-35-turbo")
Мне интересно, почему возникает эта ошибка?
По этой ссылке единственное отличие, которое я увидел, заключается в том, что gpt-35-turbo-16k поддерживает до 16 тысяч входных токенов, тогда как gpt-35-turbo поддерживает до 4 тысяч входных токенов.






Судя по документации, вероятная причина такова: версия (0613) поддерживает только API завершения чата.
https://learn.microsoft.com/en-us/azure/ai-services/openai/concepts/models#gpt-35-models
GPT-3.5 Turbo используется с API завершения чата. GPT-3.5 Turbo (0301) также можно использовать с API завершений. GPT3.5 Turbo (0613) поддерживает только API завершения чата.