Я обнаружил, что результат API /v1/chat/completions сильно отличается от результата веб-страницы.
Это ответ API на вопрос: "content": "Какой день рождения Джорджа Вашингтона"
curl --location 'https://api.openai.com/v1/chat/completions' \
--header 'Authorization: Bearer TOKEN' \
--header 'Content-Type: application/json' \
--data '{
"model": "gpt-4",
"messages": [
{
"role": "user",
"content": "What is the birthday of George Washington"
}
]
}'
"choices": [
{
"message": {
"role": "assistant",
"content": "George Washington was born on February 22, 1732."
},
"finish_reason": "stop",
"index": 0
}
]
И это результат на веб-странице. Вы можете видеть, что это намного дольше.
@busse Как заставить температуру работать в API, чтобы ответ был немного длиннее, как в веб-интерфейсе?
При использовании OpenAI для создания завершения с помощью GPT вы можете поворачивать некоторые «ручки» для настройки результатов.
Одной из таких ручек является температура. Температура — это число от 0 до 1. 0 очень сфокусировано и детерминировано, а 1 — очень случайно.
Чтобы создать более длинный текст, вы также можете поиграть с параметром max_tokens.
Но в вашем случае, я думаю, вам нужно будет адаптировать подсказку. Добавьте что-то вроде «Расскажите мне о нем больше», и вы уже должны увидеть улучшение результата.
Это был мой тест:
curl --location 'https://api.openai.com/v1/chat/completions' \
--header 'Authorization: Bearer TOKEN' \
--header 'Content-Type: application/json' \
--data '{
"model": "gpt-3.5-turbo",
"messages": [
{
"role": "user",
"content": "What is the birthday of George Washington? Tell me more about him."
}
]
}'
И ответ:
{
"object": "chat.completion",
"model": "gpt-3.5-turbo-0301",
"usage": {
"prompt_tokens": 22,
"completion_tokens": 143,
"total_tokens": 165
},
"choices": [
{
"message": {
"role": "assistant",
"content": "George Washington's birthday is on February 22, 1732. He was the first president of the United States and is often known as the \"Father of His Country.\" Washington also led the Continental Army to victory over the British during the American Revolution. He is known for his strong leadership, unwavering commitment to his country, and the sacrifices he made to help establish the United States. Washington also played a key role in the creation of the U.S. Constitution, which remains a pillar of American democracy today. Throughout his life, Washington was known for his honesty, integrity, and commitment to the ideals of the American democratic system. His legacy has made him one of the most important figures in American history."
},
"finish_reason": "stop",
"index": 0
}
]
}
К сожалению,
Вопрос для ChatGPT-4 через Интернет: Какова температура по умолчанию при использовании ChatGPT через Интернет вместо API?
Ответ ChatGPT-4: Температура по умолчанию при использовании
Описываемое вами поведение ожидаемо. Используя API, вы можете установить «температуру»: 0,0 в своем запросе, чтобы получить детерминированный ответ. Однако, если вы попытаетесь установить температуру в веб-интерфейсе ChatGPT, он сообщит вам, что вы не можете этого сделать, и предложит вам использовать API.