Я реализую RAG на модели Gemma-2B-it, используя HuggingFaceEmbeddings и ConversationalRetrievalChain от langchain.
При запуске:
chat_history = []
question = "My prompt"
result = qa.invoke({"question": question, "chat_history": chat_history})
я получил
276
277 if self.pipeline.task == "text-generation":
--> 278 text = response["generated_text"]
279 elif self.pipeline.task == "text2text-generation":
280 text = response["generated_text"]
KeyError: 'generated_text'
Я не понимаю, почему это происходит. Раньше работало, а сегодня просто перестало работать. Я также пробовал использовать qa.run вместо invoke , но это все равно вызывает то же исключение.
Я пробовал менять модели, устройства, но ничего не помогает.






Если вы используете transformers.pipeline, убедитесь, что этот параметр return_tensors='pt' не передан.
@AhmetBirim Я нет