Я установил модель Llama 3.1 8B через страницу Meta Github, но не могу заставить работать их пример кода. Я запускаю следующий код в том же каталоге, что и папка Meta-Llama-3.1-8B:
import transformers
import torch
pipeline = transformers.pipeline(
"text-generation",
model = "Meta-Llama-3.1-8B",
model_kwargs = {"torch_dtype": torch.bfloat16},
device = "cuda"
)
Ошибка: «Ошибка ОС: у Meta-Llama-3.1-8B нет файла с именем config.json». Где я могу получить config.json?
Я установил последнюю версию transformers
модуля и понимаю, что могу получить доступ к удаленной модели на HuggingFace. Но я бы предпочел использовать свою локальную модель. Это возможно?
Я понимаю, насколько это может расстраивать, но не волнуйтесь, проблема не с вашей стороны. Путаница возникает из-за того, что Meta не проводит четкого различия между дистрибутивами через Hugging Face и download.sh.
Чтобы решить эту проблему, вы можете загрузить файлы модели с помощью интерфейса командной строки Hugging Face:
!huggingface-cli download meta-llama/Meta-Llama-3-8B-Instruct --local-dir meta-llama/Meta-Llama-3-8B-Instruct
Этот метод предоставит вам файлы config.json и tokenizer.json.
Кроме того, вы можете попробовать загрузить другие версии вручную. Например, кто-то поделился ссылкой на файл конфигурации Hugging Face: