Я пытаюсь загрузить модель Meta-Llama-3-70B
из Hugging Face Hub, используя библиотеку Transformers в Python, но сталкиваюсь со следующей ошибкой:
OSError: We couldn't connect to 'https://huggingface.co' to load this file, couldn't find it in the cached files and it looks like meta-llama/Meta-Llama-3-70B is not the path to a directory containing a file named config.json. Checkout your internet connection or see how to run the library in offline mode at 'https://huggingface.co/docs/transformers/installation#offline-mode'.
Вот код, который я использую:
import torch
import transformers
model_id = "meta-llama/Meta-Llama-3-70B"
pipeline = transformers.pipeline(
"text-generation", model=model_id, model_kwargs = {"torch_dtype": torch.bfloat16}, device_map = "auto"
)
pipeline("Hey how are you doing today?")
Я предоставил доступ к модели Meta-Llama-3-70B
на веб-сайте Hugging Face, но по-прежнему сталкиваюсь с этой ошибкой. Я проверил подключение к Интернету, и оно, кажется, работает нормально.
Может ли кто-нибудь помочь мне понять, что может быть причиной этой проблемы и как ее решить? Нужно ли мне предпринять какие-либо дополнительные действия, чтобы успешно загрузить и использовать модель Meta-Llama-3-70B
из Hugging Face Hub?
Если вы столкнулись с той же проблемой даже после получения разрешения на использование закрытой модели, выполните следующие действия:
Сначала получите токен доступа «Обнимающее лицо» здесь
затем запустите этот код:
from huggingface_hub import login
login(token='xxxxxxxxxxxxxxxxxxxxxxx')
Замените эти x своим токеном доступа.
А затем запустите модель
убедитесь, что вы генерируете токен «записи», а не «детализированный». я сделал эту ошибку
Кстати, в чем разница между мелкозернистым токеном и токеном записи?