Я использую LLAMA 2 для исследований уже несколько месяцев и импортирую следующим образом:
from transformers import AutoModelForCausalLM, AutoTokenizer
device = torch.device("cuda")
tokenizer = AutoTokenizer.from_pretrained("meta-llama/Llama-2-7b-chat-hf",token = "token_key",torch_dtype = "auto")
model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-2-7b-chat-hf",token = "token_key", torch_dtype = "auto", load_in_4bit=True)
Это всегда работало. Однако сегодня он показывает следующую ошибку: Ошибка выполнения: не удалось импортировать Transformers.models.llama.modeling_llama из-за следующей ошибки (посмотрите, чтобы увидеть ее обратную трассировку): Не удалось импортировать Transformers.Generation.utils из-за следующей ошибки (посмотрите, чтобы увидеть ее обратную трассировку): невозможно импортировать имя «split_torch_state_dict_into_shards» из «huggingface_hub» (/opt/conda/lib/python3.10/site-packages/huggingface_hub/init.py)
Воссоздал токен «Обнимающее лицо», но он не сработал. Я использую Google Colab и Kaggle Notebook.
Ошибка, с которой вы столкнулись, связана с тем, что функция split_torch_state_dict_into_shards
недоступна в huggingface-hub version < 0.23.0
.
Эта функция включена начиная с версии 0.23.0
.
Чтобы решить эту проблему, обновите библиотеку huggingface-hub
до версии 0.23.0 или новее.
вот ссылка на git: https://github.com/run-llama/llama_index/discussions/14605
Спасибо. Кроме того, мне пришлось настроить Accelerate, но это сработало.