Ускорение загрузки LLM

В настоящее время я могу играть только с V100 на GCP. Я понимаю, что могу загрузить LLM с 4-битным квантованием, как показано ниже. Однако (предположительно из-за квантования) загрузка этой модели занимает до 10 минут.

Есть ли способ ускорить процесс загрузки?

1. Я вижу, что существует формат файла GGUF, который может помочь в этом отношении (хотя я не уверен, почему и как).
2. Поможет ли использование torch.compile как-то быстро загрузить модель в следующий раз. Моя гипотеза заключается в том, что после компиляции я могу сохранить полученную модель в двоичном формате, который сможет загружаться быстрее?
3. Должен ли я как-то запекать загруженную модель в образ докера, чтобы ускорить это? Обратной стороной является то, что из-за cuda образ докера уже имеет размер 4 ГБ.

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig

device = "cuda" # the device to load the model onto
model_id = "mistralai/Mistral-7B-Instruct-v0.2"
bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_use_double_quant=True,
    bnb_4bit_quant_type = "nf4",
    bnb_4bit_compute_dtype=torch.bfloat16
)

model = AutoModelForCausalLM.from_pretrained(model_id, quantization_config=bnb_config, device_map = "auto")