Я точно настроил модель huggingface-llm-mistral-7b
с помощью SageMaker JumpStartEstimator. Артефакты хранятся в S3 в виде файла .tar.gz
.
Теперь я пытаюсь развернуть указанную модель. Используя Python SDK, я запускаю следующий код:
INFERENCE_INSTANCE_TYPE = "ml.g5.2xlarge"
MODEL_ID = "huggingface-llm-mistral-7b"
MODEL_VERSION = "*"
SAGEMAKER_ROLE = "arn:aws:iam::257342474:role/AmazonSageMakerFullAccess"
endpoint_name = name_from_base(f"jumpstart-{MODEL_ID}")
deploy_image_uri = image_uris.retrieve(
region=None,
framework=None,
image_scope = "inference",
model_id=MODEL_ID,
model_version=MODEL_VERSION,
instance_type=INFERENCE_INSTANCE_TYPE,
)
deploy_source_uri = script_uris.retrieve(
model_id=MODEL_ID, model_version=MODEL_VERSION, script_scope = "inference"
)
base_model_uri = model_uris.retrieve(
model_id=MODEL_ID, model_version=MODEL_VERSION, model_scope = "inference"
)
model = Model(
image_uri=deploy_image_uri,
source_dir=deploy_source_uri,
model_data = "s3://path/to/model/model.tar.gz",
entry_point = "inference.py",
role=SAGEMAKER_ROLE,
predictor_cls=Predictor,
name=endpoint_name,
)
base_model_predictor = model.deploy(
initial_instance_count=1,
instance_type=INFERENCE_INSTANCE_TYPE,
endpoint_name=endpoint_name,
volume_size=50,
)
И я получаю следующую ошибку:
OSError: [Errno 28] No space left on device
В моем экземпляре должно быть достаточно оперативной памяти и дискового пространства, я не могу понять, почему возникает эта ошибка.
Кажется, ошибка возникла на этапе создания модели, поэтому я попытался заменить инструкцию по развертыванию:
model.create(instance_type=INFERENCE_INSTANCE_TYPE)
И выскакивает та же ошибка.
Я также пытался увеличить размер тома, использовать экземпляр ml.g5.12xlarge, а также использовать ServerlessInferenceConfig, но безрезультатно.
Может ли кто-нибудь дать совет, как это исправить или как устранить источник ошибки?
Я рекомендую выполнить следующие действия для изучения проблемы.
Решение будет зависеть от результата этих шагов.
Вероятно, из-за списка 1, 2, 3. Но есть еще много признаков того, что он не генерируется.
Действительно, я решил свою проблему с помощью пункта номер 1: машина, которая вернула OSError, на самом деле была моей локальной машиной, о которой я не подозревал, поскольку думал, что все происходит в облаке. Оказывается, операция создавала больше временных файлов, чем мог хранить мой раздел.
почему эти запахи исходят от меня?