Как использовать предварительно обученную модель из s3 для прогнозирования некоторых данных?

Я обучил модель семантической сегментации с помощью sagemaker, и результаты были сохранены в корзине s3. Я хочу загрузить эту модель из s3, чтобы предсказать некоторые изображения в sagemaker.

Я знаю, как предсказать, оставлю ли я экземпляр ноутбука работающим после обучения, так как это простое развертывание, но на самом деле это не поможет, если я хочу использовать более старую модель.

Я просмотрел эти источники и смог сам кое-что придумать, но это не работает, поэтому я здесь:

https://course.fast.ai/deployment_amzn_sagemaker.html#deploy-to-sagemakerhttps://aws.amazon.com/getting-started/tutorials/build-train-deploy-machine-learning-model-sagemaker/

https://sagemaker.readthedocs.io/en/stable/pipeline.html

https://github.com/awslabs/amazon-sagemaker-examples/blob/master/advanced_functionality/inference_pipeline_sparkml_xgboost_abalone/inference_pipeline_sparkml_xgboost_abalone.ipynb

Мой код таков:

from sagemaker.pipeline import PipelineModel
from sagemaker.model import Model

s3_model_bucket = 'bucket'
s3_model_key_prefix = 'prefix'
data = 's3://{}/{}/{}'.format(s3_model_bucket, s3_model_key_prefix, 'model.tar.gz')
models = ss_model.create_model() # ss_model is my sagemaker.estimator

model = PipelineModel(name=data, role=role, models= [models])
ss_predictor = model.deploy(initial_instance_count=1, instance_type='ml.c4.xlarge')
Анализ настроения постов в Twitter с помощью Python, Tweepy и Flair
Анализ настроения постов в Twitter с помощью Python, Tweepy и Flair
Анализ настроения текстовых сообщений может быть настолько сложным или простым, насколько вы его сделаете. Как и в любом ML-проекте, вы можете выбрать...
7 лайфхаков для начинающих Python-программистов
7 лайфхаков для начинающих Python-программистов
В этой статье мы расскажем о хитростях и советах по Python, которые должны быть известны разработчику Python.
Установка Apache Cassandra на Mac OS
Установка Apache Cassandra на Mac OS
Это краткое руководство по установке Apache Cassandra.
Сертификатная программа "Кванты Python": Бэктестер ансамблевых методов на основе ООП
Сертификатная программа "Кванты Python": Бэктестер ансамблевых методов на основе ООП
В одном из недавних постов я рассказал о том, как я использую навыки количественных исследований, которые я совершенствую в рамках программы TPQ...
Создание персонального файлового хранилища
Создание персонального файлового хранилища
Вы когда-нибудь хотели поделиться с кем-то файлом, но он содержал конфиденциальную информацию? Многие думают, что электронная почта безопасна, но это...
Создание приборной панели для анализа данных на GCP - часть I
Создание приборной панели для анализа данных на GCP - часть I
Недавно я столкнулся с интересной бизнес-задачей - визуализацией сбоев в цепочке поставок лекарств, которую могут просматривать врачи и...
5
0
6 052
2
Перейти к ответу Данный вопрос помечен как решенный

Ответы 2

Ответ принят как подходящий

На самом деле вы можете создать экземпляр объекта Python SDK model из существующих артефактов и развернуть его в конечной точке. Это позволяет развернуть модель из обученных артефактов без повторного обучения в блокноте. Например, для модели семантической сегментации:

trainedmodel = sagemaker.model.Model(
    model_data='s3://...model path here../model.tar.gz',
    image='685385470294.dkr.ecr.eu-west-1.amazonaws.com/semantic-segmentation:latest',  # example path for the semantic segmentation in eu-west-1
    role=role)  # your role here; could be different name

trainedmodel.deploy(initial_instance_count=1, instance_type='ml.c4.xlarge')

Точно так же вы можете создать экземпляр объекта-предиктора на развернутой конечной точке из любого аутентифицированного клиента, поддерживающего SDK, с помощью следующей команды:

predictor = sagemaker.predictor.RealTimePredictor(
    endpoint='endpoint name here',
    content_type='image/jpeg',
    accept='image/png')

Подробнее об этих абстракциях:

Спасибо большое. Это было именно то, что я пытался сделать.

Musa 28.05.2019 15:13

Приятно! если это решило проблему, не могли бы вы принять ответ, чтобы другие люди могли его повторно использовать? большое спасибо за использование SageMaker и StackOverflow

Olivier Cruchant 30.05.2019 19:05

input_features_data — это фрейм данных

import sagemaker
from sagemaker.predictor import csv_serializer, json_deserializer

predictor = sagemaker.predictor.RealTimePredictor(
    endpoint= PREDICTOR_ENDPOINT_NAME,
    sagemaker_session=sagemaker.Session(),
    serializer=csv_serializer,
    deserializer=json_deserializer,
    content_type='text/csv',
)

test_batch_size = 5
num_batches = -(-len(input_features_data) // test_batch_size)
count=0
predicted_values = []
for i in range(num_batches):
    predicted_values += [predictor.predict(x) for x in
                         input_features_data[i * test_batch_size:(i + 1) * test_batch_size]]

return np.asarray(predicted_values)

Другие вопросы по теме