Прогнозирование больших запросов с использованием модели sk-learn

Я создал модель sklearn на своей локальной машине. Затем я загрузил его в хранилище Google. Я создал модель и версию в AI Platform, используя одну и ту же модель. Он работает для онлайн-предсказания. Теперь я хочу выполнить пакетное прогнозирование и сохранить данные в большом запросе, например, он обновляет большую таблицу запросов каждый раз, когда я выполняю прогноз.

Может ли кто-нибудь предложить мне, как это сделать?

Оптимизация производительности модели: Руководство по настройке гиперпараметров в Python с Keras
Оптимизация производительности модели: Руководство по настройке гиперпараметров в Python с Keras
Настройка гиперпараметров - это процесс выбора наилучшего набора гиперпараметров для модели машинного обучения с целью оптимизации ее...
Развертывание модели машинного обучения с помощью Flask - Angular в Kubernetes
Развертывание модели машинного обучения с помощью Flask - Angular в Kubernetes
Kubernetes - это портативная, расширяемая платформа с открытым исходным кодом для управления контейнерными рабочими нагрузками и сервисами, которая...
Udacity Nanodegree Capstone Project: Классификатор пород собак
Udacity Nanodegree Capstone Project: Классификатор пород собак
Вы можете ознакомиться со скриптами проекта и данными на github .
Определение пород собак с помощью конволюционных нейронных сетей (CNN)
Определение пород собак с помощью конволюционных нейронных сетей (CNN)
В рамках финального проекта Udacity Data Scietist Nanodegree я разработал алгоритм с использованием конволюционных нейронных сетей (CNN) для...
Почему Python - идеальный выбор для проекта AI и ML
Почему Python - идеальный выбор для проекта AI и ML
Блог, которым поделился Harikrishna Kundariya в нашем сообществе Developer Nation Community.
0
0
448
1
Перейти к ответу Данный вопрос помечен как решенный

Ответы 1

Ответ принят как подходящий

В настоящее время AI Platform не поддерживает запись результатов прогнозирования в BigQuery.

Вы можете записать результаты прогнозирования в BigQuery с помощью Dataflow. Здесь есть два варианта:

  1. Создайте задание потока данных, которое сам делает прогнозы.
  2. Создайте задание потока данных, которое использует платформу AI для получения прогнозов модели. Вероятно, это будет использовать онлайн-предсказания.

В обоих случаях вы можете определить приемник BigQuery для вставки новых строк в вашу таблицу.

Кроме того, вы можете использовать Облачные функции для обновления таблицы BigQuery всякий раз, когда в GCS появляется новый файл. Это решение будет выглядеть так:

  1. Используйте gcloud для запуска пакетного прогнозирования (`задания gcloud ml-engine отправляют прогноз... --output-path="gs://[My Bucket]/batch-predictions/"
  2. Результаты записываются в несколько файлов: gs://[My Bucket]/batch-predictions/prediction.results-*-of-NNNNN
  3. Облачная функция — запущенный для анализа и вставки результатов в BigQuery. Этот средний пост объясняет, как выполнить эту настройку.

Другие вопросы по теме