Как постоянно обучать нашу предварительно обученную модель на данных в реальном времени?
У меня есть несколько датчиков, которые получают данные с цементного завода и отправляют данные в AWS IoT. Затем данные проверяются на предварительно обученной модели, и модель прогнозирует качество цемента на основе некоторых параметров. Данные поступают с интервалом в одну секунду.
Поскольку данные поступают в режиме реального времени, я хочу постепенно обучать модель в реальном времени.
Может ли кто-нибудь предложить, как тренировать модель непрерывно?
Ответы 1
Вы можете агрегировать определенное количество обучающих данных, а затем использовать .partial_fit() для обновления своей модели.
.partial_fit() — это вариант добавочного обучения, доступный в Sklearn.
Если ваши инкрементные данные не помещаются в ОЗУ, то стоит попробовать dask-ml оболочка для добавочного обучения.
Посмотрите на Апач Флинк.