В настоящее время я работаю над внедрением Facebook Prophet для живой производственной среды. Я не делал этого раньше, поэтому я хотел бы представить вам свой план здесь и надеюсь, что вы можете дать мне отзыв, является ли это приемлемым решением или у вас есть какие-либо предложения.
В Django я создаю экспорт .csv соответствующих данных, которые мне нужны для моих прогнозов. Эти экспортированные файлы .csv будут загружены в корзину AWS S3.
Оттуда я могу получить доступ к этой корзине S3 с помощью AWS Lambda Function, где происходят «тяжелые» вычисления.
После этого я беру прогнозы из 2. и снова сохраняю их в экспорте forcast.csv.
Теперь мое приложение Django может получить доступ к forecast.csv на S3 и получить соответствующие прогнозы.
Мне особенно любопытно, является ли AWS Lambda Function правильным tool в этом случае. Экспорт, вероятно, также можно было бы сохранить в DynamoDB (?), но я стараюсь, чтобы моя v1 была простой, поэтому .csv. Предпринимаются определенные усилия по установке правильных слоев/пакетов для AWS Lambda. Поэтому я хочу убедиться, что иду в правильном направлении, прежде чем углубляться в его документацию.






Меня немного беспокоит использование AWS Lambda для «тяжелых» вычислений. Есть несколько причин.
Вы можете оценить связь корзины S3 с очередью SQS и процессом, работающим на компьютере EC2, который прослушивает очередь и выполняет все вычисления.
Спасибо @Abhishek. Я посмотрю на это снова.
как часто .csv будет экспортироваться в S3?