Google Cloud Run: скрипт требует мало памяти, но достигает предела памяти
В Google Cloud Run у меня есть скрипт Python, который требует небольшого объема памяти. Согласно tracemalloc пиковая память составляет порядка 20 Мб.
Тем не менее, около 1 из 4 прогонов терпит неудачу:
«Превышено ограничение памяти в 512 МБ при использовании 516 МБ».
Кроме того, в «Метриках облачного запуска» говорится, что «Использование памяти контейнера» для всех запусков превышает 70%.
Что может быть причиной? Можно ли это объяснить какими-либо накладными расходами памяти Google Cloud Run? Если да, то каков порядок величины этих накладных расходов памяти? Что я могу сделать, чтобы уменьшить использование памяти? Любые другие предложения или решения?
Заранее спасибо!
Ответы 2
Объем памяти Cloud Run — это не только ваш скрипт Python, но и весь ваш контейнер. Вы должны измерить объем памяти вашего контейнера, чтобы иметь представление о необходимой памяти в Cloud Run. Если вы используете Docker, статистика докера может помочь вам в решении этой задачи (в вашей локальной среде).
Вы также можете выбрать меньший базовый образ, удалить бесполезные двоичные файлы/библиотеки,... чтобы уменьшить объем памяти.
Спасибо за указание на Docker, который уже является шагом в правильном направлении для поиска проблемы!
Каким-то образом с каждым запуском память в контейнере продолжала расти, достигнув предела памяти после пары запусков.
Наконец, я смог решить эту проблему, добавив
import gc
...
gc.collect()
И в Docker, и в Google Cloud Run после каждого запуска теперь очищается память.
После тестирования с Docker у меня, вероятно, возникла та же проблема, что и в следующем вопросе: stackoverflow.com/questions/70881991/…