Matplotlib последовательно печатает/добавляет к изображению
В настоящее время у меня есть огромный набор данных, который не помещается в памяти. Для обучения я использовал tf.Dataset для обучения своей нейронной сети. К сожалению, теперь я хочу проверить свои результаты, но набор данных + печать не помещаются в мои 32 ГБ памяти. Есть ли способ частично или последовательно распечатать график или несколько графиков в файл с помощью matplotlib. Таким образом, после каждого predict_on_batch я рисовал часть графика (загрузить изображение, нарисовать, сохранить изображение). В конце концов, я хочу полный график, чтобы проверить мои результаты. Буду признателен за любые идеи или решения проблемы «данные не помещаются в памяти, но мне нужен график для их визуализации». Это не размеченные данные, поэтому нет другого способа, кроме визуальной проверки.
Ну, я ищу закономерности в MSE прогноза. Но закономерности заранее неизвестны.
Итак, какие переменные вам нужны на осях x и y? MSE по y и эпоха обучения по x?
номер партии по x, ms по y
Можете ли вы опубликовать свой код (или, в идеале, только соответствующий тренировочный бит)? Эта информация обычно уже фиксируется TF в процессе обучения, поэтому часто нет необходимости создавать собственные списки.
насколько я знаю, model.evaluate дает вам только среднее значение mse по всем партиям, но мне нужно значение mse для каждой строки подачи. У меня есть набор данных (> 1 м, 32 партии, 1800 строк, 540 столбцов). Мне нужны значения mse 1 м * 32 * 1800, и я хочу, чтобы они были напечатаны.
Ответы 1
Я бы подошел к этой проблеме, сохранив информацию в виде списка, а не частичного графика.
Я предполагаю, что вы хотите, чтобы ваш конвейер выглядел так:
- создать пустой участок
- прогнозировать по партии
- график новых результатов
- повторите шаги 2 и 3
То, что я предлагаю, выглядит примерно так:
- инициализировать пустые списки
- прогнозировать по партии
- добавить результаты в списки
- повторите шаги 2 и 3
- построить окончательные массивы
Следуя вашему пути, создал CSV и продолжайте добавлять результаты. Спасибо. Я думал, что есть другой способ, но зачем все усложнять :D
Что вы пытаетесь изобразить на графике? Как и в каких переменных вы хотите по осям x и y? Редко требуется весь набор данных для построения графика, обычно вы используете сводную статистику, такую как RMSE, в тестовом наборе и т. д.?