Обучение не обобщает, чтобы хорошо предсказать валидацию и набор тестов, как улучшить обобщение?
Я построил модель регрессии 1D CNN, используя функции из слоя встраивания с помощью keras, чтобы предсказать оценку некоторых последовательностей.
Типичная производительность моей модели после обучения выглядит так:
Как видите, производительность прогнозирования обучающих данных очень высока, но кажется, что производительность не распространяется на прогнозирование данных проверки и тестирования.
Есть ли у вас какие-либо рекомендации о том, как улучшить производительность прогнозирования проверки/тестового набора, возможно, путем торговли производительностью прогнозирования на обучающих данных? (Это возможно?)
Спасибо!
Ответы 1
Разницу можно объяснить переоснащением (скорее всего). Я бы сказал, что данные перед разделением на поезд, тест и проверку не были должным образом перемешаны. В противном случае ваша машина кажется достаточно мощной, чтобы учиться, учитывая, что вы удовлетворены ее производительностью в своем наборе поездов, поэтому просто попробуйте настроить ее гиперпараметры, чтобы сбалансировать компромисс между смещением и дисперсией. Причина, по которой я не могу сказать вам наверняка, что это переоснащение, заключается в том, что ваша метрика имеет среднюю абсолютную ошибку, поэтому, несмотря на то, что эти кривые кажутся очень разными, разницу можно объяснить тем фактом, что задействован процент.
Способами избежать переобучения являются слои Dropout, регуляризация весов и т. д.