Почему необходима кривая обучения, чтобы определить, имеет ли нейронная сеть высокое смещение или дисперсию?
В курсе машинного обучения Эндрю Нг рекомендуется построить кривую обучения (размер обучающей выборки в зависимости от стоимости), чтобы определить, имеет ли ваша модель высокое смещение или дисперсию.
Однако я обучаю свою модель с помощью Tensorflow и вижу, что мои потери при проверке увеличиваются, а потери при обучении уменьшаются. Насколько я понимаю, это означает, что моя модель переоснащается, и поэтому у меня большая дисперсия. Есть ли еще причина для построения кривой обучения?
Ответы 1
Да, есть, но это не только для определения переобучения. Но в любом случае построение графиков - это просто причудливый способ увидеть числа, и иногда это дает вам понимание. Если вы одновременно отслеживаете потери при поездке / проверке - вы, очевидно, просматриваете одни и те же данные.
Что касается идей Эндрю - я предлагаю изучить его курс Deep Learning, он поясняет, что в современных приложениях (DL + много данных, и я считаю, что это ваш случай) предвзятость не является противоположностью дисперсии.