Как обучить модель тензорного потока, чтобы выходные данные покрывали огромный диапазон
У меня есть набор данных, в котором выходные данные являются логарифмическими, я имею в виду, что они варьируются от значений порядка 0,02 до порядка 15000, я должен просто нормально обучить модель или каким-то образом предварительно обработать вывод?
Спасибо
Ответы 2
Скорее всего, вы получите лучшие результаты, если выполните предварительную обработку, чтобы убедиться, что вывод в основном находится в пределах [0, 1]. Поскольку ваш вывод является «логарифмическим», это также может помочь сделать вывод более линейным; то есть возьмите журнал ваших исходных выходных данных и измените масштаб так, чтобы журналы находились в [0, 1].
Нормализация признаков и нормализация вывода служат разным целям. Нормализация признаков используется для обеспечения более равномерного веса признаков, чтобы признаки с большими диапазонами не искажали веса. Нормализация вывода используется, чтобы избежать взрыва градиента; более линейно распределенный вывод также поможет получить лучшие градиенты и, вероятно, тренироваться быстрее (при условии потери MSE).
Возможно, вы могли бы использовать логарифмическую функцию активации:
model = tf.keras.Sequential([
tf.keras.layers.Dense(16, activation='relu'),
tf.keras.layers.Dense(16, activation='relu'),
tf.keras.layers.Dense(1, activation=lambda x: tf.math.log(x)),
])
Здравствуйте, Николя, спасибо за ответ, у меня есть пара вопросов с вашим ответом, с этой активацией потеря будет считаться нормально? и чтобы получить фактическое значение прогноза из модели с логарифмической активацией, мне нужно антилогарифмировать прогноз?
Спасибо за ответ, извините за мое невежество в теме, так как я новичок, но я также должен нормализовать цель модели, разве это не только для функций?