Градиентный спуск без производной

Итак, я пытаюсь понять градиентный спуск и запутался. Если у вас есть парабола, которая теряется при изменении веса. Вместо того, чтобы брать производную в точке x, в которой мы находимся, почему бы просто не найти вершину параболы?

Вероятно, datascience.stackexchange.com — более подходящий сайт для общих вопросов по машинному обучению.

— homocomputeris 08.04.2019 13:25
machine-learning neural-network deep-learning backpropagation gradient-descent
08.04.2019 05:22
Оптимизация производительности модели: Руководство по настройке гиперпараметров в Python с Keras
Оптимизация производительности модели: Руководство по настройке гиперпараметров в Python с Keras
Настройка гиперпараметров - это процесс выбора наилучшего набора гиперпараметров для модели машинного обучения с целью оптимизации ее...
Развертывание модели машинного обучения с помощью Flask - Angular в Kubernetes
Развертывание модели машинного обучения с помощью Flask - Angular в Kubernetes
Kubernetes - это портативная, расширяемая платформа с открытым исходным кодом для управления контейнерными рабочими нагрузками и сервисами, которая...
Udacity Nanodegree Capstone Project: Классификатор пород собак
Udacity Nanodegree Capstone Project: Классификатор пород собак
Вы можете ознакомиться со скриптами проекта и данными на github .
Определение пород собак с помощью конволюционных нейронных сетей (CNN)
Определение пород собак с помощью конволюционных нейронных сетей (CNN)
В рамках финального проекта Udacity Data Scietist Nanodegree я разработал алгоритм с использованием конволюционных нейронных сетей (CNN) для...
Почему Python - идеальный выбор для проекта AI и ML
Почему Python - идеальный выбор для проекта AI и ML
Блог, которым поделился Harikrishna Kundariya в нашем сообществе Developer Nation Community.
0
1
347
1
Перейти к ответу Данный вопрос помечен как решенный

Ответы 1

Ответ принят как подходящий

Ты сможешь. Если ваша функция потерь на самом деле является параболой (или другой удобной выпуклой функцией), вы можете. Но, скорее всего, ваша функция потерь невыпуклая и сверхсложная, и вы априори не знаете, что это такое. Поэтому мы используем градиентный спуск так, как мы это делаем — мы постоянно сэмплируем. Когда вы видите удобные параболы, это просто упрощенная иллюстрация.

08.04.2019 05:28

Другие вопросы по теме

Как я могу выполнить передискретизацию после или до встраивания?
Нейросетевое распознавание номеров MNIST
TensorFlow: вызов графа внутри другого графа
Многозадачное обучение с использованием оценок в качестве признаков
Есть ли способ увеличить размерность предварительно обученных вложений слов?
Почему точность всегда 0,00% с большими потерями на Keras для глубокого обучения
Tensorflow: почему результат одного узла нейронной сети без функции активации отличается от моего собственного расчета?
Выбор подходящей модели NN (скорость/производительность)
Возобновление обучения модели Keras
Как мне получить значение нейронной сети, предсказанное для одного изображения?

Похожие вопросы

Как классификаторы классифицируют?
Почему есть два позиционных аргумента, когда я поставил только один?
Градиентный спуск для линейной регрессии не находит оптимальные параметры
Почему каждый слой принимает исходную форму входного массива вместо вывода предыдущего слоя
Метаклассификатор, основанный на логике «или» в scikit-learn
Всегда ли проблемы линейной регрессии классифицируются как контролируемая проблема машинного обучения
Классификация изображений Keras — точность прогноза в наборе данных проверки не соответствует val_acc
Реализация Sklearn для пакетного градиентного спуска
Как использовать tf.estimator.DNNClassifier (Scikit Flow?)
Pytorch не поддерживает однократный вектор?