В чем разница между градиентным спуском и подъемом градиента?

Я не могу ничего найти о градиентном восхождении. Любая хорошая ссылка о градиентном восхождении, демонстрирующая, как она отличается от градиентного спуска, поможет.

ОТВЕТЫ

Ответ 1

Это не так. Градиентное восхождение - это просто процесс максимизации, а не минимизации функции потерь. Все остальное совершенно одно и то же. Подъем для некоторой функции потерь, можно сказать, похож на градиентный спуск на отрицание этой функции потерь.

Ответ 2

Как правило, вы используете градиентное восхождение, чтобы максимизировать функцию правдоподобия и спуск градиента для минимизации функции затрат. Оба градиентного спуска и подъема практически одинаковы. Позвольте мне привести конкретный пример, используя простой алгоритм оптимизации на основе градиента с функцией concav/convex likelihood/cost: логистическая регрессия.

К сожалению, SO по-прежнему не поддерживает LaTeX, поэтому позвольте мне опубликовать несколько скриншотов.

Функция правдоподобия, которую вы хотите максимизировать в логистической регрессии,

enter image description here

где "phi" - это просто сигмоидальная функция

enter image description here

Теперь вы хотите использовать concav funcion для градиентного восхождения, поэтому возьмите журнал:

enter image description here

Аналогично, вы можете просто написать его как обратное, чтобы получить функцию стоимости, которую вы можете свести к минимуму с помощью градиентного спуска.

enter image description here

Для лог-правдоподобия вы получите и примените градиентное восхождение следующим образом:

enter image description here

enter image description here

Так как вы хотите обновить все веса одновременно, напишите его как

enter image description here

Теперь должно быть совершенно очевидно, что обновление спуска градиента совпадает с восходящим градиентом, но имейте в виду, что мы формулируем его как "шаг в противоположном направлении градиента стоимости функция"

enter image description here

Надеюсь, что ответит на ваш вопрос!

Ответ 3

Градиентный спуск используется для минимизации определенной функции, тогда как градиентное всплытие используется для максимизации функции.

Проверьте это http://www.speech.sri.com/people/anand/771/html/node33.html

Ответ 4

Градиент - это еще одно слово для наклона. Положительный градиент графика в точке (x, y) означает, что график наклоняется вверх в точке (x, y). С другой стороны, отрицательный градиент графика в точке (x, y) означает, что график наклоняется вниз в точке (x, y).

Градиентный спуск - это итеративный алгоритм, который используется для нахождения набора тета, который минимизирует значение функции стоимости. Поэтому градиентное восхождение создало бы набор тета, который максимизирует стоимость функции стоимости.