Я пишу некоторые базовые нейронные сетевые методы - в частности, функции активации - и попал в пределы моего знания мусора по математике. Я понимаю соответствующие диапазоны (-1/1) (0/1) и т.д., Но различные описания и реализации меня смущают.
В частности, сигмовидные, логистические, биполярные сигмоиды, таны и т.д.
Сигмоид просто описывает форму функции независимо от диапазона? Если это так, то tanh является "сигмоидной функцией"?
Я видел "биполярный сигмоид" по сравнению с "tanh" в документе, однако я видел обе реализованные функции (в разных библиотеках) с тем же кодом:
((2/(1 + Exp (-2 * n))) - 1). Это то же самое?
Аналогично, я видел логистические и сигмоидные активации, реализованные с одним и тем же кодом:
(1/(1 + Exp (-1 * n))). Являются ли они эквивалентными?
Наконец, действительно ли это имеет значение на практике? Я вижу на wiki a график очень похожих сигмоидных функций - можно ли использовать какой-либо из них? Некоторые выглядят так, как будто они могут значительно быстрее вычисляться, чем другие.