Разница между плотным и активирующим слоем в Keras

Мне было интересно, в чем разница между слоем активации и плотным слоем в Keras.

Так как слой активации кажется полностью связанным слоем, а у Dense есть параметр для передачи функции активации, какая лучшая практика?

Представьте себе такую художественную сеть: Input → Dense → Dropout → Final Layer Final Layer должен быть: Плотный (активация = softmax) или Активация (softmax)? Что является самым чистым и почему?

Всем спасибо!

Ответ 1

Использование Dense(activation=softmax) является вычислительно эквивалентным, чтобы сначала добавить Dense а затем добавить Activation(softmax). Однако есть одно преимущество второго подхода - вы можете извлечь выходные данные последнего уровня (до активации) из такой определенной модели. В первом подходе - это невозможно.