Я новичок в сверточных нейронных сетях и просто имею представление о картах функций и о том, как свертка выполняется на изображениях для извлечения функций. Я был бы рад узнать некоторые подробности о применении пакетной нормализации в CNN.
Я прочитал эту статью https://arxiv.org/pdf/1502.03167v3.pdf и смог понять алгоритм BN, примененный к данным, но в конце они упомянули, что небольшая модификация требуется при применении к CNN:
Для сверточных слоев мы дополнительно хотим, чтобы нормализация подчинялась сверточному свойству, так что различные элементы одной и той же карты признаков в разных местах нормализуются одинаково. Для этого мы совместно нормализуем все активации в мини-партии по всем местоположениям. В Alg. 1, пусть B - множество всех значений в карте функций на обоих элементах мини-пакетной и пространственной локаций - поэтому для мини-партии размера m и карт характеристик размером p × q мы используем effec - миниатюрная мини-партия размера m '= | B | = m · pq. Мы изучаем пару параметров γ (k) и β (k) для каждой функциональной карты, а не за активацию. Alg. 2 модифицируется аналогично, так что во время вывода преобразование BN применяет одно и то же линейное преобразование к каждой активации в данной карте характеристик.
Я смущен, когда они говорят ", так что разные элементы одной и той же карты функций в разных местах нормализуются одинаково"
Я знаю, какие значки карт означают, а разные элементы - веса в каждой карте характеристик. Но я не мог понять, что означает местоположение или пространственное местоположение.
Я не мог понять нижеследующее предложение вообще "В Алг. 1 мы обозначим B как совокупность всех значений в карте признаков для обоих элементов мини-пакетной и пространственной локаций"
Я был бы рад, если бы кто-то простудился и объяснил мне в гораздо более простых выражениях