Пакетна нормалізація — це техніка, яка використовується в глибоких нейронних мережах для покращення швидкості навчання, стабільності та конвергенції. Його основною метою є вирішення проблеми внутрішнього коваріатного зсуву, який відноситься до зміни в розподілі вхідних даних кожного рівня під час навчання через зміни параметрів попереднього рівня. Ця зміна може уповільнити процес навчання та ускладнити ефективне навчання кожного рівня.
Як працює пакетна нормалізація
-
Нормалізація в міні-серіях: під час навчання нормалізація партії нормалізує вхідні дані кожного шару шляхом віднімання середнього міні-серії та ділення на стандартне відхилення міні-серії. Це допомагає зменшити внутрішній зсув коваріат, роблячи мережу більш стабільною та дозволяючи швидше навчатися.
-
Параметри, які можна вивчати: пакетна нормалізація вводить два параметри, які можна вивчати, на активацію, які зазвичай називаються параметрами масштабу та зміщення. Ці параметри дозволяють моделі адаптуватися та вивчати оптимальний масштаб і зсув для вхідних даних кожного шару.
-
Нормалізація за функціями: окрім нормалізації за виміром міні-серії, нормалізація партії також нормалізує за функціями для кожного зразка в партії. Ця нормалізація виконується незалежно для кожного виміру функції.
Вплив на навчання
-
Швидша конвергенція: пакетна нормалізація часто призводить до швидшої конвергенції під час навчання, дозволяючи використовувати більш високі швидкості навчання без ризику розбіжності.
-
Зменшення переобладнання: діє як форма регулярізації, зменшуючи залежність від відсіву або інших методів регулярізації, тим самим допомагаючи певною мірою запобігти переобладнанню.
-
Стабільність і градієнтний потік: він стабілізує процес навчання, зменшуючи ймовірність зникнення або вибуху градієнтів, забезпечуючи більш надійний градієнтний потік через мережу.
Недоліки та обмеження
-
Залежність від розміру партії: на ефективність нормалізації партії може впливати розмір партії, який використовується під час навчання. Дуже малі розміри партій можуть призвести до неточних оцінок статистики міні-серій, що вплине на їх продуктивність.
-
Складнощі із застосуванням до деяких архітектур: пакетна нормалізація може не працювати оптимально з рекурентними нейронними мережами (RNN) через послідовний характер їх обчислень.
-
Вплив на висновок: під час логічного висновку середнє значення та стандартне відхилення, що використовуються для нормалізації, повинні бути оцінені на основі всього набору навчальних даних або поточної статистики, що може призвести до певної невідповідності, особливо у випадках, коли розподіл даних логічного висновку значно відрізняється від дані навчання.
Хоча пакетна нормалізація є потужною технікою, яка зазвичай використовується в багатьох архітектурах глибокого навчання, її ефективність може змінюватися залежно від архітектури мережі, розподілу даних і конкретних випадків використання. У деяких сценаріях можна віддати перевагу таким альтернативам, як нормалізація рівня або нормалізація екземпляра.
