Normalizacja wsadowa to technika stosowana w głębokich sieciach neuronowych w celu poprawy szybkości uczenia, stabilności i zbieżności. Jej głównym celem jest zajęcie się kwestią wewnętrznego przesunięcia kowariancji, które odnosi się do zmiany rozkładu danych wejściowych każdej warstwy podczas uczenia ze względu na zmiany parametrów poprzedniej warstwy. Przesunięcie to może spowolnić proces uczenia i utrudnić każdej warstwie skuteczne uczenie się.
Jak działa normalizacja wsadowa
-
**Normalizacja w obrębie mini-**partii: Podczas treningu normalizacja partii normalizuje dane wejściowe każdej warstwy poprzez odjęcie średniej mini-partii i podzielenie przez odchylenie standardowe mini-partii. Pomaga to zmniejszyć wewnętrzne przesunięcie zmiennych, czyniąc sieć bardziej stabilną i umożliwiając szybsze szkolenie.
-
Parametry, których można się nauczyć: Normalizacja wsadowa wprowadza dwa uczące się parametry na aktywację, zwykle określane jako parametry skali i przesunięcia. Parametry te pozwalają modelowi dostosować i nauczyć się optymalnej skali i przesunięcia dla wejść każdej warstwy.
-
Normalizacja między cechami: Oprócz normalizacji w wymiarze minipartii, normalizacja partii normalizuje również cechy dla każdej próbki w partii. Ta normalizacja jest wykonywana niezależnie dla każdego wymiaru funkcji.
Wpływ na szkolenie
-
Szybsza zbieżność: Normalizacja partii często prowadzi do szybszej zbieżności podczas szkolenia, umożliwiając wykorzystanie wyższych wskaźników uczenia się bez ryzyka rozbieżności.
-
Redukcja nadmiernego dopasowania: Działa jako forma regularyzacji, zmniejszając zależność od dropout lub innych technik regularyzacji, pomagając w ten sposób w pewnym stopniu zapobiegać nadmiernemu dopasowaniu.
-
Stabilność i przepływ gradientu: Stabilizuje proces szkolenia, zmniejszając prawdopodobieństwo zaniku lub eksplozji gradientów, umożliwiając bardziej niezawodny przepływ gradientu przez sieć.
Wady i ograniczenia
-
Zależność od wielkości partii: Na skuteczność normalizacji wsadowej może wpływać wielkość partii używana podczas szkolenia. Bardzo małe rozmiary partii mogą prowadzić do niedokładnych szacunków statystyk mini-batch, wpływając na ich wydajność.
-
Trudności w zastosowaniu do niektórych architektur: Normalizacja wsadowa może nie działać optymalnie z rekurencyjnymi sieciami neuronowymi (RNNs) ze względu na sekwencyjny charakter ich obliczeń.
-
Wpływ na wnioskowanie: Podczas wnioskowania średnia i odchylenie standardowe używane do normalizacji muszą być oszacowane na podstawie całego zbioru danych szkoleniowych lub statystyk bieżących, co może wprowadzić pewne rozbieżności, szczególnie w przypadkach, gdy rozkład danych wnioskowania znacznie różni się od danych szkoleniowych.
Podczas gdy normalizacja wsadowa jest potężną techniką i jest powszechnie stosowana w wielu architekturach głębokiego uczenia, jej skuteczność może się różnić w zależności od architektury sieci, dystrybucji danych i konkretnych przypadków użycia. W niektórych scenariuszach preferowane mogą być alternatywy, takie jak normalizacja warstw lub normalizacja instancji.
