Batchnormalisatie is een techniek die wordt gebruikt in diepe neurale netwerken om de trainingssnelheid, stabiliteit en convergentie te verbeteren. Het primaire doel is om het probleem van interne covariate verschuiving aan te pakken, wat verwijst naar de verandering in de verdeling van de inputs van elke laag tijdens de training als gevolg van veranderingen in de parameters van de vorige laag. Deze verschuiving kan het trainingsproces vertragen en het voor elke laag moeilijker maken om effectief te leren.
Hoe batch-normalisatie werkt
-
Normalisatie binnen minibatches: Tijdens de training normaliseert batchnormalisatie de invoer van elke laag door het gemiddelde van de mini-batch af te trekken en te delen door de standaardafwijking van de mini-batch. Dit helpt bij het verminderen van de interne covariate verschuiving, waardoor het netwerk stabieler wordt en er sneller getraind kan worden.
-
Leerbare parameters: Batchnormalisatie introduceert twee leerbare parameters per activatie, meestal schaal- en verschuivingsparameters genoemd. Met deze parameters kan het model zich aanpassen en de optimale schaal en verschuiving voor de ingangen van elke laag leren.
-
Normalisatie over kenmerken: Naast het normaliseren over de minibatchdimensie normaliseert de batchnormalisatie ook over de kenmerken voor elk monster binnen de batch. Deze normalisatie wordt onafhankelijk uitgevoerd voor elke kenmerkdimensie.
Invloed op training
-
Snellere convergentie: Batchnormalisatie leidt vaak tot snellere convergentie tijdens de training doordat hogere leersnelheden kunnen worden gebruikt zonder het risico op divergentie.
-
Vermindering van overfitting: Het werkt als een vorm van regularisatie en vermindert de afhankelijkheid van drop-out of andere regularisatietechnieken, waardoor overfitting tot op zekere hoogte wordt voorkomen.
-
Stabiliteit en gradiëntstroom: Het stabiliseert het trainingsproces door de kans op verdwijnende of exploderende gradiënten te verkleinen, waardoor een robuustere gradiëntstroom door het netwerk mogelijk wordt.
Nadelen en beperkingen
-
Afhankelijkheid van de batchgrootte: De effectiviteit van batchnormalisatie kan worden beïnvloed door de batchgrootte die tijdens de training wordt gebruikt. Zeer kleine batchgroottes kunnen leiden tot onnauwkeurige schattingen van de statistieken van de mini-batch, wat de prestaties beïnvloedt.
-
Moeilijkheid bij toepassing op sommige architecturen: Batchnormalisatie werkt mogelijk niet optimaal met terugkerende neurale netwerken (RNNs) vanwege de sequentiële aard van hun berekening.
-
Invloed op inferentie: Tijdens de inferentie moeten het gemiddelde en de standaardafwijking die voor de normalisatie worden gebruikt, worden geschat op basis van de volledige trainingsdataset of op basis van lopende statistieken, wat tot discrepanties kan leiden, vooral in gevallen waarin de verdeling van de inferentiegegevens aanzienlijk verschilt van de trainingsgegevens.
Hoewel groepsnormalisatie een krachtige techniek is en vaak wordt gebruikt in veel deep learning-architecturen, kan de effectiviteit variëren op basis van netwerkarchitectuur, gegevensdistributie en specifieke gebruikssituaties. In sommige scenario's kan de voorkeur worden gegeven aan alternatieven zoals laagnormalisatie of instance-normalisatie.
