Begrebet batchnormalisering i neurale netværk

Batchnormalisering er en teknik, der bruges i dybe neurale netværk til at forbedre træningshastighed, stabilitet og konvergens. Dens primære formål er at behandle spørgsmålet om internt kovariatskift, som refererer til ændringen i fordelingen af ​​hvert lags input under træning på grund af ændringer i det foregående lags parametre. Dette skift kan bremse træningsprocessen og gøre det mere udfordrende for hvert lag at lære effektivt.

Sådan fungerer batchnormalisering

• Normalisering inden for mini-batches: Under træning normaliserer batch-normalisering input af hvert lag ved at fratrække mini-batch-gennemsnittet og dividere med mini-batch-standardafvigelsen. Dette hjælper med at reducere det interne kovariatskifte, hvilket gør netværket mere stabilt og giver mulighed for hurtigere træning.

• Lærbare parametre: Batchnormalisering introducerer to parametre, der kan læres pr. aktivering, typisk omtalt som skala og skift-parametre. Disse parametre gør det muligt for modellen at tilpasse sig og lære den optimale skala og skifte for hvert lags input.

• Normalisering på tværs af funktioner: Ud over at normalisere på tværs af mini-batch-dimensionen, normaliserer batch-normalisering også på tværs af funktionerne for hver prøve i batchen. Denne normalisering udføres uafhængigt for hver funktionsdimension.

Indvirkning på træning

• Hurtigere konvergens: Batchnormalisering fører ofte til hurtigere konvergens under træning ved at tillade brugen af ​​højere indlæringshastigheder uden risiko for divergens.

• Reduktion af overfitting: Det fungerer som en form for regularisering, der reducerer afhængigheden af ​​frafald eller andre regulariseringsteknikker og hjælper derved til en vis grad at forhindre overfitting.

• Stabilitet og gradientflow: Det stabiliserer træningsprocessen ved at reducere sandsynligheden for forsvindende eller eksploderende gradienter, hvilket muliggør mere robust gradientflow gennem netværket.

Ulemper og begrænsninger

• Batchstørrelsesafhængighed: Batchnormaliseringens effektivitet kan påvirkes af batchstørrelsen, der bruges under træning. Meget små batchstørrelser kan føre til unøjagtige estimater af mini-batchstatistikken, hvilket påvirker dens ydeevne.

• Svære ved at anvende på nogle arkitekturer: Batchnormalisering fungerer muligvis ikke optimalt med tilbagevendende neurale netværk (RNN'er) på grund af den sekventielle karakter af deres beregninger.

• Påvirkning på inferens: Under inferens skal middelværdien og standardafvigelsen, der bruges til normalisering, estimeres ud fra hele træningsdatasættet eller fra løbestatistikker, hvilket kan introducere en vis uoverensstemmelse, især i tilfælde, hvor inferensdatafordelingen afviger væsentligt fra træningsdataene.

Mens batchnormalisering er en kraftfuld teknik og almindeligvis brugt i mange deep learning-arkitekturer, kan dens effektivitet variere baseret på netværksarkitektur, datadistribution og specifikke brugssager. I nogle scenarier kan alternativer som lagnormalisering eller forekomstnormalisering være at foretrække.