Batch Normalization este o tehnică utilizată în rețelele neuronale profunde pentru a îmbunătăți viteza de antrenament, stabilitatea și convergența. Scopul său principal este de a aborda problema deplasării covariatelor interne, care se referă la schimbarea distribuției intrărilor fiecărui strat în timpul antrenamentului din cauza modificărilor parametrilor stratului anterior. Această schimbare poate încetini procesul de antrenament și poate face mai dificil pentru fiecare nivel să învețe eficient.
Cum funcționează normalizarea loturilor
-
Normalizarea în mini-loturi: în timpul antrenamentului, normalizarea lotului normalizează intrarea fiecărui strat prin scăderea mediei mini-loturi și împărțirea la abaterea standard a mini-loturi. Acest lucru ajută la reducerea covariatelor interne, făcând rețeaua mai stabilă și permițând un antrenament mai rapid.
-
Parametri învățabili: normalizarea loturilor introduce doi parametri de învățare per activare, denumiți de obicei parametrii scale și shift. Acești parametri permit modelului să se adapteze și să învețe scara optimă și schimbarea pentru intrările fiecărui strat.
-
Normalizare între caracteristici: pe lângă normalizarea în dimensiunea mini-lot, normalizarea lotului normalizează și caracteristicile pentru fiecare probă din lot. Această normalizare se realizează independent pentru fiecare dimensiune a caracteristicii.
Impactul asupra antrenamentului
-
Convergență mai rapidă: normalizarea loturilor duce adesea la o convergență mai rapidă în timpul antrenamentului, permițând utilizarea unor rate de învățare mai mari fără riscul de divergență.
-
Reducerea supraadaptării: acționează ca o formă de regularizare, reducând dependența de abandon sau alte tehnici de regularizare, contribuind astfel la prevenirea supraadaptarii într-o oarecare măsură.
-
Stabilitate și flux de gradient: stabilizează procesul de antrenament prin reducerea probabilității de dispariție sau explozie a gradienților, permițând un flux de gradient mai robust prin rețea.
Dezavantaje și limitări
-
Dependență de dimensiunea lotului: eficacitatea normalizării lotului poate fi influențată de dimensiunea lotului utilizat în timpul antrenamentului. Dimensiunile de loturi foarte mici pot duce la estimări inexacte ale statisticilor mini-loturi, afectând performanța acestuia.
-
Dificultate în aplicarea unor arhitecturi: normalizarea loturilor s-ar putea să nu funcționeze optim cu rețelele neuronale recurente (RNNs) din cauza naturii secvențiale a calculării lor.
-
Impactul asupra inferenței: în timpul inferenței, media și abaterea standard utilizate pentru normalizare trebuie estimate din întregul set de date de antrenament sau din statisticile de rulare, ceea ce ar putea introduce o oarecare discrepanță, mai ales în cazurile în care distribuția datelor de inferență diferă semnificativ de datele de antrenament.
În timp ce normalizarea loturilor este o tehnică puternică și utilizată în mod obișnuit în multe arhitecturi de învățare profundă, eficacitatea sa poate varia în funcție de arhitectura de rețea, distribuția datelor și cazurile de utilizare specifice. În unele scenarii, alternative precum normalizarea stratului sau normalizarea instanțelor ar putea fi preferate.
