Paketna normalizacija je tehnika, ki se uporablja v globokih nevronskih mrežah za izboljšanje hitrosti usposabljanja, stabilnost in konvergence. Njegov primarni namen je obravnavati vprašanje notranjega kovariatnega premika, ki se nanaša na spremembo porazdelitve vnosov vsake plasti med usposabljanjem zaradi sprememb parametrov prejšnje plasti. Ta premik lahko upočasni proces usposabljanja in naredi učinkovitejše učenje za vsako plast večji izziv.
Kako deluje paketna normalizacija
-
Normalizacija znotraj mini serij: Med usposabljanjem normalizacija serije normalizira vnos vsake plasti z odštevanjem povprečja mini serij in deljenjem s standardnim odklonom mini serij. To pomaga zmanjšati notranji kovariatni premik, zaradi česar je omrežje bolj stabilno in omogoča hitrejše usposabljanje.
-
Naučljivi parametri: Paketna normalizacija uvaja dva učljiva parametra na aktivacijo, običajno imenovana parametra lestvica in premik. Ti parametri omogočajo modelu, da se prilagodi in se nauči optimalne lestvice in premika za vnose vsake plasti.
-
Normalizacija po funkcijah: poleg normalizacije po dimenziji mini serije normalizacija serije tudi normalizira po funkcijah za vsak vzorec znotraj serije. Ta normalizacija se izvaja neodvisno za vsako dimenzijo funkcije.
Vpliv na usposabljanje
-
Hitrejša konvergenca: Paketna normalizacija pogosto vodi do hitrejše konvergence med usposabljanjem, tako da omogoči uporabo višjih stopenj učenja brez tveganja razhajanja.
-
Zmanjšanje prekomernega opremljanja: deluje kot oblika regulacije, zmanjšuje odvisnost od osipa ali drugih tehnik regulacije, s čimer do neke mere pomaga preprečiti prekomerno opremljanje.
-
Stabilnost in gradientni tok: stabilizira proces vadbe tako, da zmanjša verjetnost izginjajočih ali eksplozivnih gradientov, kar omogoča robustnejši gradientni tok skozi omrežje.
Pomanjkljivosti in omejitve
-
Odvisnost od velikosti serije: Na učinkovitost normalizacije serije lahko vpliva velikost serije, uporabljena med usposabljanjem. Zelo majhne velikosti paketov lahko povzročijo netočne ocene statističnih podatkov o mini paketu, kar vpliva na njegovo delovanje.
-
Težave pri uporabi za nekatere arhitekture: Paketna normalizacija morda ne bo delovala optimalno s ponavljajočimi se nevronskimi mrežami (RNN) zaradi zaporedne narave njihovega računanja.
-
Vpliv na sklepanje: Med sklepanjem je treba povprečje in standardni odklon, uporabljena za normalizacijo, oceniti iz celotnega nabora podatkov o usposabljanju ali tekoče statistike, kar bi lahko povzročilo nekaj neskladja, zlasti v primerih, ko se distribucija podatkov sklepanja bistveno razlikuje od podatke o usposabljanju.
Medtem ko je paketna normalizacija zmogljiva tehnika in se pogosto uporablja v številnih arhitekturah globokega učenja, se lahko njena učinkovitost razlikuje glede na arhitekturo omrežja, distribucijo podatkov in posebne primere uporabe. V nekaterih scenarijih so morda prednostne alternative, kot sta normalizacija plasti ali normalizacija primerka.
