Batch Normalization sare neuronal sakonetan erabiltzen den teknika da entrenamendu-abiadura, egonkortasuna eta konbergentzia hobetzeko. Bere helburu nagusia barneko aldagaien desplazamendua gaiari heltzea da, hau da, geruza bakoitzaren sarrerak prestakuntzan zehar izandako aldaketari dagokio, aurreko geruzen parametroen aldaketen ondorioz. Aldaketa honek prestakuntza-prozesua moteldu dezake eta geruza bakoitzari modu eraginkorrean ikastea zailagoa izan daiteke.
Nola funtzionatzen duen loteen normalizazioa
-
Normalizazioa Mini-lotetan: entrenamenduan zehar, loteen normalizazioak geruza bakoitzaren sarrera normalizatzen du mini-loteen batezbestekoa kenduz eta mini-lotearen desbideratze estandararekin zatituz. Horrek barneko aldagaien desplazamendua murrizten laguntzen du, sarea egonkorrago bihurtuz eta entrenamendu azkarragoa ahalbidetuz.
-
Parametro ikasgarriak: Batch normalizazioak aktibazio bakoitzeko bi parametro ikasten ditu, normalean eskala eta shift parametro gisa aipatzen direnak. Parametro hauei esker, eredua egokitzeko eta geruza bakoitzaren sarreretarako eskala eta desplazamendu optimoa ikasteko.
-
Normalizazioa Ezaugarrien artean: lote txikien dimentsioan normalizatzeaz gain, lotearen normalizazioa ere normalizatzen da lotearen lagin bakoitzaren ezaugarrietan. Normalizazio hori modu independentean egiten da ezaugarri-dimentsio bakoitzerako.
Prestakuntzan eragina
-
Konbergentzia azkarragoa: loteen normalizazioak sarritan konbergentzia azkarragoa dakar entrenamenduan zehar ikaskuntza-tasa handiagoak erabiltzea ahalbidetuz, dibergentzia arriskurik gabe.
-
Gehiegizko egokitzapenaren murrizketa: erregularizazio modu bat gisa jokatzen du, uztearen edo beste erregularizazio tekniken menpekotasuna murrizten du, eta horrela neurri batean gehiegizko egokitzea saihesten laguntzen du.
-
Egonkortasuna eta gradiente-fluxua: entrenamendu-prozesua egonkortzen du gradienteak desagertzeko edo lehertzeko probabilitatea murriztuz, sarean zehar gradiente-fluxu sendoagoa ahalbidetuz.
Eragozpenak eta mugak
-
Lotearen tamainaren menpekotasuna: Loteen normalizazioaren eraginkortasuna prestakuntzan zehar erabilitako lotearen tamainaren araberakoa izan daiteke. Lote oso txikiek lote txikien estatistiken estimazio okerrak ekar ditzakete, eta haren errendimenduan eragina izan dezakete.
-
Arkitektura batzuei aplikatzeko zailtasuna: Baliteke loteen normalizazioak ondo ez funtzionatzea sare neuronal errekurrenteekin (RNN) konputazioaren izaera sekuentziala dela eta.
-
Inferentzian inpaktua: Inferentzian zehar, normalizaziorako erabilitako batez besteko eta desbideratze estandarra entrenamenduko datu-multzo osotik edo exekutatzen ari diren estatistiketatik estimatu behar da, eta horrek desadostasunen bat sor dezake, batez ere inferentzia datuen banaketatik nabarmen desberdina den kasuetan. prestakuntza datuak.
Batch-en normalizazioa teknika indartsua den eta ikaskuntza sakoneko arkitektura askotan erabili ohi den arren, bere eraginkortasuna alda daiteke sare-arkitekturaren, datuen banaketaren eta erabilera-kasu zehatzen arabera. Eszenatoki batzuetan, geruzaren normalizazioa edo instantziaren normalizazioa bezalako alternatibak hobets daitezke.
