A Batch Normalization egy mély neurális hálózatokban használt technika a tanulási sebesség, stabilitás és konvergencia javítására. Elsődleges célja a belső kovariáns eltolódás problémájának megoldása, amely az egyes rétegek bemeneteinek eloszlásában bekövetkező változásra utal a betanítás során az előző réteg paramétereinek változása miatt. Ez a váltás lelassíthatja a képzési folyamatot, és minden réteg számára nagyobb kihívást jelent a hatékony tanulás.
Hogyan működik a kötegelt normalizálás
-
Mini kötegeken belüli normalizálás: A betanítás során a köteg normalizálás normalizálja az egyes rétegek bemenetét a mini köteg átlagának kivonásával és osztva a mini köteg szórásával. Ez segít csökkenteni a belső kovariáns eltolódást, stabilabbá teszi a hálózatot és gyorsabb edzést tesz lehetővé.
-
Megtanulható paraméterek: A kötegelt normalizálás aktiválásonként két tanulható paramétert vezet be, amelyeket általában skálás és eltolás paramétereknek neveznek. Ezek a paraméterek lehetővé teszik a modell számára, hogy alkalmazkodjon, és megtanulja az optimális léptéket és eltolást az egyes rétegek bemeneteihez.
-
Termékek közötti normalizálás: A mini-kötegelt dimenzióra vonatkozó normalizáláson túlmenően a köteg-normalizálás a kötegen belüli egyes minták jellemzőit is normalizálja. Ez a normalizálás az egyes jellemződimenziók esetében függetlenül történik.
Hatás a képzésre
-
Gyorsabb konvergencia: A kötegelt normalizálás gyakran gyorsabb konvergenciát eredményez a képzés során, mivel lehetővé teszi a magasabb tanulási sebességek használatát az eltérés kockázata nélkül.
-
A túlillesztés csökkentése: szabályozási formaként működik, csökkentve a lemorzsolódástól vagy más szabályosító technikáktól való függőséget, ezáltal bizonyos mértékig segít megelőzni a túlillesztést.
-
Stabilitás és gradiens áramlás: Stabilizálja az edzési folyamatot azáltal, hogy csökkenti a gradiensek eltűnésének vagy felrobbanásának valószínűségét, így robusztusabb gradiens áramlást tesz lehetővé a hálózaton.
Hátrányok és korlátozások
-
Batch Size Dependency: A köteg normalizálásának hatékonyságát befolyásolhatja az edzés során használt köteg mérete. A nagyon kis kötegméretek pontatlan becslésekhez vezethetnek a mini-kötegelt statisztikákban, ami befolyásolja annak teljesítményét.
-
Egyes architektúrák alkalmazásának nehézségei: Előfordulhat, hogy a kötegelt normalizálás nem működik optimálisan ismétlődő neurális hálózatokkal (RNN-ek), számításuk szekvenciális jellege miatt.
-
A következtetésre gyakorolt hatás: A következtetés során a normalizáláshoz használt átlagot és szórást a teljes edzési adatkészletből vagy a futási statisztikákból kell megbecsülni, ami bizonyos eltéréseket okozhat, különösen olyan esetekben, amikor a következtetési adatok eloszlása jelentősen eltér az edzés adatait.
Míg a kötegelt normalizálás egy hatékony technika, és gyakran használják sok mély tanulási architektúrában, hatékonysága a hálózati architektúra, az adatelosztás és a konkrét használati esetek függvényében változhat. Egyes forgatókönyvekben előnyben részesíthetők az olyan alternatívák, mint a rétegnormalizálás vagy a példánynormalizálás.
