Batch Normalization dərin neyron şəbəkələrində təlim sürətini, sabitliyi və konvergensiyanı təkmilləşdirmək üçün istifadə edilən texnikadır. Onun əsas məqsədi daxili kovariatın dəyişməsi məsələsini həll etməkdir ki, bu da əvvəlki təbəqənin parametrlərindəki dəyişikliklər nəticəsində təlim zamanı hər bir təbəqənin daxilolmalarının paylanmasının dəyişməsinə istinad edir. Bu dəyişiklik təlim prosesini ləngidə bilər və hər təbəqənin effektiv şəkildə öyrənməsini çətinləşdirə bilər.
Toplu Normallaşdırma Necə İşləyir
-
Mini-batches daxilində normallaşdırma: Təlim zamanı partiyanın normallaşdırılması mini-batch ortasını çıxmaqla və mini-batch standart kənarlaşmaya bölmək yolu ilə hər bir təbəqənin girişini normallaşdırır. Bu, daxili kovariativ sürüşməni azaltmağa kömək edir, şəbəkəni daha sabit edir və daha sürətli təlimə imkan verir.
-
Öyrənilə bilən parametrlər: Dəstənin normallaşdırılması hər aktivləşdirmə üçün iki öyrənilə bilən parametr təqdim edir, adətən miqyas və shift parametrləri kimi istinad edilir. Bu parametrlər modelə uyğunlaşmağa və hər təbəqənin girişləri üçün optimal miqyas və sürüşməni öyrənməyə imkan verir.
-
Xüsusiyyətlər üzrə Normallaşdırma: Mini-batch ölçüsü üzrə normallaşma ilə yanaşı, partiyanın normallaşdırılması da dəstə daxilində hər bir nümunə üçün funksiyalar üzrə normallaşdırır. Bu normallaşdırma hər bir xüsusiyyət ölçüsü üçün müstəqil olaraq həyata keçirilir.
Təlimə Təsir
-
Daha Sürətli Konvergensiya: Toplu normallaşdırma tez-tez divergensiya riski olmadan daha yüksək öyrənmə dərəcələrinin istifadəsinə icazə verməklə təlim zamanı daha sürətli yaxınlaşmaya səbəb olur.
-
Həddindən artıq uyğunlaşmanın azaldılması: O, tənzimləmə forması kimi çıxış edir, məktəbi tərk etməkdən və ya digər nizamlanma üsullarından asılılığı azaldır və bununla da müəyyən dərəcədə həddindən artıq uyğunlaşmanın qarşısını almağa kömək edir.
-
Sabitlik və Qradient axını: O, qradiyentlərin yoxa çıxma və ya partlama ehtimalını azaltmaqla təlim prosesini stabilləşdirir, şəbəkə vasitəsilə daha möhkəm gradient axınına imkan verir.
Çatışmazlıqlar və Məhdudiyyətlər
-
Paket Ölçüsündən Asılılıq: Dəstənin normallaşdırılmasının effektivliyinə təlim zamanı istifadə olunan partiyanın ölçüsü təsir edə bilər. Çox kiçik partiya ölçüləri mini-batch statistikasının qeyri-dəqiq təxminlərinə səbəb ola bilər ki, bu da onun performansına təsir göstərir.
-
Bəzi Arxitekturalara Tətbiqdə Çətinlik: Hesablamaların ardıcıl xarakterinə görə toplu normallaşdırma təkrarlanan neyron şəbəkələri (RNN) ilə optimal işləməyə bilər.
-
Nəticəyə təsir: Nəticə zamanı normallaşdırma üçün istifadə edilən orta və standart kənarlaşma bütün təlim verilənlər toplusundan və ya işləyən statistikadan hesablanmalıdır ki, bu da bəzi uyğunsuzluq yarada bilər, xüsusən də nəticə məlumatlarının paylanmasının əhəmiyyətli dərəcədə fərqli olduğu hallarda təlim məlumatları.
Toplu normallaşdırma güclü bir texnika olsa da və bir çox dərin öyrənmə arxitekturasında geniş istifadə olunur, onun effektivliyi şəbəkə arxitekturasına, məlumatların paylanmasına və xüsusi istifadə hallarına görə dəyişə bilər. Bəzi ssenarilərdə qat normallaşdırma və ya nümunə normallaşdırma kimi alternativlərə üstünlük verilə bilər.
