Həddindən artıq uyğunlaşma və uyğunlaşdırma maşın öyrənmə modellərində yeni, görünməmiş məlumatlara yaxşı ümumiləşdirmə qabiliyyətinə təsir edən ümumi problemlərdir.
Həddindən artıq uyğunlaşma model təkcə təlim məlumatlarında əsas nümunələri deyil, həm də səs-küyü və həmin məlumatda mövcud olan təsadüfi dalğalanmaları öyrəndikdə baş verir. Nəticə olaraq, model təlim məlumatlarında müstəsna olaraq yaxşı çıxış edir, lakin yeni, görünməmiş məlumatlara ümumiləşdirə bilmir, çünki o, mahiyyətcə təlim toplusunu yadda saxlamışdır.
Underfitting, əksinə, model təlim məlumatlarında əsas nümunələri tutmaq üçün çox sadə olduqda baş verir. O, təkcə təlim məlumatlarında deyil, həm də yeni məlumatlarda zəif işləyir, çünki məlumatlarda mövcud olan əlaqələri və mürəkkəblikləri öyrənə bilmir.
Həddindən artıq uyğunlaşma və uyğunsuzluğun qarşısını necə almaq olar
-
Çarpaz doğrulama: Verilənlərin müxtəlif alt dəstləri üzrə modelin performansını qiymətləndirmək üçün k-qat çarpaz doğrulama kimi üsullardan istifadə edin. Bu, modelin yeni məlumatlara nə dərəcədə ümumiləşdiriləcəyini təxmin etməyə kömək edir.
-
Təlim-test bölməsi: Məlumatlarınızı ayrıca təlim və sınaq dəstlərinə bölün. Modeli təlim dəstində öyrədin və test dəstində onun fəaliyyətini qiymətləndirin. Bu, modelin görünməyən məlumatlara nə qədər yaxşı ümumiləşdirilməsini qiymətləndirməyə kömək edir.
-
Xüsusiyyət seçimi/azaltma: Yalnız ən uyğun xüsusiyyətləri seçməklə və ya verilənlərin ölçülərini azaltmaq üçün əsas komponent analizi (PCA) kimi üsullardan istifadə etməklə modelin mürəkkəbliyini azaldın.
-
Tənzimləmə: L1 və ya L2 tənzimləmə kimi texnikalar modelin məqsəd funksiyasına mürəkkəbliyə görə cərimələr əlavə edərək, onun məlumatlarda səs-küyü çox yaxından uyğunlaşdırmasının qarşısını alır.
-
Ansambl üsulları: Həddindən artıq uyğunlaşma və uyğunsuzluğu azaltmaq üçün bir neçə modeli birləşdirin. Torbalama, gücləndirmə və ya yığma kimi texnikalar ümumi performansı və ümumiləşdirməni yaxşılaşdırmaq üçün bir çox modeldən istifadə edir.
-
Hiperparametr tənzimləmə: Qərəzi balanslaşdıran optimal konfiqurasiyanı tapmaq üçün şəbəkə axtarışı və ya təsadüfi axtarış kimi üsullardan istifadə edərək model hiperparametrlərini (öyrənmə dərəcəsi, qərar ağaclarında ağacların dərinliyi və s.) tənzimləyin. və variasiya.
-
Erkən dayandırma: Təlim zamanı doğrulama dəstində modelin performansına nəzarət edin və performans aşağı düşməyə başlayanda məşq prosesini dayandırın, beləliklə, həddindən artıq uyğunlaşmanın qarşısını alın.
-
Daha çox məlumat: Verilənlərin miqdarının artırılması əsas paylanmanın daha müxtəlif və təmsilçi nümunəsini təqdim etməklə modelin daha yaxşı ümumiləşdirilməsinə kömək edə bilər.
Modelin mürəkkəbliyi və ümumiləşdirmə arasında düzgün tarazlığın tapılması həddən artıq uyğunlaşma və uyğunlaşmağın qarşısını almaq üçün çox vacibdir və bu üsullar bu tarazlığa nail olmağa kömək edir.
