Həddindən artıq uyğunlaşma model təkcə təlim məlumatlarında əsas nümunələri deyil, həm də həmin xüsusi verilənlər bazasında mövcud olan səs-küyü və təsadüfiliyi öyrəndikdə baş verir. Bu, təlim məlumatlarında çox yaxşı çıxış edən, lakin yeni, görünməmiş məlumatlaraümumiləşdirməyi bacarmayan** modellə nəticələnir.
İdentifikasiya
-
Yüksək Təlim Dəqiqliyi, Aşağı Test Dəqiqliyi: Əsas göstəricilərdən biri modelin təlim məlumatlarında müstəsna olaraq yaxşı, lakin test və ya doğrulama məlumatlarında zəif çıxış etməsidir.
-
Model Mürəkkəbliyi: Overfit modelləri həddindən artıq mürəkkəbdir, əsas nümunələrdən daha çox səs-küyü tutur.
-
Vizuallaşdırmalar: Təlim və doğrulama dəstlərində performansı göstərən öyrənmə əyriləri kimi süjetlər, doğrulama performansı yüksələndə və ya azalarkən təlim performansı yaxşılaşmağa davam edərsə, həddindən artıq uyğunluğu aşkar edə bilər.
Həddindən artıq uyğunlaşmanın qarşısının alınması və üsulları
-
Cross-Validation: k-qat cross-validation kimi üsullar modelin yaxşı ümumiləşdirilməsini təmin edərək, verilənlərin müxtəlif alt qrupları üzrə performansını qiymətləndirməyə kömək edə bilər.
-
Train-Validation-Test Split: Təlim, yoxlama və sınaq üçün verilənlərin fərqli dəstlərə bölünməsi modelin görünməyən məlumatlar əsasında qiymətləndirilməsini təmin edir.
-
Funksiya Seçimi: Daha az informativ atributlardan yaranan səs-küydən qaçaraq modeli öyrətmək üçün yalnız ən uyğun funksiyalardan istifadə edin.
-
Tənzimləmə: L1 və ya L2 tənzimləmə kimi texnikalar modelin itki funksiyasına cərimə şərtləri əlavə edərək, həddən artıq mürəkkəb modellərdən çəkindirir.
-
Erkən dayandırma: Doğrulama dəstində modelin performansına nəzarət edin və performans aşağı düşməyə başlayanda təlimi dayandırın, onun təlim məlumatlarında həddindən artıq optimallaşdırılmasının qarşısını alın.
-
Ansambl Metodları: Torbalama, gücləndirmə və ya yığma kimi üsullardan istifadə çoxsaylı modellərin proqnozlarını birləşdirərək həddən artıq uyğunlaşmanı azaltmağa kömək edə bilər.
-
Data Augmentation: Müəyyən növ modellər üçün, mövcud məlumatlara transformasiyalar və ya təxribatlar tətbiq etməklə əlavə təlim məlumatlarının yaradılması həddən artıq uyğunlaşmanın qarşısını almağa kömək edə bilər.
Modelin mürəkkəbliyini, verilənlər toplusunun ölçüsünü və nizamlama üsullarını balanslaşdırmaq, modelin yeni, görünməmiş məlumatlara yaxşı ümumiləşdirilməsini təmin edərkən həddindən artıq uyğunlaşmanın qarşısını almaq üçün çox vacibdir.
