Fəlakətli unudulma, həmçinin Fəlakətli Müdaxilə kimi tanınan, neyron şəbəkəsi və ya maşın öyrənmə modeli yeni tapşırığı öyrəndikdən sonra "unutduğu" və ya əvvəllər öyrənilmiş tapşırıqlar üzrə performansını kəskin şəkildə azaltdığı zaman baş verən hadisədir. Bu, modeli bir anda bütün tapşırıqlar üzrə öyrətməkdənsə, onu tapşırıqlar axını üzrə öyrətdikdə baş verə bilər.
Fəlakətli unutmanın baş verə biləcəyi bir neçə fərqli yol var. Bir yol, modelin təlim məlumatlarını uyğunlaşdırmağa diqqət yetirdiyi "overfitting" 1 prosesidir. əvvəlki tapşırıqlardakı məlumatları unudduğu yeni tapşırıq. Başqa bir yol “müdaxilə” prosesidir ki, burada yeni tapşırığın hansısa formada əvvəlki tapşırıqlarla əlaqəsi var və modelin yeni tapşırığı öyrənməsi onun əvvəlki tapşırıqlar haqqında biliklərinə “müdaxilə edir”. Fəlakətli Unudulmanın baş verdiyi ümumi yollardan biri, modelin daim yeni nümunələrlə yeniləndiyi "Onlayn Öyrənmə" 2 yanaşmasından istifadə edərək modeli öyrətməkdir. bir anda sabit nümunələr toplusunda təlim keçmək əvəzinə, daxil olduqdan sonra. Bu ssenaridə model əvvəllər öyrədildiyi nümunələrdən əhəmiyyətli dərəcədə fərqli olan yeni nümunələrlə təqdim oluna bilər və bu, onun "unutmasına" və ya əvvəlki tapşırıq üzrə performansını əhəmiyyətli dərəcədə aşağı salmasına səbəb ola bilər.
Fəlakətli unutmanı azaltmağın bir neçə yolu var:
-
Bir yanaşma, modelin qarşısını almağa kömək edə biləcək “Çəki tənzimləmə” 3 kimi üsullardan istifadə etməkdir. çəki dəyərlərini kəskin şəkildə dəyişməkdən və əvvəlki tapşırıqlardan əldə etdiyi bilikləri itirməkdən.
-
"Elastik Çəki Konsolidasiyası" 4 məşq zamanı şəbəkənin çəkilərinə az miqdarda səs-küy əlavə etməyi nəzərdə tutur, həmçinin Fəlakətli Unudulmanın qarşısını almağa kömək edə bilər. Bu səs-küy çəkiləri "sabitləşdirməyə" kömək edir və modelin əvvəlki tapşırıqlar haqqında biliklərini unutması ehtimalını azaldır.
-
Başqa bir yanaşma “Məşq” 5.
-
Fəlakətli Unudulmanın aradan qaldırılması üçün digər məşhur üsul "Transfer Öyrənmə" 6 istifadə etməkdir. bir tapşırığa öyrədilmiş, əlaqəli bir tapşırıq üzərində dəqiq tənzimlənir. Məsələn, itlərin şəkillərini tanımaq üçün təlim keçmiş model, pişiklərin şəkillərini tanımaq üçün dəqiq tənzimlənə bilər. Bu halda, model ümumilikdə heyvanların təsvirlərini tanımaq üçün faydalı olan bir çox xüsusiyyətləri artıq öyrənmişdir, ona görə də o, bu biliklərdən istifadə edərək, pişik şəkillərini tanımağı tez bir zamanda öyrənə bilər.
-
"Ansambl Metodları" 7, burada müxtəlif tapşırıqları həll etmək üçün çoxlu modellər öyrədilir və onların nəticələri yekun proqnoz vermək üçün birləşdirilir. Fəlakətli Unudulmanın qarşısının alınması. Məsələn, ansambl modeli itlərin təsvirlərini tanımaq üçün öyrədilmiş bir modeldən, pişik şəkillərini tanımaq üçün öyrədilmiş başqa bir modeldən və s. ibarət ola bilər. Yeni bir nümunə təqdim edildikdə, ansambl modeli daha məlumatlı bir proqnoz vermək üçün onu təşkil edən modellərin hər birinin çıxışından istifadə edə bilər.
Fəlakətli Unutma, maşın öyrənmə modellərini öyrədərkən, xüsusən də bu modellər zamanla çoxlu tapşırıqları öyrənmək üçün öyrədildikdə vacib bir məsələdir. Çəki Tənzimləmə, Elastik Çəki Konsolidasiyası, Məşq, Transfer Öyrənmə və Ansambl Metodları kimi üsullardan istifadə etməklə, fəlakətli unutmanın təsirlərini azaltmaq və maşın öyrənmə modellərinin performansını yaxşılaşdırmaq mümkündür.
[1] The Overfitting Iceberg (2020)
[2] Maşın Öyrənməsində Onlayn Metodlar - Nəzəriyyə və Tətbiqlər (2023-cü ilin yanvarında məsləhətləşib)
[3] Dərin Öyrənmədə Tənzimləmə Texnikaları (2019)
[4] Neyron Şəbəkələrdə Fəlakətli Unudulmanın aradan qaldırılması (2017)
[5] Fəlakətli Unutma, Məşq və Yalançı Eşitmə (1995)
[6] Transfer öyrənmə sorğusu (2016)
[7] Ensemble Learning - Wikipedia (Məsləhət 2023-cü ilin yanvarında)
