Катастрафічнае забыццё, таксама вядомае як катастрафічнае ўмяшанне, - гэта з'ява, якая ўзнікае, калі нейронавая сетка або мадэль машыннага навучання "забывае" або рэзка зніжае сваю прадукцыйнасць пры выкананні раней вывучаных задач пасля вывучэння новай задачы. Гэта можа адбыцца пры навучанні мадэлі на патоку задач, а не на ўсіх задачах адначасова.
Ёсць некалькі спосабаў катастрафічнага забыцця. Адзін са спосабаў - праз працэс "пераабсталявання" 1, дзе мадэль настолькі сканцэнтравана на падганянні дадзеных навучання для новае заданне забывае інфармацыю з папярэдніх заданняў. Іншы спосаб - праз працэс "умяшання", калі новая задача некаторым чынам звязана з папярэднімі задачамі, і вывучэнне мадэллю новай задачы "ўмешваецца" ў яе веды аб папярэдніх задачах. Адным з распаўсюджаных спосабаў катастрафічнага забыцця з'яўляецца навучанне мадэлі з выкарыстаннем падыходу "онлайн-навучання" 2, пры якім мадэль пастаянна абнаўляецца новымі прыкладамі. па меры іх паступлення, а не навучанне на фіксаваным наборы прыкладаў адразу. У гэтым сцэнары мадэлі могуць быць прадстаўлены новыя прыклады, якія істотна адрозніваюцца ад прыкладаў, на якіх яна навучалася раней, і гэта можа прывесці да таго, што яна «забудзе» або значна пагоршыць сваю прадукцыйнасць пры выкананні папярэдняй задачы.
Ёсць некалькі спосабаў паменшыць катастрафічнае забыванне:
-
Адзін з падыходаў заключаецца ў выкарыстанні такіх метадаў, як «рэгулярізацыя вагі» 3, якія могуць дапамагчы прадухіліць мадэль ад рэзкага змянення значэнняў вагі і страты ведаў, атрыманых падчас папярэдніх задач.
-
«Эластычная кансалідацыя вагі» 4, якая прадугледжвае даданне невялікай колькасці шуму да вагаў сеткі падчас трэніроўкі, таксама можа дапамагчы прадухіліць катастрафічнае забыццё. Гэты шум дапамагае "стабілізаваць" вагі, памяншаючы верагоднасць таго, што мадэль забудзе свае веды аб папярэдніх задачах.
-
Іншы падыход заключаецца ў выкарыстанні такіх метадаў, як «Рэпетыцыя» 5, у якім мадэль пастаянна прадстаўляецца з прыкладамі з раней вывучаных задач, каб дапамагчы ёй захаваць гэтыя веды.
-
Іншым папулярным метадам барацьбы з катастрафічным забыццём з'яўляецца выкарыстанне "Transfer Learning" 6, у якім мадэль падрыхтаваны па адной задачы, наладжваецца на сумежную задачу. Напрыклад, мадэль, якую навучылі распазнаваць выявы сабак, можа быць дакладна настроена на распазнаванне выяваў катоў. У гэтым выпадку мадэль ужо вывучыла шмат функцый, карысных для распазнання выяваў жывёл у цэлым, таму можа выкарыстоўваць гэтыя веды, каб хутка навучыцца распазнаваць выявы котак.
-
«Метады ансамбля» 7, у якіх некалькі мадэляў навучаюцца вырашаць розныя задачы, а іх вынікі аб'ядноўваюцца, каб зрабіць канчатковы прагноз, таксама карысныя ў прадухіленне катастрафічнага забыцця. Напрыклад, ансамблевая мадэль можа складацца з адной мадэлі, якая навучана распазнаваць выявы сабак, іншай мадэлі, якая навучана распазнаваць выявы котак, і гэтак далей. Пры прадстаўленні новага прыкладу мадэль ансамбля можа выкарыстоўваць выхад кожнай з мадэляў, якія ўваходзяць у яе склад, каб зрабіць больш абгрунтаваны прагноз.
Катастрафічнае забыванне з'яўляецца важным фактарам пры навучанні мадэлям машыннага навучання, асабліва калі гэтыя мадэлі навучаюцца засваенню некалькіх задач з цягам часу. Выкарыстоўваючы такія метады, як рэгулярізацыя вагі, пругкая кансалідацыя вагі, рэпетыцыя, пераноснае навучанне і ансамблевыя метады, можна змякчыць наступствы катастрафічнага забыцця і палепшыць прадукцыйнасць мадэляў машыннага навучання.
[1] Айсберг пераабсталявання (2020)
[2] Інтэрнэт-метады ў машынным навучанні - Тэорыя і прымяненне (Кансультацыя праведзена ў студзені 2023 г.)
[3] Метады рэгулярызацыі ў паглыбленым навучанні (2019)
[4] Пераадоленне катастрафічнага забыцця ў нейронавых сетках (2017)
[5] Катастрафічнае забыццё, рэпетыцыя і псеўдарэпетыцыя (1995)
[6] Апытанне трансфернага навучання (2016)
[7] Ensemble Learning - Wikipedia (прагледжана ў студзені 2023 г.)
