Katastrofinis užmiršimas, dar žinomas kaip Katastrofiniai trukdžiai, yra reiškinys, atsirandantis, kai neuroninis tinklas arba mašininio mokymosi modelis „pamiršta“ arba smarkiai sumažina anksčiau išmoktų užduočių našumą išmokus naują užduotį. Taip gali nutikti mokant modelį atliekant užduočių srautą, o ne mokant jį atlikti visas užduotis vienu metu.
Yra keletas skirtingų būdų, kaip katastrofiškas užmiršimas gali įvykti. Vienas iš būdų yra „perdengimo“ 1 procesas, kai modelis yra sutelktas į treniruočių duomenų pritaikymą naują užduotį, kad ji pamirštų informaciją iš ankstesnių užduočių. Kitas būdas yra „trukdymo“ procesas, kai nauja užduotis tam tikru būdu yra susijusi su ankstesnėmis užduotimis, o modelio mokymasis apie naują užduotį „trukdo“ jo žinioms apie ankstesnes užduotis. Vienas iš dažniausių katastrofiško užmiršimo būdų yra modelio lavinimas naudojant internetinio mokymosi metodą 2, kai modelis nuolat atnaujinamas naujais pavyzdžiais. kai jie ateina, o ne mokomi pagal fiksuotą pavyzdžių rinkinį iš karto. Pagal šį scenarijų modelis gali būti pateiktas su naujais pavyzdžiais, kurie labai skiriasi nuo anksčiau mokytų pavyzdžių, ir dėl to jis gali „pamiršti“ arba gerokai pabloginti ankstesnės užduoties našumą.
Yra keletas būdų, kaip sumažinti katastrofišką pamiršimą:
– Vienas iš būdų yra naudoti tokius metodus kaip „Svorio reguliavimas“ 3, kurie gali padėti išvengti modelio. drastiškai pakeitus savo svorio reikšmes ir prarandant žinias, įgytas atliekant ankstesnes užduotis.
- „Elastingas svorio sutvirtinimas“ 4, kuris apima nedidelį triukšmo kiekį tinklo svoriams treniruotės metu, taip pat gali padėti išvengti katastrofiško užmiršimo. Šis triukšmas padeda „stabilizuoti“ svorius, todėl mažiau tikėtina, kad modelis pamirš savo žinias apie ankstesnes užduotis.
– Kitas būdas yra naudoti tokius metodus kaip „Repeticija“ 5, kuriame modelis nuolat pateikiamas su anksčiau išmoktų užduočių pavyzdžiais, padedančiais išlaikyti tas žinias.
– Kitas populiarus būdas įveikti katastrofišką užmarštį yra naudoti „mokymosi perkėlimą“ 6, kuriame modelis apmokytas atlikti vieną užduotį yra tiksliai suderintas su susijusia užduotimi. Pavyzdžiui, modelis, kuris buvo išmokytas atpažinti šunų vaizdus, gali būti sureguliuotas taip, kad atpažintų kačių vaizdus. Šiuo atveju modelis jau išmoko daug funkcijų, kurios naudingos apskritai gyvūnų atvaizdams atpažinti, todėl šias žinias gali panaudoti greitai išmokti atpažinti kačių atvaizdus.
– „Ansambliniai metodai“ 7, kai keli modeliai mokomi spręsti skirtingas užduotis, o jų rezultatai sujungiami, kad būtų galima nuspėti, taip pat naudingi užkirsti kelią katastrofiškam pamiršimui. Pavyzdžiui, ansamblio modelį gali sudaryti vienas modelis, išmokytas atpažinti šunų atvaizdus, kitas modelis, išmokytas atpažinti kačių atvaizdus ir pan. Pateikus naują pavyzdį, ansamblio modelis gali naudoti kiekvieno jį sudarančio modelio išvestį, kad padarytų labiau pagrįstą prognozę.
Katastrofiškas užmiršimas yra svarbus veiksnys mokant mašininio mokymosi modelius, ypač kai tie modeliai mokomi išmokti daug užduočių laikui bėgant. Naudojant tokius metodus kaip svorio reguliavimas, elastingas svorio konsolidavimas, repeticijos, mokymosi perkėlimas ir ansamblio metodai, galima sušvelninti katastrofiško pamiršimo padarinius ir pagerinti mašininio mokymosi modelių veikimą.
[1] The Overfitting Iceberg (2020 m.)
[2] Internetiniai mašininio mokymosi metodai – teorija ir taikymas (Konsultuota 2023 m. sausio mėn.)
[3] Regularizavimo metodai giliame mokyme (2019 m.)
[4] Katastrofiško užmiršimo įveikimas neuroniniuose tinkluose (2017 m.)
5 .pdf) (1995)
[6] Mokymosi perkeliant apklausa (2016 m.)
[7] Ensemble Learning – Vikipedija (konsultuota 2023 m. sausio mėn.)
