Katastrofālā aizmirstība, kas pazīstama arī kā katastrofāla iejaukšanās, ir parādība, kas rodas, kad neironu tīkls vai mašīnmācīšanās modelis "aizmirst" vai ievērojami samazina savu veiktspēju iepriekš apgūtos uzdevumos pēc jauna uzdevuma apguves. Tas var notikt, apmācot modeli uzdevumu straumē, nevis apmācot to visiem uzdevumiem vienlaikus.
Ir daži dažādi veidi, kā var notikt katastrofāla aizmirstība. Viens no veidiem ir "pārmērīgas pielāgošanas" 1 process, kurā modelis ir tik vērsts uz treniņu datu pielāgošanu jaunais uzdevums, ka tas aizmirst informāciju no iepriekšējiem uzdevumiem. Vēl viens veids ir "traucēšanas" process, kurā jaunais uzdevums ir kaut kādā veidā saistīts ar iepriekšējiem uzdevumiem, un modeļa mācīšanās par jauno uzdevumu "iejaucas" tā zināšanām par iepriekšējiem uzdevumiem. Viens no izplatītākajiem veidiem, kā notiek katastrofāla aizmirstība, ir modeļa apmācība, izmantojot tiešsaistes mācību 2 pieeju, kurā modelis tiek pastāvīgi atjaunināts ar jauniem piemēriem. kā viņi ienāk, nevis tiek apmācīti, pamatojoties uz fiksētu piemēru kopu. Šajā scenārijā modelim var parādīt jaunus piemērus, kas būtiski atšķiras no iepriekš apmācītajiem piemēriem, kā rezultātā tas var "aizmirst" vai būtiski pasliktināt iepriekšējā uzdevuma veiktspēju.
Ir vairāki veidi, kā mazināt katastrofālu aizmirstību:
-
Viena pieeja ir izmantot tādas metodes kā “Svara regulēšana” 3, kas var palīdzēt novērst modeli. krasi mainot svara vērtības un zaudējot zināšanas, kas iegūtas no iepriekšējiem uzdevumiem.
-
"Elastīgā svara nostiprināšana" 4, kas ietver neliela trokšņa pievienošanu tīkla svaram treniņa laikā, var arī palīdzēt novērst katastrofālu aizmirstību. Šis troksnis palīdz "stabilizēt" svarus, mazinot iespēju, ka modelis aizmirsīs zināšanas par iepriekšējiem uzdevumiem.
-
Cita pieeja ir izmantot tādas metodes kā “Rehearsal” 5, kurā modelis nepārtraukti tiek prezentēts ar piemēriem no iepriekš apgūtiem uzdevumiem, lai palīdzētu tam saglabāt šīs zināšanas.
-
Vēl viena populāra metode katastrofālas aizmirstības novēršanai ir izmantot "Transfer Learning" 6, kurā tiek izmantots modelis. apmācīts vienam uzdevumam, ir precīzi pielāgots saistītam uzdevumam. Piemēram, modeli, kas ir apmācīts atpazīt suņu attēlus, var precīzi noregulēt, lai atpazītu kaķu attēlus. Šajā gadījumā modelis jau ir apguvis daudzas funkcijas, kas ir noderīgas dzīvnieku attēlu atpazīšanai kopumā, tāpēc tas var izmantot šīs zināšanas, lai ātri iemācītos atpazīt kaķu attēlus.
-
"Ansambļa metodes" 7, kurās vairāki modeļi tiek apmācīti dažādu uzdevumu risināšanai un to rezultāti tiek apvienoti, lai veiktu galīgo prognozi, ir noderīgas arī katastrofālas aizmiršanas novēršana. Piemēram, ansambļa modelis var sastāvēt no viena modeļa, kas ir apmācīts atpazīt suņu attēlus, cits modelis, kas ir apmācīts atpazīt kaķu attēlus utt. Kad tiek parādīts jauns piemērs, ansambļa modelis var izmantot katra tā veidojošā modeļa izvadi, lai veiktu apzinātāku prognozi.
Katastrofāla aizmirstība ir svarīgs apsvērums, apmācot mašīnmācīšanās modeļus, īpaši, ja šie modeļi tiek apmācīti apgūt vairākus uzdevumus laika gaitā. Izmantojot tādas metodes kā svara regulēšana, elastīgā svara konsolidācija, mēģinājums, pārcelšanas mācīšanās un ansambļa metodes, ir iespējams mazināt katastrofālas aizmirstības sekas un uzlabot mašīnmācīšanās modeļu veiktspēju.
[1] The Overfitting Iceberg (2020)
[2] Tiešsaistes metodes mašīnmācībā — teorija un lietojumprogrammas (apspriests 2023. gada janvārī)
[3] Regularization Techniques in Deep Learning (2019)
[4] Pārvarēt katastrofālo aizmirstību neironu tīklos (2017)
[5] Katastrofāla aizmirstība, mēģinājums un pseidomēģinājums (1995)
[6] Aptauja par apmācību pārnesi (2016)
[7] Ensemble Learning — Wikipedia (apspriests 2023. gada janvārī)
