Katastrofiese vergeet, ook bekend as Katastrofiese Inmenging, is 'n verskynsel wat voorkom wanneer 'n neurale netwerk of masjienleermodel "vergeet", of sy prestasie op voorheen geleerde take dramaties verminder nadat 'n nuwe taak aangeleer is. Dit kan voorkom wanneer 'n model op 'n stroom take opgelei word, eerder as om dit op alle take tegelyk op te lei.
Daar is 'n paar verskillende maniere waarop katastrofiese vergeet kan plaasvind. Een manier is deur die proses van "oorpas" 1, waar die model so gefokus is op die inpas van die opleidingsdata vir die nuwe taak dat dit die inligting van die vorige take vergeet. 'n Ander manier is deur die proses van "inmenging", waar die nuwe taak op een of ander manier verband hou met die vorige take, en die model se leer oor die nuwe taak "inmeng" met sy kennis oor die vorige take. Een algemene manier waarop Katastrofale Vergeet plaasvind, is wanneer 'n model opgelei word deur die "Aanlyn Leer" 2-benadering, waarin die model voortdurend opgedateer word met nuwe voorbeelde soos hulle inkom, eerder as om opgelei te word op 'n vaste stel voorbeelde op een slag. In hierdie scenario kan die model met nuwe voorbeelde aangebied word wat aansienlik verskil van die voorbeelde waarop dit voorheen opgelei is, en dit kan veroorsaak dat dit "vergeet" of sy prestasie op die vorige taak aansienlik verswak.
Daar is verskeie maniere om katastrofiese vergeet te versag:
-
Een benadering is om tegnieke soos "Weight Regularization" 3 te gebruik, wat kan help om die model te voorkom van die drastiese verandering van sy gewigswaardes en die verlies van die kennis wat dit uit vorige take opgedoen het.
-
"Elastic Weight Consolidation" 4, wat behels die toevoeging van 'n klein hoeveelheid geraas by die gewigte van die netwerk tydens opleiding, kan ook help om Katastrofiese Vergeet te voorkom. Hierdie geraas help om die gewigte te “stabiliseer”, wat dit minder waarskynlik maak dat die model sy kennis oor vorige take sal vergeet.
-
Nog 'n benadering is om metodes soos "Rehearsal" te gebruik 5, waarin die model voortdurend aangebied word met voorbeelde van voorheen geleerde take om dit te help om daardie kennis te behou.
-
Nog 'n gewilde metode om Katastrofiese Vergeet aan te spreek, is om "Transfer Learning" [6] te gebruik (https://journalofbigdata.springeropen.com/counter/pdf/10.1186/s40537-016-0043-6.pdf), waarin 'n model opgelei in een taak is fyn ingestel op 'n verwante taak. Byvoorbeeld, 'n model wat opgelei is om beelde van honde te herken, kan fyn ingestel word om beelde van katte te herken. In hierdie geval het die model reeds baie kenmerke geleer wat nuttig is om beelde van diere in die algemeen te herken, sodat dit hierdie kennis kan gebruik om vinnig te leer om beelde van katte te herken.
-
"Ensemble Methods" 7, waarin verskeie modelle opgelei word om verskillende take op te los, en hul uitsette gekombineer word om 'n finale voorspelling te maak, is ook nuttig in Katastrofiese vergeet te voorkom. Byvoorbeeld, 'n ensemblemodel kan bestaan uit een model wat opgelei is om beelde van honde te herken, 'n ander model wat opgelei is om beelde van katte te herken, ensovoorts. Wanneer 'n nuwe voorbeeld aangebied word, kan die ensemblemodel die uitset van elk van sy samestellende modelle gebruik om 'n meer ingeligte voorspelling te maak.
Katastrofiese vergeet is 'n belangrike oorweging wanneer masjienleermodelle opgelei word, veral wanneer daardie modelle opgelei word om veelvuldige take oor tyd te leer. Deur tegnieke soos gewigsregularisering, elastiese gewigskonsolidasie, repetisie, oordragleer en ensemblemetodes te gebruik, is dit moontlik om die gevolge van katastrofiese vergeet te versag en die werkverrigting van masjienleermodelle te verbeter.
Verander komplekse data in uitvoerbare insigte—sluit aan by Code Labs Academy se Data Science & AI Bootcamp om toegang tot die volle potensiaal van masjienleer en kunsmatige intelligensie te kry.
[1] The Overfitting Iceberg (2020)
[2] Aanlyn metodes in masjienleer – teorie en toepassings (Geraadpleeg in Januarie 2023)
[3] Regulariseringstegnieke in Deep Learning (2019)
[4] Om katastrofiese vergeet in neurale netwerke te oorkom (2017)
[5] Katastrofiese vergeet, repetisie en pseudorehoorsal (1995)
[6] 'n Opname van oordragleer (2016)
[7] Ensemble Learning - Wikipedia (Geraadpleeg in Januarie 2023)
