Ahanztura katastrofikoa, interferentzia katastrofikoa izenez ere ezagutzen dena, sare neuronalak edo ikaskuntza automatikoko ereduak "ahazten" direnean gertatzen den fenomenoa da, edo zeregin berri bat ikasi ondoren aurrez ikasitako zereginetan errendimendua nabarmen murrizten duenean. Hau gerta daiteke eredu bat ataza-korronte batean entrenatzean, zeregin guztietan aldi berean entrenatu beharrean.
Ahanztura katastrofikoa gerta daitekeen hainbat modu daude. Modu bat "overfitting" prozesua da 1, non eredua prestakuntza-datuak egokitzera bideratua dagoen. ataza berria aurreko zereginetako informazioa ahazten duela. Beste modu bat "interferentzia" prozesua da, non ataza berria aurreko zereginekin nolabait erlazionatuta dagoen, eta ereduak ataza berriari buruz ikasteak aurreko zereginei buruz duen ezagutza "oztopatzen" duen. Catastrophic Forgetting gertatzen den modu arrunt bat "Online Learning" 2 ikuspegia erabiliz eredu bat entrenatzean da, zeinetan eredua etengabe eguneratzen den adibide berriekin. sartu ahala, aldi berean adibide finko batean trebatu beharrean. Eszenatoki honetan, eredua aurretik trebatu zen adibideetatik nabarmen desberdinak diren adibide berriekin aurkez daiteke, eta horrek aurreko zereginean duen errendimendua "ahaztea" edo nabarmen hondatzea eragin dezake.
Ahanztura hondamendia arintzeko hainbat modu daude:
-
Ikuspegi bat "Pisuaren erregularizazioa" 3 bezalako teknikak erabiltzea da, eredua saihesten lagun dezaketenak. bere pisu-balioak zeharo aldatzetik eta aurreko zereginetatik lortutako ezagutza galtzetik.
-
"Elastic Weight Consolidation" 4, zeinak sareko pisuei zarata txiki bat gehitzea dakar entrenamenduan zehar, Ahazte Katastrofikoa saihesten ere lagun dezake. Zarata horrek pisuak "egonkortzen" laguntzen du, ereduak aurreko zereginei buruz duen ezagutza ahaztea litekeena da.
-
Beste ikuspegi bat "Entsegua" bezalako metodoak erabiltzea da 5, zeinetan eredua aurrez ikasitako atazetako adibideekin etengabe aurkezten den ezagutza hori mantentzen laguntzeko.
-
Ahanztura Katastrofikoari aurre egiteko beste metodo ezagun bat "Transfer Learning" erabiltzea da 6, non eredu bat. ataza batean trebatua erlazionatutako zeregin batean fin-fintua dago. Adibidez, txakurren irudiak ezagutzeko trebatua izan den eredu bat katuen irudiak antzemateko fin egon liteke. Kasu honetan, ereduak animalien irudiak orokorrean antzemateko erabilgarriak diren ezaugarri asko ikasi ditu dagoeneko, beraz, ezagutza hori erabil dezake katuen irudiak ezagutzen azkar ikasteko.
-
"Ensemble Methods" 7, zeinetan hainbat eredu trebatzen diren zeregin desberdinak ebazteko, eta haien irteerak konbinatzen diren azken iragarpena egiteko, lagungarriak dira. Ahaztu Katastrofikoa saihestuz. Esaterako, multzo-eredu bat txakurren irudiak ezagutzeko trebatutako eredu batek, katuen irudiak ezagutzeko trebatutako beste eredu batek eta abar izan ditzake. Adibide berri batekin aurkezten denean, multzo-ereduak bere osagaien eredu bakoitzaren irteera erabil dezake iragarpen informatuago bat egiteko.
Ahanztura hondamendia kontu garrantzitsua da ikaskuntza automatikoko ereduak trebatzean, batez ere eredu horiek denboran zehar hainbat zeregin ikasteko trebatzen ari direnean. Pisuaren erregularizazioa, pisu elastikoa finkatzea, entsegua, transferentzia-ikaskuntza eta multzo-metodoak bezalako teknikak erabiliz, posible da ahazte katastrofikoaren ondorioak arintzea eta ikaskuntza automatikoko ereduen errendimendua hobetzea.
[1] The Overfitting Iceberg (2020)
[2] Makinen ikaskuntzako lineako metodoak - Teoria eta aplikazioak (2023ko urtarrilean kontsultatua)
[3] Erregularizazio teknikak ikaskuntza sakonean (2019)
[4] Ahanztura katastrofikoa gainditzea sare neuronaleetan (2017)
[5] Ahanztura katastrofikoa, entsegua eta sasi-entsaioa (1995)
[6] Transferentzien ikaskuntzaren inkesta (2016)
[7] Ensemble Learning - Wikipedia (2023ko urtarrilean kontsultatua)
