Ang Catastrophic Forgetting, na kilala rin bilang Catastrophic Interference, ay isang phenomenon na nangyayari kapag ang isang neural network o machine learning model ay "nakakalimutan", o kapansin-pansing binabawasan ang performance nito sa mga naunang natutunang gawain pagkatapos matuto ng bagong gawain. Ito ay maaaring mangyari kapag nagsasanay ng isang modelo sa isang stream ng mga gawain, sa halip na sanayin ito sa lahat ng mga gawain nang sabay-sabay.
Mayroong ilang iba't ibang paraan kung saan maaaring mangyari ang sakuna na pagkalimot. Ang isang paraan ay sa pamamagitan ng proseso ng "overfitting" 1, kung saan nakatutok ang modelo sa pag-aayos ng data ng pagsasanay para sa ang bagong gawain na nakakalimutan nito ang impormasyon mula sa mga nakaraang gawain. Ang isa pang paraan ay sa pamamagitan ng proseso ng "panghihimasok", kung saan ang bagong gawain ay nauugnay sa mga nakaraang gawain sa ilang paraan, at ang pag-aaral ng modelo tungkol sa bagong gawain ay "nakakasagabal" sa kaalaman nito tungkol sa mga nakaraang gawain. Ang isang karaniwang paraan na nangyayari ang Catastrophic Forgetting ay kapag nagsasanay ng modelo gamit ang "Online Learning" 2 na diskarte, kung saan ang modelo ay patuloy na ina-update gamit ang mga bagong halimbawa sa pagpasok nila, sa halip na sanayin sa isang nakapirming hanay ng mga halimbawa nang sabay-sabay. Sa sitwasyong ito, ang modelo ay maaaring iharap sa mga bagong halimbawa na makabuluhang naiiba sa mga halimbawa kung saan ito dati ay nagsanay, at ito ay maaaring maging sanhi ng "pagkalimot" o makabuluhang pababain ang pagganap nito sa nakaraang gawain.
Mayroong ilang mga paraan upang pagaanin ang sakuna na pagkalimot:
-
Ang isang diskarte ay ang paggamit ng mga diskarte gaya ng “Weight Regularization” 3, na makakatulong na maiwasan ang modelo mula sa matinding pagbabago sa mga halaga ng timbang nito at pagkawala ng kaalaman na nakuha nito mula sa mga nakaraang gawain.
-
"Elastic Weight Consolidation" 4, na kinabibilangan ng pagdaragdag ng kaunting ingay sa mga bigat ng network habang nagsasanay, ay makakatulong din na maiwasan ang Catastrophic Forgetting. Ang ingay na ito ay nakakatulong sa "pagpapatatag" ng mga timbang, na ginagawang mas malamang na makalimutan ng modelo ang kaalaman nito tungkol sa mga nakaraang gawain.
-
Ang isa pang diskarte ay ang paggamit ng mga pamamaraan tulad ng “Rehearsal” 5, kung saan ang modelo ay patuloy na ipinakita ng mga halimbawa mula sa mga naunang natutunang gawain upang matulungan itong mapanatili ang kaalamang iyon.
-
Isa pang sikat na paraan para sa pagtugon sa Catastrophic Forgetting ay ang paggamit ng "Transfer Learning" 6, kung saan ang isang modelo sinanay sa isang gawain ay pinino sa isang kaugnay na gawain. Halimbawa, ang isang modelo na sinanay upang makilala ang mga larawan ng mga aso ay maaaring maayos upang makilala ang mga larawan ng mga pusa. Sa kasong ito, natutunan na ng modelo ang maraming feature na kapaki-pakinabang para sa pagkilala sa mga larawan ng mga hayop sa pangkalahatan, kaya magagamit nito ang kaalamang ito upang mabilis na matutunang makilala ang mga larawan ng mga pusa.
-
"Mga Paraan ng Ensemble" 7, kung saan ang maramihang mga modelo ay sinanay upang malutas ang iba't ibang mga gawain, at ang kanilang mga output ay pinagsama upang makagawa ng panghuling hula, ay nakakatulong din sa pagpigil sa Catastrophic Forgetting. Halimbawa, ang isang modelo ng ensemble ay maaaring binubuo ng isang modelo na sinanay upang makilala ang mga larawan ng mga aso, isa pang modelo na sinanay upang makilala ang mga larawan ng mga pusa, at iba pa. Kapag iniharap sa isang bagong halimbawa, maaaring gamitin ng ensemble model ang output ng bawat isa sa mga constituent na modelo nito upang makagawa ng mas matalinong hula.
Ang Catastrophic Forgetting ay isang mahalagang pagsasaalang-alang kapag nagsasanay ng mga modelo ng machine learning, lalo na kapag ang mga modelong iyon ay sinasanay upang matuto ng maraming gawain sa paglipas ng panahon. Sa pamamagitan ng paggamit ng mga diskarte gaya ng Weight Regularization, Elastic Weight Consolidation, Rehearsal, Transfer Learning, at Ensemble Methods, posibleng mabawasan ang mga epekto ng sakuna na pagkalimot at pagbutihin ang pagganap ng mga modelo ng machine learning.
[1] The Overfitting Iceberg (2020)
[2] Mga Online na Pamamaraan sa Machine Learning - Teorya at Aplikasyon (Kinunsulta noong Enero 2023)
[3] Mga Teknik sa Regularization sa Deep Learning (2019)
[4] Pagtagumpayan ang Sakuna na Pagkalimot sa Mga Neural Network (2017)
[5] Catastrophic Forgetting, Rehearsal, and Pseudoreearsal (1995)
[6] Isang Survey ng Transfer Learning (2016)
[7] Ensemble Learning - Wikipedia (Kinunsulta noong Enero 2023)
