A katasztrofális felejtés, más néven katasztrofális interferencia egy olyan jelenség, amely akkor fordul elő, amikor egy neurális hálózat vagy gépi tanulási modell "elfelejtik", vagy drámaian csökkenti a teljesítményét a korábban tanult feladatokon, miután megtanult egy új feladatot. Ez akkor fordulhat elő, ha egy modellt egy feladatfolyamra tanít, nem pedig az összes feladatra egyszerre.
A katasztrofális felejtésnek többféle módja van. Az egyik módja a „túlillesztés” 1 folyamata, ahol a modell annyira a képzési adatok illesztésére összpontosít. az új feladat, hogy elfelejti az előző feladatokból származó információkat. Egy másik út az „interferencia” folyamata, ahol az új feladat valamilyen módon kapcsolódik az előző feladathoz, és a modell új feladatról való tanulása „beavatkozik” az előző feladatokkal kapcsolatos tudásába. A katasztrofális felejtés egyik gyakori módja a modell betanítása az "Online tanulás" 2 megközelítésével, amelyben a modell folyamatosan frissül új példákkal. ahogy bejönnek, ahelyett, hogy egy fix példahalmazra tanítanák őket egyszerre. Ebben a forgatókönyvben a modellt olyan új példákkal lehet bemutatni, amelyek jelentősen eltérnek azoktól a példáktól, amelyekre korábban betanították, és ez azt okozhatja, hogy "elfelejti" vagy jelentősen rontja az előző feladat teljesítményét.
Számos módja van a katasztrofális felejtés enyhítésének:
-
Az egyik megközelítés az olyan technikák alkalmazása, mint a „súlyszabályozás” 3, amelyek segíthetnek megelőzni a modellt. súlyértékeinek drasztikus megváltoztatásától és a korábbi feladatokból megszerzett tudás elvesztésétől.
-
Az „Elastic Weight Consolidation” 4, amely az edzés során kis mennyiségű zajt ad a hálózat súlyához, szintén segíthet megelőzni a katasztrofális felejtést. Ez a zaj segít "stabilizálni" a súlyokat, így kevésbé valószínű, hogy a modell elfelejti a korábbi feladatokról szerzett ismereteit.
-
Egy másik megközelítés az olyan módszerek használata, mint a „Próba” 5, amelyben a modell folyamatosan bemutatásra kerül a korábban megtanult feladatok példáival, hogy segítse a tudás megtartását.
-
Egy másik népszerű módszer a katasztrofális felejtés kezelésére a „Transfer Learning” 6 alkalmazása, amelyben egy modell egy feladatra betanított egy kapcsolódó feladatra finomhangol. Például egy modellt, amelyet a kutyák képeinek felismerésére képeztek ki, finomhangolhatják a macskák képeinek felismerésére. Ebben az esetben a modell már sok olyan funkciót elsajátított, amelyek általában az állatok képeinek felismeréséhez hasznosak, így ezt a tudást felhasználva gyorsan megtanulhatja a macskák képeinek felismerését.
-
Az „Ensemble Methods” 7, amelyben több modellt képeznek ki különböző feladatok megoldására, és kimeneteiket kombinálva végső előrejelzést készítenek, szintén hasznosak a katasztrofális felejtés megelőzése. Például egy együttes modell állhat egy modellből, amelyet kutyák képeinek felismerésére képeztek ki, egy másik modellből, amelyet macskák képeinek felismerésére képeztek ki, és így tovább. Amikor egy új példát mutatunk be, az ensemble modell felhasználhatja az egyes alkotó modelljeit, hogy megalapozottabb előrejelzést készítsen.
A katasztrofális felejtés fontos szempont a gépi tanulási modellek betanítása során, különösen akkor, ha ezeket a modelleket arra tanítják, hogy idővel több feladatot is megtanuljanak. Az olyan technikák használatával, mint a súlyszabályozás, a rugalmas súlymegszilárdítás, a próba, a transzfertanulás és az együttes módszerek, mérsékelhetők a katasztrofális felejtés hatásai, és javítható a gépi tanulási modellek teljesítménye.
[1] The Overfitting Iceberg (2020)
[2] Online Methods in Machine Learning – elmélet és alkalmazások (Konzultált 2023 januárjában)
[3] Regularization Techniques in Deep Learning (2019)
[4] A katasztrofális felejtés legyőzése neurális hálózatokban (2017)
[5] Katasztrofális felejtés, próba és álpróba (1995)
[6] A transzfertanulás felmérése (2016)
[7] Ensemble Learning – Wikipedia (Konzultáció 2023 januárjában)
