Катастрофикалык унутуу, ошондой эле катастрофиялык интерференция катары белгилүү, нейрондук тармак же машина үйрөнүү модели жаңы тапшырманы үйрөнгөндөн кийин "унутуп калганда" же мурда үйрөнүлгөн тапшырмалардагы аткарууну кескин төмөндөткөндө пайда болгон көрүнүш. Бул моделди бир эле учурда бардык тапшырмалар боюнча үйрөткөндө эмес, тапшырмалардын агымына үйрөткөндө пайда болушу мүмкүн.
Катастрофалык унутуу пайда болушунун бир нече ар кандай жолдору бар. Мунун бир жолу - "ашыкча тууралоо" процесси аркылуу 1, мында модель окуу маалыматтарын тууралоого багытталган. жаңы тапшырма, ал мурунку тапшырмалардагы маалыматты унутуп калат. Дагы бир жол – «кийлигишүү» процесси аркылуу, мында жаңы тапшырма кандайдыр бир түрдө мурунку тапшырмалар менен байланышкан, ал эми моделдин жаңы тапшырманы үйрөнүүсү анын мурунку тапшырмалар жөнүндөгү билимине «тоскоолдук кылат». Катастрофикалык унутуунун кеңири таралган жолдорунун бири "Онлайн үйрөнүү" 2 ыкмасын колдонуу менен моделди үйрөтүү болуп саналат, мында модель үзгүлтүксүз жаңы мисалдар менен жаңыртылып турат. Алар бир эле учурда туруктуу мисалдардын жыйындысы боюнча үйрөтүлгөндөн көрө. Бул сценарийде модель мурда үйрөтүлгөн мисалдардан бир топ айырмаланган жаңы мисалдар менен берилиши мүмкүн жана бул анын "унутуп калышына" алып келиши мүмкүн же мурунку тапшырма боюнча анын аткаруусун олуттуу түрдө начарлатышы мүмкүн.
Катастрофиялык унутууну азайтуунун бир нече жолдору бар:
-
Бир ыкма, мисалы, моделдин алдын алууга жардам бере турган "Салмакты жөнгө салуу" 3 сыяктуу ыкмаларды колдонуу болуп саналат. анын салмагы баалуулуктарын кескин өзгөртүүдөн жана мурунку тапшырмалардан алган билимдерин жоготуудан.
-
Машыгуу учурунда тармактын салмагына бир аз ызы-чуу кошууну камтыган "Эластикалык Салмак Консолидациясы" 4, ошондой эле катастрофалык унутууну алдын алууга жардам берет. Бул ызы-чуу салмактарды "стабилдештирүүгө" жардам берет, бул модель мурунку тапшырмалар тууралуу билимин унутуп коюу ыктымалдыгын азайтат.
-
Дагы бир ыкма "Репетиция" 5, мында модель ошол билимди сактап калууга жардам берүү үчүн дайыма мурда үйрөнүлгөн тапшырмалардан мисалдар менен көрсөтүлөт.
-
Катастрофикалык унутууну чечүүнүн дагы бир популярдуу ыкмасы "Transfer Learning" 6 болуп саналат. бир тапшырма боюнча машыккан ага байланыштуу тапшырма боюнча такталган. Мисалы, иттердин сүрөттөрүн таанууга үйрөтүлгөн модель мышыктардын сүрөттөрүн таануу үчүн жакшылап жөндөлүшү мүмкүн. Бул учурда, модель буга чейин эле жалпы жаныбарлардын сүрөттөрүн таануу үчүн пайдалуу көптөгөн өзгөчөлүктөрүн үйрөнгөн, ошондуктан ал мышыктардын сүрөттөрүн таануу үчүн тез үйрөнүү үчүн бул билимди колдоно алат.
-
"Ансамблдик методдор" 7, мында бир нече моделдер ар кандай тапшырмаларды чечүүгө үйрөтүлгөн жана алардын натыйжалары акыркы болжолдоо үчүн бириктирилген. катастрофалык унутууну алдын алуу. Мисалы, ансамблдин модели иттердин сүрөттөрүн таанууга үйрөтүлгөн бир моделден, мышыктардын сүрөттөрүн таанууга үйрөтүлгөн башка моделден жана башкалардан турушу мүмкүн. Жаңы мисал келтирилгенде, ансамбль модели ар бир түзүүчү моделдин жыйынтыгын көбүрөөк маалыматтуу болжолдоо үчүн колдоно алат.
Катастрофикалык унутуу машина үйрөнүү моделдерин үйрөтүүдө, айрыкча, ал моделдер убакыттын өтүшү менен бир нече тапшырмаларды үйрөнүүгө үйрөтүлгөндө маанилүү маселе. Салмакты жөнгө салуу, салмакты ийкемдүү консолидациялоо, репетиция, которуу үйрөнүү жана ансамблдик методдор сыяктуу ыкмаларды колдонуу менен катастрофалык унутуунун кесепеттерин жумшартууга жана машина үйрөнүү моделдеринин иштешин жакшыртууга болот.
[1] The Overfitting Iceberg (2020)
[2] Машиналарды үйрөнүүдөгү онлайн методдор - теория жана колдонмолор (2023-жылдын январында консультация берилген)
[3] Терең үйрөнүүдө регуляризациялоо ыкмалары (2019)
[4] Нейрондук тармактардагы катастрофалык унутууну жеңүү (2017)
[5] Катастрофиялык унутуу, репетиция жана жасалма окуу (1995)
[6] Көчүрмө окуу боюнча изилдөө (2016)
[7] Ensemble Learning - Wikipedia (2023-жылдын январында консультация берилген)
