Катастрофикалык унутуу, ошондой эле катастрофиялык интерференция катары белгилүү, нейрондук тармак же машина үйрөнүү модели "унутуп калганда" пайда болгон көрүнүш, же жаңы тапшырманы үйрөнгөндөн кийин мурда үйрөнүлгөн тапшырмалар боюнча анын аткаруусун кескин төмөндөтөт. Бул моделди бир эле учурда бардык тапшырмаларга үйрөткөндөн көрө, тапшырмалардын агымына үйрөткөндө пайда болушу мүмкүн.
Катастрофалык унутуу пайда болушунун бир нече ар кандай жолдору бар. Мунун бир жолу - "ашыкча тууралоо" процесси аркылуу 1, мында модель окуу маалыматтарын тууралоого багытталган. жаңы тапшырма, ал мурунку тапшырмалардагы маалыматты унутуп калат. Дагы бир жол – «кийлигишүү» процесси аркылуу, мында жаңы тапшырма кандайдыр бир түрдө мурунку тапшырмалар менен байланышкан, ал эми моделдин жаңы тапшырманы үйрөнүүсү анын мурунку тапшырмалар жөнүндөгү билимине «тоскоолдук кылат». Катастрофикалык унутуунун кеңири таралган жолдорунун бири "Онлайн үйрөнүү" 2 ыкмасын колдонуу менен моделди үйрөтүү болуп саналат, мында модель үзгүлтүксүз жаңы мисалдар менен жаңыртылып турат. Алар бир эле учурда туруктуу мисалдардын жыйындысы боюнча үйрөтүлгөндөн көрө. Бул сценарийде модель мурда үйрөтүлгөн мисалдардан бир топ айырмаланган жаңы мисалдар менен берилиши мүмкүн жана бул анын "унутуп калышына" алып келиши мүмкүн же мурунку тапшырма боюнча анын аткаруусун олуттуу түрдө начарлатышы мүмкүн.
Каргашалуу унутууну азайтуу үчүн бир нече жолдору бар:
-
Бир ыкма, мисалы, моделдин алдын алууга жардам бере турган "Салмакты жөнгө салуу" 3 сыяктуу ыкмаларды колдонуу болуп саналат. анын салмагы баалуулуктарын кескин өзгөртүүдөн жана мурунку милдеттерден алган билимдерин жоготуудан.
-
Машыгуу учурунда тармактын салмагына бир аз ызы-чуу кошууну камтыган "Эластикалык Салмак Консолидациясы" 4, ошондой эле катастрофалык унутууну алдын алууга жардам берет. Бул ызы-чуу салмактарды "стабилдештирүүгө" жардам берет, бул модель мурунку тапшырмалар тууралуу билимин унутуп коюу ыктымалдыгын азайтат.
-
Дагы бир ыкма "Репетиция" 5, мында модель ошол билимди сактап калууга жардам берүү үчүн дайыма мурда үйрөнүлгөн тапшырмалардан мисалдар менен көрсөтүлөт.
-
Катастрофикалык унутууну чечүүнүн дагы бир популярдуу ыкмасы "Transfer Learning" 6 болуп саналат. бир тапшырма боюнча окутулган, ага байланыштуу тапшырма боюнча такталган. Мисалы, иттердин сүрөттөрүн таанууга үйрөтүлгөн модель мышыктардын сүрөттөрүн таануу үчүн жакшылап жөндөлүшү мүмкүн. Бул учурда, модель жалпы жаныбарлардын сүрөттөрүн таануу үчүн пайдалуу көптөгөн функцияларды үйрөнгөн, ошондуктан ал мышыктардын сүрөттөрүн таанууну тез үйрөнүү үчүн бул билимди колдоно алат.
-
"Ансамблдик методдор" 7, мында бир нече моделдер ар кандай тапшырмаларды чечүүгө үйрөтүлгөн жана алардын натыйжалары акыркы болжолдоо үчүн бириктирилген. катастрофалык унутууну алдын алуу. Мисалы, ансамблдин модели иттердин сүрөттөрүн таанууга үйрөтүлгөн бир моделден, мышыктардын сүрөттөрүн таанууга үйрөтүлгөн башка моделден жана башкалардан турушу мүмкүн. Жаңы мисал келтирилгенде, ансамбль модели ар бир түзүүчү моделдин жыйынтыгын көбүрөөк маалыматтуу болжолдоо үчүн колдоно алат.
Катастрофикалык унутуу машина үйрөнүү моделдерин үйрөтүүдө, айрыкча, ал моделдер убакыттын өтүшү менен бир нече тапшырмаларды үйрөнүүгө үйрөтүлгөндө маанилүү маселе. Салмакты жөнгө салуу, салмакты ийкемдүү консолидациялоо, репетиция, которуу үйрөнүү жана ансамблдик методдор сыяктуу ыкмаларды колдонуу менен катастрофалык унутуунун кесепеттерин жумшартууга жана машина үйрөнүү моделдеринин иштешин жакшыртууга болот.
Татаал маалыматтарды ишке ашырууга боло турган инстаденттерге айландырыңыз — Code Labs Academy'дын Data Science & AI Bootcamp программасына кошулуп, машина үйрөнүү жана жасалма интеллекттин толук потенциалына ээ болуңуз.
[1] The Overfitting Iceberg (2020)
[2] Машиналарды үйрөнүүдөгү онлайн методдор - теория жана колдонмолор (2023-жылдын январында консультация берилген)
[3] Терең үйрөнүүдө регуляризациялоо ыкмалары (2019)
[4] Нейрондук тармактарда катастрофалык унутууну жеңүү (2017)
[5] Катастрофиялык унутуу, репетиция жана жасалма окуу (1995)
[6] Көчүрмө окуу боюнча изилдөө (2016)
[7] Ensemble Learning - Wikipedia (2023-жылдын январында консультация берилген)
