Աղետալի մոռացություն մեքենայական ուսուցման մեջ

Կատաստրոֆիկ մոռանալը, որը նաև հայտնի է որպես Կատաստրոֆիկ միջամտություն, մի երևույթ է, որը տեղի է ունենում, երբ նեյրոնային ցանցը կամ մեքենայական ուսուցման մոդելը «մոռանում» կամ կտրուկ նվազեցնում է իր կատարումը նախկինում սովորած առաջադրանքների վրա՝ նոր առաջադրանք սովորելուց հետո: Դա կարող է առաջանալ, երբ մոդելը վարժեցնեք առաջադրանքների հոսքի վրա, այլ ոչ թե այն միանգամից վերապատրաստեք բոլոր առաջադրանքների վրա:

Կան աղետալի մոռացության մի քանի տարբեր եղանակներ: Ճանապարհներից մեկը «գերհամապատասխանեցման» գործընթացն է 1, որտեղ մոդելը կենտրոնացած է վերապատրաստման տվյալների համապատասխանեցման վրա։ նոր առաջադրանքը, որ մոռանում է նախորդ առաջադրանքներից ստացված տեղեկությունները: Մյուս ճանապարհը «միջամտության» գործընթացն է, որտեղ նոր առաջադրանքը ինչ-որ կերպ կապված է նախորդ առաջադրանքների հետ, և մոդելի նոր առաջադրանքի մասին սովորելը «խանգարում» է նախորդ առաջադրանքների մասին իր գիտելիքներին: Կատաստրոֆիկ մոռացության առաջացման տարածված ձևերից մեկն այն է, երբ մոդելը վերապատրաստվում է «Առցանց ուսուցում» 2 մոտեցմամբ, որտեղ մոդելը շարունակաբար թարմացվում է նոր օրինակներով: քանի որ նրանք գալիս են, այլ ոչ թե միանգամից ուսուցանվելու ֆիքսված օրինակների վրա: Այս սցենարում մոդելը կարող է ներկայացվել նոր օրինակներով, որոնք էականորեն տարբերվում են այն օրինակներից, որոնց վրա նախկինում վերապատրաստվել է, և դա կարող է պատճառ դառնալ, որ այն «մոռանա» կամ զգալիորեն վատթարացնի իր կատարումը նախորդ առաջադրանքում:

Աղետալի մոռանալը մեղմելու մի քանի եղանակ կա.

• Մոտեցումներից մեկն այնպիսի տեխնիկայի օգտագործումն է, ինչպիսին է «Քաշի կանոնավորացումը» 3, որը կարող է օգնել կանխել մոդելը։ քաշի արժեքները կտրուկ փոխելուց և նախորդ առաջադրանքներից ստացած գիտելիքները կորցնելուց:

• «Elastic Weight Consolidation» 4, որը ներառում է մարզումների ընթացքում ցանցի կշիռներին փոքր քանակությամբ աղմուկի ավելացում, կարող է նաև օգնել կանխել աղետալի մոռացումը: Այս աղմուկը օգնում է «կայունացնել» կշիռները՝ նվազեցնելով հավանականությունը, որ մոդելը մոռանա իր գիտելիքները նախորդ առաջադրանքների մասին:

• Մեկ այլ մոտեցում է օգտագործել այնպիսի մեթոդներ, ինչպիսիք են «Փորձերը» 5, որտեղ մոդելը շարունակաբար ներկայացվում է նախկինում սովորած առաջադրանքների օրինակներով՝ օգնելու նրան պահպանել այդ գիտելիքները:

• Կատաստրոֆիկ մոռացության հասցեագրման մեկ այլ հանրաճանաչ մեթոդ է օգտագործել «Տրանսֆերային ուսուցում» 6, որում մոդել վերապատրաստված մեկ առաջադրանքի վրա լավ կարգավորվում է համապատասխան առաջադրանքի վրա: Օրինակ, մոդելը, որը սովորել է ճանաչել շների պատկերները, կարող է ճշգրտորեն կարգավորվել կատուների պատկերները ճանաչելու համար: Այս դեպքում մոդելն արդեն սովորել է բազմաթիվ առանձնահատկություններ, որոնք օգտակար են ընդհանրապես կենդանիների պատկերները ճանաչելու համար, ուստի այն կարող է օգտագործել այս գիտելիքները՝ արագ սովորելու ճանաչել կատուների պատկերները:

• «Անսամբլի մեթոդները» 7, որտեղ բազմաթիվ մոդելներ վերապատրաստվում են տարբեր առաջադրանքներ լուծելու համար, և դրանց արդյունքները միավորվում են վերջնական կանխատեսում կատարելու համար, նույնպես օգտակար են. աղետալի մոռացության կանխարգելում. Օրինակ, անսամբլի մոդելը կարող է բաղկացած լինել մեկ մոդելից, որը վարժված է ճանաչել շների պատկերները, մեկ այլ մոդել, որը վարժված է ճանաչել կատուների պատկերները և այլն: Երբ ներկայացվում է նոր օրինակ, անսամբլի մոդելը կարող է օգտագործել իր բաղկացուցիչ մոդելներից յուրաքանչյուրի արդյունքը՝ ավելի տեղեկացված կանխատեսում կատարելու համար:

Կատաստրոֆիկ մոռանալը կարևոր նկատառում է մեքենայական ուսուցման մոդելների ուսուցման ժամանակ, հատկապես, երբ այդ մոդելները վերապատրաստվում են ժամանակի ընթացքում բազմաթիվ առաջադրանքներ սովորելու համար: Օգտագործելով այնպիսի մեթոդներ, ինչպիսիք են քաշի կանոնավորացումը, առաձգական քաշի համախմբումը, փորձը, փոխանցման ուսուցումը և անսամբլային մեթոդները, հնարավոր է մեղմել աղետալի մոռացության հետևանքները և բարելավել մեքենայական ուսուցման մոդելների կատարումը:

[1] The Overfitting Iceberg (2020)

[2] Անցանց մեթոդներ մեքենայական ուսուցման մեջ - տեսություն և կիրառություն (Խորհրդակցվել է 2023 թվականի հունվարին)

[3] Կարգավորման տեխնիկան խորը ուսուցման մեջ (2019)

[4] Հաղթահարելով աղետալի մոռացությունը նեյրոնային ցանցերում (2017)

[5] Աղետալի մոռացում, փորձ և կեղծ փորձ (1995)

[6] A Survey of Transfer Learning (2016)

[7] Անսամբլային ուսուցում - Վիքիպեդիա (Խորհրդատվել է 2023 թվականի հունվարին)