Ինքն ուշադրության մեխանիզմը նեյրոնային ցանցերում

Ինքնաուշադրությունը-ը նեյրոնային ցանցերում օգտագործվող հիմնարար մեխանիզմ է, որը հատկապես կարևոր է տրանսֆորմատորային մոդելներում, ինչը թույլ է տալիս արդյունավետորեն մշակել հաջորդական տվյալները: Այն թույլ է տալիս մոդելին տարբեր բառեր կամ տարրեր կշռել հաջորդականության մեջ՝ հաշվարկման ընթացքում ավելի շատ կենտրոնանալով համապատասխան մասերի վրա:

Ինքն ուշադրության բաղադրիչները

• Հարցումներ, Ստեղներ և Արժեքներ. Ինքնագնահատման դեպքում մուտքագրման հաջորդականությունը վերածվում է երեք վեկտորի` հարցում, բանալի և արժեք: Այս վեկտորները ստացվում են մուտքային հաջորդականությունից գծային փոխակերպումների միջոցով՝ առաջացնելով այս բաղադրիչները, որոնք կօգտագործվեն ուշադրության միավորները հաշվարկելու համար:

• Ուշադրության միավորներ. Երբ այս վեկտորները ձեռք բերվեն, ուշադրության միավորները հաշվարկվում են` չափելով նմանությունը **** Հարցման վեկտորի և Հիմնական վեկտորների* միջև: հաջորդականության բոլոր տարրերից*: Սա սովորաբար արվում էկետային արտադրանքիմիջոցով, որին հաջորդում էսանդղացումըև կիրառելովsoftmax ֆունկցիա՝ յուրաքանչյուր տարրի համար ուշադրության կշիռներ ստանալու համար:

• Կշռված գումար. ձեռք բերված ուշադրության կշիռները****օգտագործվում են արժեքի վեկտորները կշռելու համար: Այս արժեքների կշռված գումարը, հիմնվելով դրանց համապատասխան ուշադրության կշիռների վրա, տալիս է ինքնաուշադրության շերտի ելքը:

• Multi-Head Attention. բառերի կամ տարրերի միջև տարբեր փոխհարաբերություններ գրանցելու համար հարցումների, բանալիների և արժեքների փոխակերպումների մի քանի հավաքածուներ կատարվում են զուգահեռ, ինչը հանգեցնում է ուշադրության կշիռների և ելքային վեկտորների բազմաթիվ խմբերի: Դրանք այնուհետև միացվում են և նորից փոխակերպվում` վերջնական արդյունք ստանալու համար:

Երկարաժամկետ կախվածության ուսուցման հեշտացում

Ինքնաուշադրությունը գերազանցում է հաջորդականության մեջ երկարաժամկետ կախվածությունները ֆիքսելու հարցում՝ շնորհիվ հաջորդականության բոլոր տարրերի միջև ուղղակիորեն մոդելավորելու իր **ունակության: Ավանդական ճարտարապետությունները, ինչպիսիք են պարբերական նեյրոնային ցանցերը (RNN) տառապում են անհետացող կամ պայթող գրադիենտ խնդիրներից՝ սահմանափակելով հեռահար կախվածություններ սովորելու նրանց կարողությունը: Ինքն ուշադրությունը, մյուս կողմից, կարող է ֆիքսել հարաբերությունները հեռավոր բառերի կամ տարրերի միջև՝ առանց այդ խնդիրների՝ դարձնելով այն ավելի արդյունավետ՝ հասկանալու ենթատեքստն ու հարաբերությունները հաջորդականության մեջ:

Ավանդական ճարտարապետության նկատմամբ առավելություններ

• Զուգահեռացում. Ինքն ուշադրությունը թույլ է տալիս զուգահեռ հաշվարկել ուշադրության միավորները բոլոր տարրերի համար հաջորդականությամբ, ինչը այն դարձնում է ավելի արդյունավետ, քան հաջորդական մշակումը RNN-ներում:

• Երկար հեռահար կախվածություններ. Ի տարբերություն RNN-ների, որոնք իրենց հաջորդական բնույթի պատճառով պայքարում են մեծ հեռավորությունների վրա կախվածությունը գրավելու հետ, ինքնավստահությունը կարող է արդյունավետորեն գրավել այդ կախվածությունները:

• Կրճատված ուղու երկարություն. Ինքն ուշադրությունն ուղղակիորեն միացնում է բոլոր տարրերը հաջորդականությամբ՝ նվազեցնելով հեռավոր տարրերի միջև ուղու երկարությունը, ինչը հնարավորություն է տալիս ավելի լավ գրադիենտ հոսքը մարզումների ընթացքում:

Սահմանափակումներ և հաշվարկային բարդություններ

• Քառակորդական բարդություն. Ինքն ուշադրությունը ներառում է զույգ համեմատություններ հաջորդականության բոլոր տարրերի միջև, ինչը հանգեցնում է հաշվարկի քառակուսային աճին, քանի որ հաջորդականության երկարությունը մեծանում է: Սա կարող է հաշվողականորեն թանկ լինել շատ երկար հաջորդականությունների համար:

• Հիշողության պահանջներ. տրանսֆորմատորները, իրենց ինքնորոշման մեխանիզմների շնորհիվ, հաճախ պահանջում են ավելի շատ հիշողություն` համեմատած ավելի պարզ ճարտարապետությունների հետ, ինչպիսիք են CNN-ները կամ RNN-ները:

• Ուշադրության քողարկում. Փոփոխական երկարությունների հաջորդականությունների հետ գործ ունենալը պահանջում է ուշադրության դիմակների օգտագործումը լիցքավորման համար, ինչը կարող է բարդություն հաղորդել մոդելին և մարզման գործընթացին:

Չնայած այս սահմանափակումներին, ինքնավստահությունն ապացուցել է, որ շատ արդյունավետ մեխանիզմ է բնական լեզվի մշակման առաջադրանքներում, և շարունակական հետազոտությունը նպատակ ունի լուծելու դրա հաշվողական բարդությունները նույնիսկ ավելի լավ արդյունավետության և մասշտաբայնության համար: