Өзүнө көңүл буруу бул нейрон тармактарында колдонулган фундаменталдуу механизм, өзгөчө трансформатор моделдеринде көрүнүктүү, аларга ырааттуу маалыматтарды эффективдүү иштетүүгө мүмкүндүк берет. Бул моделге ар кандай сөздөрдү же элементтерди ырааттуулукта башкача таразалоого мүмкүндүк берет, эсептөө учурунда тиешелүү бөлүктөргө көбүрөөк көңүл бурат.
Өзүнө көңүл буруунун компоненттери
-
Суроолор, Ачкычтар жана Баалар: Өзүнө көңүл бурууда киргизүү ырааттуулугу үч векторго айландырылат: Суроо, Ачкыч жана Баа. Бул векторлор киргизүү ырааттуулугунан сызыктуу трансформациялар аркылуу алынат, бул компоненттер көңүл буруу упайларын эсептөө үчүн колдонулат.
-
Көңүл коюу упайлары: Бул векторлор алынгандан кийин, көңүл коюу упайлары Суроо векторунун жана Негизги векторлордун ортосундагы окшоштук *өлчөө жолу менен эсептелет. ырааттуулуктагы бардык элементтердин. Бул адатта чекит продуктусу, андан кийин масштабтоо жана softmax функциясын колдонуу менен, ар бир элементке көңүл буруунун салмагын алуу үчүн жасалат.
-
Салмакталган сумма: Алынган көңүл салмактары нарк векторлорун таразалоо үчүн колдонулат. Бул маанилердин салмакталган суммасы, алардын көңүл буруунун тиешелүү салмактарынын негизинде, өзүнө көңүл буруу катмарынын натыйжасын берет.
-
Көп баштуу көңүл буруу: Сөздөрдүн же элементтердин ортосундагы ар кандай мамилелерди тартуу үчүн, Суроо, Ачкыч жана Баа трансформацияларынын бир нече топтому параллелдүү аткарылып, натыйжада көңүл буруунун салмактарынын жана чыгаруу векторлорунун бир нече топтому пайда болот. Андан кийин булар бириктирилет жана акыркы натыйжаны алуу үчүн кайра трансформацияланат.
Узак мөөнөттүү көз карандылыктарды үйрөнүүнү жеңилдетүү
Өзүнө көңүл буруу ** ырааттуулуктагы бардык элементтердин ортосундагы өз ара аракеттенүүнү тике моделдөө жөндөмдүүлүгүнөн улам ырааттуулукта узак аралыктагы көз карандылыктарды алууда мыкты. Кайталануучу нейрон тармактары (RNNs) сыяктуу салттуу архитектуралар градиент көйгөйлөрүнүн жок болуп кетишинен жапа чегип, алардын узак аралыкка көз карандылыкты үйрөнүү мүмкүнчүлүгүн чектешет. Өзүнө көңүл буруу, экинчи жагынан, алыскы сөздөрдүн же элементтердин ортосундагы мамилелерди бул маселелерсиз чагылдырып, контекстти жана ырааттуулуктагы мамилелерди түшүнүүдө натыйжалуураак кылат.
Салттуу архитектураларга караганда артыкчылыктары
-
Параллизация: Өзүнө көңүл буруу бардык элементтер үчүн ырааттуу түрдө көңүл упайларын параллелдүү эсептөөгө мүмкүндүк берет, бул аны RNNлерде ырааттуу иштетүүгө караганда натыйжалуураак кылат.
-
Узак аралыктагы көз карандылыктар: Узак аралыктардагы көз карандылыкты ырааттуулугунан улам басып алуу менен күрөшкөн RNNлерден айырмаланып, өзүнө көңүл буруу бул көз карандылыктарды эффективдүү кармай алат.
-
Кыскартылган жол узундугу: Өзүнө көңүл буруу бардык элементтерди ырааттуулукта түздөн-түз байланыштырып, алыскы элементтердин ортосундагы жолдун узундугун кыскартып, машыгуу учурунда градиент агымын жакшыртат.
Чектөөлөр жана эсептөө татаалдыктар
-
Квадраттык татаалдык: Өзүнө көңүл буруу ырааттуулуктагы бардык элементтердин ортосундагы жуп-салыштырууларды камтыйт, натыйжада катардын узундугу өскөн сайын эсептөөнүн квадраттык өсүшүнө алып келет. Бул өтө узун ырааттуулугу үчүн эсептөө кымбат болушу мүмкүн.
-
Эстутум талаптары: Трансформаторлор өзүнө көңүл буруу механизмдеринен улам CNN же RNN сыяктуу жөнөкөй архитектурага салыштырмалуу көбүрөөк эстутумду талап кылат.
-
Көңүл бурмалоо: Өзгөрмө узундуктагы ырааттуулук менен иштөө үчүн толтурууну иштетүү үчүн көңүл бурчу маскаларды колдонуу талап кылынат, бул моделге жана окутуу процессине татаалдаштырат.
Бул чектөөлөргө карабастан, өзүнө көңүл буруу табигый тилди иштетүү тапшырмаларында абдан эффективдүү механизм экендигин далилдеди жана жүргүзүлүп жаткан изилдөөлөр анын натыйжалуулугун жана масштабдуулугун жогорулатуу үчүн анын эсептөө татаалдыктарын чечүүгө багытталган.
