Atidumas į save yra pagrindinis mechanizmas, naudojamas neuroniniuose tinkluose, ypač ryškus transformatorių modeliuose, leidžiantis efektyviai apdoroti nuoseklius duomenis. Tai leidžia modeliui skirtingai pasverti skirtingus sekos žodžius ar elementus, daugiau dėmesio skiriant atitinkamoms dalims skaičiavimo metu.
Dėmesio į save komponentai
– Užklausos, Raktai ir Vertės: atkreipiant dėmesį į save, įvesties seka paverčiama trimis vektoriais: užklausa, raktas ir reikšmė. Šie vektoriai gaunami iš įvesties sekos per tiesines transformacijas, generuojant šiuos komponentus, kurie bus naudojami dėmesio balams apskaičiuoti.
-
Dėmesio balai: gavus šiuos vektorius, dėmesio balai apskaičiuojami išmatuojant panašumą tarp užklausos vektoriaus ir pagrindinių vektorių visų sekos elementų*. Paprastai tai atliekama naudojanttaškinį produktą, po tokeičiant mastelįir pritaikiussoftmax funkciją, kad kiekvienam elementui būtų skiriamas dėmesys.
-
Svertinė suma: gauti dėmesio svoriai yra naudojami reikšmės vektoriams pasverti. Šių verčių svertinė suma, pagrįsta jų atitinkamu dėmesio svoriu, duoda dėmesio į save sluoksnio išvestį.
-
Kelių galvų dėmesys: norint užfiksuoti skirtingus žodžių ar elementų ryšius, lygiagrečiai atliekami keli užklausos, rakto ir reikšmės transformacijų rinkiniai, todėl gaunami keli dėmesio svorių ir išvesties vektorių rinkiniai. Tada jie sujungiami ir vėl transformuojami, kad būtų gauta galutinė išvestis.
Ilgalaikių priklausomybių mokymosi palengvinimas
Dėmesys sau puikiai tinka fiksuojant ilgas priklausomybes sekose dėl savo gebėjimo tiesiogiai modeliuoti sąveiką tarp visų sekos elementų. Tradicinės architektūros, tokios kaip pasikartojantys neuroniniai tinklai (RNN), kenčia nuo nykstančių arba sprogstančių gradiento problemų, ribojančių jų gebėjimą išmokti ilgalaikių priklausomybių. Kita vertus, dėmesys į save gali užfiksuoti santykius tarp tolimų žodžių ar elementų be šių problemų, todėl jis veiksmingiau supranta kontekstą ir santykius sekoje.
Privalumai prieš tradicines architektūras
-
Lygiagretizavimas: savęs dėmesys leidžia lygiagrečiai skaičiuoti visų sekos elementų dėmesio balus, todėl tai yra efektyviau nei nuoseklus apdorojimas RNN.
-
Ilgamojo nuotolio priklausomybės: skirtingai nei RNN, kurie dėl savo nuoseklaus pobūdžio kovoja su priklausomybių fiksavimu dideliais atstumais, dėmesys į save gali veiksmingai užfiksuoti šias priklausomybes.
-
Sumažintas kelio ilgis: dėmesys į save tiesiogiai sujungia visus elementus iš eilės, sumažindamas kelio ilgį tarp nutolusių elementų, taip užtikrindamas geresnį gradiento srautą treniruotės metu.
Apribojimai ir skaičiavimo sudėtingumai
-
Kvadratinis sudėtingumas: dėmesys į save apima porinį visų sekos elementų palyginimą, todėl didėjant sekos ilgiui skaičiavimas padidėja kvadratiniu būdu. Tai gali būti brangu labai ilgoms sekoms.
-
Atminties reikalavimai: transformatoriams dėl savo dėmesio į save mechanizmų dažnai reikia daugiau atminties, palyginti su paprastesnėmis architektūromis, tokiomis kaip CNN arba RNN.
-
Dėmesio maskavimas: norint dirbti su kintamo ilgio sekomis, reikia naudoti dėmesio kaukes, kad būtų galima tvarkyti paminkštinimus, o tai gali apsunkinti modelį ir mokymo procesą.
Nepaisant šių apribojimų, dėmesys į save pasirodė esąs labai efektyvus natūralios kalbos apdorojimo užduočių mechanizmas, o vykdomais tyrimais siekiama išspręsti skaičiavimo sudėtingumą, kad būtų dar geresnis efektyvumas ir mastelio keitimas.
