Sebapozornosť je základný mechanizmus používaný v neurónových sieťach, obzvlášť prominentný v modeloch transformátorov, ktorý im umožňuje efektívne spracovávať sekvenčné dáta. Umožňuje modelu rozdielne vážiť rôzne slová alebo prvky v rámci sekvencie, pričom sa počas výpočtu viac zameriava na relevantné časti.
Komponenty sebapozornosti
-
Dopyty, Kľúče a Hodnoty: Vstupná sekvencia sa pri vlastnej pozornosti transformuje do troch vektorov: Dopyt, Kľúč a Hodnota. Tieto vektory sa získavajú zo vstupnej sekvencie prostredníctvom lineárnych transformácií, pričom sa generujú tieto komponenty, ktoré sa použijú na výpočet skóre pozornosti.
-
Skóre pozornosti: Po získaní týchto vektorov sa vypočítajú skóre pozornosti meraním podobnosti medzi vektorom dopytu a kľúčovými vektormi * zo všetkých prvkov v poradí*. Zvyčajne sa to robí pomocoubodkového produktu, po ktorom nasledujezmenšeniea aplikovaniefunkcie softmax na získanie váhy pozornosti pre každý prvok.
-
Vážený súčet: Získané váhy pozornosti sa používajú na váženie vektorov hodnôt. vážený súčet týchto hodnôt na základe ich príslušných váh pozornosti dáva výstup vrstvy sebaupozornenia.
-
Multi-Head Attention: Na zachytenie rôznych vzťahov medzi slovami alebo prvkami sa paralelne vykonáva viacero sád transformácií dotazu, kľúča a hodnoty, výsledkom čoho je viacero sád váh pozornosti a výstupných vektorov. Tie sú potom spojené a opäť transformované, aby sa získal konečný výstup.
Facilitating Learning Long Range Dependencies
Vlastná pozornosť vyniká v zachytávaní závislostí na veľké vzdialenosti v sekvenciách vďaka svojej schopnosti priamo modelovať interakcie medzi všetkými prvkami v sekvencii. Tradičné architektúry, ako sú rekurentné neurónové siete (RNN), trpia problémami miznúceho alebo explodujúceho gradientu, čo obmedzuje ich schopnosť učiť sa závislosti na dlhé vzdialenosti. Na druhej strane, sebapozornosť dokáže zachytiť vzťahy medzi vzdialenými slovami alebo prvkami bez týchto problémov, vďaka čomu je efektívnejšia pri pochopení kontextu a vzťahov v rámci sekvencie.
Výhody oproti tradičným architektúram
-
Paralelizácia: Vlastná pozornosť umožňuje paralelný výpočet skóre pozornosti pre všetky prvky v sekvencii, vďaka čomu je efektívnejší ako sekvenčné spracovanie v RNN.
-
Závislosti dlhého dosahu: Na rozdiel od RNN, ktoré zápasia so zachytením závislostí na veľké vzdialenosti kvôli ich sekvenčnej povahe, sebapozornosť dokáže tieto závislosti efektívne zachytiť.
-
Skrátená dĺžka dráhy: Vlastná pozornosť priamo spája všetky prvky v poradí, čím sa skracuje dĺžka dráhy medzi vzdialenými prvkami, čo umožňuje lepší tok gradientu počas tréningu.
Obmedzenia a výpočtová zložitosť
-
Kvadratická zložitosť: Vlastná pozornosť zahŕňa párové porovnania medzi všetkými prvkami v sekvencii, čo vedie k kvadratickému nárastu výpočtu so zvyšujúcou sa dĺžkou sekvencie. To môže byť pri veľmi dlhých sekvenciách výpočtovo nákladné.
-
Požiadavky na pamäť: Transformátory kvôli svojim mechanizmom samoupozornenia často vyžadujú viac pamäte v porovnaní s jednoduchšími architektúrami, ako sú CNN alebo RNN.
-
Maskovanie pozornosti: Narábanie so sekvenciami s premenlivou dĺžkou si vyžaduje použitie masiek pozornosti na zvládnutie výplne, čo môže zvýšiť zložitosť modelu a tréningového procesu.
Napriek týmto obmedzeniam sa sebapozornosť ukázala ako vysoko efektívny mechanizmus v úlohách spracovania prirodzeného jazyka a prebiehajúci výskum sa zameriava na riešenie jeho výpočtovej zložitosti pre ešte lepšiu efektivitu a škálovateľnosť.
