Samopozornost je temeljni mehanizem, ki se uporablja v nevronskih mrežah, še posebej viden v modelih transformatorjev, ki jim omogoča učinkovito obdelavo zaporednih podatkov. Modelu omogoča različno tehtanje različnih besed ali elementov v zaporedju, pri čemer se med računanjem bolj osredotoča na ustrezne dele.
Komponente samopozornosti
-
Poizvedbe, Ključi in Vrednosti: Pri samopozornosti se vhodno zaporedje pretvori v tri vektorje: poizvedbo, ključ in vrednost. Ti vektorji so pridobljeni iz vhodnega zaporedja z linearnimi transformacijami, pri čemer se ustvarijo te komponente, ki bodo uporabljene za izračun točk pozornosti.
-
Rezultati pozornosti: Ko so ti vektorji pridobljeni, se rezultati pozornosti izračunajo z merjenjem podobnosti med Vektorjem poizvedbe in Ključnimi vektorji * vseh elementov v zaporedju*. To se običajno izvede z uporabopikčastega zmnožka, ki mu slediskaliranjein uporabafunkcije softmax, da se pridobijo uteži pozornosti za vsak element.
-
Utežena vsota: Dobljene uteži pozornosti se uporabijo za tehtanje vektorjev vrednosti. Utežena vsota teh vrednosti, ki temelji na njihovih ustreznih utežeh pozornosti, daje rezultat plasti samopozornosti.
-
Pozornost z več glavami: Za zajem različnih odnosov med besedami ali elementi se vzporedno izvede več nizov transformacij poizvedb, ključev in vrednosti, kar povzroči več nizov uteži pozornosti in izhodnih vektorjev. Te se nato združijo in ponovno preoblikujejo, da dobimo končni rezultat.
Olajšanje učenja dolgoročnih odvisnosti
Samopozornost je odlična pri zajemanju dolgotrajnih odvisnosti v zaporedjih zaradi svoje sposobnosti neposrednega modeliranja interakcij med vsemi elementi v zaporedju. Tradicionalne arhitekture, kot so ponavljajoče se nevronske mreže (RNN), trpijo zaradi izginjajočih ali eksplozivnih težav z gradientom, kar omejuje njihovo sposobnost učenja dolgoročnih odvisnosti. Po drugi strani pa lahko samopozornost zajame razmerja med oddaljenimi besedami ali elementi brez teh težav, zaradi česar je učinkovitejša pri razumevanju konteksta in odnosov znotraj zaporedja.
Prednosti pred tradicionalnimi arhitekturami
-
Paralelizacija: Samopozornost omogoča vzporedno izračunavanje rezultatov pozornosti za vse elemente v zaporedju, zaradi česar je učinkovitejša od zaporedne obdelave v RNN.
-
Odvisnosti na dolge razdalje: Za razliko od RNN-jev, ki imajo težave z zajemanjem odvisnosti na velike razdalje zaradi svoje zaporedne narave, lahko samoosredotočenost učinkovito zajame te odvisnosti.
-
Zmanjšana dolžina poti: samopozornost neposredno poveže vse elemente v zaporedju, zmanjša dolžino poti med oddaljenimi elementi, kar omogoča boljši pretok gradienta med vadbo.
Omejitve in računalniške zapletenosti
-
Kvadratna zapletenost: Samopozornost vključuje parne primerjave med vsemi elementi v zaporedju, kar ima za posledico kvadratno povečanje računanja, ko se dolžina zaporedja povečuje. To je lahko računsko drago za zelo dolga zaporedja.
-
Zahteve po pomnilniku: Transformatorji zaradi svojih mehanizmov samopozornosti pogosto potrebujejo več pomnilnika v primerjavi s preprostejšimi arhitekturami, kot sta CNN ali RNN.
-
Maskiranje pozornosti: Ukvarjanje z zaporedji spremenljivih dolžin zahteva uporabo mask pozornosti za obdelavo oblazinjenja, kar lahko dodatno zaplete model in proces usposabljanja.
Kljub tem omejitvam se je samopozornost izkazala za zelo učinkovit mehanizem pri nalogah obdelave naravnega jezika, tekoče raziskave pa so namenjene obravnavanju njegove računalniške kompleksnosti za še večjo učinkovitost in razširljivost.
