Uzmanība pret sevi ir pamatmehānisms, ko izmanto neironu tīklos, īpaši transformatoru modeļos, kas ļauj tiem efektīvi apstrādāt secīgus datus. Tas ļauj modelim atšķirīgi nosvērt dažādus vārdus vai elementus secībā, aprēķina laikā vairāk koncentrējoties uz attiecīgajām daļām.
Pašuzmanības sastāvdaļas
- Vaicājumi, Atslēgas un Vērtības: pievēršot uzmanību sev, ievades secība tiek pārveidota trīs vektoros: vaicājums, atslēga un vērtība. Šie vektori tiek iegūti no ievades secības izmantojot lineārās transformācijas, ģenerējot šos komponentus, kas tiks izmantoti uzmanības rādītāju aprēķināšanai.
-
Uzmanības rādītāji: kad šie vektori ir iegūti, uzmanības rādītāji tiek aprēķināti, mērot līdzību starp starp vaicājuma vektoru un galvenajiem vektoriem. no visiem elementiem secībā*. To parasti veic, izmantojotpunktu produktu, kam sekomērogošanaunsoftmax funkcijas lietošana, lai katram elementam iegūtu uzmanības svaru.
-
Svērtā summa: iegūtie uzmanības koeficienti tiek izmantoti, lai nosvērtu vērtību vektorus. Šo vērtību svērtā summa, pamatojoties uz to attiecīgajiem uzmanības svērumiem, nodrošina pašuzmanības slāņa rezultātu.
-
Multi-Head Attention: lai tvertu dažādas attiecības starp vārdiem vai elementiem, vairākas vaicājuma, atslēgas un vērtības transformāciju kopas tiek veiktas paralēli, kā rezultātā tiek izveidotas vairākas uzmanības svaru un izvades vektoru kopas. Pēc tam tie tiek savienoti un vēlreiz pārveidoti, lai iegūtu galīgo izvadi.
Ilgtermiņa atkarību apguves veicināšana
Pašuzmanība ir izcila, fiksējot liela attāluma atkarības secībās, jo tā spēj tieši modelēt mijiedarbību starp visiem secības elementiem. Tradicionālās arhitektūras, piemēram, atkārtotie neironu tīkli (RNN), cieš no izzūdošām vai eksplodējošām gradientu problēmām, kas ierobežo to spēju apgūt liela attāluma atkarības. No otras puses, uzmanība uz sevi var uztvert attiecības starp attāliem vārdiem vai elementiem bez šīm problēmām, padarot to efektīvāku konteksta un attiecību izpratnē secībā.
Priekšrocības salīdzinājumā ar tradicionālajām arhitektūrām
-
Paralelizācija: pašuzmanība ļauj paralēli aprēķināt uzmanības rādītājus visiem secības elementiem, padarot to efektīvāku nekā secīga apstrāde RNN.
-
Atkarības no liela attāluma: atšķirībā no RNN, kas to secības dēļ cīnās ar atkarību uztveršanu lielos attālumos, sevis uzmanība var efektīvi uztvert šīs atkarības.
-
Samazināts ceļa garums: Uzmanība uz sevi tieši savieno visus elementus secībā, samazinot ceļa garumu starp attāliem elementiem, nodrošinot labāku gradienta plūsmu treniņa laikā.
Ierobežojumi un skaitļošanas sarežģītības
-
Kvadrātiskā sarežģītība: sevis pievēršana ietver visu secības elementu salīdzināšanu pa pāriem, kā rezultātā tiek palielināts aprēķins, palielinoties secības garumam. Tas var būt skaitļošanas ziņā dārgi ļoti garām sekvencēm.
-
Atmiņas prasības: transformatoriem to pašizvērības mehānismu dēļ bieži ir nepieciešams vairāk atmiņas, salīdzinot ar vienkāršākām arhitektūrām, piemēram, CNN vai RNN.
-
Uzmanības maskēšana: lai apstrādātu dažāda garuma secības, polsterējuma apstrādei ir jāizmanto uzmanības maskas, kas var padarīt modeli un apmācības procesu sarežģītāku.
Neskatoties uz šiem ierobežojumiem, sevis uzmanība ir izrādījusies ļoti efektīvs mehānisms dabiskās valodas apstrādes uzdevumos, un notiekošo pētījumu mērķis ir novērst tās skaitļošanas sarežģītību, lai nodrošinātu vēl labāku efektivitāti un mērogojamību.
