Mekanismen for selvoppmerksomhet i nevrale nettverk

Selvoppmerksomhet er en grunnleggende mekanisme som brukes i nevrale nettverk, spesielt fremtredende i transformatormodeller, som lar dem behandle sekvensielle data effektivt. Det gjør det mulig for modellen å veie forskjellige ord eller elementer i en sekvens annerledes, og fokusere mer på relevante deler under beregningen.

Komponenter av selvoppmerksomhet

• Queries, Keys og Values: I selvoppmerksomhet transformeres inndatasekvensen til tre vektorer: Query, Key og Value. Disse vektorene er hentet fra inngangssekvensen gjennom lineære transformasjoner, og genererer disse komponentene som vil bli brukt til å beregne oppmerksomhetsskårene.

• Oppmerksomhetspoeng: Når disse vektorene er oppnådd, beregnes oppmerksomhetspoeng ved å måle likheten mellom Spørringsvektoren og Nøkkelvektorene * av alle elementene i sekvensen*. Dette gjøres vanligvis ved å bruke etpunktprodukt, etterfulgt avskaleringog bruk av ensoftmax-funksjon for å få oppmerksomhetsvekter for hvert element.

• Vektet sum: oppmerksomhetsvektene som er oppnådd brukes til å veie verdivektorene. En veid sum av disse verdiene, basert på deres respektive oppmerksomhetsvekter, gir resultatet av selvoppmerksomhetslaget.

• Multi-Head Attention: For å fange opp forskjellige forhold mellom ord eller elementer, utføres flere sett med spørrings-, nøkkel- og verditransformasjoner parallelt, noe som resulterer i flere sett med oppmerksomhetsvekter og utdatavektorer. Disse blir deretter sammenkoblet og transformert igjen for å oppnå det endelige resultatet.

Tilrettelegging for læring på lang rekkevidde avhengigheter

Selvoppmerksomhet utmerker seg ved å fange avhengigheter på lang avstand i sekvenser på grunn av dens evne til å direkte modellere interaksjoner mellom alle elementer i sekvensen. Tradisjonelle arkitekturer som tilbakevendende nevrale nettverk (RNN) lider av forsvinnende eller eksploderende gradientproblemer, noe som begrenser deres evne til å lære langdistanseavhengigheter. Selvoppmerksomhet, på den annen side, kan fange relasjoner mellom fjerne ord eller elementer uten disse problemene, noe som gjør den mer effektiv i å forstå konteksten og relasjonene i sekvensen.

Fordeler fremfor tradisjonelle arkitekturer

• Parallellisering: Selvoppmerksomhet tillater parallell beregning av oppmerksomhetspoeng for alle elementer i en sekvens, noe som gjør den mer effektiv enn sekvensiell behandling i RNN-er.

• Langdistanseavhengigheter: I motsetning til RNN-er, som sliter med å fange avhengigheter over lange avstander på grunn av deres sekvensielle natur, kan selvoppmerksomhet fange disse avhengighetene effektivt.

• Redusert banelengde: Selvoppmerksomhet kobler alle elementene direkte i en sekvens, reduserer banelengden mellom fjerne elementer, og muliggjør bedre gradientflyt under trening.

Begrensninger og beregningsmessige kompleksiteter

• Kvadratisk kompleksitet: Selvoppmerksomhet innebærer parvise sammenligninger mellom alle elementer i en sekvens, noe som resulterer i en kvadratisk økning i beregningen ettersom sekvenslengden øker. Dette kan være beregningsmessig dyrt for svært lange sekvenser.

• Minnekrav: Transformatorer, på grunn av deres selvoppmerksomhetsmekanismer, krever ofte mer minne sammenlignet med enklere arkitekturer som CNN eller RNN.

• Oppmerksomhetsmaskering: Håndtering av sekvenser av variable lengder krever bruk av oppmerksomhetsmasker for å håndtere polstring, noe som kan legge til kompleksitet til modellen og treningsprosessen.

Til tross for disse begrensningene, har selvoppmerksomhet vist seg å være en svært effektiv mekanisme i naturlig språkbehandlingsoppgaver, og pågående forskning tar sikte på å adressere dens beregningsmessige kompleksitet for enda bedre effektivitet og skalerbarhet.