L'autoatenció és un mecanisme fonamental utilitzat a les xarxes neuronals, especialment destacat en els models de transformadors, que els permet processar dades seqüencials de manera eficaç. Permet al model pesar diferents paraules o elements dins d'una seqüència de manera diferent, centrant-se més en les parts rellevants durant el càlcul.
Components de l'autoatenció
-
Consultes, Claus i Valors: en autoatenció, la seqüència d'entrada es transforma en tres vectors: Consulta, Clau i Valor. Aquests vectors s'obtenen a partir de la seqüència d'entrada mitjançant transformacions lineals, generant aquests components que serviran per calcular les puntuacions d'atenció.
-
Puntatges d'atenció: un cop obtinguts aquests vectors, es calculen les puntuació d'atenció mesurant la similitud entre el vector de consulta i els vectors clau * de tots els elements de la seqüència*. Això es fa normalment amb unproducte de punts, seguit d'unescalati aplicant unafunció softmax per obtenir pesos d'atenció per a cada element.
-
Suma ponderada: els pesos d'atenció obtinguts s'utilitzen per ponderar els vectors de valor. Una suma ponderada d'aquests valors, basada en els seus respectius pesos d'atenció, produeix la sortida de la capa d'autoatenció.
-
Atenció de capçals múltiples: per capturar diferents relacions entre paraules o elements, es realitzen diversos conjunts de transformacions de consulta, clau i valor en paral·lel, donant com a resultat diversos conjunts de pesos d'atenció i vectors de sortida. A continuació, es concatenen i es transformen de nou per obtenir la sortida final.
Facilitar l'aprenentatge de les dependències a llarg termini
L'autoatenció excel·leix a l'hora de capturar dependències de llarg abast en seqüències a causa de la seva capacitat per modelar directament les interaccions entre tots els elements de la seqüència. Les arquitectures tradicionals com les xarxes neuronals recurrents (RNN) pateixen problemes de gradient de desaparició o explosió, limitant la seva capacitat per aprendre dependències a llarg abast. L'autoatenció, d'altra banda, pot captar relacions entre paraules o elements llunyans sense aquests problemes, fent-la més eficaç per entendre el context i les relacions dins de la seqüència.
Avantatges sobre les arquitectures tradicionals
-
Paral·lelització: l'autoatenció permet el càlcul paral·lel de puntuacions d'atenció per a tots els elements d'una seqüència, fent-la més eficient que el processament seqüencial en RNN.
-
Dependències de llarg abast: a diferència dels RNN, que lluiten per capturar dependències a llargues distàncies a causa de la seva naturalesa seqüencial, l'autoatenció pot capturar aquestes dependències de manera eficaç.
-
Longitud del camí reduïda: l'autoatenció connecta directament tots els elements en una seqüència, reduint la longitud del camí entre elements llunyans, permetent un millor flux de gradient durant l'entrenament.
Limitacions i complexitats computacionals
-
Complexitat quadràtica: l'autoatenció implica comparacions per parelles entre tots els elements d'una seqüència, donant lloc a un augment quadràtic en el càlcul a mesura que augmenta la longitud de la seqüència. Això pot ser computacionalment costós per a seqüències molt llargues.
-
Requisits de memòria: els transformadors, a causa dels seus mecanismes d'autoatenció, sovint requereixen més memòria en comparació amb arquitectures més simples com CNN o RNN.
-
Mascarament d'atenció: tractar seqüències de longitud variable requereix l'ús de màscares d'atenció per gestionar el farciment, cosa que pot afegir complexitat al model i al procés d'entrenament.
Malgrat aquestes limitacions, l'autoatenció ha demostrat ser un mecanisme molt eficaç en les tasques de processament del llenguatge natural, i la investigació en curs té com a objectiu abordar les seves complexitats computacionals per a una millor eficiència i escalabilitat.
