Zelfaandacht is een fundamenteel mechanisme dat wordt gebruikt in neurale netwerken, vooral prominent in transformatormodellen, waardoor ze sequentiële gegevens effectief kunnen verwerken. Hierdoor kan het model verschillende woorden of elementen binnen een reeks verschillend wegen, waarbij de nadruk tijdens de berekening meer op relevante delen ligt.
Componenten van zelfaandacht
-
Query's, Keys en Values: bij zelfaandacht wordt de invoerreeks omgezet in drie vectoren: Query, Key en Value. Deze vectoren worden verkregen uit de invoerreeks via lineaire transformaties, waardoor deze componenten worden gegenereerd die zullen worden gebruikt om de aandachtsscores te berekenen.
-
Aandachtsscores: Zodra deze vectoren zijn verkregen, worden aandachtsscores berekend door de overeenkomst tussen de Queryvector en Sleutelvectoren te meten * van alle elementen in de reeks*. Dit wordt doorgaans gedaan met behulp van eenpuntproduct, gevolgd doorschalenen het toepassen van eensoftmax-functie om aandachtsgewichten voor elk element te krijgen.
-
Gewogen som: de verkregen aandachtsgewichten worden gebruikt om de waardevectoren te wegen. Een gewogen som van deze waarden, gebaseerd op hun respectievelijke aandachtsgewichten, levert de uitvoer van de zelfaandachtslaag op.
-
Multi-Head Attention: om verschillende relaties tussen woorden of elementen vast te leggen, worden meerdere sets Query-, Key- en Waarde-transformaties parallel uitgevoerd, wat resulteert in meerdere sets aandachtsgewichten en uitvoervectoren. Deze worden vervolgens aaneengeschakeld en opnieuw getransformeerd om de uiteindelijke uitvoer te verkrijgen.
Het faciliteren van leren over afhankelijkheden op lange termijn
Zelfaandacht blinkt uit in het vastleggen van afhankelijkheden op lange termijn in reeksen vanwege het vermogen om interacties tussen alle elementen in de reeks direct te modelleren. Traditionele architecturen zoals terugkerende neurale netwerken (RNN's) hebben last van verdwijnende of exploderende gradiëntproblemen, waardoor hun vermogen om afhankelijkheden op lange afstand te leren wordt beperkt. Zelfaandacht kan daarentegen relaties tussen woorden of elementen op afstand vastleggen zonder deze problemen, waardoor het effectiever wordt in het begrijpen van de context en relaties binnen de reeks.
Voordelen ten opzichte van traditionele architecturen
-
Parallelisatie: zelfaandacht maakt parallelle berekening van aandachtsscores voor alle elementen in een reeks mogelijk, waardoor dit efficiënter is dan sequentiële verwerking in RNN's.
-
Afhankelijkheden op lange afstand: in tegenstelling tot RNN's, die vanwege hun sequentiële aard moeite hebben met het vastleggen van afhankelijkheden over lange afstanden, kan zelfaandacht deze afhankelijkheden effectief vastleggen.
Verkorte padlengte: zelfaandacht verbindt alle elementen direct in een reeks, waardoor de padlengte tussen verre elementen wordt verminderd, waardoor een betere gradiëntstroom tijdens de training mogelijk wordt.
Beperkingen en computercomplexiteiten
-
Kwadratische complexiteit: zelfaandacht omvat paarsgewijze vergelijkingen tussen alle elementen in een reeks, wat resulteert in een kwadratische toename van de berekeningen naarmate de lengte van de reeks toeneemt. Dit kan rekenkundig duur zijn voor zeer lange reeksen.
-
Geheugenvereisten: Transformers hebben vanwege hun zelfaandachtsmechanismen vaak meer geheugen nodig vergeleken met eenvoudigere architecturen zoals CNN's of RNN's.
-
Aandachtsmaskering: het omgaan met reeksen van variabele lengte vereist het gebruik van aandachtsmaskers om opvulling te verwerken, wat de complexiteit van het model en het trainingsproces kan vergroten.
Ondanks deze beperkingen is zelfaandacht een zeer effectief mechanisme gebleken bij de verwerking van natuurlijke taal, en lopend onderzoek heeft tot doel de computationele complexiteit ervan aan te pakken voor een nog betere efficiëntie en schaalbaarheid.
