Vlastní pozornost je základní mechanismus používaný v neuronových sítích, zvláště prominentní v modelech transformátorů, který jim umožňuje efektivně zpracovávat sekvenční data. Umožňuje modelu rozlišně vážit různá slova nebo prvky v sekvenci a více se soustředit na relevantní části během výpočtu.
Součásti sebepozornosti
-
Dotazy, Klíče a Hodnoty: Vstupní posloupnost je při vlastní pozornosti transformována do tří vektorů: Dotaz, Klíč a Hodnota. Tyto vektory jsou získány ze vstupní sekvence pomocí lineárních transformací, generujících tyto komponenty, které budou použity k výpočtu skóre pozornosti.
-
Skóre pozornosti: Jakmile jsou tyto vektory získány, skóre pozornosti se vypočítá měřením podobnosti mezi vektorem dotazu a klíčovými vektory * všech prvků v sekvenci*. To se obvykle provádí pomocíbodového produktu, následovanéhozmenšeníma aplikacífunkce softmax pro získání váhy pozornosti pro každý prvek.
-
Vážený součet: Získané vážení pozornosti se použijí k vážení vektorů hodnot. vážený součet těchto hodnot na základě jejich příslušných vah pozornosti dává výstup vrstvy sebepozornosti.
-
Multi-Head Attention: Pro zachycení různých vztahů mezi slovy nebo prvky se paralelně provádí více sad transformací dotazu, klíče a hodnoty, což vede k několika sadám vah pozornosti a výstupních vektorů. Ty jsou poté zřetězeny a znovu transformovány, aby se získal konečný výstup.
Facilitating Learning Long-Range Dependencies
Vlastní pozornost vyniká v zachycení závislostí na dlouhé vzdálenosti v sekvencích díky své schopnosti přímo modelovat interakce mezi všemi prvky v sekvenci. Tradiční architektury jako rekurentní neuronové sítě (RNN) trpí mizejícími nebo explodujícími problémy s gradientem, což omezuje jejich schopnost učit se závislosti na dlouhé vzdálenosti. Sebepozornost na druhé straně dokáže zachytit vztahy mezi vzdálenými slovy nebo prvky bez těchto problémů, takže je efektivnější při pochopení kontextu a vztahů v sekvenci.
Výhody oproti tradičním architekturám
-
Paralelizace: Vlastní pozornost umožňuje paralelní výpočet skóre pozornosti pro všechny prvky v sekvenci, což je efektivnější než sekvenční zpracování v RNN.
-
Závislosti dlouhého dosahu: Na rozdíl od RNN, které se potýkají se zachycováním závislostí na dlouhé vzdálenosti kvůli jejich sekvenční povaze, může sebepozornost tyto závislosti efektivně zachytit.
-
Zkrácená délka cesty: Vlastní pozornost přímo spojuje všechny prvky v sekvenci, snižuje délku cesty mezi vzdálenými prvky, což umožňuje lepší gradientní tok během tréninku.
Omezení a výpočetní složitosti
-
Kvadratická složitost: Vlastní pozornost zahrnuje párové porovnávání mezi všemi prvky v sekvenci, což vede ke kvadratickému nárůstu výpočtu s rostoucí délkou sekvence. To může být u velmi dlouhých sekvencí výpočetně nákladné.
-
Požadavky na paměť: Transformátory kvůli jejich mechanismu samopozornosti často vyžadují více paměti ve srovnání s jednoduššími architekturami, jako jsou CNN nebo RNN.
-
Maskování pozornosti: Práce se sekvencemi proměnlivých délek vyžaduje použití masek pozornosti pro manipulaci s vycpávkou, což může přidat na složitosti modelu a procesu školení.
Navzdory těmto omezením se sebepozorování ukázalo jako vysoce účinný mechanismus v úlohách zpracování přirozeného jazyka a pokračující výzkum se zaměřuje na řešení jeho výpočetní složitosti pro ještě lepší efektivitu a škálovatelnost.
