Öz-dikkat, sinir ağlarında kullanılan, özellikle dönüştürücü modellerinde öne çıkan ve sıralı verileri etkili bir şekilde işlemelerine olanak tanıyan temel bir mekanizmadır. Bu, hesaplama sırasında ilgili parçalara daha fazla odaklanarak modelin bir dizi içindeki farklı kelimeleri veya öğeleri farklı şekilde tartmasını sağlar.
Kişisel Dikkatin Bileşenleri
-
Sorgular, Anahtarlar ve Değerler: Kişisel dikkatte, girdi dizisi üç vektöre dönüştürülür: Sorgu, Anahtar ve Değer. Bu vektörler girdi dizisinden doğrusal dönüşümler yoluyla elde edilir ve dikkat puanlarını hesaplamak için kullanılacak bu bileşenleri üretir.
-
Dikkat Puanları: Bu vektörler elde edildikten sonra, dikkat puanları Sorgu vektörü ile Anahtar vektörler * arasındaki benzerlik ölçülerek hesaplanır. dizideki tüm öğelerin*. Bu genellikle birnokta çarpımkullanılarak yapılır, ardındanölçeklemeyapılır ve her öğe için dikkat ağırlıklarını elde etmek amacıyla birsoftmax işlevi uygulanır.
-
Ağırlıklı Toplam: Elde edilen dikkat ağırlıkları Değer vektörlerini tartmak için kullanılır. İlgili dikkat ağırlıklarına dayalı olarak bu değerlerin ağırlıklı toplamı, öz dikkat katmanının çıktısını verir.
-
Çok Kafalı Dikkat: Kelimeler veya öğeler arasındaki farklı ilişkileri yakalamak için birden fazla Sorgu, Anahtar ve Değer dönüşümü kümesi paralel olarak gerçekleştirilir ve sonuçta birden fazla dikkat ağırlığı ve çıktı vektörü kümesi elde edilir. Bunlar daha sonra birleştirilir ve nihai çıktıyı elde etmek için yeniden dönüştürülür.
Uzun Menzilli Bağımlılıkları Öğrenmeyi Kolaylaştırma
Kişisel dikkat, dizideki tüm öğeler arasındaki etkileşimleri doğrudan modelleme yeteneği nedeniyle, dizilerdeki uzun vadeli bağımlılıkları yakalamada mükemmeldir. Tekrarlayan sinir ağları (RNN'ler) gibi geleneksel mimariler, uzun vadeli bağımlılıkları öğrenme yeteneklerini sınırlayan, kaybolan veya patlayan gradyan problemlerinden muzdariptir. Öte yandan, kişisel dikkat, bu sorunlar olmadan uzaktaki kelimeler veya öğeler arasındaki ilişkileri yakalayabilir, bu da bağlamı ve dizi içindeki ilişkileri anlamada daha etkili olmasını sağlar.
Geleneksel Mimarilere Göre Avantajları
-
Paralelleştirme: Kişisel dikkat, bir dizideki tüm öğeler için dikkat puanlarının paralel olarak hesaplanmasına olanak tanır ve bu da onu RNN'lerdeki sıralı işlemeden daha verimli hale getirir.
-
Uzun Menzilli Bağımlılıklar: Sıralı yapıları nedeniyle uzun mesafelerdeki bağımlılıkları yakalamakta zorlanan RNN'lerin aksine, öz dikkat bu bağımlılıkları etkili bir şekilde yakalayabilir.
-
Azaltılmış Yol Uzunluğu: Kişisel dikkat, tüm öğeleri bir sırayla doğrudan birbirine bağlar, uzaktaki öğeler arasındaki yol uzunluğunu azaltır ve egzersiz sırasında daha iyi bir gradyan akışı sağlar.
Sınırlamalar ve Hesaplama Karmaşıklıkları
-
İkinci Dereceden Karmaşıklık: Öz-dikkat bir dizideki tüm öğeler arasındaki ikili karşılaştırmaları içerir ve dizi uzunluğu arttıkça hesaplamada ikinci dereceden bir artışa neden olur. Bu, çok uzun diziler için hesaplama açısından pahalı olabilir.
-
Bellek Gereksinimleri: Transformatörler, öz-dikkat mekanizmaları nedeniyle, CNN'ler veya RNN'ler gibi daha basit mimarilerle karşılaştırıldığında genellikle daha fazla belleğe ihtiyaç duyar.
-
Dikkat Maskeleme: Değişken uzunluklu dizilerle uğraşmak, dolguyu işlemek için dikkat maskelerinin kullanılmasını gerektirir; bu da modele ve eğitim sürecine karmaşıklık katabilir.
Bu sınırlamalara rağmen, kişisel dikkatin doğal dil işleme görevlerinde son derece etkili bir mekanizma olduğu kanıtlanmıştır ve devam eden araştırmalar, daha iyi verimlilik ve ölçeklenebilirlik için hesaplama karmaşıklıklarını ele almayı amaçlamaktadır.
