Modern Derin Sinir Ağları (DNN'ler) doğası gereği opaktır ve karar verme süreçlerini kavramayı zorlaştırır. Bu şeffaflık eksikliği, Makine Öğrenimi tekniklerinin çeşitli alanlarda kapsamlı bir şekilde uygulanmasına engel olmaktadır. Buna yanıt olarak, Açıklanabilir Yapay Zeka (XAI), insanların DNN kararlarını kavramasını iyileştirmeyi amaçlayan bir şekilde ortaya çıktı. Her bileşenin işlevsel amacına bakarak XAI, bireysel tahminleri açıklamak için belirginlik haritaları kullanan yerel açıklama yöntemlerinin aksine artık DNN'lerin küresel davranışını anlamaya da odaklanıyor.
Mekanistik yorumlanabilirlik, bir sinir ağının temel bilgi işlem birimleri olan nöronların anlama yeteneği kazandığı belirli fikirlerin belirlenmesine odaklanan küresel bir açıklanabilirlik tekniğidir. Bir ağın gizli temsillerinin işleyişini, nöronları insanların anlayabileceği açıklamalarla etiketleyerek açıklayabiliriz. Bu açıklamalar basit etiketlerden ayrıntılı, kompozisyona dayalı ve açık sözlü açıklamalara doğru ilerlemiştir. Bununla birlikte, bu açık kelime tanımlarını değerlendirmek için standartlaştırılmış niceliksel ölçümlerin eksikliği, çeşitli yaklaşımlar arasında kapsamlı karşılaştırmalar yapılmasını engellemiştir.
Bu boşluğu gidermek için ATB Potsdam, Potsdam Üniversitesi, TU Berlin, Fraunhofer Heinrich-Hertz-Institute ve BIFOLD'dan araştırmacılar, öncü bir niceliksel değerlendirme çerçevesi olan CoSy'yi tanıtıyor. Bilgisayarla görme (CV) modellerinde açık kelime açıklamalarının kullanımının değerlendirilmesi. Bu yenilikçi yöntem, kavram temelli metinsel açıklamalarla ilişkilendirilen yapay görüntüler üretmek için Üretken Yapay Zeka'daki gelişmelerden yararlanıyor. cosy, belirli hedef açıklamalar için ortak veri noktalarını sentezleyerek farklı kavram temelli metinsel açıklama yaklaşımlarının niceliksel karşılaştırmasını kolaylaştırarak insan etkileşimi ihtiyacını ortadan kaldırır.
Araştırma ekibi, kapsamlı bir meta-analiz yoluyla, açıklamaların güvenilir değerlendirmelerini sunduğunu gösterdi. Çalışma, kavram temelli metinsel açıklama yöntemlerinin, üst düzey kavramların öğrenildiği sinir ağlarının üst katmanlarında en iyi şekilde çalıştığını keşfetti. Sinir ağı temsillerinden görseller oluşturan INVERT ve iç ağ temsillerini inceleyen CLIP-Dissect gibi yöntemlerle yüksek kaliteli nöron açıklamaları üretilir. Tersine, MILAN ve FALCON gibi teknikler daha düşük kalitede açıklamalar üretir, bazen neredeyse rastgele kavramlar sağlar ve bu da hatalı ağ sonuçlarına yol açabilir.
Araştırmacıların da kabul ettiği gibi, CoSy'nin en büyük dezavantajı, eğitim verilerinden belirli kategorilerin üretken modele dahil edilmemiş olması ve bunun da "beyaz nesneler" gibi çok genel veya belirsiz açıklamalara yol açması olabilir. Eğitim öncesi veri kümeleri ve model performansı incelenerek bu sorun çözülerek üretken doğruluk artırılabilir. Yine de, cosy, halen gelişmekte olan yerel olmayan açıklama tekniklerinin değerlendirilmesi alanında büyük bir potansiyel sergilemektedir.
Geleceğe baktığımızda ekip, CoSy'nin birçok alandaki potansiyel uygulamaları konusunda umutlu. Bir alt görevin sonucuna ilişkin bir açıklamanın inandırıcılığını veya kalitesini değerlendirmek için, gelecekteki çalışmalarda ele almak istedikleri açıklama kalitesi tanımına insan yargısının dahil edilmesi gerekir. Ayrıca doğal dil işleme ve sağlık gibi ek alanları da değerlendirme sistemlerine dahil etmek istiyorlar. Büyük, opak, otomatik yorumlanabilir dil modellerini (LLM'ler) değerlendirmek için rahatın potansiyel kullanımı özellikle heyecan vericidir. Araştırmacılara göre, açıklama kalitesinin önemli olduğu sağlık veri setlerine rahat uygulamak ileriye doğru büyük bir adım olabilir. Rahatlığın gelecekteki bu potansiyel uygulamaları, yapay zeka araştırmalarını ilerletmek için muazzam bir potansiyele sahiptir.