A modern mély neurális hálózatok (DNN-ek) alapvetően átlátszatlanok, ezért nehéz megérteni döntéshozatali folyamataikat. Ez az átláthatóság hiánya megzavarja a gépi tanulási technikák széles körű megvalósítását számos területen. Válaszul az Explainable AI (XAI) megjelent azzal a szándékkal, hogy javítsa a DNN-ítéletek emberi megértését. Az egyes komponensek funkcionális céljának vizsgálatával az XAI most a DNN-ek globális viselkedésének megértésére is összpontosít, ellentétben azokkal a helyi magyarázati módszerekkel, amelyek feltűnési térképeket alkalmaznak az egyéni előrejelzések magyarázatára.
A mechanikus értelmezhetőség egy globális magyarázhatósági technika, amely arra összpontosít, hogy pontosan meghatározza azokat a konkrét gondolatokat, amelyeket a neuronok, a neurális hálózat alapvető számítási egységei képesek megérteni. Egy hálózat látens reprezentációinak működését úgy tudjuk megmagyarázni, hogy a neuronokat az ember számára érthető leírásokkal jelöljük. Ezek a leírások az egyszerű címkéktől a kidolgozott, kompozíciós és nyílt szókészletű magyarázatokká fejlődtek. Mindazonáltal, a szabványosított kvantitatív mérőszámok hiánya e nyílt szókészlet-leírások értékeléséhez akadályozta a különböző megközelítések alapos összehasonlítását.
E hiányosság orvoslására az ATB Potsdam, a Potsdami Egyetem, a TU Berlini Egyetem, a Fraunhofer Heinrich-Hertz-Institute és a BIFOLD kutatói bemutatják a CoSy úttörő kvantitatív értékelési keretrendszert a nyílt szókincs magyarázatainak számítógépes látás (CV) modellekben való használatának felmérése. Ez az innovatív módszer a generatív mesterséges intelligencia fejlesztéseit használja fel olyan mesterséges képek előállítására, amelyek korrelálnak a koncepción alapuló szöveges leírásokkal. A cozy kiküszöböli az emberi interakció szükségességét azáltal, hogy megkönnyíti a különböző fogalomalapú szöveges magyarázati megközelítések mennyiségi összehasonlítását azáltal, hogy szintetizálja az adott célmagyarázatokhoz közös adatpontokat.
A kutatócsoport kiterjedt metaanalízissel bebizonyította, hogy a cozy megbízható értékeléseket kínál a magyarázatokról. A tanulmány felfedezte, hogy a fogalomalapú szöveges magyarázati módszerek a neurális hálózatok felső rétegeiben működnek a legjobban, ahol magas szintű fogalmakat tanulnak meg. Kiváló minőségű neuronmagyarázatokat olyan módszerekkel állítanak elő, mint az INVERT, amely neurális hálózati reprezentációkból hoz létre vizuális képeket, és a CLIP-Dissect, amely a belső hálózati reprezentációkat vizsgálja. Ezzel szemben az olyan technikák, mint a MILAN és a FALCON, gyengébb minőségű magyarázatokat adnak, esetenként szinte véletlenszerű fogalmakat adnak, ami pontatlan hálózati következtetésekhez vezethet.
A CoSy egyik fő hátránya, amint azt a kutatók felismerték, hogy a képzési adatok bizonyos kategóriái esetleg nem szerepeltek a generatív modellben, ami túl általános vagy kétértelmű magyarázatokhoz vezet, mint például a "fehér objektumok". A generatív pontosság növelhető, ha ezt a problémát a képzés előtti adatkészletek és a modell teljesítményének vizsgálatával kezeljük. Ennek ellenére a cozy sok lehetőséget rejt magában a nem lokális magyarázati technikák értékelésének még mindig fejlődő területén.
A jövőre nézve a csapat bizakodó a CoSy lehetséges alkalmazásaival kapcsolatban több területen. Egy downstream feladat eredményére vonatkozó magyarázat elfogadhatóságának vagy minőségének értékeléséhez az emberi megítélést bele kell foglalni a magyarázat minőségének definíciójába, amellyel a jövőbeni munkában foglalkozni kívánnak. Emellett további területeket is be kívánnak vonni értékelési rendszerükbe, mint például a természetes nyelvi feldolgozás és az egészségügy. A cozy potenciális használata nagy, átlátszatlan, autointerpretable language model (LLM) értékelésére különösen izgalmas. A kutatók szerint a cozy alkalmazása az egészségügyi adatkészletekben, ahol fontos a magyarázat minősége, nagy előrelépést jelenthet. A cozy ezen potenciális jövőbeni alkalmazásai óriási lehetőségeket rejtenek az AI-kutatás előmozdítására.