Sodobne globoke nevronske mreže (DNN) so same po sebi nepregledne, zaradi česar je težko razumeti njihove procese odločanja. To pomanjkanje preglednosti ovira obsežno implementacijo tehnik strojnega učenja na različnih področjih. Kot odgovor se je pojavil Explainable AI (XAI), ki namerava izboljšati človeško razumevanje sodb DNN. S preučevanjem funkcionalnega namena vsake komponente se XAI zdaj osredotoča tudi na razumevanje globalnega vedenja DNN-jev, v nasprotju z lokalnimi razlagalnimi metodami, ki za razlago posameznih napovedi uporabljajo zemljevide opaznosti.
Mehanska interpretabilnost je tehnika globalne razložljivosti, ki se osredotoča na natančno določanje določenih idej, ki so jih nevroni, temeljne računalniške enote nevronske mreže, pridobili sposobnost razumevanja. Delovanje latentnih predstavitev omrežja lahko razložimo tako, da nevrone označimo z opisi, ki so razumljivi ljudem. Ti opisi so napredovali od preprostih oznak do dovršenih, kompozicijskih in odprtih razlag besedišča. Kljub temu je pomanjkanje standardiziranih kvantitativnih meritev za ocenjevanje teh opisov z odprtim besediščem oviralo temeljite primerjave različnih pristopov.
Da bi odpravili to vrzel, raziskovalci iz ATB Potsdam, Univerze v Potsdamu, TU Berlin, Fraunhofer Heinrich-Hertz-Institute in BIFOLD predstavljajo CoSy, pionirsko ogrodje kvantitativnega vrednotenja za ocenjevanje uporabe razlag odprtega besedišča v modelih računalniškega vida (CV). Ta inovativna metoda uporablja razvoj Generative AI za izdelavo umetnih slik, ki so v korelaciji z besedilnimi opisi, ki temeljijo na konceptu. cosy odpravlja potrebo po človeški interakciji z omogočanjem kvantitativnih primerjav različnih pristopov besedilne razlage, ki temeljijo na konceptu, s sintezo podatkovnih točk, ki so skupne določenim ciljnim razlagam.
Raziskovalna skupina je z obsežno metaanalizo pokazala, da cosy ponuja zanesljive ocene razlag. Študija je odkrila, da metode besedilne razlage, ki temeljijo na konceptu, najbolje delujejo v zgornjih plasteh nevronskih mrež, kjer se naučijo konceptov na visoki ravni. Visokokakovostne nevronske razlage so izdelane z metodami, kot sta INVERT, ki ustvari vizualne podobe iz predstavitev nevronskih mrež, in CLIP-Dissect, ki pregleduje notranje predstavitev omrežja. Nasprotno pa tehnike, kot sta MILAN in FALCON, proizvajajo razlage slabše kakovosti, občasno zagotavljajo skoraj naključne koncepte, kar lahko povzroči netočne mrežne zaključke.
Glavna pomanjkljivost CoSy, kot priznavajo raziskovalci, je, da določene kategorije iz podatkov o usposabljanju morda niso bile vključene v generativni model, kar vodi do razlag, ki so preveč splošne ali dvoumne, kot so "beli predmeti". Generativno natančnost bi lahko povečali z obravnavo te težave s preučevanjem nizov podatkov pred usposabljanjem in zmogljivosti modela. Kljub temu ima cosy velik potencial na še vedno razvijajočem se področju ocenjevanja tehnik nelokalne razlage.
Če pogledamo naprej, ekipa upa glede možnih aplikacij CoSy na več področjih. Za ovrednotenje verodostojnosti ali kakovosti razlage v zvezi z rezultatom nadaljnje naloge je treba človeško presojo vključiti v definicijo kakovosti razlage, ki jo želijo obravnavati v prihodnjem delu. Poleg tega želijo v svoj sistem ocenjevanja vključiti dodatna področja, kot sta obdelava naravnega jezika in zdravstvo. Potencialna uporaba cosyja za ocenjevanje velikih, neprozornih jezikovnih modelov, ki jih je mogoče samodejno razlagati (LLM), je še posebej vznemirljiva. Po mnenju raziskovalcev bi lahko bila uporaba cosyja za nize zdravstvenih podatkov, kjer je kakovost razlage pomembna, velik korak naprej. Te morebitne prihodnje aplikacije cosyja imajo ogromen potencial za napredek raziskav AI.