Rețelele neuronale profunde moderne (DNN) sunt intrinsec opace, ceea ce face dificilă înțelegerea proceselor lor de luare a deciziilor. Această lipsă de transparență interferează cu implementarea extinsă a tehnicilor de învățare automată într-o varietate de domenii. Ca răspuns, Explainable AI (XAI) a apărut cu intenția de a îmbunătăți înțelegerea umană a judecăților DNN. Privind scopul funcțional al fiecărei componente, XAI se concentrează acum și pe înțelegerea comportamentului global al DNN-urilor, spre deosebire de metodele locale de explicație care folosesc hărți de proeminență pentru a explica predicțiile individuale.
Interpretabilitatea mecanicistă este o tehnică globală de explicabilitate care se concentrează pe identificarea ideilor particulare pe care neuronii, unitățile de calcul fundamentale ale unei rețele neuronale, au dobândit capacitatea de a le înțelege. Putem explica funcționarea reprezentărilor latente ale unei rețele etichetând neuronii cu descrieri care sunt ușor de înțeles pentru oameni. Aceste descrieri au progresat de la etichete simple la explicații elaborate, compoziționale și cu vocabular deschis. Cu toate acestea, lipsa unor metrici cantitative standardizate pentru evaluarea acestor descrieri de vocabular deschis a împiedicat comparațiile amănunțite între diferite abordări.
Pentru a aborda acest decalaj, cercetătorii de la ATB Potsdam, Universitatea din Potsdam, TU Berlin, Fraunhofer Heinrich-Hertz-Institute și BIFOLD introduc CoSy, un cadru de evaluare cantitativă de pionierat pentru evaluarea utilizării explicațiilor cu vocabular deschis în modelele de viziune computerizată (CV). Această metodă inovatoare folosește evoluțiile din IA generativă pentru a produce imagini artificiale care se corelează cu descrierile textuale bazate pe concepte. Cozy elimină necesitatea interacțiunii umane prin facilitarea comparațiilor cantitative ale diferitelor abordări de explicații textuale bazate pe concepte prin sintetizarea punctelor de date comune pentru anumite explicații țintă.
Echipa de cercetare a demonstrat printr-o meta-analiză extinsă că Cozy oferă evaluări fiabile ale explicațiilor. Studiul a descoperit că metodele de explicație textuală bazate pe concepte funcționează cel mai bine în straturile superioare ale rețelelor neuronale, unde sunt învățate concepte de nivel înalt. Explicațiile neuronilor de înaltă calitate sunt produse prin metode precum INVERT, care creează imagini vizuale din reprezentările rețelelor neuronale și CLIP-Dissect, care examinează reprezentările rețelelor interne. În schimb, tehnici precum MILAN și FALCON produc explicații de calitate inferioară, oferind ocazional concepte aproape aleatorii, ceea ce poate duce la concluzii inexacte ale rețelei.
Un dezavantaj major al CoSy, după cum recunosc cercetătorii, este că categoriile specifice din datele de antrenament ar putea să nu fi fost incluse în modelul generativ, ceea ce duce la explicații care sunt prea generale sau ambigue, cum ar fi „obiecte albe”. Precizia generativă ar putea fi crescută prin abordarea acestei probleme prin examinarea seturilor de date pre-antrenare și a performanței modelului. Chiar și totuși, Cozy prezintă mult potențial în domeniul în curs de dezvoltare al evaluării tehnicilor de explicație non-locale.
Privind în viitor, echipa are speranță în potențialele aplicații ale CoSy în mai multe domenii. Pentru a evalua plauzibilitatea sau calitatea unei explicații cu privire la rezultatul unei sarcini din aval, judecata umană trebuie inclusă în definiția calității explicației, pe care doresc să o abordeze în lucrările viitoare. În plus, doresc să includă domenii suplimentare precum procesarea limbajului natural și asistența medicală în sistemul lor de evaluare. Utilizarea potențială a Cozy pentru evaluarea modelelor de limbaj (LLM) mari, opace și autointerpretabile este deosebit de interesantă. Potrivit cercetătorilor, aplicarea Cozy la seturile de date de asistență medicală, unde calitatea explicației este importantă, ar putea fi un mare pas înainte. Aceste potențiale viitoare aplicații ale Cozy au un potențial enorm de a avansa cercetarea AI.