Le moderne reti neurali profonde (DNN) sono intrinsecamente opache, il che rende difficile comprendere i loro processi decisionali. Questa mancanza di trasparenza interferisce con l’ampia implementazione delle tecniche di Machine Learning in una varietà di settori. In risposta, è emersa l'Explainable AI (XAI) con l'intenzione di migliorare la comprensione umana dei giudizi DNN. Osservando lo scopo funzionale di ciascun componente, XAI ora si concentra anche sulla comprensione del comportamento globale delle DNN, in contrasto con i metodi di spiegazione locale che utilizzano mappe di salienza per spiegare le previsioni individuali.
L’interpretabilità meccanicistica è una tecnica di spiegabilità globale che si concentra sull’individuazione delle idee particolari che i neuroni, le unità computazionali fondamentali di una rete neurale, hanno acquisito la capacità di comprendere. Possiamo spiegare il funzionamento delle rappresentazioni latenti di una rete etichettando i neuroni con descrizioni comprensibili agli esseri umani. Queste descrizioni sono passate da semplici etichette a spiegazioni elaborate, compositive e con un vocabolario aperto. Tuttavia, la mancanza di parametri quantitativi standardizzati per valutare queste descrizioni a vocabolario aperto ha ostacolato confronti approfonditi tra i vari approcci.
Per colmare questa lacuna, i ricercatori dell’ATB Potsdam, dell’Università di Potsdam, della TU Berlin, del Fraunhofer Heinrich-Hertz-Institute e del BIFOLD introducono CoSy, un pionieristico quadro di valutazione quantitativa per valutare l'uso di spiegazioni a vocabolario aperto nei modelli di visione artificiale (CV). Questo metodo innovativo sfrutta gli sviluppi dell’intelligenza artificiale generativa per produrre immagini artificiali correlate a descrizioni testuali basate su concetti. cosy elimina la necessità dell'interazione umana facilitando i confronti quantitativi di diversi approcci di spiegazione testuale basati su concetti sintetizzando punti dati comuni per particolari spiegazioni target.
Il gruppo di ricerca ha dimostrato attraverso un'ampia meta-analisi che Cosy offre valutazioni affidabili delle spiegazioni. Lo studio ha scoperto che i metodi di spiegazione testuale basati su concetti funzionano meglio negli strati superiori delle reti neurali, dove vengono appresi concetti di alto livello. Le spiegazioni dei neuroni di alta qualità sono prodotte da metodi come INVERT, che crea immagini dalle rappresentazioni della rete neurale, e CLIP-Dissect, che esamina le rappresentazioni della rete interna. Al contrario, tecniche come MILANO e FALCON producono spiegazioni di qualità inferiore, fornendo occasionalmente concetti quasi casuali, che possono portare a conclusioni della rete inaccurate.
Uno dei principali svantaggi di CoSy, come riconoscono i ricercatori, è che categorie specifiche dei dati di addestramento potrebbero non essere state incluse nel modello generativo, portando a spiegazioni troppo generali o ambigue, come gli “oggetti bianchi”. La precisione generativa potrebbe essere aumentata affrontando questo problema esaminando i set di dati di pre-addestramento e le prestazioni del modello. Nonostante ciò, cosy mostra molte potenzialità nel campo ancora in via di sviluppo della valutazione delle tecniche di spiegazione non locali.
Guardando al futuro, il team spera nelle potenziali applicazioni di CoSy in più campi. Per valutare la plausibilità o la qualità di una spiegazione riguardante il risultato di un compito a valle, il giudizio umano deve essere incluso nella definizione di qualità della spiegazione, che si vuole affrontare nel lavoro futuro. Inoltre, vogliono includere campi aggiuntivi come l’elaborazione del linguaggio naturale e l’assistenza sanitaria nel loro sistema di valutazione. Il potenziale utilizzo di cosy per valutare modelli linguistici ampi, opachi e autointerpretabili (LLM) è particolarmente entusiasmante. Secondo i ricercatori, l’applicazione di tale approccio ai set di dati sanitari, dove la qualità della spiegazione è importante, potrebbe rappresentare un grande passo avanti. Queste potenziali future applicazioni di cosy hanno un enorme potenziale per far avanzare la ricerca sull’intelligenza artificiale.