Les xarxes neuronals profundes (DNN) modernes són intrínsecament opaques, cosa que dificulta la comprensió dels seus processos de presa de decisions. Aquesta manca de transparència interfereix amb la implementació àmplia de tècniques d'aprenentatge automàtic en diversos dominis. En resposta, ha aparegut Explainable AI (XAI) amb la intenció de millorar la comprensió humana dels judicis de DNN. En analitzar el propòsit funcional de cada component, XAI ara també se centra a entendre el comportament global dels DNN, en contrast amb els mètodes d'explicació locals que utilitzen mapes de rellevància per explicar prediccions individuals.
La interpretabilitat mecanicista és una tècnica d'explicabilitat global que se centra a identificar les idees particulars que les neurones, les unitats informàtiques fonamentals d'una xarxa neuronal, han adquirit la capacitat d'entendre. Podem explicar el funcionament de les representacions latents d'una xarxa etiquetant les neurones amb descripcions que siguin comprensibles per als humans. Aquestes descripcions han avançat d'etiquetes simples a explicacions elaborades, compositives i de vocabulari obert. No obstant això, la manca de mètriques quantitatives estandarditzades per avaluar aquestes descripcions de vocabulari obert ha dificultat les comparacions exhaustives entre diversos enfocaments.
Per abordar aquesta bretxa, investigadors d'ATB Potsdam, Universitat de Potsdam, TU Berlín, Fraunhofer Heinrich-Hertz-Institut i BIFOLD introdueixen CoSy, un marc d'avaluació quantitativa pioner per a avaluar l'ús d'explicacions de vocabulari obert en models de visió per computador (CV). Aquest mètode innovador fa ús dels desenvolupaments en IA generativa per produir imatges artificials que es correlacionen amb descripcions textuals basades en conceptes. Cozy elimina la necessitat d'interacció humana facilitant les comparacions quantitatives de diferents enfocaments d'explicació textual basats en conceptes mitjançant la síntesi de punts de dades comuns per a explicacions objectiu concretes.
L'equip d'investigació va demostrar mitjançant una àmplia metaanàlisi que acollidor ofereix avaluacions fiables de les explicacions. L'estudi va descobrir que els mètodes d'explicació textual basats en conceptes funcionen millor a les capes superiors de les xarxes neuronals, on s'aprenen conceptes d'alt nivell. Les explicacions de neurones d'alta qualitat es produeixen mitjançant mètodes com INVERT, que crea visuals a partir de representacions de xarxes neuronals, i CLIP-Dissect, que examina representacions de xarxes internes. Per contra, tècniques com MILAN i FALCON produeixen explicacions de qualitat inferior, proporcionant ocasionalment conceptes gairebé aleatoris, que poden donar lloc a conclusions de xarxa inexactes.
Un inconvenient important de CoSy, tal com reconeixen els investigadors, és que les categories específiques de les dades d'entrenament potser no s'han inclòs en el model generatiu, la qual cosa condueix a explicacions massa generals o ambigües, com ara "objectes blancs". La precisió generativa es podria augmentar abordant aquest problema examinant els conjunts de dades previs a la formació i el rendiment del model. Tot i així, cozy presenta molt potencial en el camp encara en desenvolupament de l'avaluació de tècniques d'explicació no locals.
De cara al futur, l'equip té esperança amb les aplicacions potencials de CoSy en diversos camps. Per avaluar la plausibilitat o la qualitat d'una explicació pel que fa al resultat d'una tasca posterior, el judici humà s'ha d'incloure en la definició de qualitat de l'explicació, que volen abordar en el treball futur. A més, volen incloure camps addicionals com el processament del llenguatge natural i l'assistència sanitària al seu sistema d'avaluació. L'ús potencial de cozy per avaluar models de llenguatge autointerpretables (LLM) grans, opacs és especialment emocionant. Segons els investigadors, l'aplicació de Cozy als conjunts de dades sanitaris, on la qualitat de l'explicació és important, podria ser un gran pas endavant. Aquestes aplicacions futures potencials de cozy tenen un enorme potencial per avançar en la investigació de la IA.