Moderne diepe neurale netwerken (DNN’s) zijn intrinsiek ondoorzichtig, waardoor het een uitdaging is om hun besluitvormingsprocessen te begrijpen. Dit gebrek aan transparantie belemmert de uitgebreide implementatie van Machine Learning-technieken in verschillende domeinen. Als reactie daarop is Exploreable AI (XAI) opgedoken met de bedoeling het menselijk begrip van DNN-oordelen te verbeteren. Door naar het functionele doel van elke component te kijken, richt XAI zich nu ook op het begrijpen van het mondiale gedrag van DNN's, in tegenstelling tot lokale verklaringsmethoden die saliency-kaarten gebruiken om individuele voorspellingen te verklaren.
Mechanistische interpreteerbaarheid is een mondiale uitlegbaarheidstechniek die zich richt op het vaststellen van de specifieke ideeën die neuronen, de fundamentele rekeneenheden van een neuraal netwerk, hebben kunnen begrijpen. We kunnen de werking van de latente representaties van een netwerk verklaren door neuronen te labelen met beschrijvingen die voor mensen begrijpelijk zijn. Deze beschrijvingen zijn geëvolueerd van eenvoudige labels naar uitgebreide, compositorische en open woordenschatverklaringen. Niettemin heeft het gebrek aan gestandaardiseerde kwantitatieve maatstaven voor het beoordelen van deze open woordenschatbeschrijvingen grondige vergelijkingen tussen verschillende benaderingen belemmerd.
Om deze kloof te dichten introduceren onderzoekers van ATB Potsdam, Universiteit van Potsdam, TU Berlijn, Fraunhofer Heinrich-Hertz-Institute en BIFOLD CoSy, een baanbrekend kwantitatief evaluatiekader voor het beoordelen van het gebruik van verklaringen in open woordenschat in computer vision (CV)-modellen. Deze innovatieve methode maakt gebruik van ontwikkelingen in Generatieve AI om kunstmatige beelden te produceren die correleren met op concepten gebaseerde tekstuele beschrijvingen. cosy elimineert de behoefte aan menselijke interactie door kwantitatieve vergelijkingen van verschillende op concepten gebaseerde benaderingen van tekstuele uitleg mogelijk te maken door datapunten te synthetiseren die gebruikelijk zijn voor bepaalde doelverklaringen.
Het onderzoeksteam heeft via een uitgebreide meta-analyse aangetoond dat dit betrouwbare evaluaties van verklaringen biedt. De studie ontdekte dat op concepten gebaseerde tekstuele uitlegmethoden het beste functioneren in de bovenste lagen van neurale netwerken, waar concepten op hoog niveau worden geleerd. Hoogwaardige neuronverklaringen worden geproduceerd door methoden zoals INVERT, die beelden creëert van neurale netwerkrepresentaties, en CLIP-Dissect, die interne netwerkrepresentaties onderzoekt. Omgekeerd produceren technieken zoals MILAN en FALCON verklaringen van inferieure kwaliteit, waarbij ze soms bijna willekeurige concepten opleveren, wat kan resulteren in onnauwkeurige netwerkconclusies.
Een groot nadeel van CoSy is, zoals de onderzoekers erkennen, dat specifieke categorieën uit de trainingsgegevens mogelijk niet zijn opgenomen in het generatieve model, wat leidt tot verklaringen die te algemeen of dubbelzinnig zijn, zoals 'witte objecten'. De generatieve nauwkeurigheid kan worden vergroot door dit probleem aan te pakken door datasets en modelprestaties vóór de training te onderzoeken. Toch vertoont Cosy veel potentieel op het zich nog steeds ontwikkelende gebied van het beoordelen van niet-lokale verklaringstechnieken.
Vooruitkijkend is het team hoopvol over de potentiële toepassingen van CoSy op meerdere terreinen. Om de plausibiliteit of kwaliteit van een verklaring met betrekking tot het resultaat van een volgende taak te evalueren, moet het menselijk oordeel worden opgenomen in de definitie van verklaringskwaliteit, die ze in toekomstig werk willen behandelen. Daarnaast willen ze extra velden zoals natuurlijke taalverwerking en gezondheidszorg in hun evaluatiesysteem opnemen. Het potentiële gebruik van cosy voor het beoordelen van grote, ondoorzichtige, auto-interpreteerbare taalmodellen (LLM's) is bijzonder opwindend. Volgens de onderzoekers zou de toepassing van Cosy op zorgdatasets, waarbij de kwaliteit van de uitleg belangrijk is, een grote stap voorwaarts kunnen zijn. Deze potentiële toekomstige toepassingen van cosy hebben een enorm potentieel om AI-onderzoek vooruit te helpen.