Moderne tiefe neuronale Netze (DNNs) sind von Natur aus undurchsichtig, was es schwierig macht, ihre Entscheidungsprozesse zu verstehen. Dieser Mangel an Transparenz beeinträchtigt die umfassende Implementierung maschineller Lerntechniken in einer Vielzahl von Bereichen. Als Reaktion darauf ist Explainable AI (XAI) aufgetaucht, das das menschliche Verständnis von DNN-Urteilen verbessern soll. Durch die Betrachtung des funktionalen Zwecks jeder Komponente konzentriert sich XAI nun auch auf das Verständnis des globalen Verhaltens von DNNs, im Gegensatz zu lokalen Erklärungsmethoden, die Salienzkarten zur Erklärung einzelner Vorhersagen verwenden.
Mechanistische Interpretierbarkeit ist eine globale Erklärbarkeitstechnik, die sich darauf konzentriert, die besonderen Ideen zu bestimmen, die Neuronen, die grundlegenden Recheneinheiten eines neuronalen Netzwerks, verstehen können. Wir können die Funktionsweise der latenten Darstellungen eines Netzwerks erklären, indem wir Neuronen mit Beschreibungen versehen, die für Menschen verständlich sind. Diese Beschreibungen haben sich von einfachen Bezeichnungen zu ausführlichen, kompositorischen und offenen Wortschatzerklärungen entwickelt. Dennoch hat das Fehlen standardisierter quantitativer Metriken zur Bewertung dieser Beschreibungen im offenen Vokabular gründliche Vergleiche zwischen verschiedenen Ansätzen behindert.
Um diese Lücke zu schließen, stellen Forscher des ATB Potsdam, der Universität Potsdam, der TU Berlin, des Fraunhofer Heinrich-Hertz-Instituts und BIFOLD CoSy vor, einen bahnbrechenden quantitativen Bewertungsrahmen für Bewertung der Verwendung von Erklärungen mit offenem Vokabular in Computer Vision (CV)-Modellen. Diese innovative Methode nutzt Entwicklungen der generativen KI, um künstliche Bilder zu erzeugen, die mit konzeptbasierten Textbeschreibungen korrelieren. cosy macht eine menschliche Interaktion überflüssig, indem es quantitative Vergleiche verschiedener konzeptbasierter Texterklärungsansätze durch die Synthese von Datenpunkten ermöglicht, die für bestimmte Zielerklärungen üblich sind.
Das Forschungsteam hat durch eine umfangreiche Metaanalyse nachgewiesen, dass cosy verlässliche Auswertungen von Erklärungen bietet. Die Studie ergab, dass konzeptbasierte Texterklärungsmethoden am besten in den oberen Schichten neuronaler Netze funktionieren, wo Konzepte auf hoher Ebene erlernt werden. Hochwertige neuronale Erklärungen werden durch Methoden wie INVERT erzeugt, das visuelle Darstellungen aus neuronalen Netzwerkdarstellungen erstellt, und CLIP-Dissect, das interne Netzwerkdarstellungen untersucht. Umgekehrt liefern Techniken wie MILAN und FALCON Erklärungen von minderer Qualität und liefern gelegentlich fast zufällige Konzepte, was zu ungenauen Netzwerkschlussfolgerungen führen kann.
Ein großer Nachteil von CoSy besteht, wie die Forscher erkennen, darin, dass bestimmte Kategorien aus den Trainingsdaten möglicherweise nicht in das generative Modell einbezogen wurden, was zu zu allgemeinen oder mehrdeutigen Erklärungen wie „weißen Objekten“ führt. Die generative Genauigkeit könnte erhöht werden, indem dieses Problem durch die Untersuchung von Datensätzen vor dem Training und der Modellleistung behoben wird. Dennoch weist Cozy großes Potenzial im sich noch entwickelnden Bereich der Bewertung nicht-lokaler Erklärungstechniken auf.
Mit Blick auf die Zukunft ist das Team zuversichtlich, was die potenziellen Anwendungen von CoSy in mehreren Bereichen angeht. Um die Plausibilität oder Qualität einer Erklärung hinsichtlich des Ergebnisses einer nachgelagerten Aufgabe zu bewerten, muss menschliches Urteilsvermögen in die Definition der Erklärungsqualität einbezogen werden, mit der sie sich in zukünftigen Arbeiten befassen möchten. Darüber hinaus möchten sie weitere Bereiche wie die Verarbeitung natürlicher Sprache und das Gesundheitswesen in ihr Bewertungssystem einbeziehen. Besonders spannend ist der mögliche Einsatz von cosy zur Bewertung großer, undurchsichtiger, autointerpretierbarer Sprachmodelle (LLMs). Den Forschern zufolge könnte die Anwendung von Cozy auf Gesundheitsdatensätze, bei denen die Qualität der Erklärung wichtig ist, ein großer Fortschritt sein. Diese potenziellen zukünftigen Anwendungen von Cozy haben ein enormes Potenzial, die KI-Forschung voranzutreiben.