Moderna djupa neurala nätverk (DNN) är i sig ogenomskinliga, vilket gör det utmanande att förstå deras beslutsprocesser. Denna brist på transparens stör den omfattande implementeringen av maskininlärningstekniker inom en mängd olika domäner. Som svar har Explainable AI (XAI) dykt upp i syfte att förbättra mänsklig förståelse av DNN-domar. Genom att titta på det funktionella syftet med varje komponent fokuserar XAI nu också på att förstå det globala beteendet hos DNN, i motsats till lokala förklaringsmetoder som använder framträdande kartor för att förklara individuella förutsägelser.
Mekanistisk tolkningsbarhet är en global förklaringsteknik som fokuserar på att lokalisera de speciella idéer som neuroner, de grundläggande beräkningsenheterna i ett neuralt nätverk, har förvärvat förmågan att förstå. Vi kan förklara hur ett nätverks latenta representationer fungerar genom att märka neuroner med beskrivningar som är begripliga för människor. Dessa beskrivningar har utvecklats från enkla etiketter till utarbetade, sammansättningsmässiga och öppna ordförrådsförklaringar. Icke desto mindre har bristen på standardiserade kvantitativa mått för att bedöma dessa öppna ordförrådsbeskrivningar hindrat grundliga jämförelser mellan olika tillvägagångssätt.
För att komma till rätta med denna lucka introducerar forskare från ATB Potsdam, University of Potsdam, TU Berlin, Fraunhofer Heinrich-Hertz-Institute och BIFOLD CoSy, en banbrytande kvantitativ utvärderingsram för bedöma användningen av öppna ordförrådsförklaringar i datorseende (CV) modeller. Denna innovativa metod använder sig av utvecklingen inom Generativ AI för att producera konstgjorda bilder som korrelerar med konceptbaserade textbeskrivningar. cozy eliminerar behovet av mänsklig interaktion genom att underlätta kvantitativa jämförelser av olika konceptbaserade textförklaringsmetoder genom att syntetisera datapunkter som är gemensamma för specifika målförklaringar.
Forskargruppen visade genom en omfattande metaanalys att mysiga erbjuder tillförlitliga utvärderingar av förklaringar. Studien upptäckte att begreppsbaserade textförklaringsmetoder fungerar bäst i de övre skikten av neurala nätverk, där begrepp på hög nivå lärs in. Högkvalitativa neuronförklaringar produceras med metoder som INVERT, som skapar bilder från representationer av neurala nätverk, och CLIP-Dissect, som undersöker interna nätverksrepresentationer. Omvänt ger tekniker som MILAN och FALCON förklaringar av sämre kvalitet, och ger ibland nästan slumpmässiga begrepp, vilket kan resultera i felaktiga nätverksslutsatser.
En stor nackdel med CoSy, som forskarna inser, är att specifika kategorier från träningsdata kanske inte har inkluderats i den generativa modellen, vilket leder till förklaringar som är för generella eller tvetydiga, som "vita föremål". Generativ noggrannhet kan ökas genom att ta itu med detta problem genom att undersöka förträningsdatauppsättningar och modellprestanda. Ändå uppvisar mysiga mycket potential inom det fortfarande utvecklande området för att bedöma icke-lokala förklaringstekniker.
När vi ser framåt är teamet hoppfullt om CoSys potentiella tillämpningar inom flera områden. För att utvärdera rimligheten eller kvaliteten på en förklaring som rör resultatet av en nedströmsuppgift måste mänskligt omdöme ingå i definitionen av förklaringskvalitet, som de vill ta upp i framtida arbete. Dessutom vill de inkludera ytterligare områden som bearbetning av naturligt språk och hälsovård i sina utvärderingssystem. Den potentiella användningen av cozy för att bedöma stora, ogenomskinliga, autotolkbara språkmodeller (LLM) är särskilt spännande. Enligt forskarna kan det vara ett stort steg framåt att tillämpa mysiga datauppsättningar inom sjukvården, där förklaringskvaliteten är viktig. Dessa potentiella framtida tillämpningar av mysiga har enorm potential att främja AI-forskning.