Moderne diep neurale netwerke (DNN's) is intrinsiek ondeursigtig, wat dit uitdagend maak om hul besluitnemingsprosesse te begryp. Hierdie gebrek aan deursigtigheid meng in met die uitgebreide implementering van Masjienleer-tegnieke in 'n verskeidenheid domeine. In reaksie hierop het Verduidelikbare KI (XAI) na vore gekom met die bedoeling om menslike begrip van DNN-oordele te verbeter. Deur na die funksionele doel van elke komponent te kyk, fokus XAI nou ook op die begrip van die globale gedrag van DNN'e, in teenstelling met plaaslike verduidelikingsmetodes wat opvallende kaarte gebruik om individuele voorspellings te verduidelik.
Meganistiese interpreteerbaarheid is 'n globale verduidelikbaarheidstegniek wat daarop fokus om die spesifieke idees vas te stel wat neurone, die fundamentele rekenaareenhede van 'n neurale netwerk, die vermoë verkry het om te verstaan. Ons kan die werking van 'n netwerk se latente voorstellings verduidelik deur neurone te etiketteer met beskrywings wat vir mense verstaanbaar is. Hierdie beskrywings het gevorder van eenvoudige byskrifte tot uitgebreide, komposisionele en oop woordeskat verduidelikings. Nietemin het die gebrek aan gestandaardiseerde kwantitatiewe maatstawwe vir die assessering van hierdie oop-woordeskatbeskrywings deeglike vergelykings oor verskeie benaderings heen belemmer.
Om hierdie gaping aan te spreek, stel navorsers van ATB Potsdam, Universiteit van Potsdam, TU Berlyn, Fraunhofer Heinrich-Hertz-Institute en BIFOLD CoSy, 'n baanbreker kwantitatiewe evalueringsraamwerk vir assessering van die gebruik van oop woordeskat verduidelikings in rekenaarvisie (CV) modelle. Hierdie innoverende metode maak gebruik van ontwikkelings in Generatiewe KI om kunsmatige beelde te produseer wat met konsepgebaseerde tekstuele beskrywings korreleer. cosy skakel die behoefte aan menslike interaksie uit deur kwantitatiewe vergelykings van verskillende konsepgebaseerde teksverduidelikingsbenaderings te fasiliteer deur datapunte te sintetiseer wat algemeen is vir spesifieke teikenverduidelikings.
Die navorsingspan het deur 'n uitgebreide meta-analise getoon dat knus betroubare evaluasies van verduidelikings bied. Die studie het ontdek dat konsepgebaseerde tekstuele verduidelikingsmetodes die beste funksioneer in die boonste lae van neurale netwerke, waar hoëvlakkonsepte aangeleer word. Hoë kwaliteit neuron verduidelikings word geproduseer deur metodes soos INVERT, wat beeldmateriaal uit neurale netwerk voorstellings skep, en CLIP-Dissect, wat interne netwerk voorstellings ondersoek. Omgekeerd lewer tegnieke soos MILAN en FALCON verduidelikings van minderwaardige kwaliteit, wat soms byna willekeurige konsepte verskaf, wat tot onakkurate netwerkgevolgtrekkings kan lei.
'n Groot nadeel van CoSy, soos die navorsers erken, is dat spesifieke kategorieë uit die opleidingsdata dalk nie in die generatiewe model ingesluit is nie, wat lei tot verduidelikings wat te algemeen of dubbelsinnig is, soos "wit voorwerpe." Generatiewe akkuraatheid kan verhoog word deur hierdie probleem aan te spreek deur vooropleidingdatastelle en modelwerkverrigting te ondersoek. Selfs nog, knus vertoon baie potensiaal in die steeds ontwikkelende veld van assessering van nie-plaaslike verduidelikingstegnieke.
As ons vorentoe kyk, is die span hoopvol oor CoSy se potensiële toepassings oor verskeie velde. Om die aanneemlikheid of kwaliteit van 'n verduideliking oor die resultaat van 'n stroomaftaak te evalueer, moet menslike oordeel ingesluit word in die definisie van verduidelikingskwaliteit, wat hulle in toekomstige werk wil aanspreek. Daarbenewens wil hulle addisionele velde soos natuurlike taalverwerking en gesondheidsorg by hul evalueringstelsel insluit. Die potensiële gebruik van knus vir die beoordeling van groot, ondeursigtige, outo-interpreteerbare taalmodelle (LLM's) is veral opwindend. Volgens die navorsers kan die toepassing van knus op gesondheidsorgdatastelle, waar verduidelikingskwaliteit belangrik is, 'n groot stap vorentoe wees. Hierdie potensiële toekomstige toepassings van knus het enorme potensiaal om KI-navorsing te bevorder.