Šiuolaikiniai giluminiai neuroniniai tinklai (DNN) iš esmės yra neskaidrūs, todėl sunku suprasti jų sprendimų priėmimo procesus. Šis skaidrumo trūkumas trukdo plačiai diegti mašininio mokymosi metodus įvairiose srityse. Reaguodama į tai, pasirodė paaiškinamas AI (XAI), siekiantis pagerinti žmonių supratimą apie DNN sprendimus. Žvelgdamas į kiekvieno komponento funkcinę paskirtį, XAI dabar taip pat sutelkia dėmesį į pasaulinio DNN elgesio supratimą, priešingai nei vietiniai paaiškinimo metodai, kuriuose naudojami reikšmingumo žemėlapiai, paaiškinantys individualias prognozes.
Mechanistinis aiškinamumas yra visuotinė paaiškinamumo technika, kuria siekiama tiksliai nustatyti konkrečias idėjas, kurias neuronai, pagrindiniai neuroninio tinklo skaičiavimo vienetai, įgijo gebėjimą suprasti. Tinklo latentinių atvaizdų veikimą galime paaiškinti ženklindami neuronus žmonėms suprantamais aprašymais. Šie aprašymai pažengė nuo paprastų etikečių iki sudėtingų, kompozicinių ir atviro žodyno paaiškinimų. Nepaisant to, standartizuotų kiekybinių metrikų, skirtų šiems atvirojo žodyno aprašymams įvertinti, trūkumas trukdė atlikti išsamų įvairių metodų palyginimą.
Norėdami pašalinti šią spragą, mokslininkai iš ATB Potsdamo, Potsdamo universiteto, Berlyno TU, Fraunhofer Heinrich-Hertz-Institute ir BIFOLD pristato CoSy, novatorišką kiekybinio vertinimo sistemą vertinant atvirojo žodyno paaiškinimų naudojimą kompiuterinio matymo (CV) modeliuose. Šis novatoriškas metodas naudoja generatyvaus AI patobulinimus, kad būtų sukurti dirbtiniai vaizdai, koreliuojantys su koncepcija pagrįstais tekstiniais aprašymais. Cozy pašalina žmonių sąveikos poreikį, nes palengvina skirtingų sąvokomis pagrįstų tekstinių paaiškinimų metodų kiekybinį palyginimą, sintezuojant duomenų taškus, bendrus tam tikriems tikslams paaiškinti.
Atlikdama išsamią metaanalizę tyrimo grupė parodė, kad „cozy“ siūlo patikimus paaiškinimų įvertinimus. Tyrimas atskleidė, kad sąvokomis pagrįsti teksto paaiškinimo metodai geriausiai veikia viršutiniuose neuroninių tinklų sluoksniuose, kur mokomasi aukšto lygio sąvokų. Aukštos kokybės neuronų paaiškinimai gaunami naudojant tokius metodus kaip INVERT, kuris sukuria vaizdus iš neuroninio tinklo vaizdų, ir CLIP-Dissect, kuris tiria vidinio tinklo reprezentacijas. Ir atvirkščiai, tokie metodai kaip MILAN ir FALCON pateikia prastesnės kokybės paaiškinimus, kartais pateikiant beveik atsitiktines sąvokas, dėl kurių tinklo išvados gali būti netikslios.
Pagrindinis CoSy trūkumas, kaip pripažįsta tyrėjai, yra tas, kad konkrečios mokymo duomenų kategorijos galėjo būti neįtrauktos į generatyvųjį modelį, todėl paaiškinimai yra pernelyg bendri arba dviprasmiški, pavyzdžiui, „balti objektai“. Generacinis tikslumas gali būti padidintas sprendžiant šią problemą, išnagrinėjus duomenų rinkinius ir modelio našumą. Vis dėlto „cozy“ turi daug potencialo vis dar besivystančioje nevietinių paaiškinimo metodų vertinimo srityje.
Žvelgdama į ateitį, komanda tikisi potencialių CoSy pritaikymų keliose srityse. Norint įvertinti paaiškinimo, susijusio su tolesnės užduoties rezultatu, patikimumą arba kokybę, žmogaus sprendimas turi būti įtrauktas į paaiškinimo kokybės apibrėžimą, kurį jie nori aptarti būsimame darbe. Be to, jie nori į savo vertinimo sistemą įtraukti papildomų sričių, pvz., natūralios kalbos apdorojimą ir sveikatos priežiūrą. Galimas jaukus naudojimas vertinant didelius, nepermatomus, automatiškai interpretuojamus kalbos modelius (LLM) yra ypač įdomus. Pasak mokslininkų, jauku pritaikymas sveikatos priežiūros duomenų rinkiniams, kur svarbi paaiškinimo kokybė, galėtų būti didelis žingsnis į priekį. Šios galimos būsimos jaukumo programos turi didžiulį potencialą tobulinti AI tyrimus.