Mūsdienu dziļie neironu tīkli (DNN) pēc būtības ir necaurredzami, tāpēc ir grūti izprast to lēmumu pieņemšanas procesus. Šis pārredzamības trūkums traucē plaši ieviest mašīnmācības metodes dažādās jomās. Atbildot uz to, ir parādījies izskaidrojams AI (XAI), kura mērķis ir uzlabot cilvēku izpratni par DNN spriedumiem. Aplūkojot katra komponenta funkcionālo mērķi, XAI tagad koncentrējas arī uz DNN globālās uzvedības izpratni, atšķirībā no vietējām skaidrošanas metodēm, kurās tiek izmantotas pamanāmības kartes, lai izskaidrotu individuālās prognozes.
Mehāniskā interpretācija ir globāla izskaidrojamības paņēmiens, kas koncentrējas uz konkrētu ideju noteikšanu, kuras neironi, neironu tīkla pamata skaitļošanas vienības, ir ieguvuši spēju saprast. Mēs varam izskaidrot tīkla latento attēlojumu darbību, marķējot neironus ar cilvēkiem saprotamiem aprakstiem. Šie apraksti ir virzījušies no vienkāršām etiķetēm līdz detalizētiem, kompozīcijas un atklāta vārdu krājuma skaidrojumiem. Tomēr standartizētas kvantitatīvās metrikas trūkums šo atklātā vārdnīcas aprakstu novērtēšanai ir kavējis rūpīgus salīdzinājumus dažādās pieejās.
Lai novērstu šo plaisu, pētnieki no ATB Potsdamas, Potsdamas Universitātes, TU Berlīnes, Fraunhofer Heinrich-Hertz-Institute un BIFOLD ievieš CoSy, novatorisku kvantitatīvās novērtēšanas sistēmu atklātā vārdnīcas skaidrojumu izmantošanas novērtējums datorredzes (CV) modeļos. Šī novatoriskā metode izmanto ģeneratīvā AI attīstību, lai radītu mākslīgus attēlus, kas korelē ar konceptuāliem teksta aprakstiem. omulīgs novērš nepieciešamību pēc cilvēka mijiedarbības, atvieglojot dažādu uz jēdzieniem balstītu tekstuālu skaidrojumu pieeju kvantitatīvu salīdzināšanu, sintezējot datu punktus, kas ir kopīgi konkrētiem mērķa skaidrojumiem.
Pētnieku grupa, izmantojot plašu metaanalīzi, pierādīja, ka Cozy piedāvā ticamus skaidrojumu novērtējumus. Pētījumā atklājās, ka uz jēdzieniem balstītas teksta skaidrošanas metodes vislabāk darbojas neironu tīklu augšējos slāņos, kur tiek apgūti augsta līmeņa jēdzieni. Augstas kvalitātes neironu skaidrojumi tiek iegūti ar tādām metodēm kā INVERT, kas veido vizuālos attēlus no neironu tīkla attēlojumiem, un CLIP-Dissect, kas pārbauda iekšējo tīklu attēlojumus. Un otrādi, tādas metodes kā MILAN un FALCON rada zemākas kvalitātes skaidrojumus, dažkārt sniedzot gandrīz nejaušus jēdzienus, kas var izraisīt neprecīzus tīkla secinājumus.
Galvenais CoSy trūkums, kā atzīst pētnieki, ir tas, ka konkrētas kategorijas no apmācības datiem, iespējams, nav iekļautas ģeneratīvajā modelī, kā rezultātā rodas pārāk vispārīgi vai neskaidri skaidrojumi, piemēram, "balti objekti". Ģeneratīvo precizitāti var palielināt, risinot šo problēmu, pārbaudot pirmsapmācības datu kopas un modeļa veiktspēju. Tomēr mājīgajam ir liels potenciāls joprojām attīstās nelokālo skaidrošanas metožu novērtēšanas jomā.
Raugoties nākotnē, komanda cer uz CoSy potenciālajiem lietojumiem vairākās jomās. Lai novērtētu paskaidrojuma ticamību vai kvalitāti attiecībā uz pakārtota uzdevuma rezultātu, skaidrojuma kvalitātes definīcijā ir jāiekļauj cilvēka spriedums, uz kuru viņi vēlas pievērsties turpmākajā darbā. Turklāt viņi vēlas savā vērtēšanas sistēmā iekļaut papildu jomas, piemēram, dabiskās valodas apstrādi un veselības aprūpi. Īpaši aizraujoša ir iespēja izmantot mājīgumu lielu, necaurspīdīgu, automātiski interpretējamu valodu modeļu (LLM) novērtēšanai. Pēc pētnieku domām, mājīga izmantošana veselības aprūpes datu kopām, kur svarīga ir skaidrojuma kvalitāte, varētu būt liels solis uz priekšu. Šiem potenciālajiem mājīguma nākotnes pielietojumiem ir milzīgs potenciāls veicināt AI izpēti.