Ang Modern Deep Neural Networks (DNNs) ay intrinsically opaque, na ginagawang mahirap na maunawaan ang kanilang mga proseso sa paggawa ng desisyon. Ang kakulangan ng transparency na ito ay nakakasagabal sa malawakang pagpapatupad ng mga diskarte sa Machine Learning sa iba't ibang domain. Bilang tugon, lumabas ang Explainable AI (XAI) na naglalayong pahusayin ang pag-unawa ng tao sa mga paghatol ng DNN. Sa pamamagitan ng pagtingin sa functional na layunin ng bawat bahagi, nakatuon na rin ang XAI sa pag-unawa sa pandaigdigang pag-uugali ng mga DNN, kabaligtaran sa mga lokal na pamamaraan ng pagpapaliwanag na gumagamit ng mga mapa ng saliency upang ipaliwanag ang mga indibidwal na hula.
Ang mekanikal na interpretability ay isang pandaigdigang diskarte sa pagpapaliwanag na nakatuon sa pagtukoy sa mga partikular na ideya na ang mga neuron, ang pangunahing mga yunit ng computing ng isang neural network, ay nakakuha ng kakayahang maunawaan. Maaari naming ipaliwanag ang pagpapatakbo ng mga nakatagong representasyon ng network sa pamamagitan ng paglalagay ng label sa mga neuron na may mga paglalarawang naiintindihan ng mga tao. Ang mga paglalarawang ito ay umunlad mula sa mga simpleng etiketa tungo sa mga detalyadong paliwanag, komposisyon, at bukas na bokabularyo. Gayunpaman, ang kakulangan ng standardized quantitative metrics para sa pagtatasa sa mga open-vocabulary description na ito ay humadlang sa masusing paghahambing sa iba't ibang mga diskarte.
Upang matugunan ang puwang na ito, ipinakilala ng mga mananaliksik mula sa ATB Potsdam, University of Potsdam, TU Berlin, Fraunhofer Heinrich-Hertz-Institute, at BIFOLD ang CoSy, isang pangunguna sa quantitative evaluation framework para sa pagtatasa sa paggamit ng mga open-vocabulary na paliwanag sa mga modelo ng computer vision (CV). Gumagamit ang makabagong pamamaraang ito ng mga pagpapaunlad sa Generative AI upang makagawa ng mga artipisyal na larawan na nauugnay sa mga paglalarawang tekstuwal na nakabatay sa konsepto. inalis ng cozy ang pangangailangan para sa pakikipag-ugnayan ng tao sa pamamagitan ng pagpapadali sa mga quantitative na paghahambing ng iba't ibang mga diskarte sa pagpapaliwanag sa teksto na nakabatay sa konsepto sa pamamagitan ng pag-synthesize ng mga punto ng data na karaniwan para sa mga partikular na target na paliwanag.
Ipinakita ng pangkat ng pananaliksik sa pamamagitan ng isang malawak na meta-analysis na nag-aalok ng maginhawang mga mapagkakatiwalaang pagsusuri ng mga paliwanag. Natuklasan ng pag-aaral na ang mga pamamaraan ng pagpapaliwanag sa text na nakabatay sa konsepto ay pinakamahusay na gumagana sa itaas na mga layer ng mga neural network, kung saan natutunan ang mga konseptong may mataas na antas. Ang mga de-kalidad na paliwanag ng neuron ay ginawa ng mga pamamaraan tulad ng INVERT, na lumilikha ng mga visual mula sa mga representasyon ng neural network, at CLIP-Dissect, na sumusuri sa mga panloob na representasyon ng network. Sa kabaligtaran, ang mga diskarte tulad ng MILAN at FALCON ay gumagawa ng mga paliwanag ng mababang kalidad, paminsan-minsan ay nagbibigay ng halos random na mga konsepto, na maaaring magresulta sa hindi tumpak na mga konklusyon sa network.
Ang isang pangunahing disbentaha ng CoSy, gaya ng kinikilala ng mga mananaliksik, ay ang mga partikular na kategorya mula sa data ng pagsasanay ay maaaring hindi naisama sa generative na modelo, na humahantong sa mga paliwanag na masyadong pangkalahatan o hindi maliwanag, tulad ng "mga puting bagay." Maaaring tumaas ang generative accuracy sa pamamagitan ng pagtugon sa problemang ito sa pamamagitan ng pagsusuri sa mga dataset bago ang pagsasanay at performance ng modelo. Gayunpaman, ang maaliwalas ay nagpapakita ng maraming potensyal sa patuloy na umuunlad na larangan ng pagtatasa ng mga hindi lokal na diskarte sa pagpapaliwanag.
Sa hinaharap, umaasa ang koponan tungkol sa mga potensyal na aplikasyon ng CoSy sa maraming larangan. Upang masuri ang katumpakan o kalidad ng isang paliwanag hinggil sa resulta ng isang downstream na gawain, ang paghuhusga ng tao ay dapat isama sa kahulugan ng kalidad ng paliwanag, na nais nilang tugunan sa hinaharap na gawain. Bukod pa rito, gusto nilang isama ang mga karagdagang field tulad ng pagproseso ng natural na wika at pangangalaga sa kalusugan sa kanilang sistema ng pagsusuri. Ang potensyal na paggamit ng cozy para sa pagtatasa ng malaki, opaque, autointerpretable language models (LLMs) ay lalong kapana-panabik. Ayon sa mga mananaliksik, ang paglalapat ng komportable sa mga dataset ng pangangalaga sa kalusugan, kung saan mahalaga ang kalidad ng paliwanag, ay maaaring maging isang malaking hakbang pasulong. Ang mga potensyal na aplikasyon ng cozy sa hinaharap ay may napakalaking potensyal na isulong ang pananaliksik sa AI.