Ժամանակակից խորը նեյրոնային ցանցերը (DNN) ի սկզբանե անթափանց են, ինչը դժվարացնում է նրանց որոշումների կայացման գործընթացները հասկանալը: Թափանցիկության այս բացակայությունը խանգարում է մեքենայական ուսուցման տեխնիկայի լայնածավալ իրականացմանը տարբեր ոլորտներում: Ի պատասխան՝ հայտնվեց բացատրելի AI (XAI)՝ նպատակ ունենալով բարելավել DNN-ի դատողությունների մարդկային ընկալումը: Դիտելով յուրաքանչյուր բաղադրիչի ֆունկցիոնալ նպատակը՝ XAI-ն այժմ նաև կենտրոնանում է DNN-ների գլոբալ վարքագիծը հասկանալու վրա՝ ի տարբերություն տեղական բացատրական մեթոդների, որոնք օգտագործում են կարևորության քարտեզները՝ բացատրելու անհատական կանխատեսումները:
Մեխանիստական մեկնաբանելիությունը գլոբալ բացատրելիության տեխնիկա է, որը կենտրոնանում է կոնկրետ գաղափարների բացահայտման վրա, որոնք նեյրոնները՝ նեյրոնային ցանցի հիմնական հաշվողական միավորները, ձեռք են բերել հասկանալու ունակություն: Մենք կարող ենք բացատրել ցանցի թաքնված ներկայացումների աշխատանքը՝ նեյրոնները պիտակավորելով մարդկանց համար հասկանալի նկարագրություններով: Այս նկարագրությունները պարզ պիտակներից անցել են մշակված, կոմպոզիցիոն և բաց բառապաշարի բացատրությունների: Այնուամենայնիվ, այս բաց բառապաշարի նկարագրությունները գնահատելու ստանդարտացված քանակական չափումների բացակայությունը խոչընդոտել է տարբեր մոտեցումների մանրակրկիտ համեմատությունները:
Այս բացը շտկելու համար ATB Potsdam-ի, Պոտսդամի համալսարանի, TU Berlin-ի, Fraunhofer Heinrich-Hertz-Institute-ի և BIFOLD-ի հետազոտողները ներկայացնում են CoSy քանակական գնահատման առաջամարտիկ շրջանակը: համակարգչային տեսողության (CV) մոդելներում բաց բառապաշարի բացատրությունների կիրառման գնահատում: Այս նորարարական մեթոդը օգտագործում է Generative AI-ի զարգացումները՝ արտադրելու արհեստական պատկերներ, որոնք առնչվում են հայեցակարգի վրա հիմնված տեքստային նկարագրություններին: հարմարավետությունը վերացնում է մարդկային փոխազդեցության անհրաժեշտությունը՝ հեշտացնելով տարբեր հայեցակարգի վրա հիմնված տեքստային բացատրությունների մոտեցումների քանակական համեմատությունները՝ սինթեզելով տվյալ թիրախային բացատրությունների համար ընդհանուր տվյալների կետերը:
Հետազոտական թիմը լայնածավալ մետա-վերլուծության միջոցով ցույց տվեց, որ հարմարավետությունն առաջարկում է բացատրությունների հուսալի գնահատականներ: Ուսումնասիրությունը պարզեց, որ հայեցակարգի վրա հիմնված տեքստային բացատրության մեթոդները լավագույնս գործում են նեյրոնային ցանցերի վերին շերտերում, որտեղ սովորում են բարձր մակարդակի հասկացությունները: Նեյրոնների բարձրորակ բացատրություններն արտադրվում են այնպիսի մեթոդներով, ինչպիսիք են INVERT-ը, որը վիզուալներ է ստեղծում նեյրոնային ցանցի ներկայացումներից և CLIP-Dissect-ը, որը ուսումնասիրում է ներքին ցանցի ներկայացումները: Ընդհակառակը, մեթոդները, ինչպիսիք են MILAN-ը և FALCON-ը, տալիս են ցածր որակի բացատրություններ՝ երբեմն տրամադրելով գրեթե պատահական հասկացություններ, որոնք կարող են հանգեցնել ցանցի ոչ ճշգրիտ եզրակացությունների:
CoSy-ի հիմնական թերությունը, ինչպես գիտակցում են հետազոտողները, այն է, որ վերապատրաստման տվյալների հատուկ կատեգորիաները կարող էին չներառվել գեներատիվ մոդելում, ինչը հանգեցնում է չափազանց ընդհանուր կամ երկիմաստ բացատրությունների, ինչպիսիք են «սպիտակ օբյեկտները»: Գեներատիվ ճշգրտությունը կարող է ավելացվել՝ լուծելով այս խնդիրը՝ ուսումնասիրելով նախնական վերապատրաստման տվյալների հավաքածուները և մոդելի կատարողականը: Այնուամենայնիվ, հարմարավետությունը մեծ ներուժ է ցուցադրում ոչ տեղական բացատրության տեխնիկայի գնահատման դեռ զարգացող ոլորտում:
Նայելով առաջ՝ թիմը հուսով է CoSy-ի պոտենցիալ հավելվածների վերաբերյալ բազմաթիվ ոլորտներում: Ստորև բերված առաջադրանքի արդյունքի վերաբերյալ բացատրության հավանականությունը կամ որակը գնահատելու համար մարդկային դատողությունը պետք է ներառվի բացատրության որակի սահմանման մեջ, որին նրանք ցանկանում են անդրադառնալ հետագա աշխատանքում: Բացի այդ, նրանք ցանկանում են իրենց գնահատման համակարգում ներառել լրացուցիչ ոլորտներ, ինչպիսիք են բնական լեզվի մշակումը և առողջապահությունը: Հատկապես հետաքրքիր է հարմարավետության պոտենցիալ օգտագործումը մեծ, անթափանց, ինքնամեկնաբանվող լեզվական մոդելների (LLMs) գնահատման համար: Հետազոտողների կարծիքով՝ առողջապահական տվյալների հավաքածուներում հարմարավետության կիրառումը, որտեղ բացատրության որակը կարևոր է, կարող է մեծ առաջընթաց լինել: Հարմարավետության այս պոտենցիալ ապագա կիրառությունները հսկայական ներուժ ունեն արհեստական ինտելեկտի հետազոտությունն առաջ մղելու համար: