Сучасныя глыбокія нейронныя сеткі (DNN) па сваёй сутнасці непразрыстыя, таму зразумець працэсы прыняцця рашэнняў у іх складана. Гэты недахоп празрыстасці перашкаджае шырокаму ўкараненню метадаў машыннага навучання ў розных галінах. У адказ на гэта з'явіўся Explainable AI (XAI), які мае намер палепшыць разуменне чалавекам рашэнняў DNN. Разглядаючы функцыянальнае прызначэнне кожнага кампанента, XAI цяпер таксама засяроджваецца на разуменні глабальных паводзін DNN, у адрозненне ад мясцовых метадаў тлумачэння, якія выкарыстоўваюць карты прыкметнасці для тлумачэння індывідуальных прагнозаў.
Механістычная інтэрпрэтацыя - гэта глабальная тэхніка тлумачальнасці, якая сканцэнтравана на вызначэнні канкрэтных ідэй, якія нейроны, асноўныя вылічальныя адзінкі нейронавай сеткі, набылі здольнасць разумець. Мы можам растлумачыць працу схаваных уяўленняў сеткі, пазначаючы нейроны апісаннямі, зразумелымі людзям. Гэтыя апісанні перайшлі ад простых этыкетак да складаных, кампазіцыйных і адкрытых слоўнікавых тлумачэнняў. Тым не менш, адсутнасць стандартызаваных колькасных паказчыкаў для ацэнкі гэтых адкрытых слоўнікавых апісанняў перашкаджала дбайным параўнанням розных падыходаў.
Каб ліквідаваць гэты прабел, даследчыкі з ATB Potsdam, Універсітэта Патсдама, TU Berlin, Інстытута Фраўнгофера Генрыха Герца і BIFOLD прадстаўляюць CoSy, наватарскую структуру колькаснай ацэнкі для ацэнка выкарыстання адкрытых слоўнікавых тлумачэнняў у мадэлях камп'ютэрнага гледжання (CV). Гэты інавацыйны метад выкарыстоўвае распрацоўкі Generative AI для стварэння штучных малюнкаў, якія суадносяцца з канцэптуальнымі тэкставымі апісаннямі. cosy пазбаўляе ад неабходнасці ўзаемадзеяння паміж людзьмі, палягчаючы колькаснае параўнанне розных падыходаў да тэкставага тлумачэння, заснаваных на канцэпцыях, шляхам сінтэзу кропак дадзеных, агульных для пэўных мэтавых тлумачэнняў.
Даследчая група прадэманстравала з дапамогай шырокага мета-аналізу, што cozy прапануе надзейныя ацэнкі тлумачэнняў. Даследаванне выявіла, што метады тэкставага тлумачэння, заснаваныя на канцэпцыях, лепш за ўсё працуюць на верхніх пластах нейронавых сетак, дзе засвойваюцца канцэпцыі высокага ўзроўню. Высакаякасныя тлумачэнні нейронаў ствараюцца такімі метадамі, як INVERT, які стварае візуальныя эфекты з уяўленняў нейронных сетак, і CLIP-Dissect, які даследуе ўяўленні ўнутраных сетак. І наадварот, такія метады, як MILAN і FALCON, ствараюць тлумачэнні горшай якасці, час ад часу даючы амаль выпадковыя канцэпцыі, што можа прывесці да недакладных сеткавых высноў.
Асноўным недахопам CoSy, як прызнаюць даследчыкі, з'яўляецца тое, што пэўныя катэгорыі з навучальных даных маглі не быць уключаны ў генератыўную мадэль, што прывяло да занадта агульных або неадназначных тлумачэнняў, такіх як «белыя аб'екты». Генератыўная дакладнасць можа быць павялічана шляхам вырашэння гэтай праблемы шляхам вывучэння набораў даных перад навучаннем і прадукцыйнасці мадэлі. Тым не менш, cozy мае вялікі патэнцыял у галіне ацэнкі нелакальных метадаў тлумачэння, якая ўсё яшчэ развіваецца.
Забягаючы наперад, каманда спадзяецца на патэнцыяльнае прымяненне CoSy у розных галінах. Для ацэнкі праўдападобнасці або якасці тлумачэння адносна выніку наступнай задачы чалавечае меркаванне павінна быць уключана ў вызначэнне якасці тлумачэння, якое яны хочуць вырашыць у будучай працы. Акрамя таго, яны хочуць уключыць у сваю сістэму ацэнкі дадатковыя вобласці, такія як апрацоўка натуральнай мовы і ахова здароўя. Патэнцыйнае выкарыстанне cosy для ацэнкі вялікіх, непразрыстых мадэляў мовы з магчымасцю аўтаінтэрпрэтацыі (LLM) асабліва цікава. На думку даследчыкаў, прымяненне cozy да набораў дадзеных аховы здароўя, дзе якасць тлумачэнняў важная, можа стаць вялікім крокам наперад. Гэтыя патэнцыйныя будучыя прымянення cozy маюць велізарны патэнцыял для прасоўвання даследаванняў штучнага інтэлекту.