Moderné hlboké neurónové siete (DNN) sú vo svojej podstate nepriehľadné, takže je náročné pochopiť ich rozhodovacie procesy. Tento nedostatok transparentnosti narúša rozsiahlu implementáciu techník strojového učenia v rôznych oblastiach. V reakcii na to sa objavila Explainable AI (XAI) s úmyslom zlepšiť ľudské chápanie rozsudkov DNN. Pri pohľade na funkčný účel každého komponentu sa XAI teraz zameriava aj na pochopenie globálneho správania DNN, na rozdiel od miestnych metód vysvetľovania, ktoré využívajú mapy význačnosti na vysvetlenie jednotlivých predpovedí.
Mechanistická interpretovateľnosť je globálna technika vysvetliteľnosti, ktorá sa zameriava na určenie konkrétnych myšlienok, ktorým neuróny, základné výpočtové jednotky neurónovej siete, nadobudli schopnosť porozumieť. Fungovanie latentných reprezentácií siete môžeme vysvetliť označením neurónov popismi, ktoré sú pre ľudí zrozumiteľné. Tieto opisy pokročili od jednoduchých označení k prepracovaným, kompozičným a otvoreným vysvetleniam. Napriek tomu nedostatok štandardizovaných kvantitatívnych metrík na hodnotenie týchto popisov s otvorenou slovnou zásobou bráni dôkladnému porovnávaniu rôznych prístupov.
Na odstránenie tejto medzery vedci z ATB Potsdam, University of Potsdam, TU Berlin, Fraunhofer Heinrich-Hertz-Institute a BIFOLD predstavili CoSy, priekopnícky kvantitatívny hodnotiaci rámec pre hodnotenie používania vysvetlení s otvorenou slovnou zásobou v modeloch počítačového videnia (CV). Táto inovatívna metóda využíva vývoj v oblasti generatívnej AI na vytváranie umelých obrázkov, ktoré korelujú s koncepčnými textovými popismi. útulný eliminuje potrebu ľudskej interakcie tým, že uľahčuje kvantitatívne porovnávanie rôznych prístupov k textovému vysvetleniu založených na konceptoch syntetizovaním údajových bodov spoločných pre konkrétne cieľové vysvetlenia.
Výskumný tím preukázal prostredníctvom rozsiahlej metaanalýzy, že útulné ponúka spoľahlivé hodnotenia vysvetlení. Štúdia zistila, že metódy textového vysvetľovania založené na konceptoch fungujú najlepšie vo vyšších vrstvách neurónových sietí, kde sa učia koncepty na vysokej úrovni. Vysokokvalitné vysvetlenia neurónov sú produkované metódami ako INVERT, ktorý vytvára vizuály z reprezentácií neurónovej siete, a CLIP-Dissect, ktorý skúma reprezentácie vnútornej siete. Naopak, techniky ako MILAN a FALCON produkujú vysvetlenia nižšej kvality, príležitostne poskytujú takmer náhodné koncepty, čo môže viesť k nepresným sieťovým záverom.
Hlavnou nevýhodou CoSy, ako si vedci uvedomujú, je to, že špecifické kategórie z tréningových údajov nemuseli byť zahrnuté do generatívneho modelu, čo vedie k vysvetleniam, ktoré sú príliš všeobecné alebo nejednoznačné, ako napríklad „biele objekty“. Generatívnu presnosť možno zvýšiť vyriešením tohto problému preskúmaním súborov údajov pred tréningom a výkonnosti modelu. Napriek tomu útulný vykazuje veľký potenciál v stále sa rozvíjajúcej oblasti hodnotenia nemiestnych vysvetľovacích techník.
Pri pohľade do budúcnosti tím dúfa v potenciálne aplikácie CoSy vo viacerých oblastiach. Na vyhodnotenie vierohodnosti alebo kvality vysvetlenia týkajúceho sa výsledku následnej úlohy musí byť ľudský úsudok zahrnutý do definície kvality vysvetlenia, ktorej sa chcú venovať v budúcej práci. Okrem toho chcú do svojho hodnotiaceho systému zahrnúť ďalšie oblasti, ako je spracovanie prirodzeného jazyka a zdravotná starostlivosť. Obzvlášť vzrušujúce je potenciálne využitie útulnosti na hodnotenie veľkých, nepriehľadných, autointerpretovateľných jazykových modelov (LLM). Podľa výskumníkov by aplikácia útulnosti na súbory údajov o zdravotnej starostlivosti, kde je dôležitá kvalita vysvetlenia, mohla byť veľkým krokom vpred. Tieto potenciálne budúce aplikácie útulnosti majú obrovský potenciál na pokrok vo výskume AI.