Moderní hluboké neuronové sítě (DNN) jsou ze své podstaty neprůhledné, takže je náročné pochopit jejich rozhodovací procesy. Tento nedostatek transparentnosti narušuje rozsáhlou implementaci technik strojového učení v různých oblastech. V reakci na to se objevila Explainable AI (XAI), která má v úmyslu zlepšit lidské chápání úsudků DNN. Když se podíváme na funkční účel každé komponenty, XAI se nyní zaměřuje také na pochopení globálního chování DNN, na rozdíl od místních metod vysvětlení, které využívají mapy význačnosti k vysvětlení jednotlivých předpovědí.
Mechanistická interpretovatelnost je globální technika vysvětlitelnosti, která se zaměřuje na určení konkrétních myšlenek, kterým neurony, základní výpočetní jednotky neuronové sítě, získaly schopnost porozumět. Fungování latentních reprezentací sítě můžeme vysvětlit tím, že označíme neurony popisy, které jsou pro člověka srozumitelné. Tyto popisy pokročily od jednoduchých popisků k propracovaným, kompozičním a otevřeným vysvětlením. Nicméně nedostatek standardizovaných kvantitativních metrik pro hodnocení těchto popisů s otevřenou slovní zásobou bránil důkladnému srovnání napříč různými přístupy.
K vyřešení této mezery představili vědci z ATB Potsdam, University of Potsdam, TU Berlin, Fraunhofer Heinrich-Hertz-Institute a BIFOLD CoSy, průkopnický rámec kvantitativního hodnocení pro hodnocení použití vysvětlení otevřeného slovníku v modelech počítačového vidění (CV). Tato inovativní metoda využívá vývoj v oblasti generativní umělé inteligence k vytváření umělých obrázků, které korelují s koncepčními textovými popisy. útulný eliminuje potřebu lidské interakce tím, že usnadňuje kvantitativní srovnání různých přístupů k textovému vysvětlení založenému na konceptech syntetizací datových bodů společných pro konkrétní cílová vysvětlení.
Výzkumný tým prokázal prostřednictvím rozsáhlé metaanalýzy, že cosy nabízí spolehlivá vyhodnocení vysvětlení. Studie zjistila, že metody textového vysvětlení založené na konceptech fungují nejlépe v horních vrstvách neuronových sítí, kde se učí koncepty na vysoké úrovni. Vysoce kvalitní vysvětlení neuronů jsou vytvářena metodami, jako je INVERT, který vytváří vizuály z reprezentací neuronové sítě, a CLIP-Dissect, který zkoumá reprezentace vnitřní sítě. Naopak techniky jako MILAN a FALCON poskytují vysvětlení nižší kvality, občas poskytují téměř náhodné koncepty, což může vést k nepřesným síťovým závěrům.
Hlavní nevýhodou CoSy, jak vědci uznávají, je to, že konkrétní kategorie z trénovacích dat nemusely být zahrnuty do generativního modelu, což vedlo k vysvětlení, která jsou příliš obecná nebo nejednoznačná, jako jsou „bílé objekty“. Generativní přesnost lze zvýšit vyřešením tohoto problému prozkoumáním datových sad před trénováním a výkonu modelu. Cosy přesto vykazuje velký potenciál ve stále se rozvíjející oblasti posuzování nelokálních vysvětlovacích technik.
Při pohledu do budoucna tým doufá v potenciální aplikace CoSy v různých oblastech. Aby bylo možné vyhodnotit věrohodnost nebo kvalitu vysvětlení týkajícího se výsledku následného úkolu, musí být lidský úsudek zahrnut do definice kvality vysvětlení, kterou se chtějí v budoucí práci zabývat. Kromě toho chtějí do svého systému hodnocení zahrnout další oblasti, jako je zpracování přirozeného jazyka a zdravotnictví. Zvláště vzrušující je potenciální využití cosy pro hodnocení velkých, neprůhledných, autointerpretovatelných jazykových modelů (LLM). Podle výzkumníků by aplikace útulnosti na zdravotnické datové sady, kde je důležitá kvalita vysvětlení, mohla být velkým krokem vpřed. Tyto potenciální budoucí aplikace útulnosti mají obrovský potenciál pro pokrok ve výzkumu AI.