Nowoczesne głębokie sieci neuronowe (DNN) są z natury nieprzejrzyste, co utrudnia zrozumienie ich procesów decyzyjnych. Ten brak przejrzystości utrudnia szerokie wdrażanie technik uczenia maszynowego w różnych dziedzinach. W odpowiedzi na powierzchnię pojawiła się wyjaśnialna sztuczna inteligencja (XAI), której celem jest poprawa ludzkiego zrozumienia orzeczeń DNN. Przyglądając się funkcjonalnemu celowi każdego komponentu, XAI koncentruje się teraz również na zrozumieniu globalnego zachowania DNN, w przeciwieństwie do lokalnych metod wyjaśniania, które wykorzystują mapy istotności do wyjaśniania indywidualnych przewidywań.
Interpretowalność mechanistyczna to technika wyjaśnialności globalnej, która koncentruje się na wskazywaniu konkretnych idei, które neurony, podstawowe jednostki obliczeniowe sieci neuronowej, nabyły zdolność rozumienia. Możemy wyjaśnić działanie ukrytych reprezentacji sieci, oznaczając neurony opisami zrozumiałymi dla człowieka. Opisy te ewoluowały od prostych etykiet do rozbudowanych wyjaśnień dotyczących składu i otwartego słownictwa. Niemniej jednak brak standardowych wskaźników ilościowych do oceny opisów opartych na otwartym słownictwie utrudnia dokładne porównania różnych podejść.
Aby wypełnić tę lukę, badacze z ATB Potsdam, Uniwersytetu w Poczdamie, TU Berlin, Fraunhofer Heinrich-Hertz-Institute i BIFOLD wprowadzają CoSy, pionierskie ramy oceny ilościowej dla ocena wykorzystania wyjaśnień opartych na otwartym słownictwie w modelach widzenia komputerowego (CV). Ta innowacyjna metoda wykorzystuje rozwój generatywnej sztucznej inteligencji do tworzenia sztucznych obrazów, które odpowiadają opisom tekstowym opartym na koncepcjach. Cosy eliminuje potrzebę interakcji międzyludzkiej, ułatwiając porównania ilościowe różnych podejść do wyjaśniania tekstu opartego na koncepcjach poprzez syntezę punktów danych wspólnych dla poszczególnych wyjaśnień docelowych.
Zespół badawczy wykazał w obszernej metaanalizie, że Cosy zapewnia wiarygodną ocenę wyjaśnień. W badaniu odkryto, że metody wyjaśniania tekstu oparte na pojęciach najlepiej sprawdzają się w wyższych warstwach sieci neuronowych, gdzie uczą się pojęć wysokiego poziomu. Wysokiej jakości wyjaśnienia neuronów są tworzone przy użyciu metod takich jak INVERT, który tworzy wizualizacje na podstawie reprezentacji sieci neuronowych, oraz CLIP-Dissect, który bada reprezentacje sieci wewnętrznej. Z drugiej strony techniki takie jak MILAN i FALCON dają wyjaśnienia gorszej jakości, czasami dostarczając niemal przypadkowych koncepcji, co może skutkować niedokładnymi wnioskami sieciowymi.
Naukowcy przyznają, że główną wadą CoSy jest to, że określone kategorie z danych uczących mogły nie zostać uwzględnione w modelu generatywnym, co prowadziło do zbyt ogólnych lub niejednoznacznych wyjaśnień, takich jak „białe obiekty”. Dokładność generacyjną można zwiększyć, rozwiązując ten problem, sprawdzając zbiory danych przed uczeniem i wydajność modelu. Mimo to, Cosy wykazuje duży potencjał w wciąż rozwijającej się dziedzinie oceny nielokalnych technik wyjaśniania.
Patrząc w przyszłość, zespół z nadzieją patrzy w potencjalne zastosowania CoSy w wielu dziedzinach. Aby ocenić wiarygodność lub jakość wyjaśnienia dotyczącego wyniku dalszego zadania, w definicji jakości wyjaśnienia należy uwzględnić ludzki osąd, którym chcą się zająć w przyszłych pracach. Ponadto chcą uwzględnić w swoim systemie oceny dodatkowe dziedziny, takie jak przetwarzanie języka naturalnego i opieka zdrowotna. Szczególnie ekscytujące jest potencjalne wykorzystanie języka przytulnego do oceny dużych, nieprzejrzystych, autointerpretowalnych modeli językowych (LLM). Zdaniem naukowców zastosowanie przytulnych zbiorów danych dotyczących opieki zdrowotnej, gdzie ważna jest jakość wyjaśnień, mogłoby być dużym krokiem naprzód. Te potencjalne przyszłe zastosowania Cosy mają ogromny potencjał w zakresie rozwoju badań nad sztuczną inteligencją.