Nykyaikaiset syvähermoverkot (DNN) ovat luonnostaan läpinäkymättömiä, minkä vuoksi niiden päätöksentekoprosessien ymmärtäminen on haastavaa. Tämä läpinäkyvyyden puute häiritsee koneoppimistekniikoiden laajaa käyttöönottoa useilla aloilla. Vastauksena Explainable AI (XAI) on ilmaantunut, jonka tarkoituksena on parantaa ihmisten ymmärtämistä DNN:n tuomioista. Kun tarkastellaan kunkin komponentin toiminnallista tarkoitusta, XAI keskittyy nyt myös DNN-verkkojen globaalin käyttäytymisen ymmärtämiseen, toisin kuin paikalliset selitysmenetelmät, jotka käyttävät näkyvyyskarttoja yksittäisten ennusteiden selittämiseen.
Mekaaninen tulkinta on globaali selitettävyystekniikka, joka keskittyy paikantamaan tiettyjä ideoita, joita neuronit, hermoverkon perustavanlaatuiset laskentayksiköt, ovat oppineet ymmärtämään. Verkon piilevien esitysten toimintaa voidaan selittää merkitsemällä hermosoluja ihmisille ymmärrettävillä kuvauksilla. Nämä kuvaukset ovat edenneet yksinkertaisista nimikkeistä yksityiskohtaisiin, koostumukseen perustuviin ja avoimen sanaston selityksiin. Standardoitujen kvantitatiivisten mittareiden puute näiden avoimen sanaston kuvausten arvioimiseksi on kuitenkin estänyt perusteellisen vertailun eri lähestymistapojen välillä.
Tämän puutteen korjaamiseksi tutkijat ATB Potsdamista, Potsdamin yliopistosta, TU Berliinistä, Fraunhofer Heinrich-Hertz-Institutesta ja BIFOLDista esittelevät CoSy, uraauurtavan kvantitatiivisen arviointikehyksen arvioida avoimen sanaston selitysten käyttöä tietokonenäkömalleissa (CV). Tämä innovatiivinen menetelmä hyödyntää generatiivisen tekoälyn kehitystä keinotekoisten kuvien tuottamiseksi, jotka korreloivat konseptipohjaisten tekstikuvausten kanssa. kodikas eliminoi inhimillisen vuorovaikutuksen tarpeen helpottamalla eri käsitepohjaisten tekstinselityslähestymistapojen kvantitatiivista vertailua syntetisoimalla tietyille kohdeselityksille yhteisiä datapisteitä.
Tutkimusryhmä osoitti laajalla meta-analyysillä, että cozy tarjoaa luotettavia arvioita selityksistä. Tutkimuksessa havaittiin, että käsitepohjaiset tekstinselitysmenetelmät toimivat parhaiten hermoverkkojen ylemmissä kerroksissa, joissa opitaan korkean tason käsitteitä. Laadukkaat hermosolujen selitykset tuotetaan menetelmillä, kuten INVERT, joka luo visuaalia hermoverkkoesityksistä, ja CLIP-Dissect, joka tutkii sisäisiä verkkoesityksiä. Toisaalta tekniikat, kuten MILAN ja FALCON, tuottavat selityksiä huonommasta laadusta ja tarjoavat toisinaan lähes satunnaisia käsitteitä, jotka voivat johtaa epätarkkoihin verkkojohtopäätöksiin.
CoSyn suuri haittapuoli, kuten tutkijat tunnustavat, on, että tiettyjä koulutustiedon luokkia ei ehkä ole sisällytetty generatiiviseen malliin, mikä johtaa liian yleisiin tai moniselitteisiin selityksiin, kuten "valkoisiin esineisiin". Generatiivista tarkkuutta voidaan parantaa ratkaisemalla tämä ongelma tutkimalla koulutusta edeltäviä tietojoukkoja ja mallin suorituskykyä. Silti kodikkaalla on paljon potentiaalia edelleen kehittyvällä ei-paikallisten selitystekniikoiden arvioinnin alalla.
Tulevaisuudessa tiimi suhtautuu toiveikkaasti CoSyn mahdollisiin sovelluksiin useilla aloilla. Selvityksen uskottavuuden tai laadun arvioimiseksi loppuvaiheen tehtävän tuloksesta ihmisen harkinta on sisällytettävä selityksen laadun määritelmään, jota he haluavat käsitellä tulevassa työssään. Lisäksi he haluavat sisällyttää arviointijärjestelmäänsä lisäaloja, kuten luonnollisen kielen käsittelyn ja terveydenhuollon. Cosyn mahdollinen käyttö suurten, läpinäkymättömien, automaattisesti tulkittavien kielimallien (LLM) arvioinnissa on erityisen jännittävää. Tutkijoiden mukaan kodikkaan soveltaminen terveydenhuollon tietokokonaisuuksiin, joissa selityksen laatu on tärkeää, voisi olla iso askel eteenpäin. Näillä mahdollisilla kodin tulevaisuuden sovelluksilla on valtava potentiaali edistää tekoälytutkimusta.