Сучасні глибокі нейронні мережі (DNN) за своєю суттю непрозорі, що ускладнює розуміння процесів прийняття рішень у них. Цей брак прозорості заважає широкому впровадженню методів машинного навчання в різних областях. У відповідь на це з’явився Explainable AI (XAI), який має намір покращити розуміння людиною суджень DNN. Розглядаючи функціональне призначення кожного компонента, XAI тепер також зосереджується на розумінні глобальної поведінки DNN, на відміну від локальних методів пояснення, які використовують карти помітності для пояснення окремих прогнозів.
Механічна інтерпретованість — це глобальна техніка пояснюваності, яка зосереджена на визначенні конкретних ідей, які нейрони, фундаментальні обчислювальні одиниці нейронної мережі, набули здатності зрозуміти. Ми можемо пояснити роботу прихованих уявлень мережі, позначаючи нейрони описами, зрозумілими людям. Ці описи прогресували від простих міток до складних, композиційних і відкритих словникових пояснень. Тим не менш, відсутність стандартизованих кількісних показників для оцінки цих відкритих словникових описів перешкоджає ретельним порівнянням різних підходів.
Щоб усунути цю прогалину, дослідники з ATB Potsdam, Потсдамського університету, TU Berlin, Fraunhofer Heinrich-Hertz-Institute і BIFOLD представляють CoSy, новаторську систему кількісного оцінювання для оцінка використання відкритих словникових пояснень у моделях комп’ютерного зору (CV). Цей інноваційний метод використовує розробки Generative AI для створення штучних зображень, які співвідносяться з концептуальними текстовими описами. cozy усуває потребу у людській взаємодії, полегшуючи кількісні порівняння різних підходів до текстових пояснень, заснованих на концепції, шляхом синтезу точок даних, загальних для конкретних цільових пояснень.
Дослідницька група продемонструвала за допомогою обширного мета-аналізу, що cosy пропонує надійні оцінки пояснень. Дослідження виявило, що методи текстового пояснення на основі понять найкраще працюють на верхніх рівнях нейронних мереж, де вивчаються поняття високого рівня. Високоякісні пояснення нейронів створюються за допомогою таких методів, як INVERT, який створює візуальні ефекти з уявлень нейронної мережі, і CLIP-Dissect, який досліджує уявлення внутрішньої мережі. Навпаки, такі методи, як MILAN і FALCON, дають пояснення нижчої якості, іноді надаючи майже випадкові концепції, що може призвести до неточних висновків мережі.
Головним недоліком CoSy, як визнають дослідники, є те, що певні категорії з навчальних даних могли не бути включені в генеративну модель, що призводило до надто загальних або неоднозначних пояснень, таких як «білі об’єкти». Генеративну точність можна підвищити, якщо вирішити цю проблему шляхом вивчення наборів даних перед навчанням і продуктивності моделі. Незважаючи на це, cozy демонструє великий потенціал у галузі оцінки нелокальних методів пояснення, яка все ще розвивається.
Заглядаючи вперед, команда сподівається на потенційні можливості застосування CoSy у багатьох сферах. Щоб оцінити правдоподібність або якість пояснення щодо результату подальшого завдання, людське судження повинно бути включене у визначення якості пояснення, яке вони хочуть розглянути в майбутній роботі. Крім того, вони хочуть включити в свою систему оцінювання додаткові сфери, як-от обробка природної мови та охорона здоров’я. Потенційне використання cosy для оцінки великих, непрозорих, автоінтерпретованих мовних моделей (LLM) особливо захоплююче. На думку дослідників, застосування cozy до наборів даних охорони здоров’я, де важлива якість пояснення, може стати великим кроком вперед. Ці потенційні майбутні застосування cosy мають величезний потенціал для просування досліджень ШІ.