Современные глубокие нейронные сети (DNN) по своей сути непрозрачны, что затрудняет понимание процессов принятия решений. Отсутствие прозрачности препятствует широкому внедрению методов машинного обучения в различных областях. В ответ появился «Объяснимый ИИ» (XAI), призванный улучшить человеческое понимание суждений DNN. Рассматривая функциональное назначение каждого компонента, XAI теперь также фокусируется на понимании глобального поведения DNN, в отличие от методов локального объяснения, которые используют карты значимости для объяснения отдельных прогнозов.
Механистическая интерпретируемость — это глобальный метод объяснения, который фокусируется на выявлении конкретных идей, которые нейроны, фундаментальные вычислительные единицы нейронной сети, приобрели способность понимать. Мы можем объяснить работу скрытых представлений сети, маркируя нейроны описаниями, понятными человеку. Эти описания прошли путь от простых ярлыков до сложных, композиционных и открытых объяснений. Тем не менее, отсутствие стандартизированных количественных показателей для оценки этих описаний с открытым словарем препятствовало тщательному сравнению различных подходов.
Чтобы восполнить этот пробел, исследователи из ATB Потсдама, Потсдамского университета, Берлинского технического университета, Института Фраунгофера Генриха Герца и BIFOLD представляют CoSy, новаторскую систему количественной оценки оценка использования объяснений с открытым словарем в моделях компьютерного зрения (CV). Этот инновационный метод использует разработки в области генеративного искусственного интеллекта для создания искусственных изображений, которые соответствуют концептуальным текстовым описаниям. Удобный устраняет необходимость человеческого взаимодействия, облегчая количественное сравнение различных подходов к текстовому объяснению, основанных на концепциях, путем синтеза точек данных, общих для конкретных целевых объяснений.
Исследовательская группа посредством обширного метаанализа продемонстрировала, что Коуз предлагает надежные оценки объяснений. Исследование показало, что методы текстового объяснения, основанные на концепциях, лучше всего работают на верхних уровнях нейронных сетей, где изучаются концепции высокого уровня. Высококачественные объяснения нейронов создаются с помощью таких методов, как INVERT, который создает визуальные эффекты на основе представлений нейронной сети, и CLIP-Dissect, который исследует представления внутренней сети. И наоборот, такие методы, как MILAN и FALCON, дают объяснения низкого качества, иногда предоставляя почти случайные концепции, что может привести к неточным сетевым выводам.
Главный недостаток CoSy, как признают исследователи, заключается в том, что определенные категории обучающих данных могли не быть включены в генеративную модель, что приводило к слишком общим или двусмысленным объяснениям, таким как «белые объекты». Генеративную точность можно повысить, решив эту проблему путем изучения наборов данных перед обучением и производительности модели. Тем не менее, уют демонстрирует большой потенциал в все еще развивающейся области оценки техник нелокального объяснения.
Заглядывая в будущее, команда надеется на потенциальное применение CoSy во многих областях. Чтобы оценить правдоподобие или качество объяснения, касающегося результата последующей задачи, человеческое суждение должно быть включено в определение качества объяснения, которое они хотят рассмотреть в будущей работе. Кроме того, они хотят включить в свою систему оценки дополнительные области, такие как обработка естественного языка и здравоохранение. Потенциальное использование Cosy для оценки больших, непрозрачных, автоинтерпретируемых языковых моделей (LLM) особенно интересно. По мнению исследователей, применение метода «cosy» к наборам медицинских данных, где важно качество объяснения, может стать большим шагом вперед. Эти потенциальные будущие применения уюта имеют огромный потенциал для продвижения исследований в области ИИ.