现代深度神经网络 (DNN) 本质上是不透明的，因此很难理解其决策过程。这种透明度的缺乏阻碍了机器学习技术在各个领域的广泛实施。作为回应，可解释人工智能（XAI）出现了，旨在提高人类对 DNN 判断的理解。通过研究每个组件的功能目的，XAI 现在还专注于理解 DNN 的全局行为，这与使用显着性图来解释个体预测的局部解释方法形成鲜明对比。
机械可解释性是一种全局可解释性技术，专注于查明神经元（神经网络的基本计算单元）已获得理解能力的特定想法。我们可以通过用人类可以理解的描述来标记神经元来解释网络潜在表示的操作。这些描述已经从简单的标签发展到复杂的、组合的和开放词汇的解释。然而，缺乏评估这些开放词汇描述的标准化定量指标阻碍了各种方法之间的彻底比较。
为了解决这一差距，来自 ATB Potsdam、波茨坦大学、柏林工业大学、Fraunhofer Heinrich-Hertz-Institute 和 BIFOLD 的研究人员引入了 CoSy，这是一个开创性的定量评估框架评估计算机视觉（CV）模型中开放词汇解释的使用。这种创新方法利用生成式人工智能的发展来生成与基于概念的文本描述相关的人工图像。 cosy 通过综合特定目标解释的常见数据点，促进不同基于概念的文本解释方法的定量比较，从而消除了人机交互的需要。
研究团队通过广泛的荟萃分析证明，Cosy 可以提供可靠的解释评估。研究发现，基于概念的文本解释方法在学习高级概念的神经网络的上层中效果最好。高质量的神经元解释是通过诸如 INVERT（从神经网络表示创建视觉效果）和 CLIP-Dissect（检查内部网络表示）等方法产生的。相反，MILAN 和 FALCON 等技术产生的解释质量较差，偶尔会提供几乎随机的概念，这可能会导致网络结论不准确。
研究人员认识到，CoSy 的一个主要缺点是训练数据中的特定类别可能未包含在生成模型中，从而导致解释过于笼统或模糊，例如“白色物体”。通过检查预训练数据集和模型性能来解决这个问题，可以提高生成准确性。即便如此，舒适在仍在发展的评估非局部解释技术的领域中展现出巨大的潜力。
展望未来，该团队对 CoSy 在多个领域的潜在应用充满希望。为了评估有关下游任务结果的解释的合理性或质量，人类判断必须包含在解释质量的定义中，他们希望在未来的工作中解决这一问题。此外，他们希望将自然语言处理和医疗保健等其他领域纳入其评估系统。 cosy 在评估大型、不透明、可自动解释的语言模型 (LLM) 方面的潜在用途尤其令人兴奋。研究人员表示，将舒适性应用于解释质量很重要的医疗数据集可能是向前迈出的一大步。舒适的这些潜在的未来应用对于推进人工智能研究具有巨大的潜力。