最新のディープ ニューラル ネットワーク (DNN) は本質的に不透明であるため、意思決定プロセスを理解することが困難です。この透明性の欠如は、さまざまな分野での機械学習技術の広範な実装を妨げます。これに応えて、DNN の判断に対する人間の理解を向上させることを目的とした Explainable AI (XAI) が浮上しました。 XAI は、各コンポーネントの機能目的に注目することで、個別の予測を説明するために顕著性マップを使用するローカルな説明手法とは対照的に、DNN のグローバルな動作を理解することにも重点を置いています。
機械的解釈可能性は、ニューラル ネットワークの基本的なコンピューティング ユニットであるニューロンが理解する能力を獲得した特定のアイデアを正確に特定することに焦点を当てた、グローバルな説明可能性の手法です。人間が理解できる説明でニューロンにラベルを付けることで、ネットワークの潜在表現の動作を説明できます。これらの説明は、単純なラベルから、精緻で構成された、オープンな語彙の説明へと進歩しました。それにもかかわらず、これらのオープンな語彙記述を評価するための標準化された定量的指標が欠如しているため、さまざまなアプローチにわたる徹底的な比較が妨げられています。
このギャップに対処するために、ATB ポツダム、ポツダム大学、ベルリン工科大学、フラウンホーファー ハインリッヒ ヘルツ研究所、BIFOLD の研究者らは、コンピューター ビジョン (CV) モデルにおける公開語彙説明の使用を評価します。この革新的な方法では、Generative AI の開発を利用して、コンセプトに基づいたテキストの説明に関連付けられた人工画像を生成します。 cozy は、特定のターゲットの説明に共通するデータ ポイントを合成することで、さまざまな概念ベースのテキスト説明アプローチの定量的な比較を容易にすることで、人間による対話の必要性を排除します。
研究チームは広範なメタ分析を通じて、コージーが説明の信頼できる評価を提供していることを実証しました。この研究では、概念ベースのテキストによる説明手法が、高レベルの概念を学習するニューラル ネットワークの上位層で最もよく機能することが判明しました。高品質のニューロンの説明は、ニューラル ネットワーク表現からビジュアルを作成する INVERT や、内部ネットワーク表現を調べる CLIP-Dissect などの手法によって生成されます。逆に、MILAN や FALCON などの技術では、品質の低い説明が生成され、ほとんどランダムな概念が提供される場合があり、その結果、ネットワーク上の結論が不正確になる可能性があります。
研究者らも認識しているように、CoSy の大きな欠点は、トレーニング データの特定のカテゴリが生成モデルに含まれていない可能性があり、「白い物体」などの一般的すぎる説明や曖昧な説明につながる可能性があることです。事前トレーニング データセットとモデルのパフォーマンスを調査してこの問題に対処すると、生成の精度が向上する可能性があります。それでも、コージーは、非局所的な説明手法を評価するという発展途上の分野において、多くの可能性を示しています。
今後を見据えて、チームは複数の分野にわたる CoSy の潜在的な応用に期待を抱いています。下流のタスクの結果に関する説明の妥当性や品質を評価するには、説明の品質の定義に人間の判断を含める必要があり、今後の作業でこれに対処したいと考えています。さらに、自然言語処理やヘルスケアなどの追加分野も評価システムに含めたいと考えています。大規模で不透明な自動解釈可能言語モデル (LLM) を評価するために cozy を使用できる可能性は、特に興味深いものです。研究者らによれば、説明の質が重要となる医療データセットにコージーを適用することは大きな前進となる可能性があるという。コージーのこれらの潜在的な将来のアプリケーションには、AI 研究を前進させる大きな可能性があります。