최신 심층 신경망(DNN)은 본질적으로 불투명하므로 의사 결정 프로세스를 이해하기 어렵습니다. 이러한 투명성 부족은 다양한 영역에서 기계 학습 기술의 광범위한 구현을 방해합니다. 이에 대응하여 XAI(Explainable AI)는 DNN 판단에 대한 인간의 이해력을 향상시키려는 의도로 등장했습니다. 개별 예측을 설명하기 위해 돌출 맵을 사용하는 로컬 설명 방법과 달리 XAI는 이제 각 구성 요소의 기능적 목적을 살펴봄으로써 DNN의 전역 동작을 이해하는 데 중점을 둡니다.
기계적 해석성은 신경망의 기본 컴퓨팅 단위인 뉴런이 이해하는 능력을 획득한 특정 아이디어를 정확히 찾아내는 데 초점을 맞춘 전역적 설명 가능성 기술입니다. 인간이 이해할 수 있는 설명으로 뉴런에 라벨을 붙임으로써 네트워크의 잠재 표현의 작동을 설명할 수 있습니다. 이러한 설명은 단순한 레이블에서 정교하고 구성적이며 개방형 어휘 설명으로 발전했습니다. 그럼에도 불구하고 이러한 개방형 어휘 설명을 평가하기 위한 표준화된 정량적 측정 기준이 부족하여 다양한 접근 방식에 대한 철저한 비교를 방해했습니다.
이러한 격차를 해소하기 위해 ATB 포츠담, 포츠담 대학교, 베를린 공대, Fraunhofer Heinrich-Hertz-Institute 및 BIFOLD의 연구원들은 컴퓨터 비전(CV) 모델에서 개방형 어휘 설명의 사용을 평가합니다. 이 혁신적인 방법은 Generative AI의 개발을 활용하여 개념 기반 텍스트 설명과 관련된 인공 이미지를 생성합니다. Cozy는 특정 대상 설명에 공통적인 데이터 포인트를 합성하여 다양한 개념 기반 텍스트 설명 접근 방식의 정량적 비교를 촉진함으로써 인간 상호 작용의 필요성을 제거합니다.
연구팀은 Cozy가 설명에 대한 신뢰성 있는 평가를 제공한다는 것을 광범위한 메타 분석을 통해 입증했습니다. 이 연구는 개념 기반 텍스트 설명 방법이 상위 수준 개념을 학습하는 신경망의 상위 계층에서 가장 잘 작동한다는 것을 발견했습니다. 고품질 뉴런 설명은 신경망 표현에서 시각적 개체를 생성하는 INVERT, 내부 네트워크 표현을 검사하는 CLIP-Dissect와 같은 방법으로 생성됩니다. 반대로 MILAN 및 FALCON과 같은 기술은 열등한 품질에 대한 설명을 생성하고 때로는 거의 무작위 개념을 제공하여 부정확한 네트워크 결론을 초래할 수 있습니다.
연구원들이 인식한 CoSy의 주요 단점은 훈련 데이터의 특정 범주가 생성 모델에 포함되지 않아 "흰색 개체"와 같이 너무 일반적이거나 모호한 설명으로 이어질 수 있다는 것입니다. 사전 학습 데이터 세트와 모델 성능을 검사하여 이 문제를 해결하면 생성 정확도가 높아질 수 있습니다. 그럼에도 불구하고 Cozy는 비국소적 설명 기술을 평가하는 아직 발전 중인 분야에서 많은 잠재력을 보여줍니다.
앞으로 팀은 CoSy가 여러 분야에 걸쳐 잠재적으로 응용될 수 있기를 기대하고 있습니다. 후속 작업의 결과에 관한 설명의 타당성이나 품질을 평가하려면 향후 작업에서 다루고자 하는 설명 품질의 정의에 인간의 판단이 포함되어야 합니다. 또한 그들은 평가 시스템에 자연어 처리 및 의료와 같은 추가 분야를 포함하기를 원합니다. 크고 불투명하며 자동 해석 가능한 언어 모델(LLM)을 평가하기 위해 Cozy를 잠재적으로 사용할 수 있다는 점은 특히 흥미롭습니다. 연구원에 따르면 설명 품질이 중요한 의료 데이터 세트에 Cozy를 적용하는 것은 큰 진전이 될 수 있습니다. 코지의 이러한 잠재적 미래 응용은 AI 연구를 발전시킬 엄청난 잠재력을 가지고 있습니다.