Modern Deep Neural Networks (DNN) มีความคลุมเครืออย่างแท้จริง ทำให้เป็นเรื่องยากที่จะเข้าใจกระบวนการตัดสินใจ การขาดความโปร่งใสนี้ขัดขวางการนำเทคนิค Machine Learning ไปใช้อย่างกว้างขวางในโดเมนต่างๆ เพื่อเป็นการตอบสนอง Explainable AI (XAI) ได้แสดงความตั้งใจที่จะปรับปรุงความเข้าใจของมนุษย์เกี่ยวกับการตัดสินของ DNN เมื่อดูที่วัตถุประสงค์การทำงานของแต่ละองค์ประกอบ ตอนนี้ XAI ยังมุ่งเน้นไปที่การทำความเข้าใจพฤติกรรมทั่วโลกของ DNN ตรงกันข้ามกับวิธีการอธิบายในท้องถิ่นที่ใช้แผนที่ความโดดเด่นเพื่ออธิบายการคาดการณ์แต่ละรายการ
การตีความเชิงกลไกเป็นเทคนิคที่สามารถอธิบายได้ทั่วโลก ซึ่งมุ่งเน้นไปที่การระบุแนวคิดเฉพาะที่เซลล์ประสาท ซึ่งเป็นหน่วยการคำนวณพื้นฐานของโครงข่ายประสาทเทียม ได้รับความสามารถในการเข้าใจ เราสามารถอธิบายการทำงานของการเป็นตัวแทนแฝงของเครือข่ายได้โดยการติดป้ายกำกับเซลล์ประสาทด้วยคำอธิบายที่มนุษย์เข้าใจได้ คำอธิบายเหล่านี้มีความก้าวหน้าจากป้ายกำกับง่ายๆ ไปสู่คำอธิบายที่ละเอียด เรียบเรียง และคำศัพท์แบบเปิด อย่างไรก็ตาม การขาดตัวชี้วัดเชิงปริมาณที่เป็นมาตรฐานสำหรับการประเมินคำอธิบายคำศัพท์แบบเปิดเหล่านี้ได้ขัดขวางการเปรียบเทียบอย่างละเอียดในแนวทางต่างๆ
เพื่อแก้ไขช่องว่างนี้ นักวิจัยจาก ATB Potsdam, University of Potsdam, TU Berlin, Fraunhofer Heinrich-Hertz-Institute และ BIFOLD ได้แนะนำ CoSy ซึ่งเป็นกรอบการประเมินเชิงปริมาณบุกเบิกสำหรับ การประเมินการใช้คำอธิบายแบบเปิดในแบบจำลองคอมพิวเตอร์วิทัศน์ (CV) วิธีการที่เป็นนวัตกรรมใหม่นี้ใช้ประโยชน์จากการพัฒนาใน Generative AI เพื่อสร้างภาพเทียมที่มีความสัมพันธ์กับคำอธิบายข้อความตามแนวคิด ความสะดวกสบายช่วยลดความจำเป็นในการมีปฏิสัมพันธ์ของมนุษย์โดยอำนวยความสะดวกในการเปรียบเทียบเชิงปริมาณของวิธีการอธิบายข้อความตามแนวคิดที่แตกต่างกัน โดยการสังเคราะห์จุดข้อมูลทั่วไปสำหรับคำอธิบายเป้าหมายเฉพาะ
ทีมวิจัยแสดงให้เห็นผ่านการวิเคราะห์เมตาที่กว้างขวางซึ่ง Cosy ให้การประเมินคำอธิบายที่เชื่อถือได้ การศึกษาพบว่าวิธีการอธิบายด้วยข้อความตามแนวคิดทำงานได้ดีที่สุดในชั้นบนของโครงข่ายประสาทเทียม ซึ่งเป็นที่ที่มีการเรียนรู้แนวคิดระดับสูง คำอธิบายเซลล์ประสาทคุณภาพสูงจัดทำขึ้นโดยวิธีการต่างๆ เช่น INVERT ซึ่งสร้างภาพจากการเป็นตัวแทนโครงข่ายประสาทเทียม และ CLIP-Dissect ซึ่งตรวจสอบการเป็นตัวแทนเครือข่ายภายใน ในทางกลับกัน เทคนิคเช่น MILAN และ FALCON ให้คำอธิบายเกี่ยวกับคุณภาพที่ต่ำกว่า ซึ่งบางครั้งก็ให้แนวคิดที่เกือบจะสุ่ม ซึ่งอาจส่งผลให้ข้อสรุปของเครือข่ายไม่ถูกต้อง
ข้อเสียเปรียบหลักของ CoSy ตามที่นักวิจัยทราบก็คือ หมวดหมู่เฉพาะจากข้อมูลการฝึกอบรมอาจไม่รวมอยู่ในแบบจำลองกำเนิด ซึ่งนำไปสู่คำอธิบายที่กว้างเกินไปหรือคลุมเครือ เช่น "วัตถุสีขาว" ความแม่นยำเชิงกำเนิดอาจเพิ่มขึ้นโดยการแก้ไขปัญหานี้โดยการตรวจสอบชุดข้อมูลก่อนการฝึกอบรมและประสิทธิภาพของแบบจำลอง ถึงกระนั้น บรรยากาศสบาย ๆ ก็แสดงให้เห็นถึงศักยภาพอย่างมากในด้านการประเมินเทคนิคการอธิบายที่ไม่ใช่ภาษาท้องถิ่นที่ยังคงพัฒนาอยู่
เมื่อมองไปข้างหน้า ทีมงานมีความหวังเกี่ยวกับการใช้งานที่เป็นไปได้ของ CoSy ในหลายสาขา ในการประเมินความน่าเชื่อถือหรือคุณภาพของคำอธิบายที่เกี่ยวข้องกับผลลัพธ์ของงานขั้นปลาย การตัดสินใจของมนุษย์จะต้องรวมอยู่ในคำจำกัดความของคุณภาพคำอธิบาย ซึ่งพวกเขาต้องการกล่าวถึงในงานในอนาคต นอกจากนี้ พวกเขาต้องการรวมสาขาเพิ่มเติม เช่น การประมวลผลภาษาธรรมชาติและการดูแลสุขภาพ ไว้ในระบบการประเมินผล การใช้ Cozy ในการประเมินโมเดลภาษาขนาดใหญ่ ทึบแสง และตีความอัตโนมัติ (LLM) เป็นเรื่องที่น่าตื่นเต้นเป็นอย่างยิ่ง นักวิจัยระบุว่า การใช้ความสะดวกสบายกับชุดข้อมูลด้านการดูแลสุขภาพ ซึ่งคุณภาพของคำอธิบายเป็นสิ่งสำคัญ อาจเป็นก้าวสำคัญ การใช้งานที่สะดวกสบายในอนาคตเหล่านี้มีศักยภาพมหาศาลในการพัฒนาการวิจัย AI