Mạng lưới thần kinh sâu hiện đại (DNN) về bản chất không rõ ràng, khiến việc hiểu quá trình ra quyết định của chúng trở nên khó khăn. Sự thiếu minh bạch này cản trở việc triển khai rộng rãi các kỹ thuật Machine Learning trong nhiều lĩnh vực khác nhau. Đáp lại, AI có thể giải thích (XAI) đã xuất hiện với mục đích cải thiện sự hiểu biết của con người về các phán đoán DNN. Bằng cách xem xét mục đích chức năng của từng thành phần, XAI hiện cũng tập trung vào việc tìm hiểu hành vi toàn cầu của DNN, trái ngược với các phương pháp giải thích cục bộ sử dụng bản đồ nổi bật để giải thích các dự đoán riêng lẻ.
Khả năng diễn giải cơ học là một kỹ thuật có thể giải thích toàn cầu, tập trung vào việc xác định chính xác các ý tưởng cụ thể mà tế bào thần kinh, đơn vị tính toán cơ bản của mạng lưới thần kinh, có được khả năng hiểu. Chúng ta có thể giải thích hoạt động của các biểu diễn tiềm ẩn của mạng bằng cách gắn nhãn cho các nơ-ron thần kinh bằng các mô tả mà con người có thể hiểu được. Những mô tả này đã phát triển từ những nhãn hiệu đơn giản đến những giải thích phức tạp, có cấu trúc và từ vựng mở. Tuy nhiên, việc thiếu các thước đo định lượng được tiêu chuẩn hóa để đánh giá các mô tả từ vựng mở này đã cản trở việc so sánh kỹ lưỡng giữa các phương pháp tiếp cận khác nhau.
Để giải quyết khoảng trống này, các nhà nghiên cứu từ ATB Potsdam, Đại học Potsdam, TU Berlin, Fraunhofer Heinrich-Hertz-Institute và BIFOLD giới thiệu CoSy, một khung đánh giá định lượng tiên phong cho đánh giá việc sử dụng các giải thích từ vựng mở trong các mô hình thị giác máy tính (CV). Phương pháp đổi mới này sử dụng các phát triển trong Generative AI để tạo ra các hình ảnh nhân tạo tương quan với các mô tả văn bản dựa trên khái niệm. ấm cúng loại bỏ nhu cầu tương tác của con người bằng cách tạo điều kiện so sánh định lượng của các phương pháp giải thích văn bản dựa trên khái niệm khác nhau bằng cách tổng hợp các điểm dữ liệu chung cho các giải thích mục tiêu cụ thể.
Nhóm nghiên cứu đã chứng minh thông qua một phân tích tổng hợp sâu rộng rằng ấm cúng đưa ra những đánh giá đáng tin cậy về các lời giải thích. Nghiên cứu phát hiện ra rằng các phương pháp giải thích văn bản dựa trên khái niệm hoạt động tốt nhất ở các lớp trên của mạng lưới thần kinh, nơi học các khái niệm cấp cao. Các giải thích về nơ-ron chất lượng cao được tạo ra bằng các phương pháp như IVERT, tạo ra hình ảnh từ các biểu diễn mạng thần kinh và CLIP-Dissect, kiểm tra các biểu diễn mạng nội bộ. Ngược lại, các kỹ thuật như MILAN và FALCON đưa ra những giải thích về chất lượng kém hơn, đôi khi đưa ra các khái niệm gần như ngẫu nhiên, có thể dẫn đến kết luận mạng không chính xác.
Một nhược điểm lớn của CoSy, như các nhà nghiên cứu nhận ra, là các danh mục cụ thể từ dữ liệu huấn luyện có thể không được đưa vào mô hình tổng quát, dẫn đến những giải thích quá chung chung hoặc mơ hồ, chẳng hạn như "vật thể màu trắng". Độ chính xác tổng quát có thể được tăng lên bằng cách giải quyết vấn đề này bằng cách kiểm tra các tập dữ liệu đào tạo trước và hiệu suất của mô hình. Tuy nhiên, ấm cúng thể hiện nhiều tiềm năng trong lĩnh vực đánh giá các kỹ thuật giải thích phi cục bộ vẫn đang phát triển.
Nhìn về phía trước, nhóm hy vọng vào các ứng dụng tiềm năng của CoSy trên nhiều lĩnh vực. Để đánh giá tính hợp lý hoặc chất lượng của lời giải thích liên quan đến kết quả của một nhiệm vụ tiếp theo, phán đoán của con người phải được đưa vào định nghĩa về chất lượng lời giải thích mà họ muốn giải quyết trong công việc sau này. Ngoài ra, họ muốn đưa các lĩnh vực bổ sung như xử lý ngôn ngữ tự nhiên và chăm sóc sức khỏe vào hệ thống đánh giá của mình. Tiềm năng sử dụng ấm cúng để đánh giá các mô hình ngôn ngữ lớn, mờ đục, có thể tự động giải thích (LLM) đặc biệt thú vị. Theo các nhà nghiên cứu, việc áp dụng tính ấm cúng cho các bộ dữ liệu chăm sóc sức khỏe, trong đó chất lượng giải thích là quan trọng, có thể là một bước tiến lớn. Những ứng dụng tiềm năng trong tương lai của sự ấm cúng này có tiềm năng to lớn để thúc đẩy nghiên cứu AI.