Deep Neural Networks (DNN) modern pada dasarnya tidak jelas, sehingga sulit untuk memahami proses pengambilan keputusannya. Kurangnya transparansi ini mengganggu penerapan teknik Machine Learning secara ekstensif di berbagai domain. Sebagai tanggapan, AI yang Dapat Dijelaskan (XAI) muncul dengan tujuan untuk meningkatkan pemahaman manusia terhadap penilaian DNN. Dengan melihat tujuan fungsional setiap komponen, XAI kini juga berfokus pada pemahaman perilaku global DNN, berbeda dengan metode penjelasan lokal yang menggunakan peta arti-penting untuk menjelaskan prediksi individu.
Interpretabilitas mekanistik adalah teknik penjelasan global yang berfokus pada menunjukkan dengan tepat ide-ide tertentu yang dimiliki neuron, unit komputasi dasar jaringan saraf, yang telah memperoleh kemampuan untuk memahaminya. Kita dapat menjelaskan pengoperasian representasi laten jaringan dengan memberi label pada neuron dengan deskripsi yang dapat dipahami manusia. Deskripsi ini telah berkembang dari label sederhana menjadi penjelasan yang rumit, komposisional, dan kosakata terbuka. Namun demikian, kurangnya metrik kuantitatif yang terstandarisasi untuk menilai deskripsi kosakata terbuka ini telah menghambat perbandingan menyeluruh di berbagai pendekatan.
Untuk mengatasi kesenjangan ini, para peneliti dari ATB Potsdam, University of Potsdam, TU Berlin, Fraunhofer Heinrich-Hertz-Institute, dan BIFOLD memperkenalkan CoSy, sebuah kerangka evaluasi kuantitatif perintis untuk menilai penggunaan penjelasan kosakata terbuka dalam model computer vision (CV). Metode inovatif ini memanfaatkan pengembangan AI Generatif untuk menghasilkan gambar buatan yang berkorelasi dengan deskripsi tekstual berbasis konsep. nyaman menghilangkan kebutuhan akan interaksi manusia dengan memfasilitasi perbandingan kuantitatif dari pendekatan penjelasan tekstual berbasis konsep yang berbeda dengan mensintesis poin data yang umum untuk penjelasan target tertentu.
Tim peneliti menunjukkan melalui meta-analisis ekstensif yang dengan mudah menawarkan evaluasi penjelasan yang andal. Studi ini menemukan bahwa metode penjelasan tekstual berbasis konsep berfungsi paling baik di lapisan atas jaringan saraf, tempat konsep tingkat tinggi dipelajari. Penjelasan neuron berkualitas tinggi dihasilkan oleh metode seperti INVERT, yang menciptakan visual dari representasi jaringan saraf, dan CLIP-Dissect, yang memeriksa representasi jaringan internal. Sebaliknya, teknik seperti MILAN dan FALCON menghasilkan penjelasan dengan kualitas yang lebih rendah, kadang-kadang memberikan konsep yang hampir acak, yang dapat mengakibatkan kesimpulan jaringan yang tidak akurat.
Kelemahan utama CoSy, seperti yang diketahui para peneliti, adalah bahwa kategori tertentu dari data pelatihan mungkin tidak dimasukkan dalam model generatif, sehingga menghasilkan penjelasan yang terlalu umum atau ambigu, seperti "benda putih". Akurasi generatif dapat ditingkatkan dengan mengatasi masalah ini dengan memeriksa kumpulan data pra-pelatihan dan performa model. Meski begitu, kenyamanan menunjukkan banyak potensi dalam bidang penilaian teknik penjelasan non-lokal yang masih berkembang.
Ke depannya, tim berharap mengenai potensi penerapan CoSy di berbagai bidang. Untuk mengevaluasi masuk akal atau kualitas penjelasan mengenai hasil tugas hilir, penilaian manusia harus dimasukkan dalam definisi kualitas penjelasan, yang ingin mereka atasi dalam pekerjaan di masa depan. Selain itu, mereka ingin memasukkan bidang tambahan seperti pemrosesan bahasa alami dan layanan kesehatan dalam sistem evaluasi mereka. Potensi penggunaan nyaman untuk menilai model bahasa (LLM) yang besar, buram, dan dapat diinterpretasikan secara otomatis sangatlah menarik. Menurut para peneliti, menerapkan kenyamanan pada kumpulan data layanan kesehatan, yang mengutamakan kualitas penjelasan, bisa menjadi langkah maju yang besar. Potensi penerapan kenyamanan di masa depan ini memiliki potensi besar untuk memajukan penelitian AI.