Las redes neuronales profundas (DNN) modernas son intrínsecamente opacas, lo que dificulta la comprensión de sus procesos de toma de decisiones. Esta falta de transparencia interfiere con la implementación extensiva de técnicas de aprendizaje automático en una variedad de dominios. En respuesta, ha surgido la IA explicable (XAI) con la intención de mejorar la comprensión humana de los juicios DNN. Al observar el propósito funcional de cada componente, XAI ahora también se enfoca en comprender el comportamiento global de las DNN, en contraste con los métodos de explicación local que emplean mapas de prominencia para explicar predicciones individuales.
La interpretabilidad mecanicista es una técnica de explicabilidad global que se centra en señalar las ideas particulares que las neuronas, las unidades informáticas fundamentales de una red neuronal, han adquirido la capacidad de comprender. Podemos explicar el funcionamiento de las representaciones latentes de una red etiquetando las neuronas con descripciones que sean comprensibles para los humanos. Estas descripciones han progresado desde etiquetas simples hasta explicaciones elaboradas, compositivas y de vocabulario abierto. Sin embargo, la falta de métricas cuantitativas estandarizadas para evaluar estas descripciones de vocabulario abierto ha dificultado las comparaciones exhaustivas entre varios enfoques.
Para abordar esta brecha, investigadores de ATB Potsdam, la Universidad de Potsdam, TU Berlin, el Instituto Fraunhofer Heinrich-Hertz y BIFOLD presentan CoSy, un marco de evaluación cuantitativa pionero para Evaluación del uso de explicaciones de vocabulario abierto en modelos de visión por computadora (CV). Este método innovador hace uso de los avances en IA generativa para producir imágenes artificiales que se correlacionan con descripciones textuales basadas en conceptos. Cosy elimina la necesidad de interacción humana al facilitar comparaciones cuantitativas de diferentes enfoques de explicación textual basados en conceptos al sintetizar puntos de datos comunes para explicaciones de objetivos particulares.
El equipo de investigación demostró mediante un extenso metanálisis que cosy ofrece evaluaciones fiables de las explicaciones. El estudio descubrió que los métodos de explicación textual basados en conceptos funcionan mejor en las capas superiores de las redes neuronales, donde se aprenden conceptos de alto nivel. Se producen explicaciones neuronales de alta calidad mediante métodos como INVERT, que crea imágenes a partir de representaciones de redes neuronales, y CLIP-Dissect, que examina representaciones de redes internas. Por el contrario, técnicas como MILAN y FALCON producen explicaciones de calidad inferior, proporcionando en ocasiones conceptos casi aleatorios, lo que puede dar lugar a conclusiones de red inexactas.
Un inconveniente importante de CoSy, como reconocen los investigadores, es que es posible que categorías específicas de los datos de entrenamiento no se hayan incluido en el modelo generativo, lo que lleva a explicaciones demasiado generales o ambiguas, como "objetos blancos". La precisión generativa podría aumentar si se aborda este problema examinando los conjuntos de datos previos al entrenamiento y el rendimiento del modelo. Aún así, cosy exhibe mucho potencial en el campo aún en desarrollo de la evaluación de técnicas de explicación no locales.
De cara al futuro, el equipo tiene esperanzas sobre las posibles aplicaciones de CoSy en múltiples campos. Para evaluar la plausibilidad o calidad de una explicación relativa al resultado de una tarea posterior, se debe incluir el juicio humano en la definición de calidad de la explicación, que se desea abordar en trabajos futuros. Además, quieren incluir campos adicionales como el procesamiento del lenguaje natural y la atención médica en su sistema de evaluación. El uso potencial de cosy para evaluar modelos de lenguaje (LLM) grandes, opacos y autointerpretables es especialmente interesante. Según los investigadores, aplicar acogedor a conjuntos de datos sanitarios, donde la calidad de la explicación es importante, podría ser un gran paso adelante. Estas posibles aplicaciones futuras de cosy tienen un enorme potencial para avanzar en la investigación de la IA.