As redes neurais profundas (DNNs) modernas são intrinsecamente opacas, tornando difícil compreender seus processos de tomada de decisão. Esta falta de transparência interfere na implementação extensiva de técnicas de Aprendizado de Máquina em diversos domínios. Em resposta, a AI Explicável (XAI) surgiu com a intenção de melhorar a compreensão humana dos julgamentos de DNN. Ao observar o propósito funcional de cada componente, o XAI agora também se concentra na compreensão do comportamento global das DNNs, em contraste com os métodos de explicação local que empregam mapas de saliência para explicar previsões individuais.
A interpretabilidade mecanística é uma técnica de explicabilidade global que se concentra em identificar as ideias específicas que os neurônios, as unidades computacionais fundamentais de uma rede neural, adquiriram a capacidade de compreender. Podemos explicar o funcionamento das representações latentes de uma rede rotulando os neurônios com descrições que sejam compreensíveis aos humanos. Essas descrições progrediram de rótulos simples para explicações elaboradas, composicionais e de vocabulário aberto. No entanto, a falta de métricas quantitativas padronizadas para avaliar estas descrições de vocabulário aberto tem dificultado comparações completas entre várias abordagens.
Para colmatar esta lacuna, investigadores da ATB Potsdam, da Universidade de Potsdam, da TU Berlin, do Fraunhofer Heinrich-Hertz-Institute e do BIFOLD apresentam o CoSy, um quadro de avaliação quantitativa pioneiro para avaliar o uso de explicações de vocabulário aberto em modelos de visão computacional (CV). Este método inovador utiliza desenvolvimentos em IA generativa para produzir imagens artificiais que se correlacionam com descrições textuais baseadas em conceitos. aconchegante elimina a necessidade de interação humana, facilitando comparações quantitativas de diferentes abordagens de explicação textual baseadas em conceitos, sintetizando pontos de dados comuns para explicações alvo específicas.
A equipe de pesquisa demonstrou, por meio de uma extensa meta-análise, que Cozy oferece avaliações confiáveis das explicações. O estudo descobriu que os métodos de explicação textual baseados em conceitos funcionam melhor nas camadas superiores das redes neurais, onde são aprendidos conceitos de alto nível. Explicações de neurônios de alta qualidade são produzidas por métodos como INVERT, que cria imagens a partir de representações de redes neurais, e CLIP-Dissect, que examina representações de redes internas. Por outro lado, técnicas como MILAN e FALCON produzem explicações de qualidade inferior, ocasionalmente fornecendo conceitos quase aleatórios, o que pode resultar em conclusões de rede imprecisas.
Uma grande desvantagem do CoSy, como reconhecem os investigadores, é que categorias específicas dos dados de treino podem não ter sido incluídas no modelo generativo, levando a explicações demasiado gerais ou ambíguas, como “objectos brancos”. A precisão gerativa pode ser aumentada resolvendo esse problema examinando conjuntos de dados de pré-treinamento e desempenho do modelo. Mesmo assim, Cozy apresenta muito potencial no campo ainda em desenvolvimento de avaliação de técnicas de explicação não locais.
Olhando para o futuro, a equipe está esperançosa com as aplicações potenciais do CoSy em vários campos. Para avaliar a plausibilidade ou qualidade de uma explicação relativa ao resultado de uma tarefa posterior, o julgamento humano deve ser incluído na definição da qualidade da explicação, que se pretende abordar em trabalhos futuros. Além disso, eles desejam incluir áreas adicionais como processamento de linguagem natural e saúde em seu sistema de avaliação. O uso potencial de aconchegante para avaliar modelos de linguagem grandes, opacos e autointerpretáveis (LLMs) é especialmente interessante. De acordo com os investigadores, a aplicação do Cozy a conjuntos de dados de saúde, onde a qualidade da explicação é importante, pode ser um grande passo em frente. Essas possíveis aplicações futuras do Cosy têm um enorme potencial para o avanço da pesquisa em IA.