20 de março de 2024
A maldição da reversão
Os modelos de linguagem de grande dimensão (LLM), como o GPT-4 e o Llama-2, demonstraram capacidades impressionantes na compreensão e geração de texto semelhante ao humano, abrangendo uma vasta gama de conhecimentos. No entanto, falham numa tarefa aparentemente simples: inverter factos aprendidos. Esta limitação, designada por "Maldição da Inversão", implica que os LLMs não conseguem deduzir que "B é uma caraterística de A" a partir da aprendizagem de "A tem uma caraterística B", uma capacidade básica de raciocínio que até as crianças possuem. Este artigo apresenta o "Treino Inverso", um novo método para enfrentar este desafio, tirando partido de uma abordagem de treino de dupla direção para melhorar a compreensão do modelo de factos nos formatos direto e inverso.
As origens da maldição da reversão
O problema decorre da abordagem fundamental de formação dos LLM, que normalmente envolve uma aprendizagem auto-regressiva da esquerda para a direita. Este método não ensina intrinsecamente os modelos a compreender ou gerar informação na ordem inversa. Dada a natureza da distribuição de dados segundo a lei de Zipf, muitos factos só são mencionados numa direção, o que agrava este problema. A "maldição da inversão" limita a compreensão dos LLM das relações recíprocas e da equivalência nas afirmações, marcando uma lacuna significativa nas suas capacidades de raciocínio.
Ultrapassar a maldição da inversão com a formação inversa
A solução proposta, Reverse Training, duplica os dados de treino disponíveis ao incluir versões originais e invertidas das cadeias de treino. O processo de inversão tem o cuidado de não alterar certas substrings, tais como nomes de entidades, mantendo a sua sequência original para preservar o contexto. Este método, semelhante à introdução de uma segunda língua para o LLM aprender, melhora significativamente a capacidade do modelo de processar e gerar informações em ambas as direcções.
Testar o método de formação invertida
Os autores realizaram as seguintes experiências para testar o método proposto:
1- Tarefa de inversão simbólica: Um teste em ambiente controlado que demonstra a capacidade do método para inferir e aplicar relações invertidas.
2- Tarefa de inversão de biografia: Utilizando um conjunto de dados de biografias para avaliar o desempenho na geração de nomes de pessoas a partir de detalhes dados, em sentido inverso.
3- Inversão de conhecimentos no mundo real: Avaliar a eficácia do método em cenários do mundo real, incluindo a inversão de factos sobre celebridades e as suas relações.
4- Afinação de factos fictícios: Testar a capacidade de aprendizagem do modelo em factos fictícios invertidos, recentemente introduzidos.
Nestas experiências, o Treino Invertido não só atenuou a Maldição da Inversão como, em alguns casos, a eliminou completamente. O método revelou-se particularmente eficaz quando os nomes das entidades foram preservados na sua ordem original durante o processo de inversão, realçando a importância de manter certas âncoras contextuais.
Implicações e direcções futuras
O sucesso do Treino Invertido na abordagem da Maldição da Inversão abre novos caminhos para as metodologias de treino do LLM. Ao melhorar a compreensão dos modelos sobre as relações recíprocas e a equivalência nas frases, esta abordagem abre a porta a capacidades de raciocínio mais sofisticadas. A investigação futura pode explorar uma maior otimização do processo de inversão, o potencial de integração da formação inversa noutras arquitecturas de modelos linguísticos e aplicações mais amplas deste método em tarefas de compreensão e geração de linguagem natural.