20 mars 2024
La malédiction d'inversion
Les grands modèles linguistiques (LLM) comme GPT-4 et Llama-2 ont démontré des capacités impressionnantes de compréhension et générer un texte de type humain, englobant un vaste éventail de connaissances. Cependant, ils échouent dans une tâche apparemment simple : renverser les faits appris. Cette limitation, appelée « malédiction d'inversion », implique que les LLM ne peuvent pas déduire que « B est une caractéristique de A » en apprenant « A a une caractéristique B », une compétence de raisonnement de base que même les enfants possèdent. Cet article présente la « formation inversée », une nouvelle méthode pour relever ce défi en tirant parti d'une approche de formation à double direction pour améliorer la compréhension des faits par le modèle dans les formats direct et inversé.
Les origines de la malédiction d'inversion
Le problème vient de l'approche de formation fondamentale des LLM, qui implique généralement un apprentissage autorégressif de gauche à droite. Cette méthode n’apprend pas intrinsèquement aux modèles à comprendre ou à générer des informations dans l’ordre inverse. Étant donné la nature de la distribution des données selon la loi de Zipf, de nombreux faits ne sont mentionnés que dans un seul sens, ce qui exacerbe ce problème. La « malédiction du renversement » limite la compréhension des LLM des relations réciproques et de l'équivalence dans les déclarations, marquant une lacune importante dans leurs capacités de raisonnement.
Surmonter la malédiction d'inversion avec l'entraînement inversé
La solution proposée, Reverse Training, double les données de formation disponibles en incluant à la fois les versions originales et inversées des chaînes de formation. Le processus d'inversion veille à ne pas modifier certaines sous-chaînes, telles que les noms d'entités, en conservant leur séquence d'origine pour préserver le contexte. Cette méthode, semblable à l'introduction d'une deuxième langue à apprendre par le LLM, améliore considérablement la capacité du modèle à traiter et à générer des informations dans les deux sens.
Test de la méthode d'entraînement inversé
Les auteurs ont mené les expériences suivantes pour tester la méthode proposée :
1- Tâche inverse symbolique : Un test en environnement contrôlé démontrant la capacité de la méthode à déduire et à appliquer des relations inversées.
2- Tâche d'inversion de la biographie : Utilisation d'un ensemble de données biographiques pour évaluer les performances dans la génération de noms de personnes à partir de détails donnés, à l'envers.
3- Inversion des connaissances dans le monde réel : Évaluation de l'efficacité de la méthode dans des scénarios du monde réel, y compris l'inversion des faits sur les célébrités et leurs relations.
4- Réglage fin des faits fictifs : Test de la capacité d'apprentissage du modèle sur des faits fictifs nouvellement introduits et inversés.
Au cours de ces expériences, l’entraînement inversé a non seulement atténué la malédiction d’inversion mais, dans certains cas, l’a complètement éliminée. La méthode s'est avérée particulièrement efficace lorsque les noms d'entités ont été conservés dans leur ordre d'origine pendant le processus d'inversion, soulignant l'importance de maintenir certains ancrages contextuels.
Implications et orientations futures
Le succès de la formation inversée pour lutter contre la malédiction du renversement ouvre de nouvelles voies pour les méthodologies de formation LLM. En améliorant la compréhension des modèles sur les relations réciproques et l'équivalence dans les énoncés, cette approche ouvre la porte à des capacités de raisonnement plus sophistiquées. Des recherches futures pourraient explorer une optimisation plus poussée du processus d'inversion, le potentiel d'intégration de la formation inversée dans d'autres architectures de modèles de langage et des applications plus larges de cette méthode dans les tâches de compréhension et de génération du langage naturel.
Devenez un pro du codage à votre rythme ! Rejoignez le [Bootcamp en ligne à temps partiel] de Code Labs Academy(https://codelabsacademy.com/) et améliorez vos compétences en codage. Adaptez l'apprentissage à votre emploi du temps et commencez votre aventure technologique dès aujourd'hui !