20 de març de 2024
La maledicció de la reversió
Els grans models de llenguatge (LLM) com GPT-4 i Llama-2 han demostrat unes habilitats impressionants en la comprensió. i generar text semblant a l'ésser humà, que abasta una àmplia gamma de coneixements. No obstant això, fracassen en una tasca aparentment senzilla: revertir fets après. Aquesta limitació, anomenada "Reversal Curse", implica que els LLM no poden deduir que "B és una característica d'A" a partir d'aprendre "A té una característica B", una habilitat bàsica de raonament que fins i tot els nens posseeixen. Aquest article presenta "Reverse Training", un mètode nou per abordar aquest repte aprofitant un enfocament d'entrenament de doble direcció per millorar la comprensió dels fets del model en formats directes i inversos.
Els orígens de la maledicció de la reversió
El problema sorgeix de l'enfocament de formació fonamental dels LLM, que normalment implica un aprenentatge autoregressiu, d'esquerra a dreta. Aquest mètode no ensenya de manera inherent als models a comprendre o generar informació en ordre invers. Donada la naturalesa de la distribució de dades seguint la llei de Zipf, molts fets només s'esmenten en una direcció, agreujant aquest problema. La "maledicció inversa" limita la comprensió dels LLM de les relacions recíproques i l'equivalència en les declaracions, marcant una deficiència important en les seves capacitats de raonament.
Superant la maledicció inversa amb l'entrenament invers
La solució proposada, Reverse Training, duplica les dades d'entrenament disponibles incloent versions originals i invertides de cadenes d'entrenament. El procés de reversió té cura de no alterar determinades subcadenes, com ara els noms d'entitats, mantenint la seva seqüència original per preservar el context. Aquest mètode, semblant a la introducció d'una segona llengua perquè el LLM aprengui, millora significativament la capacitat del model per processar i generar informació en ambdues direccions.
Prova el mètode d'entrenament invers
Els autors van realitzar els següents experiments per provar el mètode proposat:
1- Tasca inversa simbòlica: Una prova d'entorn controlat que demostra la capacitat del mètode per inferir i aplicar relacions invertides.
2- Tasca de revertir la biografia: Ús d'un conjunt de dades de biografia per avaluar el rendiment en la generació de noms de persones a partir de detalls donats, a la inversa.
3- Inversió del coneixement del món real: Avaluació de l'efectivitat del mètode en escenaris del món real, inclosa la inversió de fets sobre celebritats i les seves relacions.
4- Ajustament de fets ficticis: prova de la capacitat d'aprenentatge del model amb fets ficticis invertits recentment introduïts.
En aquests experiments, l'entrenament invers no només va mitigar la maledicció inversa sinó que, en alguns casos, la va eliminar completament. El mètode va resultar especialment eficaç quan els noms d'entitats es van conservar en el seu ordre original durant el procés de reversió, destacant la importància de mantenir certs ancoratges contextuals.
Implicacions i orientacions futures
L'èxit de la formació inversa per abordar la maledicció inversa obre noves vies per a les metodologies de formació de LLM. En millorar la comprensió dels models de les relacions recíproques i l'equivalència en les declaracions, aquest enfocament obre la porta a capacitats de raonament més sofisticades. Les investigacions futures poden explorar una millor optimització del procés de reversió, el potencial d'integrar l'entrenament invers en altres arquitectures de models lingüístics i aplicacions més àmplies d'aquest mètode en tasques de comprensió i generació del llenguatge natural.