- března 2024
Zvratná kletba
Velké jazykové modely (LLM) jako GPT-4 a Llama-2 prokázaly působivé schopnosti v porozumění a generování lidského textu, který zahrnuje širokou škálu znalostí. Selhají však ve zdánlivě jednoduchém úkolu: zvrátit naučená fakta. Toto omezení, nazvané „Reversal Curse“, znamená, že LLM nemohou odvodit, že „B je rysem A“ z učení „A má rys B“, což je základní rozumová dovednost, kterou mají i děti. Tento dokument představuje "Reverse Training", novou metodu pro řešení tohoto problému využitím dvousměrného tréninkového přístupu, aby se zlepšilo chápání faktů v modelu jak v dopředném, tak ve zpětném formátu.
Origins of the Reverse Curse
Problém vyplývá ze základního tréninkového přístupu LLM, který typicky zahrnuje autoregresivní učení zleva doprava. Tato metoda ze své podstaty neučí modely chápat nebo generovat informace v opačném pořadí. Vzhledem k povaze distribuce dat podle Zipfova zákona je mnoho skutečností zmíněno pouze jedním směrem, což tento problém ještě zhoršuje. "Reversal Curse" omezuje LLM v chápání vzájemných vztahů a ekvivalence v prohlášeních, což představuje významný nedostatek v jejich schopnostech uvažování.
Překonání obráceného prokletí pomocí reverzního tréninku
Navrhované řešení, Reverse Training, zdvojnásobuje dostupná trénovací data tím, že zahrnuje jak původní, tak obrácené verze trénovacích řetězců. Proces obrácení je opatrný, aby nezměnil určité podřetězce, jako jsou názvy entit, a zachoval jejich původní sekvenci, aby byl zachován kontext. Tato metoda, podobná zavedení druhého jazyka, který se LLM učí, výrazně zlepšuje schopnost modelu zpracovávat a generovat informace v obou směrech.
Testování metody reverzního tréninku
Autoři provedli následující experimenty, aby otestovali navrhovanou metodu:
1- Symbolic Reverse Task: Test řízeného prostředí demonstrující schopnost metody odvodit a aplikovat obrácené vztahy.
2- Úkol obrácení biografie: Využití souboru biografických dat k posouzení výkonu při generování jmen osob z daných podrobností obráceně.
3- Reverze znalostí z reálného světa: Hodnocení účinnosti metody ve scénářích reálného světa, včetně obrácení faktů o celebritách a jejich vztazích.
4- Finetuning fiktivních faktů: Testování schopnosti učení modelu na nově zavedených, obrácených fiktivních faktech.
V rámci těchto experimentů Reverse Training nejen zmírnil Reversal Curse, ale v některých případech ho úplně odstranil. Tato metoda se ukázala jako zvláště účinná, když byly názvy entit během procesu obrácení zachovány v původním pořadí, což zdůrazňuje důležitost zachování určitých kontextových ukotvení.
Důsledky a budoucí směry
Úspěch Reverse Training při řešení Reversal Curse otevírá nové cesty pro metodiky školení LLM. Zlepšením porozumění modelům vzájemným vztahům a ekvivalenci ve výrokech tento přístup otevírá dveře k sofistikovanějším schopnostem uvažování. Budoucí výzkum může prozkoumat další optimalizaci procesu reverzace, potenciál pro integraci reverzního tréninku do jiných architektur jazykových modelů a širší aplikace této metody v úlohách porozumění přirozenému jazyku a generování.