- marca 2024
Obrátená kliatba
Veľké jazykové modely (LLM) ako GPT-4 a Llama-2 preukázali pôsobivé schopnosti v porozumení a generovanie ľudského textu, ktorý zahŕňa širokú škálu vedomostí. Zlyhávajú však v zdanlivo priamočiarej úlohe: zvrátiť naučené fakty. Toto obmedzenie, nazývané „zvratná kliatba“, znamená, že LLM nedokážu odvodiť, že „B je vlastnosťou A“ z učenia „A má vlastnosť B“, čo je základná zručnosť uvažovania, ktorú majú dokonca aj deti. Tento dokument predstavuje "Reverse Training", novú metódu na riešenie tejto výzvy využitím dvojsmerného tréningového prístupu na zlepšenie pochopenia faktov modelu v oboch formátoch.
Pôvod obrátenej kliatby
Problém vyplýva zo základného tréningového prístupu LLM, ktorý zvyčajne zahŕňa autoregresívne učenie sa zľava doprava. Táto metóda vo svojej podstate neučí modely chápať alebo generovať informácie v opačnom poradí. Vzhľadom na povahu distribúcie údajov podľa Zipfovho zákona sa mnohé skutočnosti uvádzajú iba jedným smerom, čo tento problém zhoršuje. „Zvratná kliatba“ obmedzuje pochopenie vzájomných vzťahov a ekvivalencie vo vyhláseniach zo strany LLM, čo predstavuje významný nedostatok v ich schopnosti uvažovania.
Prekonanie reverznej kliatby pomocou reverzného tréningu
Navrhované riešenie, Reverse Training, zdvojnásobuje dostupné tréningové dáta zahrnutím pôvodných aj reverzných verzií tréningových reťazcov. Proces obrátenia je opatrný, aby sa nezmenili niektoré podreťazce, ako sú názvy entít, pričom sa zachováva ich pôvodná sekvencia, aby sa zachoval kontext. Táto metóda, podobná zavedeniu druhého jazyka, ktorý sa LLM učí, výrazne zlepšuje schopnosť modelu spracovávať a generovať informácie v oboch smeroch.
Testovanie reverznej tréningovej metódy
Autori vykonali nasledujúce experimenty, aby otestovali navrhovanú metódu:
1- Symbolic Reverse Task: Test kontrolovaného prostredia demonštrujúci schopnosť metódy odvodiť a aplikovať opačné vzťahy.
2- Úloha obrátenia biografie: Využitie súboru biografických údajov na posúdenie výkonu pri generovaní mien osôb z daných podrobností naopak.
3- Reverzácia vedomostí v reálnom svete: Hodnotenie účinnosti metódy v scenároch reálneho sveta vrátane zvrátenia faktov o celebritách a ich vzťahoch.
4- Finetuning fiktívnych faktov: Testovanie schopnosti učenia sa modelu na novozavedených, obrátených fiktívnych faktoch.
V rámci týchto experimentov Reverzný tréning nielen zmiernil Reverznú kliatbu, ale v niektorých prípadoch ju úplne odstránil. Metóda sa ukázala ako obzvlášť účinná, keď boli názvy entít počas procesu obrátenia zachované v pôvodnom poradí, čím sa zdôraznila dôležitosť zachovania určitých kontextových kotiev.
Dôsledky a budúce smery
Úspech Reverse Training pri riešení Reversal Curse otvára nové cesty pre metodiky tréningu LLM. Zlepšením chápania modelov recipročných vzťahov a ekvivalencie vo výrokoch tento prístup otvára dvere k sofistikovanejším schopnostiam uvažovania. Budúci výskum môže preskúmať ďalšiu optimalizáciu reverzného procesu, potenciál pre integráciu reverzného tréningu v iných architektúrach jazykových modelov a širšie aplikácie tejto metódy pri porozumení prirodzeného jazyka a úlohách generovania.