- marec 2024
Prekletstvo preobrata
Veliki jezikovni modeli (LLM), kot sta GPT-4 in Llama-2, so pokazali impresivne sposobnosti razumevanja in generiranje besedila, podobnega človeku, ki zajema široko paleto znanja. Vendar jim spodleti navidezno enostavna naloga: obrniti naučena dejstva. Ta omejitev, imenovana "prekletstvo preobrata", pomeni, da LLM-ji ne morejo sklepati, da je "B značilnost A" iz učenja "A ima lastnost B", kar je osnovna sposobnost razmišljanja, ki jo imajo celo otroci. Ta članek predstavlja "vzvratno usposabljanje", novo metodo za reševanje tega izziva z uporabo dvosmernega pristopa usposabljanja za izboljšanje modelskega razumevanja dejstev v formatu naprej in nazaj.
Izvori povratnega prekletstva
Težava izhaja iz temeljnega pristopa usposabljanja LLM, ki običajno vključuje avtoregresivno učenje od leve proti desni. Ta metoda sama po sebi ne uči modelov razumevanja ali ustvarjanja informacij v obratnem vrstnem redu. Glede na naravo distribucije podatkov po Zipfovem zakonu je veliko dejstev omenjenih le v eno smer, kar to težavo še poslabša. "Prekletstvo preobrata" omejuje LLM-jevo razumevanje vzajemnih odnosov in enakovrednosti v izjavah, kar označuje pomembno pomanjkljivost v njihovih zmožnostih sklepanja.
Premagovanje povratnega prekletstva z obratnim treningom
Predlagana rešitev, Reverse Training, podvoji razpoložljive podatke o usposabljanju, tako da vključuje izvirne in obrnjene različice nizov za usposabljanje. Postopek razveljavitve je previden, da se ne spremenijo določeni podnizi, kot so imena entitet, pri čemer se ohrani njihovo prvotno zaporedje, da se ohrani kontekst. Ta metoda, podobna uvedbi drugega jezika za LLM, ki se ga mora naučiti, bistveno izboljša sposobnost modela za obdelavo in ustvarjanje informacij v obe smeri.
Preizkušanje metode obratnega usposabljanja
Avtorji so izvedli naslednje poskuse, da bi preizkusili predlagano metodo:
1- Simbolična obratna naloga: Test nadzorovanega okolja, ki prikazuje sposobnost metode za sklepanje in uporabo obrnjenih razmerij.
2- Naloga obračanja biografije: uporaba nabora biografskih podatkov za oceno uspešnosti pri ustvarjanju imen oseb iz danih podrobnosti v obratni smeri.
3- Obrat znanja iz resničnega sveta: Ocenjevanje učinkovitosti metode v scenarijih iz resničnega sveta, vključno z obračanjem dejstev o zvezdnikih in njihovih odnosih.
4- Natančna nastavitev izmišljenih dejstev: Preizkušanje zmožnosti učenja modela na novo uvedenih, obrnjenih izmišljenih dejstvih.
V teh poskusih je Obratno usposabljanje ne le ublažilo Prekletstvo preobrata, ampak ga je v nekaterih primerih popolnoma odpravilo. Metoda se je izkazala za posebej učinkovito, ko so bila imena entitet ohranjena v prvotnem vrstnem redu med postopkom razveljavitve, kar je poudarilo pomen ohranjanja določenih kontekstualnih sider.
Posledice in prihodnje smeri
Uspeh Reverse Training pri obravnavi Reversal Curse odpira nove poti za metodologije usposabljanja LLM. Z izboljšanjem razumevanja modelov vzajemnih odnosov in enakovrednosti v izjavah ta pristop odpira vrata do bolj sofisticiranih zmožnosti sklepanja. Prihodnje raziskave bodo morda raziskale nadaljnjo optimizacijo procesa obračanja, potencial za integracijo obratnega usposabljanja v drugih arhitekturah jezikovnih modelov in širše uporabe te metode pri razumevanju naravnega jezika in nalogah generiranja.