- marca 2024
Tento dokument skúma účinné metódy aktualizácie veľkých jazykových modelov (LLM) o nové údaje bez potreby opätovného školenia od začiatku, pričom zdôrazňuje stratégie na zmiernenie zabúdania a zlú adaptáciu, ktoré sú bežné. výzvy v tejto oblasti.
Úvod
Úvod zdôrazňuje význam LLM v rôznych aplikáciách AI a výzvy spojené s aktualizáciou týchto modelov novými údajmi, najmä výpočtové náklady a zníženie výkonu v dôsledku posunov v distribúcii nových údajov .
Hlavné zistenia a poznatky
Medzi hlavné príspevky tohto dokumentu patrí demonštrácia toho, že kombináciou ohrievania rýchlosti učenia, opätovného rozpadu rýchlosti učenia a prehrávania predchádzajúcich údajov možno dosiahnuť výkon porovnateľný s tréningom od začiatku. kombinované súbory údajov. Tento prístup výrazne znižuje výpočtové náklady a zároveň zachováva alebo dokonca zlepšuje výkon modelu pri rôznych posunoch distribúcie údajov.
Východiská a metodika
Rozvrhy kurzov učenia
Štúdia skúma vplyv úpravy rozvrhu rýchlosti učenia, najmä so zameraním na výhody opätovného zahriatia (zvýšenie) a následného zníženia (zníženia) rýchlosti učenia pri zavádzaní nových údajov do tréningového procesu.
Mechanizmus opakovaného prehrávania
Koncept „prehrávania ekvivalentného počítaču“ sa zavádza ako metóda na začlenenie predchádzajúcich údajov do procesu učenia nových údajov, čím sa zabezpečí, že náklady na výpočet zostanú konštantné úpravou množstva nových spracovaných údajov.
Experimentálne nastavenie
Dokument podrobne popisuje použité súbory údajov, experimentálne nastavenia navrhnuté na testovanie navrhovaných stratégií kontinuálneho predtréningu a nastavenie na hodnotenie výkonnosti modelu. Tieto zahŕňajú zmes „slabých“ a „silných“ distribučných posunov na simuláciu rôznych scenárov vývoja údajov v reálnom svete.
Výsledky
Úpravy plánu výučby
Experimenty demonštrujú potrebu opätovného otepľovania a opätovného úpadku pre efektívne prispôsobenie sa novým údajom, pričom zistenia naznačujú, že táto stratégia pomáha pri vyrovnávaní adaptácie na nové údaje a uchovávania predtým naučených informácií.
Úloha opakovaného prehrávania
Štúdia ukazuje, že prehratie zlomku starých údajov môže výrazne zmierniť účinky zabudnutia, čo umožňuje modelu zachovať si výkon pri predchádzajúcich úlohách a zároveň sa stále učiť z nových údajov.
Výkonnosť modelu naprieč mierkami
Výsledky naznačujú, že navrhované stratégie sú účinné pri rôznych veľkostiach modelov a posunoch distribúcie údajov, čím poskytujú škálovateľné riešenie problému kontinuálneho predškolenia LLM.