- marec 2024
Ta dokument raziskuje učinkovite metode za posodabljanje velikih jezikovnih modelov (LLM) z novimi podatki brez potrebe po ponovnem usposabljanju iz nič, s poudarkom na strategijah za zmanjšanje pozabljanja in slabega prilagajanja, ki sta pogosta izzive na tem področju.
Uvod
Uvod poudarja pomen LLM v različnih aplikacijah umetne inteligence in izzive, povezane s posodabljanjem teh modelov z novimi podatki, predvsem stroške računanja in poslabšanje zmogljivosti zaradi distribucijskih premikov v novih podatkih .
Glavne ugotovitve in zaključki
Glavni prispevki prispevka vključujejo dokazovanje, da lahko kombinacija ponovnega ogrevanja hitrosti učenja, ponovnega upada hitrosti učenja in ponovnega predvajanja prejšnjih podatkov doseže uspešnost, primerljivo z usposabljanjem od začetka kombinirani nizi podatkov. Ta pristop znatno zmanjša računske stroške, hkrati pa ohrani ali celo izboljša zmogljivost modela med različnimi premiki distribucije podatkov.
Ozadje in metodologija
Razporedi tečajev učenja
Študija raziskuje vpliv prilagajanja urnika stopnje učenja, pri čemer se še posebej osredotoča na prednosti ponovnega segrevanja (povečanja) in nato ponovnega zmanjšanja (zmanjšanja) stopnje učenja pri uvajanju novih podatkov v proces usposabljanja.
Mehanizem ponovitve
Koncept "računsko enakovrednega ponavljanja" je uveden kot metoda za vključitev prejšnjih podatkov v proces usposabljanja novih podatkov, s čimer se zagotovi, da računski stroški ostanejo nespremenjeni s prilagajanjem količine novih obdelanih podatkov.
Eksperimentalna postavitev
V dokumentu so podrobno opisani uporabljeni nabori podatkov, eksperimentalne nastavitve, namenjene testiranju predlaganih strategij stalnega predhodnega usposabljanja, in nastavitve za ocenjevanje uspešnosti modela. Ti vključujejo mešanico "šibkih" in "močnih" distribucijskih premikov za simulacijo različnih realnih scenarijev razvoja podatkov.
Rezultati
Prilagoditve urnika stopnje učenja
Poskusi dokazujejo nujnost ponovnega segrevanja in ponovnega upadanja stopnje učenja za učinkovito prilagajanje novim podatkom, pri čemer ugotovitve kažejo, da ta strategija pomaga pri uravnovešanju prilagajanja novim podatkom in ohranjanja predhodno naučenih informacij.
Vloga ponovitve
Študija kaže, da lahko ponovno predvajanje delčka starih podatkov znatno ublaži učinke pozabljanja, kar omogoči modelu, da ohrani svojo zmogljivost pri prejšnjih nalogah, medtem ko se še vedno uči iz novih podatkov.
Uspešnost modela v različnih lestvicah
Rezultati kažejo, da so predlagane strategije učinkovite pri različnih velikostih modelov in premikih distribucije podatkov ter zagotavljajo razširljivo rešitev problema nenehnega predhodnega usposabljanja LLM-jev.