- március 13
Ez a cikk hatékony módszereket tár fel a nagy nyelvi modellek (LLM) új adatokkal való frissítésére anélkül, hogy a nulláról kellene újraoktatnia, kiemelve a a felejtés enyhítését és a gyenge alkalmazkodást célzó stratégiákat, amelyek általánosak. kihívások ezen a területen.
Bevezetés
A bevezető kiemeli az LLM-ek jelentőségét a különböző mesterségesintelligencia-alkalmazásokban, valamint az a modellek új adatokkal történő frissítésével kapcsolatos kihívásokat, nevezetesen a számítási költségeket és az új adatok eloszlási eltolódása miatti teljesítményromlást .
Főbb megállapítások és kivonatok
A tanulmány főbb hozzájárulásai közé tartozik annak bemutatása, hogy a tanulási ráta újramelegítése, tanulási ráta újracsökkenése és korábbi adatok visszajátszása kombinációja a nulláról kezdődő edzéssel összehasonlítható teljesítményt érhet el. kombinált adatkészletek. Ez a megközelítés jelentősen csökkenti a számítási költségeket, miközben fenntartja vagy akár javítja is a modell teljesítményét a különböző adatelosztási eltolások között.
Háttér és módszertan
Tanulási ütemterv
A tanulmány a tanulási ütem ütemezésének kiigazításának hatását vizsgálja, különös tekintettel a tanulási ráta újramelegítésének (növelésének), majd visszaesésének (csökkentésének) előnyeire, amikor új adatokat viszünk be a képzési folyamatba.
Visszajátszási mechanizmus
A „számítási egyenértékű visszajátszás” fogalmát olyan módszerként vezették be, amellyel a korábbi adatokat beépítik az új adatok betanítási folyamatába, biztosítva, hogy a számítási költség állandó maradjon az új feldolgozott adatok mennyiségének módosításával.
Kísérleti elrendezés
A cikk részletezi a felhasznált adatkészleteket, a javasolt folyamatos előképzési stratégiák tesztelésére tervezett kísérleti beállításokat, valamint a modell teljesítményének értékelésére szolgáló beállításokat. Ezek a „gyenge” és „erős” eloszlási eltolódások keverékét tartalmazzák, hogy szimulálják az adatfejlődés különböző valós forgatókönyveit.
Eredmények
Tanulási ütem ütemezésének módosításai
A kísérletek demonstrálják a tanulási ráta újramelegítésének és lebomlásának szükségességét az új adatokhoz való hatékony alkalmazkodáshoz, és az eredmények arra utalnak, hogy ez a stratégia segít egyensúlyban tartani az új adatokhoz való alkalmazkodást és a korábban tanult információk megőrzését.
Az újrajátszás szerepe
A tanulmány azt mutatja, hogy a régi adatok töredékének újrajátszása jelentősen mérsékelheti a felejtés hatásait, lehetővé téve a modell számára, hogy megőrizze teljesítményét a korábbi feladatok során, miközben továbbra is tanul az új adatokból.
A modell teljesítménye a skálákon
Az eredmények azt mutatják, hogy a javasolt stratégiák különböző modellméretekben és adateloszlási eltolódásokban hatékonyak, skálázható megoldást nyújtva az LLM-ek folyamatos előképzésének problémájára.