13 mart 2024-cü il
Bu məqalə sıfırdan yenidən təlimə ehtiyac olmadan böyük dil modellərinin (LLM) yeni məlumatlarla yenilənməsinin səmərəli üsullarını araşdırır, unutmağı azaltmaq və zəif uyğunlaşma strategiyalarını vurğulayır. bu sahədə problemlər.
Giriş
Giriş müxtəlif süni intellekt tətbiqlərində LLM-lərin əhəmiyyətini və bu modellərin yeni məlumatlar ilə yenilənməsi ilə bağlı çətinlikləri, xüsusilə hesablama xərcləri və yeni məlumatların paylanmasının dəyişməsi səbəbindən performansın deqradasiyası vurğulayır. .
Əsas Nəticələr və Çıxarışlar
Sənədin əsas töhfələrinə öyrənmə dərəcəsinin yenidən istiləşməsi, öyrənmə dərəcəsinin yenidən azalması və əvvəlki məlumatların təkrar təkrarlanmasının kombinasiyasının sıfırdan məşqlə müqayisə edilə bilən performans əldə edə biləcəyini göstərmək daxildir. birləşdirilmiş məlumat dəstləri. Bu yanaşma hesablama xərclərini əhəmiyyətli dərəcədə azaldır, eyni zamanda müxtəlif məlumat paylama növbələrində model performansını qoruyur və ya hətta təkmilləşdirir.
Ümumi məlumat və Metodologiya
Öyrənmə Dərəcəsi Cədvəlləri
Tədqiqat öyrənmə sürəti cədvəlinin tənzimlənməsinin təsirini araşdırır, xüsusən də təlim prosesinə yeni məlumatlar daxil edərkən öyrənmə sürətinin yenidən istiləşməsinin (artırılmasının) və sonra yenidən çürüməsinin (azaldılmasının) faydalarına diqqət yetirir.
Təkrar Oynatma Mexanizmi
“Hesablama-ekvivalent təkrar oynatma” anlayışı əvvəlki məlumatların yeni məlumatların təlim prosesinə daxil edilməsi metodu kimi təqdim edilir, emal edilmiş yeni məlumatların miqdarını tənzimləməklə hesablama xərclərinin sabit qalmasını təmin edir.
Eksperimental Quraşdırma
Sənəddə istifadə olunan məlumat dəstləri, təklif olunan davamlı təlim öncəsi strategiyaları sınaqdan keçirmək üçün nəzərdə tutulmuş eksperimental parametrlər və model performansını qiymətləndirmək üçün quraşdırma təfərrüatları verilir. Bunlara verilənlərin təkamülünün müxtəlif real ssenarilərini simulyasiya etmək üçün "zəif" və "güclü" paylama dəyişikliklərinin qarışığı daxildir.
Nəticələr
Öyrənmə dərəcəsi cədvəlinə düzəlişlər
Təcrübələr yeni məlumatlara effektiv uyğunlaşmaq üçün öyrənmə sürətinin yenidən istiləşməsinin və yenidən çürüməsinin zəruriliyini nümayiş etdirir və tapıntılar bu strategiyanın yeni məlumatlara uyğunlaşmanı balanslaşdırmağa və əvvəllər öyrənilmiş məlumatların saxlanmasına kömək etdiyini göstərir.
Təkrarın Rolu
Tədqiqat göstərir ki, köhnə məlumatların bir hissəsinin təkrar oxunması unutmanın təsirlərini əhəmiyyətli dərəcədə azalda bilər, bu da modelə əvvəlki tapşırıqlarda öz performansını saxlamağa imkan verir, eyni zamanda yeni məlumatlardan öyrənir.
Tərəzi üzrə Model Performansı
Nəticələr göstərir ki, təklif olunan strategiyalar müxtəlif model ölçüləri və məlumatların paylanması dəyişiklikləri üzrə effektivdir və LLM-lərin davamlı öncədən hazırlığı probleminə genişlənə bilən həlli təmin edir.