13 mars 2024
Cet article explore des méthodes efficaces pour mettre à jour les grands modèles de langage (LLM) avec de nouvelles données sans avoir à refaire l'entraînement depuis le début, en mettant l'accent sur les stratégies visant à atténuer l'oubli et la mauvaise adaptation, qui sont des défis courants dans ce domaine.
Introduction
L'introduction souligne l'importance des LLM dans diverses applications de l'IA et les défis associés à la mise à jour de ces modèles avec de nouvelles données, notamment les coûts de calcul et la dégradation des performances due aux changements de distribution dans les nouvelles données.
Principales conclusions et enseignements
Les principales contributions de l'article consistent à démontrer qu'une combinaison de **réchauffement du taux d'**apprentissage, de redécomposition du taux d'apprentissage et de relecture des données précédentes permet d'obtenir des performances comparables à la formation à partir de zéro sur des ensembles de données combinés. Cette approche réduit considérablement les coûts de calcul, tout en maintenant, voire en améliorant, les performances du modèle à travers différents changements dans la distribution des données.
Contexte & Méthodologie
Calendrier des taux d'apprentissage
L'étude examine l'impact de l'ajustement du calendrier du taux d'apprentissage, en se concentrant particulièrement sur les avantages d'un réchauffement (augmentation) et d'une décélération (diminution) du taux d'apprentissage lors de l'introduction de nouvelles données dans le processus de formation.
Mécanisme de relecture
Le concept de "relecture équivalente au calcul" est présenté comme une méthode permettant d'incorporer des données antérieures dans le processus de formation de nouvelles données, en veillant à ce que le coût de calcul reste constant en ajustant la quantité de nouvelles données traitées.
Dispositif expérimental
L'article détaille les ensembles de données utilisés, les paramètres expérimentaux conçus pour tester les stratégies de pré-entraînement continu proposées et la configuration pour évaluer la performance du modèle. Il s'agit notamment d'un mélange de changements de distribution "faibles" et "forts" afin de simuler différents scénarios d'évolution des données dans le monde réel.
Résultats
Ajustements du calendrier du taux d'apprentissage
Les expériences démontrent la nécessité de réchauffer et de diminuer le taux d'apprentissage pour s'adapter efficacement aux nouvelles données, les résultats suggérant que cette stratégie aide à équilibrer l'adaptation aux nouvelles données et la rétention des informations précédemment apprises.
Le rôle de la relecture
L'étude montre que la relecture d'une fraction des anciennes données peut atténuer considérablement les effets de l'oubli, permettant au modèle de conserver ses performances sur les tâches précédentes tout en continuant à apprendre de nouvelles données.
Performances du modèle à toutes les échelles
Les résultats indiquent que les stratégies proposées sont efficaces dans différentes tailles de modèles et changements de distribution des données, fournissant une solution évolutive au problème de la pré-formation continue des LLM.