13 de marzo de 2024
Este traballo explora métodos eficientes para actualizar modelos de grandes linguaxes (LLM) con novos datos sen necesidade de volver adestrar desde cero, facendo fincapé en estratexias para mitigar o esquecemento e a adaptación deficiente, que son comúns. desafíos neste ámbito.
Introdución
A introdución destaca a importancia dos LLM en varias aplicacións de IA e os retos asociados á actualización destes modelos con novos datos, en particular os custos computacionais e a degradación do rendemento debido aos cambios de distribución dos novos datos. .
Principais achados e conclusións
As principais contribucións do documento inclúen a demostración de que unha combinación de requecemento da taxa de aprendizaxe, desintegración da taxa de aprendizaxe e reprodución de datos anteriores pode acadar un rendemento comparable ao adestramento desde cero. conxuntos de datos combinados. Este enfoque reduce significativamente os custos computacionais, mantendo ou mesmo mellorando o rendemento do modelo en diferentes quendas de distribución de datos.
Antecedentes e Metodoloxía
Horarios de taxas de aprendizaxe
O estudo investiga o impacto do axuste do calendario da taxa de aprendizaxe, centrándose especialmente nos beneficios de quentar de novo (aumentar) e despois volver diminuír (diminuíndo) a taxa de aprendizaxe ao introducir novos datos no proceso de formación.
Mecanismo de repetición
Introdúcese o concepto de "reproducción equivalente a computación" como método para incorporar datos anteriores ao proceso de adestramento de datos novos, garantindo que o custo computacional se manteña constante axustando a cantidade de novos datos procesados.
Configuración experimental
O documento detalla os conxuntos de datos utilizados, os axustes experimentais deseñados para probar as estratexias continuas de adestramento propostas e a configuración para avaliar o rendemento do modelo. Estes inclúen unha mestura de cambios de distribución "débiles" e "fortes" para simular diferentes escenarios do mundo real de evolución dos datos.
Resultados
Axustes da programación da taxa de aprendizaxe
Os experimentos demostran a necesidade de recalentar e decaer a taxa de aprendizaxe para adaptarse aos novos datos de forma eficaz, e os resultados suxiren que esta estratexia axuda a equilibrar a adaptación aos novos datos e a retención da información aprendida previamente.
O papel da repetición
O estudo mostra que reproducir unha fracción dos datos antigos pode mitigar significativamente os efectos do esquecemento, permitindo que o modelo manteña o seu rendemento en tarefas anteriores mentres aprende de novos datos.
Desempeño do modelo en todas as escalas
Os resultados indican que as estratexias propostas son eficaces en diferentes tamaños de modelos e cambios de distribución de datos, proporcionando unha solución escalable ao problema da formación previa continua dos LLM.