2024 年 3 月 13 日
本文探讨了用新数据更新大型语言模型（LLM）而无需从头开始重新训练的有效方法，强调了减轻遗忘和适应能力差的策略，这些都是常见的该领域的挑战。
＃＃ 介绍
简介强调了法学硕士在各种人工智能应用中的重要性以及用新数据更新这些模型相关的挑战，特别是计算成本和由于新数据的分布变化而导致的性能下降 。
主要发现和要点
该论文的主要贡献包括证明，学习率重新升温、学习率重新衰减和先前数据的重播的组合可以实现与从头开始训练相当的性能组合数据集。这种方法显着降低了计算成本，同时在不同的数据分布变化中保持甚至提高了模型性能。
背景和方法
学习率表
该研究调查了调整学习率计划的影响，特别关注在将新数据引入训练过程时重新加热（增加）然后重新衰减（减少）学习率的好处。
重播机制
引入“计算等效重放”的概念，作为一种将以前的数据合并到新数据的训练过程中的方法，通过调整处理的新数据量来确保计算成本保持恒定。
实验设置
该论文详细介绍了所使用的数据集、旨在测试所提出的持续预训练策略的实验设置以及评估模型性能的设置。其中包括“弱”和“强”分布变化的混合，以模拟数据演化的不同现实场景。
＃＃ 结果
学习率计划调整
实验证明了学习率重新升温和重新衰减对于有效适应新数据的必要性，研究结果表明该策略有助于平衡对新数据的适应和先前学习信息的保留。
重播的作用
研究表明，重放一小部分旧数据可以显着减轻遗忘的影响，使模型能够保留其在之前任务上的性能，同时仍然可以从新数据中学习。
跨尺度的模型性能
结果表明，所提出的策略在不同的模型大小和数据分布变化中都是有效的，为法学硕士的持续预训练问题提供了可扩展的解决方案。