papers
대규모 언어 모델을 지속적으로 사전 훈련하기 위한 간단하고 확장 가능한 전략
대규모 언어 모델(LLM)에 대한 지속적인 학습에 대한 획기적인 접근 방식을 찾아보고 비용이 많이 드는 재교육이 필요하지 않도록 하세요. 학습률 재가열, 재감소, 데이터 재생과 같은 간단한 전략을 통해 다양한 언어 데이터 세트에서도 성능 저하 없이 LLM 업데이트를 가능하게 하는 방법을 알아보세요. 이러한 방법이 어떻게 재교육 결과와 일치하거나 이를 능가하는 동시에 컴퓨팅 요구 사항을 대폭 줄이는지 알아보세요.