2024년 3월 20일
역전의 저주
GPT-4 및 Llama-2와 같은 대규모 언어 모델(LLM)은 인상적인 이해 능력을 보여주었습니다. 광범위한 지식을 포괄하는 인간과 유사한 텍스트를 생성합니다. 그러나 그들은 겉보기에 간단해 보이는 작업, 즉 학습된 사실을 뒤집는 작업에는 실패합니다. "역전 저주"라고 불리는 이러한 제한은 LLM이 어린이도 소유한 기본적인 추론 기술인 "A에 B 특성이 있음"을 학습하여 "B가 A의 특성"임을 추론할 수 없음을 의미합니다. 이 문서에서는 정방향 및 역방향 형식 모두에서 사실에 대한 모델의 이해력을 향상시키기 위해 양방향 교육 접근 방식을 활용하여 이러한 문제를 해결하는 새로운 방법인 "역방향 교육"을 소개합니다.
반전 저주의 기원
문제는 일반적으로 자동 회귀, 왼쪽에서 오른쪽 학습을 포함하는 LLM의 기본 교육 접근 방식에서 발생합니다. 이 방법은 본질적으로 모델이 정보를 역순으로 이해하거나 생성하도록 가르치지 않습니다. Zipf의 법칙에 따른 데이터 유통의 특성상 한 방향으로만 언급되는 사실이 많아 문제를 더욱 악화시키고 있습니다. "역전의 저주"는 LLM의 상호 관계 및 진술의 동등성에 대한 이해를 제한하여 추론 능력에 심각한 결점을 나타냅니다.
역훈련으로 역전의 저주를 극복하다
제안된 솔루션인 Reverse Training은 원래 버전과 역방향 버전의 훈련 문자열을 모두 포함하여 사용 가능한 훈련 데이터를 두 배로 늘립니다. 반전 프로세스에서는 엔터티 이름과 같은 특정 하위 문자열을 변경하지 않도록 주의하고 컨텍스트를 보존하기 위해 원래 순서를 유지합니다. LLM이 학습할 제2 언어를 도입하는 것과 유사한 이 방법은 양방향으로 정보를 처리하고 생성하는 모델의 능력을 크게 향상시킵니다.
역방향 학습 방법 테스트
저자는 제안된 방법을 테스트하기 위해 다음 실험을 수행했습니다.
1- 기호적 역방향 작업: 역방향 관계를 추론하고 적용하는 방법의 능력을 보여주는 제어된 환경 테스트입니다.
2- 전기 역전 작업: 전기 데이터 세트를 활용하여 주어진 세부 정보에서 사람 이름을 역으로 생성하는 성능을 평가합니다.
3- 실제 지식 반전: 유명인과 그들의 관계에 대한 사실 반전을 포함하여 실제 시나리오에서 방법의 효율성을 평가합니다.
4- 가상 사실 미세 조정: 새로 도입되고 반전된 가상 사실에 대한 모델의 학습 기능을 테스트합니다.
이러한 실험 전반에 걸쳐 역훈련은 역전 저주를 완화했을 뿐만 아니라 어떤 경우에는 완전히 제거했습니다. 이 방법은 반전 프로세스 중에 엔터티 이름이 원래 순서로 유지될 때 특히 효과적인 것으로 입증되었으며, 이는 특정 상황별 앵커를 유지하는 것의 중요성을 강조합니다.
시사점 및 향후 방향
역전 저주를 해결하는 역방향 훈련의 성공은 LLM 훈련 방법론에 대한 새로운 길을 열어줍니다. 진술의 상호 관계 및 동등성에 대한 모델의 이해를 향상함으로써 이 접근 방식은 보다 정교한 추론 기능을 제공합니다. 향후 연구에서는 역방향 프로세스의 추가 최적화, 다른 언어 모델 아키텍처의 역방향 훈련 통합 가능성, 자연어 이해 및 생성 작업에서 이 방법의 광범위한 적용을 탐구할 수 있습니다.