기계 번역(MT)은 자연어 처리(NLP)는 텍스트를 한 언어에서 다른 언어로 기계적으로 번역하는 것을 목표로 합니다. 이 분야는 인간 언어를 이해하고 생성하기 위해 LLM(대형 언어 모델)을 사용하여 교차 언어 의사소통 및 국제 정보 교환을 향상시킵니다. 글로벌 커뮤니케이션 격차를 해소하기 위한 번역 정확도 향상은 MT의 주요 목표입니다.
머신러닝의 주요 이슈는 고품질의 다양한 훈련 데이터를 선택하는 것입니다. 이 결정은 언어 모델이 다양한 상황과 언어에서 잘 작동하도록 보장하고 잘못된 번역이나 뉘앙스 누락을 방지하므로 매우 중요합니다. 전통적인 연구에서는 전문 번역 예시 선택 및 고급 디코딩 전략과 같은 기계 번역을 개선하기 위한 다양한 접근 방식을 조사해 왔습니다. TIM 및 GPT-4와 같은 잘 알려진 프레임워크에 집중 COMET 및 BLEU와 같은 복잡한 평가 지표를 사용하여 이러한 기능을 최적화하는 방법에 대해 설명합니다.
ByteDance 연구 연구원은 경사 기반 기술을 사용하여 기계 학습에 가장 적합한 훈련 데이터를 선택하는 G-DIG라는 새로운 기술을 개발했습니다. 외부 모델에 의존하지 않고 이 접근 방식은 데이터 선택의 다양성과 품질을 높이는 것을 목표로 합니다. G-DIG는 두 단계로 작동합니다. 먼저 고품질 데이터를 선택하기 위한 시드 데이터세트를 생성한 다음 영향 함수를 사용하여 모델 성능에 대한 훈련 예시의 영향을 분석합니다. 그런 다음 훈련 인스턴스의 기울기에 클러스터링 알고리즘을 적용하고 기울기 유사성을 기반으로 다양한 범주에 배치하여 다양성을 향상시킵니다.
WMT22 및 FLORES와 같은 여러 번역 작업에 대한 광범위한 테스트를 통해 G-DIG가 기존 데이터 선택 접근 방식보다 훨씬 뛰어난 성능을 발휘하고 주요 모델과 유리한 경쟁을 벌이는 것으로 나타났습니다. G-DIG는 BLEU 및 COMET 기준에서 번역 점수를 크게 향상시켜 중국어-영어 및 독일어-영어 번역 모두에서 우수한 성능을 보여주었습니다. 중요한 것은 G-DIG가 선택한 데이터가 인간의 기대와 품질 요구 사항에 더 부합하는 번역이라는 결과를 가져왔다는 것입니다.
G-DIG의 도입은 MT의 데이터 품질 및 다양성 문제를 해결하는 데 있어 중요한 도약을 의미합니다. 모델은 그라데이션 기반 선택을 활용하여 추가 외부 평가 없이 성능을 개선합니다. 이번 개발은 번역 정확도와 모델 효율성을 향상시켜 보다 정교하고 안정적인 기계 번역 시스템을 지향하는 G-DIG의 잠재력을 강조합니다. G-DIG의 성공적인 구현은 글로벌 커뮤니케이션 및 정보 교환의 요구를 충족하는 강력한 언어 모델을 개발하는 데 중요한 교육 데이터의 품질과 다양성의 중요성을 강조합니다.
요약하자면, ByteDance Research의 G-DIG 접근 방식은 다양한 번역 작업에서 언어 모델의 성능을 향상시킬 수 있는 새로운 가능성을 열어주는 기계 번역의 중요한 발전입니다. 이 접근 방식은 번역 품질을 향상하고 인간 명령에 따라 모델을 정렬하는 기능으로 인해 기계 번역의 실질적인 발전을 나타냅니다.