การแปลด้วยคอมพิวเตอร์ (MT) เป็นองค์ประกอบที่สำคัญของ การประมวลผลภาษาธรรมชาติ (NLP) ที่มีจุดมุ่งหมายเพื่อแปลข้อความจากภาษาหนึ่งเป็นอีกภาษาหนึ่งโดยอัตโนมัติ สาขานี้ปรับปรุงการสื่อสารข้ามภาษาและการแลกเปลี่ยนข้อมูลระหว่างประเทศโดยใช้แบบจำลองภาษาขนาดใหญ่ (LLM) เพื่อทำความเข้าใจและสร้างภาษาของมนุษย์ การปรับปรุงความแม่นยำในการแปลเป็นเป้าหมายหลักของ MT เพื่อปิดช่องว่างในการสื่อสารทั่วโลก
ปัญหาหลักในการเรียนรู้ของเครื่องคือการเลือกข้อมูลการฝึกอบรมคุณภาพสูงและหลากหลาย การตัดสินใจครั้งนี้มีความสำคัญเนื่องจากรับประกันว่าโมเดลภาษาจะทำงานได้ดีในบริบทและภาษาต่างๆ เพื่อหลีกเลี่ยงการแปลที่ผิดพลาดหรือความแตกต่างที่พลาดไป การวิจัยแบบดั้งเดิมได้พิจารณาแนวทางต่างๆ มากมายเพื่อปรับปรุงการแปลด้วยเครื่อง เช่น การเลือกตัวอย่างการแปลเฉพาะทาง และกลยุทธ์การถอดรหัสขั้นสูง เฟรมเวิร์กที่รู้จักกันดี เช่น TIM และ GPT-4 มีความเข้มข้น ในการเพิ่มประสิทธิภาพคุณลักษณะเหล่านี้โดยใช้เมตริกการประเมินที่ซับซ้อน เช่น COMET และ BLEU
นักวิจัยของ ByteDance Research ได้พัฒนาเทคนิคใหม่ที่เรียกว่า G-DIG ซึ่งใช้เทคนิคแบบไล่ระดับสีเพื่อเลือกข้อมูลการฝึกที่เหมาะสมที่สุดสำหรับการเรียนรู้ของเครื่อง แนวทางนี้มีจุดมุ่งหมายเพื่อเพิ่มความหลากหลายและคุณภาพของการเลือกข้อมูลโดยไม่ต้องพึ่งพาโมเดลภายนอก G-DIG ทำงานในสองขั้นตอน ขั้นแรก สร้างชุดข้อมูลเริ่มต้นเพื่อเลือกข้อมูลคุณภาพสูง จากนั้นใช้ฟังก์ชันที่มีอิทธิพลเพื่อวิเคราะห์ผลกระทบของตัวอย่างการฝึกอบรมที่มีต่อประสิทธิภาพของโมเดล จากนั้นจะปรับปรุงความหลากหลายโดยการใช้อัลกอริธึมการจัดกลุ่มกับการไล่ระดับสีของอินสแตนซ์การฝึก โดยจัดเป็นหมวดหมู่ต่างๆ ตามความคล้ายคลึงกันของการไล่ระดับสี
การทดสอบอย่างกว้างขวางในงานแปลหลายอย่าง เช่น WMT22 และ FLORES เผยให้เห็นว่า G-DIG มีประสิทธิภาพเหนือกว่าแนวทางการเลือกข้อมูลที่มีอยู่อย่างมาก และแข่งขันในเกณฑ์ดีกับโมเดลชั้นนำ G-DIG ปรับปรุงคะแนนการแปลอย่างมากในเกณฑ์ BLEU และ COMET ซึ่งแสดงให้เห็นถึงประสิทธิภาพที่เหนือกว่าในการแปลทั้งภาษาจีนเป็นภาษาอังกฤษและภาษาเยอรมันเป็นภาษาอังกฤษ ที่สำคัญ ข้อมูลที่เลือกโดย G-DIG ส่งผลให้การแปลสอดคล้องกับความคาดหวังของมนุษย์และข้อกำหนดด้านคุณภาพมากขึ้น
การเปิดตัว G-DIG ถือเป็นการก้าวกระโดดครั้งสำคัญในการแก้ไขปัญหาคุณภาพและความหลากหลายของข้อมูลใน MT ด้วยการใช้ประโยชน์จากการเลือกตามการไล่ระดับสี โมเดลจะปรับแต่งประสิทธิภาพโดยไม่ต้องมีการประเมินจากภายนอกเพิ่มเติม การพัฒนานี้เน้นย้ำถึงศักยภาพของ G-DIG ในการเพิ่มความแม่นยำในการแปลและประสิทธิภาพของแบบจำลอง โดยชี้ไปที่ระบบการแปลด้วยเครื่องที่ซับซ้อนและเชื่อถือได้มากขึ้น การนำ G-DIG ไปใช้อย่างประสบความสำเร็จตอกย้ำถึงความสำคัญของคุณภาพและความหลากหลายในข้อมูลการฝึกอบรม ซึ่งมีความสำคัญอย่างยิ่งต่อการพัฒนาโมเดลภาษาที่มีประสิทธิภาพซึ่งตอบสนองความต้องการของการสื่อสารและการแลกเปลี่ยนข้อมูลทั่วโลก
โดยสรุป แนวทาง G-DIG ของ ByteDance Research ถือเป็นความก้าวหน้าที่สำคัญในการแปลด้วยเครื่อง ซึ่งเปิดโอกาสใหม่ๆ ในการเพิ่มประสิทธิภาพของโมเดลภาษาในงานการแปลที่หลากหลาย แนวทางนี้แสดงถึงการพัฒนาที่สำคัญในการแปลด้วยเครื่อง เนื่องจากความสามารถในการปรับปรุงคุณภาพการแปลและการจัดตำแหน่งแบบจำลองตามคำสั่งของมนุษย์