Terjemahan Mesin (MT) adalah komponen penting dari Pemrosesan Bahasa Alami (NLP) yang bertujuan untuk menerjemahkan teks secara mekanis dari satu bahasa ke bahasa lain. Bidang ini meningkatkan komunikasi lintas bahasa dan pertukaran informasi internasional dengan menggunakan model bahasa besar (LLM) untuk memahami dan menghasilkan bahasa manusia. Meningkatkan akurasi terjemahan adalah tujuan utama MT dalam rangka menutup kesenjangan komunikasi global.
Masalah utama dalam pembelajaran mesin adalah memilih data pelatihan yang beragam dan berkualitas tinggi. Keputusan ini penting karena menjamin bahwa model bahasa berfungsi dengan baik dalam berbagai konteks dan bahasa, menghindari terjemahan yang salah atau nuansa yang terlewat. Penelitian tradisional telah meneliti berbagai pendekatan untuk meningkatkan terjemahan mesin, seperti pemilihan contoh terjemahan khusus dan strategi decoding tingkat lanjut. Framework terkenal seperti TIM dan GPT-4 berkonsentrasi tentang mengoptimalkan fitur ini menggunakan metrik evaluasi kompleks seperti COMET dan BLEU.
Peneliti ByteDance Research telah mengembangkan teknik baru yang disebut G-DIG yang menggunakan teknik berbasis gradien untuk memilih data pelatihan paling optimal untuk pembelajaran mesin. Tanpa bergantung pada model eksternal, pendekatan ini bertujuan untuk meningkatkan keragaman dan kualitas pemilihan data. G-DIG bekerja dalam dua langkah: pertama, membuat kumpulan data awal untuk memilih data berkualitas tinggi, dan kemudian menggunakan fungsi pengaruh untuk menganalisis dampak contoh pelatihan terhadap performa model. Kemudian, ini meningkatkan keragaman dengan menerapkan algoritme pengelompokan pada gradien instance pelatihan, menempatkannya ke dalam kategori berbeda berdasarkan kesamaan gradien.
Pengujian ekstensif pada beberapa tugas penerjemahan, seperti WMT22 dan FLORES, mengungkapkan bahwa G-DIG secara signifikan mengungguli pendekatan pemilihan data yang ada dan bersaing secara baik dengan model-model terkemuka. G-DIG meningkatkan skor terjemahan secara signifikan dalam kriteria BLEU dan COMET, menunjukkan kinerja unggul dalam terjemahan Bahasa Mandarin ke Bahasa Inggris dan Bahasa Jerman ke Bahasa Inggris. Yang penting, data yang dipilih oleh G-DIG menghasilkan terjemahan yang lebih sesuai dengan harapan manusia dan persyaratan kualitas.
Pengenalan G-DIG menandai lompatan maju yang signifikan dalam mengatasi permasalahan kualitas dan keragaman data di MT. Dengan memanfaatkan seleksi berbasis gradien, model menyempurnakan performanya tanpa penilaian eksternal tambahan. Perkembangan ini menyoroti potensi G-DIG untuk meningkatkan akurasi terjemahan dan efisiensi model, sehingga mengarah pada sistem terjemahan mesin yang lebih canggih dan andal. Keberhasilan penerapan G-DIG menggarisbawahi pentingnya kualitas dan keragaman dalam data pelatihan, yang penting untuk mengembangkan model bahasa yang kuat yang memenuhi tuntutan komunikasi global dan pertukaran informasi.
Singkatnya, pendekatan G-DIG ByteDance Research merupakan kemajuan signifikan dalam terjemahan mesin yang membuka kemungkinan baru untuk meningkatkan kinerja model bahasa pada berbagai tugas penerjemahan. Pendekatan ini mewakili perkembangan substansial dalam terjemahan mesin karena kemampuannya meningkatkan kualitas terjemahan dan penyelarasan model dengan perintah manusia.