Mô hình dịch máy theo trình tự

Bạn đã bao giờ tự hỏi máy dịch hoạt động như thế nào chưa? Một vài dòng mã là đủ để xây dựng các công cụ tương tự như Google Translate, DeepL, v.v. Trong bài viết này, chúng tôi sẽ hướng dẫn bạn quy trình tạo mô hình dịch máy theo trình tự (seq2seq). Cuối cùng, bạn sẽ có thể hiểu cách thức hoạt động và cách có một mô hình dịch có thể triển khai.

Tìm hiểu mô hình Seq2Seq

Để nắm bắt khái niệm về mô hình seq2seq, hãy đi sâu vào một ví dụ. Hãy tưởng tượng bạn có một câu bằng tiếng Anh:

"How are you?"

và bạn muốn dịch nó sang Tamazight:

"Amek tettiliḍ?"

Mô hình seq2seq bao gồm bộ mã hóa và bộ giải mã, chúng hoạt động cùng nhau để thực hiện quá trình dịch này.

Bộ mã hóa: Bộ mã hóa lấy câu nguồn "Bạn khỏe không?" và xử lý từng từ một. Nó mã hóa thông tin thành một vectơ có độ dài cố định được gọi là vectơ bối cảnh. Trong ví dụ của chúng tôi, bộ mã hóa sẽ phân tích từng từ và tạo ra cách thể hiện có ý nghĩa cho câu.
Bộ giải mã: Bộ giải mã nhận vectơ ngữ cảnh từ bộ mã hóa và bắt đầu tạo câu đích, "Amek tettiliḍ?". Nó thực hiện việc này từng từ một, có tính đến vectơ ngữ cảnh và các từ được tạo trước đó. Bộ giải mã học cách tạo ra bản dịch chính xác dựa trên các mẫu mà nó phát hiện được trong quá trình đào tạo.

Chuẩn bị dữ liệu

Bây giờ chúng ta đã hiểu về mô hình seq2seq, hãy nói về việc chuẩn bị dữ liệu bằng cách sử dụng ví dụ tương tự.

Để huấn luyện mô hình dịch máy, cần có một kho ngữ liệu song song, bao gồm các cặp câu căn chỉnh ở cả ngôn ngữ nguồn (trong trường hợp của chúng tôi là tiếng Anh) và ngôn ngữ đích (Tamazight). Một số tài nguyên như Europarl và UN Parallel Corpus cung cấp lượng lớn dữ liệu đa ngôn ngữ.

Mã thông báo: Bước đầu tiên trong quá trình chuẩn bị dữ liệu là mã hóa. Chúng tôi chia các câu tiếng Anh và Tamazight thành các từ hoặc mã thông báo riêng lẻ. Ví dụ: câu tiếng Anh "How are you?" sẽ được mã hóa thành ['How', 'are', 'you', '?'] và câu Tamazight "Amek tettiliḍ?" sẽ được token hóa thành ['SOS', 'Amek', 'tettiliḍ', '?', 'EOS']. Chúng tôi sử dụng SOS và EOS để biểu thị điểm bắt đầu và kết thúc của chuỗi.
Làm sạch và chuẩn hóa: Tiếp theo, chúng tôi thực hiện việc làm sạch và chuẩn hóa trên các câu được mã hóa. Điều này liên quan đến việc loại bỏ mọi ký tự, dấu câu hoặc ký hiệu đặc biệt không cần thiết có thể cản trở quá trình dịch. Ví dụ: chúng tôi có thể xóa dấu chấm hỏi ở cuối cả câu tiếng Anh và tiếng Tamazight để đơn giản hóa dữ liệu huấn luyện.

Tùy thuộc vào đặc điểm của ngôn ngữ nguồn và ngôn ngữ đích, có thể cần phải thực hiện các bước tiền xử lý bổ sung dành riêng cho ngôn ngữ. Ví dụ: trong tiếng Pháp, chúng ta có thể cần xử lý các ký tự đặc biệt như dấu trọng âm hoặc dấu phụ.

Sáng tạo từ vựng: Chúng tôi tạo ra từ vựng bằng cách thu thập các từ duy nhất từ cả câu nguồn và câu đích. Sau đó, mỗi từ được gán một chỉ mục hoặc mã định danh duy nhất, dẫn đến cái mà chúng tôi gọi là bản đồ nhúng từ, bản đồ này sẽ được sử dụng trong quá trình đào tạo:

6: "how"
330: "are"
537: "you"

Với ví dụ được token hóa của chúng tôi sẽ trông như thế này:

[6, 330, 537] # How Are You
[420, 775] # Amek tettiliḍ

Đệm chuỗi: Để đảm bảo độ dài chuỗi đồng nhất, chúng tôi đệm các câu bằng mã thông báo đặc biệt (ví dụ: "PAD" hoặc 0) để tất cả chúng đều có cùng độ dài. Việc đệm là cần thiết vì mạng lưới thần kinh thường mong đợi các đầu vào có độ dài cố định. Bằng cách thêm mã thông báo đệm vào cuối các câu ngắn hơn, chúng tôi tạo ra các chuỗi có độ dài bằng nhau, cho phép đào tạo hiệu quả. Độ dài sẽ là số từ của câu đầu vào dài nhất.

Ví dụ: áp dụng phần đệm 13 cho mã thông báo đầu vào và đầu ra của chúng tôi sẽ cho kết quả sau:

[6, 330, 537, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0] # How Are You
[420, 775, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0] # Amek tettiliḍ

###Đào tạo người mẫu

Với dữ liệu đã được chuẩn bị, chúng tôi có thể tiến hành đào tạo mô hình dịch máy của mình. Chúng tôi chia dữ liệu thành các tập huấn luyện và xác nhận. Tập huấn luyện được sử dụng để cập nhật các tham số của mô hình trong quá trình huấn luyện, trong khi tập xác thực giúp chúng tôi theo dõi hiệu suất của mô hình và ngăn chặn tình trạng trang bị quá mức.

Đào tạo mạng lưới thần kinh

Trong quá trình đào tạo, chúng tôi cung cấp cho mô hình các câu nguồn (tiếng Anh) làm đầu vào và các câu đích tương ứng (Tamazight) làm đầu ra mong muốn. Mô hình tạo ra các dự đoán cho các câu mục tiêu, từng từ một, dựa trên các chuỗi đầu vào. Những dự đoán này được so sánh với các chuỗi mục tiêu thực tế bằng cách sử dụng hàm mất mát, chẳng hạn như entropy chéo phân loại.

Cập nhật tham số và lan truyền ngược

Thông qua quá trình lan truyền ngược, mô hình tính toán độ dốc tổn thất theo các tham số của nó. Các gradient này cho biết hướng và cường độ cập nhật tham số cần thiết để giảm thiểu tổn thất. Thuật toán tối ưu hóa, chẳng hạn như thuật toán giảm độ dốc ngẫu nhiên (SGD) hoặc Adam, sử dụng các độ dốc này để cập nhật lặp đi lặp lại các tham số của mô hình, giúp dự đoán chính xác hơn theo thời gian

####Đào tạo lặp đi lặp lại

Quá trình huấn luyện diễn ra lặp đi lặp lại qua nhiều kỷ nguyên. Trong mỗi kỷ nguyên, mô hình sẽ xem xét toàn bộ tập dữ liệu huấn luyện, cập nhật các tham số và tinh chỉnh sự hiểu biết của nó về các mẫu dịch. Bằng cách lặp lại quá trình này, mô hình ngày càng trở nên thành thạo trong việc tạo ra các bản dịch chính xác.

Xác nhận và đánh giá

Trong suốt quá trình đào tạo, chúng tôi đánh giá định kỳ hiệu suất của mô hình trên bộ xác thực. Đánh giá này giúp chúng tôi theo dõi tiến độ của mô hình và thực hiện các điều chỉnh nếu cần thiết. Chúng tôi có thể sử dụng các số liệu như BLEU (Nghiên cứu Đánh giá Song ngữ) để đánh giá chất lượng bản dịch và so sánh chúng với các bản dịch tham khảo.

Triển khai

Khi mô hình được đào tạo và đánh giá, nó đã sẵn sàng để triển khai. TensorFlow cung cấp một số tùy chọn để triển khai các mô hình dịch máy, bao gồm TensorFlow Serve, TensorFlow Lite và TensorFlow.js. TensorFlow Serve cho phép phân phối mô hình thông qua API REST, cho phép tích hợp dễ dàng với các ứng dụng khác. TensorFlow Lite cho phép chạy mô hình trên thiết bị di động với nguồn lực hạn chế. TensorFlow.js cho phép triển khai trong trình duyệt web, giúp người dùng có thể truy cập bản dịch trực tiếp trên các trang web.

Bạn cũng có thể sử dụng khung web như FastAPI để xây dựng API REST.

Bạn cũng có thể xem bài viết của chúng tôi về cách triển khai mô hình học máy của bạn để biết thêm chi tiết.

Cải tiến liên tục

Xây dựng mô hình dịch máy là một quá trình lặp đi lặp lại. Giám sát phản hồi của người dùng, thu thập dữ liệu bổ sung và tinh chỉnh mô hình thông qua cập nhật thường xuyên là điều cần thiết để cải tiến liên tục. Tính linh hoạt và khả năng mở rộng của TensorFlow giúp việc điều chỉnh mô hình phù hợp với các yêu cầu ngày càng phát triển và ngôn ngữ mới dễ dàng hơn.