Tự chú ý là một cơ chế cơ bản được sử dụng trong mạng thần kinh, đặc biệt nổi bật trong các mô hình máy biến áp, cho phép chúng xử lý dữ liệu tuần tự một cách hiệu quả. Nó cho phép mô hình cân nhắc các từ hoặc phần tử khác nhau trong một chuỗi theo cách khác, tập trung nhiều hơn vào các phần có liên quan trong quá trình tính toán.
Các thành phần của sự chú ý đến bản thân
-
Truy vấn, Khóa và Giá trị: Trong sự tự chú ý, chuỗi đầu vào được chuyển đổi thành ba vectơ: Truy vấn, Khóa và Giá trị. Các vectơ này được lấy từ chuỗi đầu vào thông qua các phép biến đổi tuyến tính, tạo ra các thành phần này sẽ được sử dụng để tính điểm chú ý.
-
Điểm chú ý: Sau khi thu được các vectơ này, điểm chú ý được tính bằng cách đo độ tương tự giữa vectơ truy vấn và vectơ chính * của tất cả các phần tử trong chuỗi*. Việc này thường được thực hiện bằng cách sử dụngtích phẩm dấu chấm, sau đó làchia tỷ lệvà áp dụnghàm softmax để nhận được trọng số chú ý cho từng phần tử.
-
Tổng có trọng số: trọng số chú ý thu được được dùng để cân các vectơ Giá trị. Tổng có trọng số của các giá trị này, dựa trên trọng số chú ý tương ứng của chúng, mang lại đầu ra của lớp tự chú ý.
-
Chú ý nhiều đầu: Để nắm bắt các mối quan hệ khác nhau giữa các từ hoặc thành phần, nhiều bộ biến đổi Truy vấn, Khóa và Giá trị được thực hiện song song, dẫn đến nhiều bộ trọng số chú ý và vectơ đầu ra. Sau đó, chúng được nối và chuyển đổi lại để thu được kết quả cuối cùng.
Tạo điều kiện thuận lợi cho việc học các phụ thuộc tầm xa
Tính năng tự chú ý vượt trội trong việc nắm bắt các yếu tố phụ thuộc tầm xa theo trình tự nhờ khả năng mô hình hóa trực tiếp các tương tác giữa tất cả các phần tử trong trình tự. Các kiến trúc truyền thống như mạng thần kinh tái phát (RNN) gặp phải các vấn đề biến mất hoặc bùng nổ về độ dốc, hạn chế khả năng tìm hiểu các phụ thuộc tầm xa. Mặt khác, khả năng tự chú ý có thể nắm bắt được mối quan hệ giữa các từ hoặc thành phần ở xa nhau mà không gặp những vấn đề này, giúp việc hiểu ngữ cảnh và các mối quan hệ trong trình tự trở nên hiệu quả hơn.
Ưu điểm so với kiến trúc truyền thống
-
Song song: Tính năng tự chú ý cho phép tính toán song song điểm chú ý cho tất cả các phần tử trong một chuỗi, khiến quá trình này hiệu quả hơn so với xử lý tuần tự trong RNN.
-
Các phần phụ thuộc tầm xa: Không giống như RNN, vốn gặp khó khăn trong việc nắm bắt các phần phụ thuộc trong khoảng cách xa do tính chất tuần tự của chúng, khả năng tự chú ý có thể nắm bắt các phần phụ thuộc này một cách hiệu quả.
-
Giảm độ dài đường dẫn: Tự chú ý kết nối trực tiếp tất cả các phần tử trong một chuỗi, giảm độ dài đường dẫn giữa các phần tử ở xa, cho phép luồng chuyển màu tốt hơn trong quá trình đào tạo.
Hạn chế và độ phức tạp tính toán
-
Độ phức tạp bậc hai: Sự tự chú ý bao gồm so sánh theo cặp giữa tất cả các phần tử trong một chuỗi, dẫn đến tăng bậc hai trong tính toán khi độ dài chuỗi tăng lên. Điều này có thể tốn kém về mặt tính toán đối với các chuỗi rất dài.
-
Yêu cầu về bộ nhớ: Máy biến áp, do có cơ chế tự chú ý nên thường yêu cầu nhiều bộ nhớ hơn so với các kiến trúc đơn giản hơn như CNN hoặc RNN.
-
Mặt nạ chú ý: Xử lý các chuỗi có độ dài thay đổi yêu cầu sử dụng mặt nạ chú ý để xử lý phần đệm, điều này có thể làm tăng thêm độ phức tạp cho mô hình và quy trình đào tạo.
Bất chấp những hạn chế này, tự chú ý đã được chứng minh là một cơ chế có hiệu quả cao trong các nhiệm vụ xử lý ngôn ngữ tự nhiên và nghiên cứu đang diễn ra nhằm giải quyết sự phức tạp trong tính toán của nó để đạt được hiệu quả và khả năng mở rộng tốt hơn nữa.
