Chính quy hóa đề cập đến một tập hợp các kỹ thuật được sử dụng để ngăn chặn việc trang bị quá mức và cải thiện tính tổng quát hóa của một mô hình. Quá khớp xảy ra khi một mô hình học dữ liệu huấn luyện quá tốt, thu được nhiễu và các chi tiết cụ thể không áp dụng cho dữ liệu mới, chưa được nhìn thấy. Việc chính quy hóa giúp kiểm soát điều này bằng cách thêm thuật ngữ phạt vào hàm mục tiêu của mô hình, không khuyến khích các mô hình quá phức tạp.
Hai loại chính quy phổ biến là chính quy L1 và L2:
Chính quy hóa L1 (Hồi quy Lasso):
-
Chính quy hóa L1 thêm một số hạng phạt vào hàm chi phí bằng giá trị tuyệt đối của các hệ số của mô hình.
-
Nó khuyến khích tính thưa thớt trong mô hình bằng cách thu gọn một số hệ số về chính xác bằng 0, thực hiện lựa chọn tính năng một cách hiệu quả.
-
Mô hình kết quả đơn giản và dễ diễn giải hơn vì nó chỉ chọn những đặc điểm quan trọng nhất trong khi loại bỏ những đặc điểm ít liên quan hơn.
Chính quy hóa L2 (Hồi quy sườn):
-
Chính quy hóa L2 thêm một số hạng phạt vào hàm chi phí bằng độ lớn bình phương của các hệ số của mô hình.
-
Nó có xu hướng thu nhỏ các hệ số của các tính năng ít quan trọng hơn về 0, nhưng hiếm khi đặt chúng chính xác về 0.
-
Chính quy hóa L2 có hiệu quả trong việc ngăn chặn việc trang bị quá mức bằng cách xử phạt các trọng số lớn và do đó, làm giảm độ phức tạp của mô hình.
Cả hai kỹ thuật chính quy hóa L1 và L2 đều giúp giảm thiểu việc trang bị quá mức và cải thiện khả năng khái quát hóa của mô hình đối với dữ liệu không nhìn thấy được. Sự lựa chọn giữa chính quy hóa L1 và L2 thường phụ thuộc vào vấn đề cụ thể, bản chất của các tính năng và kết quả mong muốn. Chính quy hóa Lasso (L1), với thuộc tính lựa chọn tính năng của nó, được ưu tiên khi có nhu cầu xác định các tính năng phù hợp nhất. Chính quy hóa Ridge (L2) phù hợp khi tất cả các tính năng đều có khả năng quan trọng và ưu tiên giảm tác động của chúng mà không loại bỏ chúng hoàn toàn. Ngoài ra, có thể sử dụng sự kết hợp của cả hai kỹ thuật, được gọi là Chính quy hóa mạng đàn hồi, để tận dụng đồng thời cả chính quy hóa L1 và L2.
