Trang bị quá mức và thiếu trang bị là những vấn đề phổ biến trong các mô hình học máy ảnh hưởng đến khả năng khái quát hóa tốt các dữ liệu mới, chưa được nhìn thấy.
Overfitting xảy ra khi một mô hình không chỉ học các mẫu cơ bản trong dữ liệu huấn luyện mà còn tìm hiểu tiếng ồn và các biến động ngẫu nhiên có trong dữ liệu đó. Kết quả là, mô hình hoạt động cực kỳ tốt trên dữ liệu huấn luyện nhưng không thể khái quát hóa thành dữ liệu mới, chưa được nhìn thấy vì về cơ bản nó đã ghi nhớ tập huấn luyện.
Mặt khác, việc trang bị không đầy đủ xảy ra khi một mô hình quá đơn giản để nắm bắt được các mẫu cơ bản trong dữ liệu huấn luyện. Nó hoạt động kém không chỉ trên dữ liệu huấn luyện mà còn trên dữ liệu mới vì nó không tìm hiểu được các mối quan hệ và độ phức tạp có trong dữ liệu.
Cách ngăn ngừa overfitting và underfitting
-
Xác thực chéo: Sử dụng các kỹ thuật như xác thực chéo k-fold để đánh giá hiệu suất của mô hình trên các tập hợp con dữ liệu khác nhau. Nó giúp ước tính mức độ khái quát của mô hình đối với dữ liệu mới.
-
Tách thử nghiệm đào tạo: Chia dữ liệu của bạn thành các tập huấn luyện và kiểm tra riêng biệt. Huấn luyện mô hình trên tập huấn luyện và đánh giá hiệu suất của nó trên tập thử nghiệm. Điều này giúp đánh giá mức độ khái quát của mô hình đối với dữ liệu chưa được nhìn thấy.
-
Lựa chọn/rút gọn tính năng: Giảm độ phức tạp của mô hình bằng cách chỉ chọn các tính năng phù hợp nhất hoặc sử dụng các kỹ thuật như phân tích thành phần chính (PCA) để giảm tính chiều của dữ liệu.
-
Chính quy hóa: Các kỹ thuật như chính quy hóa L1 hoặc L2 bổ sung các hình phạt về độ phức tạp cho hàm mục tiêu của mô hình, ngăn không cho mô hình khớp quá chặt với nhiễu trong dữ liệu.
-
Phương pháp tập hợp: Kết hợp nhiều mô hình để giảm thiểu việc trang bị quá mức và thiếu trang bị. Các kỹ thuật như đóng bao, tăng cường hoặc xếp chồng sử dụng nhiều mô hình để cải thiện hiệu suất tổng thể và tính tổng quát.
-
Điều chỉnh siêu tham số: Điều chỉnh siêu tham số của mô hình (như tốc độ học, độ sâu của cây trong cây quyết định, v.v.) bằng cách sử dụng các kỹ thuật như tìm kiếm lưới hoặc tìm kiếm ngẫu nhiên để tìm cấu hình tối ưu cân bằng độ lệch và phương sai.
-
Dừng sớm: Giám sát hiệu suất của mô hình trên tập xác thực trong quá trình đào tạo và dừng quá trình đào tạo khi hiệu suất bắt đầu suy giảm, do đó ngăn ngừa tình trạng trang bị quá mức.
-
Thêm dữ liệu: Việc tăng lượng dữ liệu có thể giúp mô hình khái quát hóa tốt hơn bằng cách cung cấp mẫu phân bổ cơ bản đa dạng và mang tính đại diện hơn.
Việc tìm ra sự cân bằng phù hợp giữa độ phức tạp của mô hình và tính tổng quát hóa là rất quan trọng trong việc ngăn ngừa việc trang bị quá mức và không phù hợp, và những kỹ thuật này giúp đạt được sự cân bằng đó.
