Giảm độ dốc và giảm độ dốc ngẫu nhiên (SGD) là thuật toán tối ưu hóa dùng để giảm thiểu hàm, thường liên quan đến việc giảm thiểu lỗi trong mô hình.
Sự khác biệt chính giữa hai là như sau:
Giảm dần độ dốc (GD)
-
Trong phương pháp giảm độ dốc tiêu chuẩn, thuật toán tính toán độ dốc của hàm chi phí sử dụng toàn bộ tập dữ liệu huấn luyện.
-
Nó cập nhật các tham số của mô hình bằng cách thực hiện các bước tỷ lệ với độ âm của gradient của toàn bộ tập dữ liệu.
-
Phương pháp này đảm bảo độ hội tụ ở mức tối thiểu (với một số điều kiện nhất định như độ lồi và tốc độ học phù hợp) nhưng có thể tốn kém về mặt tính toán đối với các tập dữ liệu lớn.
Giảm dần độ dốc ngẫu nhiên (SGD)
-
Trong phương pháp giảm độ dốc ngẫu nhiên, thuật toán cập nhật các tham số mô hình bằng cách sử dụng độ dốc của hàm chi phí cho từng ví dụ huấn luyện riêng lẻ.
-
Nó thực hiện cập nhật thường xuyên dựa trên các lô ví dụ đào tạo đơn lẻ hoặc nhỏ, giúp nhanh hơn nhiều so với việc giảm độ dốc đối với các tập dữ liệu lớn.
-
Tuy nhiên, do cập nhật ồn ào, SGD có nhiều biến động hơn và không nhất thiết phải hội tụ về mức tối thiểu tuyệt đối; nó hội tụ về một vùng gần cực tiểu và dao động xung quanh nó.
Khi nào nên sử dụng cái này hơn cái kia:
-
Gradient Descent (GD): Phù hợp khi tập dữ liệu tương đối nhỏ và có thể vừa với bộ nhớ. Nếu hàm chi phí trơn tru và hoạt động tốt, GD có thể hội tụ đến mức tối thiểu một cách hiệu quả.
-
Giảm dần độ dốc ngẫu nhiên (SGD): Sẽ thích hợp hơn khi xử lý các tập dữ liệu lớn trong đó việc tính toán gradient cho toàn bộ tập dữ liệu trở nên tốn kém về mặt tính toán. Nó cũng hữu ích trong các trường hợp trong đó hàm chi phí có nhiều cực tiểu cục bộ, vì nhiễu của SGD trong các bản cập nhật có thể giúp thoát khỏi cực tiểu cục bộ nông. Hơn nữa, SGD thường được sử dụng trong việc đào tạo mạng lưới thần kinh do có bộ dữ liệu khổng lồ và không gian tham số nhiều chiều.
Ngoài ra, các biến thể như giảm độ dốc hàng loạt, giúp cân bằng lợi ích của cả GD và SGD bằng cách xem xét một tập hợp con dữ liệu cho mỗi bản cập nhật, thường được sử dụng trong thực tế. Sự lựa chọn giữa các thuật toán này thường phụ thuộc vào tài nguyên tính toán, kích thước tập dữ liệu và đặc điểm của vấn đề cụ thể.
