Η κάθοδος κλίσης και η στοχαστική κάθοδος κλίσης (SGD) είναι αλγόριθμοι βελτιστοποίησης που χρησιμοποιούνται για την ελαχιστοποίηση μιας συνάρτησης, η οποία συνήθως σχετίζεται με την ελαχιστοποίηση του σφάλματος σε ένα μοντέλο.
Οι κύριες διαφορές μεταξύ των δύο είναι οι εξής:
Κάθοδος κλίσης (GD)
-
Στην τυπική κάθοδο κλίσης, ο αλγόριθμος υπολογίζει την κλίση της συνάρτησης κόστους χρησιμοποιώντας ολόκληρο το σύνολο δεδομένων εκπαίδευσης.
-
Ενημερώνει τις παραμέτρους του μοντέλου με βήματα ανάλογα με την αρνητική κλίση ολόκληρου του συνόλου των δεδομένων.
-
Αυτή η μέθοδος εγγυάται τη σύγκλιση στο ελάχιστο (με ορισμένες προϋποθέσεις όπως η κυρτότητα και οι κατάλληλοι ρυθμοί μάθησης) αλλά μπορεί να είναι υπολογιστικά δαπανηρή για μεγάλα σύνολα δεδομένων.
Στοχαστική κάθοδος κλίσης (SGD)
-
Στη στοχαστική κάθοδο κλίσης, ο αλγόριθμος ενημερώνει τις παραμέτρους του μοντέλου χρησιμοποιώντας την κλίση της συνάρτησης κόστους για κάθε μεμονωμένο παράδειγμα εκπαίδευσης.
-
Πραγματοποιεί συχνές ενημερώσεις με βάση μεμονωμένα ή μικρές παρτίδες παραδειγμάτων εκπαίδευσης, καθιστώντας την πολύ ταχύτερη από την κάθοδο κλίσης για μεγάλα σύνολα δεδομένων.
-
Ωστόσο, λόγω των θορυβωδών ενημερώσεων, η SGD έχει περισσότερες διακυμάνσεις και δεν συγκλίνει απαραίτητα στο απόλυτο ελάχιστο.
Πότε να χρησιμοποιήσετε το ένα έναντι του άλλου:
-
Κατάβαση κλίσης (GD): Είναι κατάλληλη όταν το σύνολο δεδομένων είναι σχετικά μικρό και μπορεί να χωρέσει στη μνήμη. Εάν η συνάρτηση κόστους είναι ομαλή και καλά συμπεριφερόμενη, η GD μπορεί να συγκλίνει αποτελεσματικά στο ελάχιστο.
-
Στοχαστική κάθοδος κλίσης (SGD): Είναι προτιμότερη όταν έχουμε να κάνουμε με μεγάλα σύνολα δεδομένων, όπου ο υπολογισμός των κλίσεων για ολόκληρο το σύνολο των δεδομένων γίνεται υπολογιστικά δαπανηρός. Είναι επίσης χρήσιμη σε σενάρια όπου η συνάρτηση κόστους έχει πολλά τοπικά ελάχιστα, καθώς ο θόρυβος της SGD στις ενημερώσεις μπορεί να βοηθήσει να ξεφύγετε από τα ρηχά τοπικά ελάχιστα. Επιπλέον, η SGD χρησιμοποιείται συνήθως στην εκπαίδευση νευρωνικών δικτύων λόγω των τεράστιων συνόλων δεδομένων και των υψηλών διαστάσεων χώρων παραμέτρων τους.
Επιπλέον, στην πράξη χρησιμοποιούνται συχνά παραλλαγές όπως η mini-batch gradient descent, η οποία εξισορροπεί τα πλεονεκτήματα τόσο της GD όσο και της SGD, εξετάζοντας ένα υποσύνολο των δεδομένων για κάθε ενημέρωση. Η επιλογή μεταξύ αυτών των αλγορίθμων εξαρτάται συχνά από τους υπολογιστικούς πόρους, το μέγεθος του συνόλου δεδομένων και τα χαρακτηριστικά του συγκεκριμένου προβλήματος.
