Gradientni spust in stohastični gradientni spust (SGD) sta optimizacijska algoritma, ki se uporabljata za minimiziranje funkcije, običajno povezana z minimiziranjem napake v modelu.
Glavne razlike med obema so naslednje:
Gradient Descent (GD)
-
Pri standardnem gradientnem spuščanju algoritem izračuna gradient stroškovne funkcije z uporabo celotnega nabora podatkov za usposabljanje.
-
Posodablja parametre modela s koraki, ki so sorazmerni negativu gradienta celotnega nabora podatkov.
-
Ta metoda zagotavlja minimalno konvergenco (pod določenimi pogoji, kot sta konveksnost in ustrezne stopnje učenja), vendar je lahko računsko draga za velike nabore podatkov.
Stohastični gradientni spust (SGD)
-
Pri stohastičnem gradientnem spuščanju algoritem posodobi parametre modela z uporabo gradienta stroškovne funkcije za vsak posamezen primer usposabljanja.
-
Izvaja pogoste posodobitve na podlagi posameznih ali majhnih serij primerov usposabljanja, zaradi česar je veliko hitrejši od gradientnega spuščanja za velike nabore podatkov.
-
Vendar ima SGD zaradi svojih šumnih posodobitev več nihanj in ni nujno, da konvergira na absolutni minimum; konvergira v območje blizu minimuma in niha okoli njega.
Kdaj uporabiti enega nad drugim:
-
Gradient Descent (GD): Primerno je, ko je nabor podatkov razmeroma majhen in se lahko prilega pomnilniku. Če je stroškovna funkcija gladka in se dobro obnaša, lahko GD učinkovito konvergira na minimum.
-
Stohastični gradientni spust (SGD): zaželen je pri opravku z velikimi nabori podatkov, kjer postane računanje gradientov za celoten nabor podatkov računsko drago. Uporaben je tudi v scenarijih, kjer ima stroškovna funkcija veliko lokalnih minimumov, saj lahko šum SGD pri posodobitvah pomaga ubežati plitvim lokalnim minimumom. Poleg tega se SGD pogosto uporablja pri usposabljanju nevronskih mrež zaradi njihovih obsežnih naborov podatkov in visokodimenzionalnih prostorov parametrov.
Poleg tega se v praksi pogosto uporabljajo različice, kot je mini-paketni gradientni spust, ki uravnoteži prednosti tako GD kot SGD z upoštevanjem podnabora podatkov za vsako posodobitev. Izbira med temi algoritmi je pogosto odvisna od računalniških virov, velikosti nabora podatkov in značilnosti specifičnega problema.
