Gradient descent og stochastic gradient descent (SGD) er optimeringsalgoritmer, der bruges til at minimere en funktion, typisk forbundet med at minimere fejlen i en model.
De primære forskelle mellem de to er følgende:
Gradient Descent (GD)
-
I standard gradient descent beregner algoritmen gradienten af omkostningsfunktionen ved hjælp af hele træningsdatasættet.
-
Det opdaterer modelparametrene ved at tage skridt proportionalt med det negative af gradienten af hele datasættet.
-
Denne metode garanterer konvergens til et minimum (under visse forhold som konveksitet og passende indlæringshastigheder), men kan være beregningsmæssigt dyr for store datasæt.
Stokastisk gradientnedstigning (SGD)
-
Ved stokastisk gradientnedstigning opdaterer algoritmen modelparametrene ved hjælp af gradienten af omkostningsfunktionen for hvert individuelt træningseksempel.
-
Den laver hyppige opdateringer baseret på enkelte eller små grupper af træningseksempler, hvilket gør den meget hurtigere end gradientnedstigning for store datasæt.
-
Men på grund af dens støjende opdateringer, har SGD flere udsving og konvergerer ikke nødvendigvis til det absolutte minimum; det konvergerer til et område tæt på minimum, oscillerende omkring det.
Hvornår skal man bruge den ene frem for den anden:
-
Gradient Descent (GD): Det er velegnet når datasættet er relativt lille og kan passe ind i hukommelsen. Hvis omkostningsfunktionen er glat og velopdragen, kan GD effektivt konvergere til minimum.
-
Stochastic Gradient Descent (SGD): Det er at foretrække, når man beskæftiger sig med store datasæt, hvor beregningsgradienter for hele datasættet bliver beregningsmæssigt dyrt. Det er også nyttigt i scenarier, hvor omkostningsfunktionen har mange lokale minima, da SGD's støj i opdateringer kan hjælpe med at undslippe overfladiske lokale minima. Desuden er SGD almindeligt brugt til træning af neurale netværk på grund af deres store datasæt og højdimensionelle parameterrum.
Desuden bruges variationer såsom mini-batch gradient descent, som balancerer fordelene ved både GD og SGD ved at overveje en delmængde af dataene for hver opdatering, ofte i praksis. Valget mellem disse algoritmer afhænger ofte af beregningsressourcer, datasætstørrelse og det specifikke problems karakteristika.
