Gradiënt-afkoms en stogastiese gradiënt-afkoms (SGD) is optimeringsalgoritmes wat gebruik word om 'n funksie te minimaliseer, wat tipies geassosieer word met die vermindering van die fout in 'n model.
Die primêre verskille tussen die twee is die volgende:
Gradient-afkoms (GD)
-
In standaard gradiënt afkoms, die algoritme bereken die gradiënt van die koste funksie met behulp van die hele opleiding datastel.
-
Dit werk die modelparameters op deur stappe te neem wat eweredig is aan die negatiewe van die gradiënt van die hele datastel.
-
Hierdie metode waarborg konvergensie tot die minimum (gegewe sekere toestande soos konveksiteit en toepaslike leertempo's), maar kan rekenkundig duur wees vir groot datastelle.
Stogastiese Gradiënt Descent (SGD)
-
In stogastiese gradiënt afkoms, werk die algoritme die modelparameters op deur die gradiënt van die kostefunksie vir elke individuele opleidingsvoorbeeld te gebruik.
-
Dit maak gereelde opdaterings gebaseer op enkele of klein groepe opleidingsvoorbeelde, wat dit baie vinniger maak as gradiëntafkoms vir groot datastelle.
-
As gevolg van sy lawaaierige opdaterings, het SGD egter meer fluktuasies en konvergeer nie noodwendig tot die absolute minimum nie; dit konvergeer na 'n area naby aan die minimum en ossilleer daaromheen.
Wanneer om die een oor die ander te gebruik:
-
Gradient Descent (GD): Dit is geskik wanneer die datastel relatief klein is en in die geheue kan pas. As die kostefunksie glad en goed gedra is, kan GD doeltreffend tot die minimum konvergeer.
-
Stogastiese Gradient Descent (SGD): Dit is verkieslik wanneer met groot datastelle te doen het waar rekenaargradiënte vir die hele datastel rekenaarmatig duur word. Dit is ook nuttig in scenario's waar die kostefunksie baie plaaslike minima het, aangesien SGD se geraas in opdaterings kan help om vlak plaaslike minima te ontsnap. Verder word SGD algemeen gebruik in die opleiding van neurale netwerke as gevolg van hul groot datastelle en hoë-dimensionele parameterruimtes.
Boonop word variasies soos mini-batch gradiënt afkoms, wat die voordele van beide GD en SGD balanseer deur 'n subset van die data vir elke opdatering in ag te neem, dikwels in die praktyk gebruik. Die keuse tussen hierdie algoritmes hang dikwels af van rekenaarhulpbronne, datastelgrootte en die spesifieke probleem se kenmerke.
