Ang Gradient descent at stochastic gradient descent (SGD) ay mga optimization algorithm na ginagamit upang minimize ang isang function, na karaniwang nauugnay sa pagliit ng error sa isang modelo.
Ang pangunahing pagkakaiba sa pagitan ng dalawa ay ang mga sumusunod:
Gradient Descent (GD)
-
Sa karaniwang gradient descent, kino-compute ng algorithm ang gradient ng cost function gamit ang buong dataset ng pagsasanay.
-
Ina-update nito ang mga parameter ng modelo sa pamamagitan ng pagsasagawa ng mga hakbang na proporsyonal sa negatibo ng gradient ng buong dataset.
-
Ginagarantiyahan ng paraang ito ang convergence sa pinakamababa (ibinigay ang ilang partikular na kundisyon tulad ng convexity at naaangkop na mga rate ng pagkatuto) ngunit maaaring magastos sa computation para sa malalaking dataset.
Stochastic Gradient Descent (SGD)
-
Sa stochastic gradient descent, ina-update ng algorithm ang mga parameter ng modelo gamit ang gradient ng cost function para sa bawat indibidwal na halimbawa ng pagsasanay.
-
Gumagawa ito ng madalas na pag-update batay sa isa o maliliit na batch ng mga halimbawa ng pagsasanay, na ginagawa itong mas mabilis kaysa sa gradient descent para sa malalaking dataset.
-
Gayunpaman, dahil sa maingay na mga update nito, ang SGD ay may mas maraming pagbabagu-bago at hindi kinakailangang mag-converge sa absolute minimum; ito ay nagtatagpo sa isang lugar na malapit sa pinakamaliit, umiikot sa paligid nito.
Kailan gagamitin ang isa sa iba:
-
Gradient Descent (GD): Ito ay angkop kapag medyo maliit ang dataset at maaaring magkasya sa memorya. Kung maayos at maayos ang paggana ng gastos, mahusay na makakapag-converge ang GD sa pinakamababa.
-
Stochastic Gradient Descent (SGD): Mas mainam kapag nakikitungo sa malalaking dataset kung saan nagiging computationally mahal ang mga computing gradient para sa buong dataset. Kapaki-pakinabang din ito sa mga sitwasyon kung saan ang function ng gastos ay maraming lokal na minima, dahil ang ingay ng SGD sa mga update ay maaaring makatulong na makatakas sa mababaw na lokal na minima. Higit pa rito, ang SGD ay karaniwang ginagamit sa pagsasanay ng mga neural network dahil sa kanilang malawak na mga dataset at high-dimensional na mga parameter space.
Bukod dito, kadalasang ginagamit sa pagsasanay ang mga variation gaya ng mini-batch gradient descent, na nagbabalanse sa mga benepisyo ng GD at SGD sa pamamagitan ng pagsasaalang-alang sa isang subset ng data para sa bawat update. Ang pagpili sa pagitan ng mga algorithm na ito ay kadalasang nakadepende sa mga mapagkukunan ng computational, laki ng dataset, at mga katangian ng partikular na problema.
