Gradient sestup a stochastický gradient sestup (SGD) jsou optimalizační algoritmy používané k minimalizaci funkce, obvykle spojené s minimalizací chyby v modelu.
Primární rozdíly mezi těmito dvěma jsou následující:
Gradient sestup (GD)
-
Ve standardním gradientním sestupu algoritmus počítá gradient nákladové funkce za použití celé trénovací datové sady.
-
Aktualizuje parametry modelu provedením kroků úměrných záporu gradientu celé datové sady.
-
Tato metoda zaručuje konvergenci na minimum (za určitých podmínek, jako je konvexita a vhodná rychlost učení), ale pro velké soubory dat může být výpočetně nákladná.
Stochastic Gradient Descent (SGD)
-
Při sestupu stochastického gradientu algoritmus aktualizuje parametry modelu pomocí gradientu nákladové funkce pro každý jednotlivý příklad školení.
-
Provádí časté aktualizace na základě jednotlivých nebo malých dávek tréninkových příkladů, díky čemuž je mnohem rychlejší než gradientní sestup pro velké datové sady.
-
Nicméně díky svým hlučným aktualizacím má SGD více kolísání a nemusí nutně konvergovat k absolutnímu minimu; konverguje do oblasti blízké minimu, osciluje kolem něj.
Kdy použít jednu přes druhou:
-
Gradient Descent (GD): Je vhodný, když je datová sada relativně malá a vejde se do paměti. Pokud je nákladová funkce hladká a dobře se chová, může GD efektivně konvergovat na minimum.
-
Stochastic Gradient Descent (SGD): Je vhodnější, když zabýváte se velkými datovými soubory, kde je výpočet gradientů pro celý datový soubor výpočetně nákladný. Je to také užitečné ve scénářích, kde má nákladová funkce mnoho místních minim, protože šum SGD v aktualizacích může pomoci uniknout mělkým místním minimům. Kromě toho se SGD běžně používá při trénování neuronových sítí kvůli jejich rozsáhlým datovým sadám a vysokorozměrným prostorům parametrů.
Navíc se v praxi často používají varianty, jako je minidávkový gradient sestup, který vyvažuje výhody GD i SGD tím, že zvažuje podmnožinu dat pro každou aktualizaci. Volba mezi těmito algoritmy často závisí na výpočetních zdrojích, velikosti datové sady a vlastnostech konkrétního problému.
