Gradiento nusileidimas ir stochastinis gradiento nusileidimas (SGD) yra optimizavimo algoritmai, naudojami funkcijai sumažinti, paprastai siejami su modelio klaidos sumažinimu.
Pagrindiniai skirtumai tarp šių dviejų yra šie:
Nulipimas gradientu (GD)
-
Esant standartiniam gradiento nusileidimui, algoritmas apskaičiuoja kainos funkcijos gradientą naudodamas visą mokymo duomenų rinkinį.
-
Jis atnaujina modelio parametrus, imdamasis veiksmų, proporcingų viso duomenų rinkinio gradiento neigiamam vertei.
-
Šis metodas garantuoja konvergenciją iki minimumo (atsižvelgiant į tam tikras sąlygas, pvz., išgaubimą ir atitinkamą mokymosi greitį), tačiau gali būti brangus didelių duomenų rinkinių skaičiavimas.
Stochastinis gradiento nusileidimas (SGD)
-
Stochastinio gradiento nusileidimo atveju algoritmas atnaujina modelio parametrus naudodamas kiekvieno individualaus mokymo pavyzdžio kaštų funkcijos gradientą.
-
Jis dažnai atnaujinamas pagal vieną ar mažą mokymo pavyzdžių partiją, todėl tai daug greitesnis nei didelių duomenų rinkinių nusileidimas gradientu.
-
Tačiau dėl triukšmingų atnaujinimų SGD turi daugiau svyravimų ir nebūtinai artėja prie absoliutaus minimumo; jis susilieja į plotą, artimą minimumui, svyruodamas aplink jį.
Kada naudoti vieną prieš kitą:
-
Gradiento nusileidimas (GD): tinka kai duomenų rinkinys yra palyginti mažas ir gali tilpti į atmintį. Jei sąnaudų funkcija yra sklandi ir gerai veikia, GD gali efektyviai susilyginti iki minimumo.
-
Stochastinis gradiento nusileidimas (SGD): pageidautina, kai dirbate su dideliais duomenų rinkiniais, kai viso duomenų rinkinio gradientų skaičiavimas tampa brangus. Tai taip pat naudinga tais atvejais, kai sąnaudų funkcija turi daug vietinių minimumų, nes SGD triukšmas atnaujinimuose gali padėti išvengti seklių vietinių minimumų. Be to, SGD yra dažniausiai naudojamas treniruojant neuroninius tinklus dėl jų didžiulių duomenų rinkinių ir didelių parametrų erdvių.
Be to, praktikoje dažnai naudojami variantai, tokie kaip mini-paketinis gradiento nusileidimas, kuris subalansuoja GD ir SGD naudą, atsižvelgiant į kiekvieno atnaujinimo duomenų poaibį. Pasirinkimas tarp šių algoritmų dažnai priklauso nuo skaičiavimo išteklių, duomenų rinkinio dydžio ir konkrečios problemos ypatybių.
