Gradientný zostup

Úvod

Predstavme si, že máme funkciu $f(x)$ a chceli by sme nájsť jej minimum. Čo by si robil ?

Jednoduché že? Potrebujeme vyriešiť iba nasledujúcu rovnicu:

$f'(x) = 0$

Ide o to, že nájsť vzorec $f'$ nie je vždy ľahké, pretože má tendenciu byť extrémne komplikované, najmä v hlbokom učení, kde sa zaoberáme komplexnými funkciami. Musíme teda nájsť inú metódu, ktorá nám poskytne minimum funkcie bez toho, aby sme museli hľadať vzorec derivácie $f'$ .

Vybudujme trochu intuície

Predpokladajme, že máme funkciu f s príslušným grafom:

Začnime s náhodným bodom $x_{0}$ . Cieľom je posunúť tento bod a priblížiť ho k $x*$ tak, aby $f'($ x* $) = 0$ . Takže problém možno rozdeliť na dve časti:

Ktorým smerom by sme mali posunúť bod $x$ ? Ľavá alebo pravá ?
Koľko by sme to mali posunúť?

Smer

Budujme trochu intuície, aby sme odpovedali na prvú otázku. Pozrite sa na nasledujúci bod:

Poznač si to:

keď je bod $x_{0}$ napravo od optimálneho bodu $x*$ , jeho dotyčnica ide hore.
keď je bod $x_{0}$ napravo od optimálneho bodu $x*$ , jeho dotyčnica klesá.

Smer čiary je určený znamienkom jej sklonu:

Čiara stúpa $\implikuje$ sklon $a$ je pozitívny.
Čiara klesá $\implikuje$ sklon $a$ je negatívny.

Všimnite si, že: \

Sklon dotyčnice funkcie v určitom bode $x_{0}$ nie je väčší ako derivácia v tomto bode $f'(x_{0})$ :

$tangent(x*{0}): g(x) = f'(x*{0}).(x-x*{0}) + f(x*{0})$

Takže ako odpoveď na otázku "Kam by sme sa mali presunúť $x_{0}$ ?":

$f'(x_{0}) < 0$ $\implies$ $x_{0}$ napravo od $x*$ $\implies$ Musíme posunúť $x_{0}$ doľava.
$f'(x_{0}) > 0$ $\implies$ $x_{0}$ vľavo od $x*$ $\implies$ Potrebujeme presunúť $x_{0}$ doprava.

Kroky

Teraz druhá otázka: Koľko by sme mali presunúť x_{0} ?

Pozrite si nasledujúce príklady:

Môžeme konštatovať, že:

$x_{0}$ je blízko $x*$ => Sklon dotyčnice je malý => $f'(x_{0})$ je malý.
$x_{0}$ je vzdialené od $x*$ => Sklon dotyčnice je veľký => $f'(x_{0})$ je veľký.

Zodpovedaním oboch otázok sme dospeli k záveru, že iba znalosť derivácie v bode $x_{0}$ nám môže poskytnúť veľa informácií o smere a vzdialenosti optimálneho bodu $x_{0}$ .