Gradientni spust

Uvod

Predstavljajte si, da imamo funkcijo $f(x)$ in bi radi našli njen minimum. Kaj bi naredil?

Preprosto kajne? Rešiti moramo samo naslednjo enačbo:

$f'(x) = 0$

Stvar je v tem, da iskanje formule $f'$ ni vedno enostavno, saj so ponavadi izjemno zapletene, zlasti pri globokem učenju, kjer imamo opravka s kompleksnimi funkcijami. Zato moramo najti drugo metodo, ki nam lahko zagotovi minimum funkcije, ne da bi bilo treba najti formulo odvoda $f'$ .

Razvijmo nekaj intuicije

Recimo, da imamo funkcijo f z ustreznim grafom:

Začnimo z naključno točko $x_{0}$ . Cilj je premakniti to točko in jo vse bolj približati $x*$ , tako da je $f'($ x* $) = 0$ . Torej lahko problem razdelimo na dva dela:

V katero smer naj premaknemo točko $x$ ? Levo ali desno ?
Koliko naj ga premaknemo?

Smer

Razvijmo nekaj intuicije, da bi odgovorili na prvo vprašanje. Oglejte si naslednjo točko:

Upoštevajte to:

ko je točka $x_{0}$ desno od optimalne točke $x*$ , gre njena tangenta navzgor.
ko je točka $x_{0}$ desno od optimalne točke $x*$ , gre njena tangenta navzdol.

Smer črte je določena z znakom njenega naklona:

Črta gre navzgor $\implies$ , da je naklon $a$ pozitiven.
Premica gre navzdol $\implies$ , da je naklon $a$ negativen.

Upoštevajte, da: \

Naklon tangente funkcije v določeni točki $x_{0}$ ni večji od odvoda v tej točki $f'(x_{0})$ :

$tangent(x*{0}): g(x) = f'(x*{0}).(x-x*{0}) + f(x*{0})$

Kot odgovor na vprašanje "Kam naj premaknemo $x_{0}$ ?":

$f'(x_{0}) < 0$ $\implies$ $x_{0}$ desno od $x*$ $\implies$ $x_{0}$ moramo premakniti v levo.
$f'(x_{0}) > 0$ $\implies$ $x_{0}$ levo od $x*$ $\implies$ $x_{0}$ moramo premakniti v desno.

Koraki

Zdaj pa drugo vprašanje, Koliko naj premaknemo $x_{0}$ ?

Oglejte si naslednje primere:

Lahko sklepamo, da:

$x_{0}$ je blizu $x*$ => Naklon tangente je majhen => $f'(x_{0})$ je majhen.
$x_{0}$ je oddaljen od $x*$ => Naklon tangente je velik => $f'(x_{0})$ je velik.

Z odgovorom na obe vprašanji smo ugotovili, da nam le poznavanje odvoda v točki $x_{0}$ lahko da veliko vpogleda v smer in oddaljenost optimalne točke $x_{0}$ .