Gradientni spust

Uvod

Predstavljajte si, da imamo funkcijo $f(x)$ in bi radi našli njen minimum. Kaj bi naredil?

Preprosto kajne? Rešiti moramo samo naslednjo enačbo:

$f'(x) = 0$

Stvar je v tem, da iskanje formule $f'$ ni vedno enostavno, saj so ponavadi izjemno zapletene, zlasti pri globokem učenju, kjer imamo opravka s kompleksnimi funkcijami. Zato moramo najti drugo metodo, ki nam lahko zagotovi minimum funkcije, ne da bi bilo treba najti formulo odvoda $f'$.

Razvijmo nekaj intuicije

Recimo, da imamo funkcijo f z ustreznim grafom:

Začnimo z naključno točko $x_{0}$. Cilj je premakniti to točko in jo vse bolj približati $x*$, tako da je $f'($x*$) = 0$. Torej lahko problem razdelimo na dva dela:

• V katero smer naj premaknemo točko $x$? Levo ali desno ?

• Koliko naj ga premaknemo?

Smer

Razvijmo nekaj intuicije, da bi odgovorili na prvo vprašanje. Oglejte si naslednjo točko:

Upoštevajte to:

• ko je točka $x_{0}$ desno od optimalne točke $x*$, gre njena tangenta navzgor.

• ko je točka $x_{0}$ desno od optimalne točke $x*$, gre njena tangenta navzdol.

Smer črte je določena z znakom njenega naklona:

• Črta gre navzgor $\implies$, da je naklon $a$ pozitiven.

• Premica gre navzdol $\implies$, da je naklon $a$ negativen.

Upoštevajte, da: \

Naklon tangente funkcije v določeni točki $x_{0}$ ni večji od odvoda v tej točki $f'(x_{0})$:

$tangent(x*{0}): g(x) = f'(x*{0}).(x-x*{0}) + f(x*{0})$

Kot odgovor na vprašanje "Kam naj premaknemo $x_{0}$?":

• $f'(x_{0}) < 0$ $\implies$ $x_{0}$ desno od $x*$ $\implies$ $x_{0}$ moramo premakniti v levo.

• $f'(x_{0}) > 0$ $\implies$ $x_{0}$ levo od $x*$ $\implies$ $x_{0}$ moramo premakniti v desno.

Koraki

Zdaj pa drugo vprašanje, Koliko naj premaknemo $x_{0}$?

Oglejte si naslednje primere:

Lahko sklepamo, da:

• $x_{0}$ je blizu $x*$ => Naklon tangente je majhen => $f'(x_{0})$ je majhen.

• $x_{0}$ je oddaljen od $x*$ => Naklon tangente je velik => $f'(x_{0})$ je velik.

Z odgovorom na obe vprašanji smo ugotovili, da nam le poznavanje odvoda v točki $x_{0}$ lahko da veliko vpogleda v smer in oddaljenost optimalne točke $x_{0}$.

Gradientni spust

Gradientni spust je formulacija odgovorov na prejšnji dve vprašanji. To je optimizacijski iterativni algoritem, ki približa najmanj $x*$ funkcije, začenši z naključno začetno točko $x_{0}$. Algoritem je naveden kot sledi:

$x*{n+1} = x*{n} - lr \times \frac{\mathrm{d} f}{\mathrm{d} x\_{n}}$

kje:

• $\frac{\mathrm{d} f}{\mathrm{d} x*{n}}$ ni več kot odvod $f$ v točki $x*{n}$.

• $lr$ je pozitivna konstanta, ki določa, kako veliki bodo koraki.

Upoštevajte, da:

• $x_{n}$ je desno od $x*$ => $\frac{\mathrm{d} f}{\mathrm{d} x_{n}} > 0$ => $x_{n+ 1} = x_{n} - pozitivni$ => $x_{n}$ se premakne v levo.

• $x_{n}$ je levo od $x*$ => $\frac{\mathrm{d} f}{\mathrm{d} x_{n}} < 0$ => $x*{n +1} = x*{n} + pozitivno$ => $x_{n}$ se premakne v desno.

• $x_{n}$ blizu $x*$ => $\frac{\mathrm{d} f}{\mathrm{d} x_{n}}$ blizu $0$ => Majhna posodobitev na $x_{ n}$.

Kviz

• Kdaj se gradientni spust preneha ponavljati:

• Ko je $x_{n}$ dovolj majhen.

• Ko je $x_{n}$ blizu $x_{0}$.

• Ko je $\frac{\mathrm{d} f}{\mathrm{d} x\_{n}} = 0$. XXX

• Kako izberemo $x_{0}$:

• Izberemo ga naključno. XXX

• Vzamemo ga v bližini $x{n}$.

• Odvisno od problema.

• Zakaj potrebujemo gradientni spust:

• Ker računalniki niso dovolj zmogljivi za izračun derivatov.

• Ker je izredno težko najti formule izpeljank modelov globokega učenja. XXX

• Ker imajo funkcije več kot en lokalni minimum.