Jaitsiera Gradientea

Sarrera

Imajinatu $f(x)$ funtzio bat dugula eta bere minimoa aurkitu nahiko genukeela. Zer egingo zenuke?

Sinplea ezta? Ekuazio hau ebatzi besterik ez dugu egin behar:

$$f'(x) = 0$$

Kontua da $f'$-ren formula aurkitzea ez dela beti erraza izaten, oso konplikatuak izan ohi direlako batez ere ikaskuntza sakonean, non funtzio konplexuak lantzen ditugun. Beraz, $f'$ deribatuaren formula aurkitu beharrik gabe funtzio baten minimoa eman diezagukeen beste metodo bat bilatu behar dugu.

Eraiki dezagun intuizio pixka bat

Demagun f funtzio bat dugula dagokion grafikoarekin:

Has gaitezen zorizko puntu batekin $x_{0}$. Helburua puntu hau mugitzea eta $x*$-ra gero eta hurbilago egitea da, hala nola $f'($x*$) = 0$. Beraz, arazoa bi zatitan bana daiteke:

Zein norabidetan mugitu behar dugu $x$ puntua ? Ezkerra ala eskuinera?
Zenbat mugitu behar dugu?

Norabidea

Eraiki dezagun intuizio pixka bat lehen galderari erantzuteko. Begiratu hurrengo puntuari:

Kontuan izan:

$x_{0}$ puntua $x*$ puntu optimoaren eskuinaldean dagoenean bere zuzen ukitzailea gora doa.
$x_{0}$ puntua $x*$ puntu optimoaren eskuinaldean dagoenean bere zuzen ukitzailea behera egiten du.

Zuzen baten norabidea bere maldaren zeinuaren arabera zehazten da:

Lerro batek gora $\inplikatzen du $a$ malda positiboa dela.
Lerro batek $\implitus$ behera doa $a$ malda negatiboa dela.

Kontuan izan: \

$x_{0}$ puntu jakin batean funtzio baten zuzen ukitzailearen malda ez da $f'(x_{0})$ puntu horretako deribatua baino gehiago:

$$ tangent(x*{0}): g(x) = f'(x*{0}).(x-x*{0}) + f(x*{0}) $$

Beraz, "Nora eraman behar dugu $x_{0}$?" galderari erantzunez:

$f'(x_{0}) < 0$ $\implies$ $x_{0}$ $x*$ $\implies$ $x_{0}$ ezkerrera eraman behar dugu.
$f'(x_{0}) > 0$ $\implies$ $x_{0}$ $x*$ren ezkerrean $\implies$ $x_{0}$ eskuinera mugitu behar dugu.

Urratsak

Orain bigarren galderari, Zenbat mugitu behar dugu $x_{0}$?

Begiratu adibide hauei:

Ondorioztatu dezakegu:

$x_{0}$ $x*$tik gertu dago => Ukitzailearen malda txikia da => $f'(x_{0})$ txikia da.
$x_{0}$ $x*$tik urrun dago => Ukitzailearen malda handia da => $f'(x_{0})$ handia da.

Bi galderei erantzunez, $x_{0}$ puntuko deribatuaren ezagutzak bakarrik $x_{0}$ puntu optimoaren norabideari eta distantziari buruzko argibide asko eman diezagukeela ondorioztatu dugu.

Jaitsiera desnibela

Jaitsiera gradientea aurreko bi galderen erantzunen formulazioa da. Optimizazio-algoritmo iteratibo bat da, $x_{0}$ ausazko hasierako puntutik hasita funtzioaren gutxieneko $x*$ gutxi gorabehera. Algoritmoa honela adierazten da:

$$ x*{n+1} = x*{n} - lr \times \frac{\mathrm{d} f}{\mathrm{d} x_{n}} $$

non:

$ \frac{\mathrm{d} f}{\mathrm{d} x*{n}} $ ez da $f$-ren deribatua baino $x*{n}$ puntuan.
$lr$ urratsak zenbaterainokoak izango diren zehazten duen konstante positiboa da.