Gradientti laskeutuminen

Johdanto

Kuvittele, että meillä on funktio $f(x)$ ja haluaisimme löytää sen minimin. Mitä sinä tekisit ?

Yksinkertaista eikö? Meidän tarvitsee vain ratkaista seuraava yhtälö:

$f'(x) = 0$

Asia on siinä, että $f'$:n kaavan löytäminen ei ole aina helppoa, koska ne ovat yleensä erittäin monimutkaisia ​​varsinkin syväoppimisessa, jossa käsitellään monimutkaisia ​​​​funktioita. Joten meidän on löydettävä toinen menetelmä, joka voi tarjota meille funktion minimin ilman, että tarvitsee löytää derivaatan $f'$ kaavaa.

Rakennataan intuitiota

Oletetaan, että meillä on funktio f, jolla on vastaava graafi:

Aloitetaan satunnaisesta pisteestä $x_{0}$. Tavoitteena on siirtää tätä pistettä ja tehdä siitä lähemmäs kohtaa $x*$ siten, että $f'($x*$) = 0$. Joten ongelma voidaan jakaa kahteen osaan:

• Mihin suuntaan pistettä $x$ pitäisi siirtää? Vasemmalle vai oikealle ?

• Kuinka paljon meidän pitäisi siirtää sitä?

Suunta

Rakennetaan intuitiota, jotta voimme vastata ensimmäiseen kysymykseen. Katso seuraava kohta:

Ota huomioon, että:

• kun piste $x_{0}$ on optimaalisen pisteen $x*$ oikealla puolella, sen tangenttiviiva nousee.

• kun piste $x_{0}$ on optimaalisen pisteen $x*$ oikealla puolella, sen tangenttiviiva laskee.

Viivan suunta määräytyy sen kaltevuuden merkillä:

• Viiva nousee $\implikoi$, kaltevuus $a$ on positiivinen.

• Viiva laskee $\implys$ kaltevuus $a$ on negatiivinen.

Huomaa, että: \

Funktion tangenttiviivan kaltevuus tietyssä pisteessä $x_{0}$ ei ole suurempi kuin derivaatta kyseisessä pisteessä $f'(x_{0})$:

$tangent(x*{0}): g(x) = f'(x*{0}).(x-x*{0}) + f(x*{0})$

Joten vastauksena kysymykseen "Mihin meidän pitäisi siirtää $x_{0}$ ?":

• $f'(x_{0}) < 0$ $\implies$ $x_{0}$ oikealla $x*$ $\implies$ Meidän täytyy siirtää $x_{0}$ vasemmalle.

• $f'(x_{0}) > 0$ $\implies$ $x_{0}$ $x*$ $\implies$ vasemmalla Meidän täytyy siirtää $x_{0}$ oikealle.

Askeleet

Nyt toiseen kysymykseen Kuinka paljon meidän pitäisi siirtää $x_{0}$ ?

Katso seuraavat esimerkit:

Voimme päätellä, että:

• $x_{0}$ on lähellä $x*$ => Tangentin kaltevuus on pieni => $f'(x_{0})$ on pieni.

• $x_{0}$ on kaukana kohteesta $x*$ => Tangentin kaltevuus on suuri => $f'(x_{0})$ on suuri.

Vastaamalla molempiin kysymyksiin päätimme, että vain pisteen $x_{0}$ derivaatan tunteminen voi antaa meille paljon käsitystä optimaalisen pisteen $x_{0}$ suunnasta ja etäisyydestä.

Gradienttilasku

Gradienttilasku on kahden edellisen kysymyksen vastausten muotoilu. Se on iteratiivinen optimointialgoritmi, joka arvioi funktion minimiarvon $x*$ alkaen satunnaisesta alkupisteestä $x_{0}$. Algoritmi esitetään seuraavasti:

$x*{n+1} = x*{n} - lr \times \frac{\mathrm{d} f}{\mathrm{d} x\_{n}}$

missä:

• $\frac{\mathrm{d} f}{\mathrm{d} x*{n}}$ ei ole enempää kuin $f$:n derivaatta pisteessä $x*{n}$.

• $lr$ on positiivinen vakio, joka määrittää kuinka suuria askeleita tulee olemaan.

Huomaa, että:

• $x_{n}$ on oikealla $x*$ => $\frac{\mathrm{d} f}{\mathrm{d} x_{n}} > 0$ => $x_{n+ 1} = x_{n} - positiivinen$ => $x_{n}$ siirtyy vasemmalle.

• $x_{n}$ on $x*$ => $\frac{\mathrm{d} f}{\mathrm{d} x_{n}} vasemmalla puolella < 0$ => $x*{n +1} = x*{n} + positiivinen$ => $x_{n}$ siirtyy oikealle.

• $x_{n}$ lähellä $x*$ => $\frac{\mathrm{d} f}{\mathrm{d} x_{n}}$ lähellä $0$ => Pieni päivitys hintaan $x_{ n}$.

Tietovisa

• Milloin gradienttilasku lopettaa iteroinnin:

• Kun $x_{n}$ on tarpeeksi pieni.

• Kun $x_{n}$ on lähellä $x_{0}$ .

• Kun $\frac{\mathrm{d} f}{\mathrm{d} x\_{n}} = 0$. XXX

• Kuinka valitsemme $x_{0}$:

• Valitsemme sen satunnaisesti. XXX

• Otamme sen naapurustossa $x{n}$.

– Se riippuu ongelmasta.

• Miksi tarvitsemme kaltevuuslaskua:

• Koska tietokoneet eivät ole tarpeeksi tehokkaita laskemaan johdannaisia.

• Koska syväoppimismallien derivaattakaavoja on äärimmäisen vaikea löytää. XXX

• Koska funktioilla on useampi kuin yksi paikallinen minimi.