Gradient nedstigning

Introduksjon

Tenk deg at vi har en funksjon $f(x)$ og vi vil gjerne finne dens minimum. Hva ville du gjort ?

Enkelt ikke sant? Vi trenger bare å løse følgende ligning:

$f'(x) = 0$

Saken er at det ikke alltid er lett å finne formelen $f'$ , da de har en tendens til å være ekstremt kompliserte, spesielt i dyp læring hvor vi arbeider med komplekse funksjoner. Så vi må finne en annen metode som kan gi oss minimum av en funksjon uten å måtte finne formelen til den deriverte $f'$ .

La oss bygge litt intuisjon

La oss anta at vi har en funksjon f med den tilsvarende grafen:

La oss starte med et tilfeldig punkt $x_{0}$ . Målet er å flytte dette punktet og gjøre det nærmere og nærmere $x*$ slik at $f'($ x* $) = 0$ . Så problemet kan deles i to deler:

I hvilken retning skal vi flytte punktet $x$ ? Venstre eller høyre ?
Hvor mye skal vi flytte den?

Retningen

La oss bygge litt intuisjon for å svare på det første spørsmålet. Ta en titt på følgende punkt:

Noter det:

når punktet $x_{0}$ er til høyre for det optimale punktet $x*$ går tangentlinjen opp.
når punktet $x_{0}$ er til høyre for det optimale punktet $x*$ går tangentlinjen ned.

Retningen til en linje bestemmes av tegnet på skråningen:

En linje går opp $\implies$ helningen $a$ er positiv.
En linje går ned $\implies$ helningen $a$ er negativ.

Merk at: \

Helningen til tangentlinjen til en funksjon i et bestemt punkt $x_{0}$ er ikke mer enn den deriverte i det punktet $f'(x_{0})$ :

$tangent(x*{0}): g(x) = f'(x*{0}).(x-x*{0}) + f(x*{0})$

Så som et svar på spørsmålet "Hvor skal vi flytte $x_{0}$ ?":

$f'(x_{0}) < 0$ $\implies$ $x_{0}$ til høyre for $x*$ $\implies$ Vi må flytte $x_{0}$ til venstre.
$f'(x_{0}) > 0$ $\implies$ $x_{0}$ til venstre for $x*$ $\implies$ Vi må flytte $x_{0}$ til høyre.

Stegene

Nå til det andre spørsmålet, Hvor mye bør vi flytte $x_{0}$ ?

Ta en titt på følgende eksempler:

Vi kan konkludere med at:

$x_{0}$ er nær $x*$ => Helningen til tangenten er liten => $f'(x_{0})$ er liten.
$x_{0}$ er langt fra $x*$ => Hellingen til tangenten er stor => $f'(x_{0})$ er stor.

Ved å svare på begge spørsmålene konkluderte vi med at kun kunnskapen om den deriverte i punktet $x_{0}$ kan gi oss mye innsikt om retningen og avstanden til det optimale punktet $x_{0}$ .