Gradiënt afdaling

Introductie

Stel je voor dat we een functie $f(x)$ hebben en we willen het minimum ervan vinden. Wat zou jij doen ?

Simpel toch? We hoeven alleen de volgende vergelijking op te lossen:

$f'(x) = 0$

Het punt is dat het vinden van de formule van $f'$ niet altijd gemakkelijk is, omdat ze vaak extreem ingewikkeld zijn, vooral bij deep learning, waar we te maken hebben met complexe functies. We moeten dus een andere methode vinden die ons het minimum van een functie kan opleveren zonder dat we de formule van de afgeleide $f'$ hoeven te vinden.

Laten we wat intuïtie opbouwen

Laten we aannemen dat we een functie f hebben met de bijbehorende grafiek:

Laten we beginnen met een willekeurig punt $x_{0}$ . Het doel is om dit punt te verplaatsen en steeds dichter bij $x*$ te brengen, zodat $f'($ x* $) = 0$ . Het probleem kan dus in twee delen worden verdeeld:

In welke richting moeten we het punt $x$ verplaatsen? Links of rechts ?
Hoeveel moeten we verplaatsen?

De richting

Laten we wat intuïtie opbouwen om de eerste vraag te kunnen beantwoorden. Kijk eens naar het volgende punt:

Let daar op:

wanneer het punt $x_{0}$ zich rechts van het optimale punt $x*$ bevindt, gaat de raaklijn omhoog.
wanneer het punt $x_{0}$ zich rechts van het optimale punt $x*$ bevindt, gaat de raaklijn naar beneden.

De richting van een lijn wordt bepaald door het teken van de helling:

Een lijn gaat omhoog $\impliceert$ de helling $a$ is positief.
Een lijn gaat naar beneden $\impliceert$ de helling $a$ is negatief.

Merk op dat: \

De helling van de raaklijn van een functie in een bepaald punt $x_{0}$ is niet groter dan de afgeleide in dat punt $f'(x_{0})$ :

$tangent(x*{0}): g(x) = f'(x*{0}).(x-x*{0}) + f(x*{0})$

Dus als antwoord op de vraag "Waar moeten we $x_{0}$ naartoe verplaatsen?":

$f'(x_{0}) < 0$ $\implies$ $x_{0}$ rechts van $x*$ $\implies$ We moeten $x_{0}$ naar links verplaatsen.
$f'(x_{0}) > 0$ $\implies$ $x_{0}$ links van $x*$ $\implies$ We moeten $x_{0}$ naar rechts verplaatsen.

De stappen

Nu de tweede vraag: Hoeveel moeten we $x_{0}$ verplaatsen?

Bekijk de volgende voorbeelden:

We kunnen dat concluderen:

$x_{0}$ ligt dichtbij $x*$ => De helling van de raaklijn is klein => $f'(x_{0})$ is klein.
$x_{0}$ ligt ver van $x*$ => De helling van de raaklijn is groot => $f'(x_{0})$ is groot.

Door beide vragen te beantwoorden kwamen we tot de conclusie dat alleen de kennis van de afgeleide in het punt $x_{0}$ ons veel inzicht kan geven over de richting en de afstand van het optimale punt $x_{0}$ .