Inleiding
Stel jou voor dat ons 'n funksie $f(x)$ het en ons wil graag die minimum daarvan vind. Wat sou jy doen?
Eenvoudig reg? Ons hoef net die volgende vergelyking op te los:
$$f'(x) = 0$$
Die ding is dat dit nie altyd maklik is om die formule van $f'$ te vind nie, want dit is geneig om uiters ingewikkeld te wees, veral in diep leer waar ons met komplekse funksies te doen het. Ons moet dus 'n ander metode vind wat ons die minimum van 'n funksie kan verskaf sonder dat ons die formule van die afgeleide $f'$ hoef te vind.
Kom ons bou 'n bietjie intuïsie
Kom ons veronderstel dat ons 'n funksie f het met die ooreenstemmende grafiek:
Kom ons begin met 'n ewekansige punt $x_{0}$. Die doel is om hierdie punt te skuif en dit nader en nader aan $x*$ te maak sodat $f'($x*$) = 0$. Die probleem kan dus in twee dele verdeel word:
-
In watter rigting moet ons die punt $x$ skuif? Links of Regs?
-
Hoeveel moet ons dit skuif?
Die rigting
Kom ons bou 'n bietjie intuïsie om die eerste vraag te beantwoord. Kyk bietjie na die volgende punt:
Let daarop dat:
-
wanneer die punt $x_{0}$ regs van die optimale punt $x*$ is, gaan sy raaklyn op.
-
wanneer die punt $x_{0}$ regs van die optimale punt $x*$ is, gaan sy raaklyn af.
Die rigting van 'n lyn word bepaal deur die teken van sy helling:
-
'n Lyn gaan op $\impliseer$ die helling $a$ is positief.
-
'n Lyn gaan af $\impliseer$ die helling $a$ is negatief.
Let daarop dat: \
Die helling van die raaklyn van 'n funksie in 'n sekere punt $x_{0}$ is nie meer as die afgeleide in daardie punt $f'(x_{0})$ nie:
$$ tangent(x*{0}): g(x) = f'(x*{0}).(x-x*{0}) + f(x*{0}) $$
So as 'n antwoord op die vraag "Waarheen moet ons $x_{0}$ skuif?":
-
$f'(x_{0}) < 0$ $\implies$ $x_{0}$ regs van $x*$ $\implies$ Ons moet $x_{0}$ na links skuif.
-
$f'(x_{0}) > 0$ $\implies$ $x_{0}$ aan die linkerkant van $x*$ $\implies$ Ons moet $x_{0}$ na regs skuif.
Die stappe
Nou vir die tweede vraag, Hoeveel moet ons $x_{0}$ skuif?
Kyk na die volgende voorbeelde:
Ons kan aflei dat:
-
$x_{0}$ is naby aan $x*$ => Die helling van die raaklyn is klein => $f'(x_{0})$ is klein.
-
$x_{0}$ is ver van $x*$ => Die helling van die raaklyn is groot => $f'(x_{0})$ is groot.
Deur beide vrae te beantwoord, het ons tot die gevolgtrekking gekom dat slegs die kennis van die afgeleide in die punt $x_{0}$ ons baie insig kan gee oor die rigting en die afstand van die optimale punt $x_{0}$.
Gradiënt afkoms
Gradiënt afkoms is die formulering van die antwoorde van die vorige twee vrae. Dit is 'n iteratiewe optimeringsalgoritme wat die minimum $x*$ van funksie benader vanaf 'n ewekansige beginpunt $x_{0}$. Die algoritme word soos volg gestel:
$$ x*{n+1} = x*{n} - lr \times \frac{\mathrm{d} f}{\mathrm{d} x_{n}} $$
waar:
-
$ \frac{\mathrm{d} f}{\mathrm{d} x*{n}} $ is nie meer as die afgeleide van $f$ in die punt $x*{n}$ nie.
-
$lr$ is 'n positiewe konstante wat bepaal hoe groot die stappe gaan wees.
Let daarop dat:
-
$x_{n}$ is regs van $x*$ => $\frac{\mathrm{d} f}{\mathrm{d} x_{n}} > 0 $ => $ x_{n+ 1} = x_{n} - positief $ => $x_{n}$ beweeg na links.
-
$x_{n}$ is aan die linkerkant van $x*$ => $\frac{\mathrm{d} f}{\mathrm{d} x_{n}} < 0$ => $ x*{n +1} = x*{n} + positiewe $ => $x_{n}$ skuif na regs.
-
$x_{n}$ naby aan $x*$ => $\frac{\mathrm{d} f}{\mathrm{d} x_{n}}$ naby aan $0$ => Klein opdatering na $x_{ n}$.
Vasvra
-
Wanneer hou gradiënt afkoms op om te herhaal:
-
Wanneer $x_{n}$ klein genoeg is.
-
Wanneer $x_{n}$ naby aan $x_{0}$ is.
-
Wanneer $\frac{\mathrm{d} f}{\mathrm{d} x_{n}} = 0 $. XXX
-
Hoe kies ons $x_{0}$:
-
Ons kies dit lukraak. XXX
-
Ons neem dit in die omgewing van $x{n}$.
-
Dit hang af van die probleem.
-
Hoekom het ons gradiënt afkoms nodig:
-
Omdat rekenaars nie kragtig genoeg is om afgeleides te bereken nie.
-
Omdat dit uiters moeilik is om die afgeleide formules van diepleermodelle te vind. XXX
-
Omdat funksies meer as een plaaslike minimum het.
