Gradiens Descent

Bevezetés

Képzeljük el, hogy van egy $f(x)$ függvényünk, és szeretnénk megtalálni a minimumát. mit tennél ?

Egyszerű igaz? Csak a következő egyenletet kell megoldanunk:

$f'(x) = 0$

A helyzet az, hogy a $f'$ képletének megtalálása nem mindig egyszerű, mivel általában rendkívül bonyolultak, különösen a mély tanulásban, ahol összetett függvényekkel foglalkozunk. Tehát találnunk kell egy másik módszert, amely megadja nekünk a függvény minimumát anélkül, hogy meg kellene találnunk a $f'$ derivált képletét.

Építsünk némi intuíciót

Tegyük fel, hogy van egy f függvényünk a megfelelő gráfral:

Kezdjük egy véletlenszerű $x_{0}$ ponttal. A cél az, hogy ezt a pontot mozgassuk, és egyre közelebb tegyük $x*$-hoz úgy, hogy $f'($x*$) = 0$. Tehát a probléma két részre osztható:

• Milyen irányba mozgassuk a $x$ pontot? Balra vagy Jobbra?

• Mennyit mozgassuk meg ?

Az irány

Építsünk némi intuíciót az első kérdés megválaszolásához. Vessen egy pillantást a következő pontra:

Vegye figyelembe, hogy:

• ha a $x_{0}$ pont az optimális $x*$ ponttól jobbra van, az érintővonal felfelé megy.

• ha a $x_{0}$ pont az optimális $x*$ ponttól jobbra van, az érintővonal lefelé megy.

Egy vonal irányát a meredekségének előjele határozza meg:

• Egy vonal $\implies$ felfelé megy, az $a$ meredeksége pozitív.

• Egy vonal lefelé megy $\implies$, az $a$ meredeksége negatív.

Megjegyzés: \

Egy függvény érintővonalának meredeksége egy bizonyos $x_{0}$ pontban nem több, mint az adott $f'(x_{0})$ pont deriváltja:

$tangent(x*{0}): g(x) = f'(x*{0}).(x-x*{0}) + f(x*{0})$

Tehát válaszként a "Hova helyezzük át $x_{0}$ ?" kérdésre:

• $f'(x_{0}) < 0$ $\implies$ $x_{0}$ $x*$ $\implies$ jobb oldalán El kell mozgatnunk $x_{0}$-t balra.

• $f'(x_{0}) > 0$ $\implies$ $x_{0}$ a $x*$ balra $\implies$ A $x_{0}$-t jobbra kell mozgatnunk.

A lépések

Most pedig a második kérdés: Mennyit mozgassunk $x_{0}$ ?

Vessen egy pillantást a következő példákra:

Arra következtethetünk, hogy:

• $x_{0}$ közel van a $x*$-hoz => Az érintő meredeksége kicsi => $f'(x_{0})$ kicsi.

• $x_{0}$ távol van $x*$-tól => Az érintő meredeksége nagy => $f'(x_{0})$ nagy.

Mindkét kérdés megválaszolásával arra a következtetésre jutottunk, hogy csak a $x_{0}$ pont deriváltjának ismerete adhat sok betekintést az optimális $x_{0}$ pont irányáról és távolságáról.

Gradiens süllyedés

A gradiens süllyedés az előző két kérdésre adott válaszok megfogalmazása. Ez egy iteratív optimalizálási algoritmus, amely egy véletlenszerű $x_{0}$ kezdőpontból kiindulva közelíti meg a függvény minimális $x*$ értékét. Az algoritmus a következő:

$x*{n+1} = x*{n} - lr \times \frac{\mathrm{d} f}{\mathrm{d} x\_{n}}$

ahol:

• $\frac{\mathrm{d} f}{\mathrm{d} x*{n}}$ nem több, mint $f$ deriváltja a $x*{n}$ pontban.

• A $lr$ egy pozitív állandó, amely meghatározza, hogy mekkora lépések lesznek.

Figyeld meg, hogy:

• $x_{n}$ a $x*$ => $\frac{\mathrm{d} f}{\mathrm{d} x_{n}} > 0$ => $x_{n+ jobb oldalán található 1} = x_{n} - pozitív$ => $x_{n}$ balra mozog.

• $x_{n}$ a következőtől balra van: $x*$ => $\frac{\mathrm{d} f}{\mathrm{d} x_{n}} < 0$ => $x*{n +1} = x*{n} + pozitív$ => $x_{n}$ jobbra mozog.

• $x_{n}$ közel $x*$ => $\frac{\mathrm{d} f}{\mathrm{d} x_{n}}$ közel $0$ => Kis frissítés $x_{ n}$.

Kvíz

• Mikor áll le a gradiens süllyedés az iterációban:

• Amikor $x_{n}$ elég kicsi.

• Amikor $x_{n}$ közel van a $x_{0}$-hoz.

• Amikor $\frac{\mathrm{d} f}{\mathrm{d} x\_{n}} = 0$. XXX

• Hogyan válasszunk $x_{0}$:

• Véletlenszerűen választjuk ki. XXX

• $x_{n}$ szomszédságában vesszük.

• Ez a problémától függ.

• Miért van szükségünk a gradiens süllyedésre:

• Mert a számítógépek nem elég erősek a származékok kiszámításához.

• Mert rendkívül nehéz megtalálni a mély tanulási modellek derivált képleteit. XXX

• Mert a függvényeknek egynél több lokális minimumuk van.

---

• Sajátítsd el a Data Science and AI Code Labs Academy segítségével! Csatlakozzon online bootcampünkhöz – Rugalmas rész- és teljes munkaidős lehetőségek állnak rendelkezésre.*