Gradientní sestup

Úvod

Představte si, že máme funkci $f(x)$ a rádi bychom našli její minimum. Co bys dělal ?

Jednoduché že? Potřebujeme vyřešit pouze následující rovnici:

$f'(x) = 0$

Jde o to, že najít vzorec $f'$ není vždy snadné, protože bývají extrémně komplikované, zejména v hlubokém učení, kde se zabýváme komplexními funkcemi. Musíme tedy najít jinou metodu, která nám poskytne minimum funkce, aniž bychom museli hledat vzorec derivace $f'$.

Vybudujme trochu intuice

Předpokládejme, že máme funkci f s odpovídajícím grafem:

Začněme náhodným bodem $x_{0}$. Cílem je posunout tento bod a přiblížit ho k $x*$ tak, aby $f'($x*$) = 0$. Problém lze tedy rozdělit na dvě části:

• Jakým směrem bychom měli posunout bod $x$? Vlevo nebo vpravo ?

• Jak moc bychom to měli posunout?

Směr

Vybudujme trochu intuice, abychom odpověděli na první otázku. Podívejte se na následující bod:

Všimněte si, že:

• když je bod $x_{0}$ napravo od optimálního bodu $x*$, jeho tečna jde nahoru.

• když je bod $x_{0}$ napravo od optimálního bodu $x*$, jeho tečna klesá.

Směr čáry je určen znaménkem jejího sklonu:

• Čára stoupá $\implikuje$ sklon $a$ je kladný.

• Čára klesá $\implikuje$ sklon $a$ je záporný.

Všimněte si, že: \

Směrnice tečné čáry funkce v určitém bodě $x_{0}$ není větší než derivace v tomto bodě $f'(x_{0})$:

$tangent(x*{0}): g(x) = f'(x*{0}).(x-x*{0}) + f(x*{0})$

Takže jako odpověď na otázku "Kam bychom se měli přesunout $x_{0}$?":

• $f'(x_{0}) < 0$ $\implies$ $x_{0}$ vpravo od $x*$ $\implies$ Musíme posunout $x_{0}$ doleva.

• $f'(x_{0}) > 0$ $\implies$ $x_{0}$ vlevo od $x*$ $\implies$ Musíme posunout $x_{0}$ doprava.

Kroky

Nyní k druhé otázce: Kolik bychom měli přesunout $x_{0}$?

Podívejte se na následující příklady:

Můžeme dojít k závěru, že:

• $x_{0}$ se blíží $x*$ => Sklon tečny je malý => $f'(x_{0})$ je malý.

• $x_{0}$ je vzdáleno od $x*$ => Sklon tečny je velký => $f'(x_{0})$ je velký.

Odpovědí na obě otázky jsme dospěli k závěru, že pouze znalost derivace v bodě $x_{0}$ nám může poskytnout mnoho informací o směru a vzdálenosti optimálního bodu $x_{0}$.

Gradientní klesání

Gradient sestup je formulací odpovědí na předchozí dvě otázky. Je to optimalizační iterační algoritmus, který aproximuje minimum $x*$ funkce počínaje náhodným počátečním bodem $x_{0}$. Algoritmus je uveden následovně:

$x*{n+1} = x*{n} - lr \times \frac{\mathrm{d} f}{\mathrm{d} x\_{n}}$

kde:

• $\frac{\mathrm{d} f}{\mathrm{d} x*{n}}$ není více než derivace $f$ v bodě $x*{n}$.

• $lr$ je kladná konstanta, která určuje, jak velké kroky budou.

Všimněte si, že:

• $x_{n}$ je napravo od $x*$ => $\frac{\mathrm{d} f}{\mathrm{d} x_{n}} > 0$ => $x_{n+ 1} = x_{n} - kladné$ => $x_{n}$ se posune doleva.

• $x_{n}$ je vlevo od $x*$ => $\frac{\mathrm{d} f}{\mathrm{d} x_{n}} < 0$ => $x*{n +1} = x*{n} + kladné$ => $x_{n}$ se posune doprava.

• $x_{n}$ blízko $x*$ => $\frac{\mathrm{d} f}{\mathrm{d} x_{n}}$ blízko $0$ => Malá aktualizace na $x_{ n}$.

Kvíz

• Kdy se klesání gradientu přestane opakovat:

• Když je $x_{n}$ dostatečně malý.

• Když se $x_{n}$ blíží $x_{0}$ .

• Když $\frac{\mathrm{d} f}{\mathrm{d} x\_{n}} = 0$. XXX

– Jak vybereme $x_{0}$:

• Vybíráme to náhodně. XXX

• Bereme to v okolí $x{n}$.

• Záleží na problému.

• Proč potřebujeme gradientní sestup:

• Protože počítače nejsou dostatečně výkonné na výpočet derivací.

• Protože je extrémně těžké najít odvozené vzorce modelů hlubokého učení. XXX

• Protože funkce mají více než jedno lokální minimum.