Zejście gradientowe

Wstęp

Wyobraźmy sobie, że mamy funkcję $f(x)$ i chcielibyśmy znaleźć jej minimum. Co byś zrobił ?

Proste, prawda? Musimy tylko rozwiązać następujące równanie:

$f'(x) = 0$

Rzecz w tym, że znalezienie wzorów na $f'$ nie zawsze jest łatwe, ponieważ są one niezwykle skomplikowane, szczególnie w głębokim uczeniu się, gdzie mamy do czynienia ze złożonymi funkcjami. Musimy więc znaleźć inną metodę, która zapewni nam minimum funkcji bez konieczności znajdowania wzoru na pochodną $f'$ .

Zbudujmy trochę intuicji

Załóżmy, że mamy funkcję f z odpowiednim wykresem:

Zacznijmy od losowego punktu $x_{0}$ . Celem jest przesunięcie tego punktu i przybliżenie go coraz bardziej do $x*$ tak, aby $f'($ x* $) = 0$ . Zatem problem można podzielić na dwie części:

W którą stronę powinniśmy przesunąć punkt $x$ ? Lewo czy prawo ?
O ile powinniśmy to przesunąć?

Kierunek

Aby odpowiedzieć na pierwsze pytanie, zbudujmy trochę intuicji. Spójrz na następujący punkt:

Pamiętaj, że:

gdy punkt $x_{0}$ znajduje się na prawo od optymalnego punktu $x*$ , jego styczna podnosi się.
gdy punkt $x_{0}$ znajduje się na prawo od optymalnego punktu $x*$ , jego linia styczna biegnie w dół.

Kierunek linii wyznacza znak jej nachylenia:

Linia idzie w górę $\implikuje$ , a nachylenie $a$ jest dodatnie.
Linia opadająca $\implikuje$ , a nachylenie $a$ jest ujemne.

Zauważ, że: \

Nachylenie stycznej funkcji w pewnym punkcie $x_{0}$ nie jest większe niż pochodna w tym punkcie $f'(x_{0})$ :

$tangent(x*{0}): g(x) = f'(x*{0}).(x-x*{0}) + f(x*{0})$

Zatem w odpowiedzi na pytanie „Gdzie powinniśmy przenieść $x_{0}$ ?”:

$f'(x_{0}) < 0$ $\implies$ $x_{0}$ na prawo od $x*$ $\implies$ Musimy przesunąć $x_{0}$ w lewo.
$f'(x_{0}) > 0$ $\implies$ $x_{0}$ na lewo od $x*$ $\implies$ Musimy przesunąć $x_{0}$ w prawo.

Kroki

A teraz drugie pytanie: Ile powinniśmy przenieść $x_{0}$ ?

Przyjrzyj się następującym przykładom:

Możemy stwierdzić, że:

$x_{0}$ jest bliskie $x*$ => Nachylenie stycznej jest małe => $f'(x_{0})$ jest małe.
$x_{0}$ jest odległe od $x*$ => Nachylenie stycznej jest duże => $f'(x_{0})$ jest duże.

Odpowiadając na oba pytania, doszliśmy do wniosku, że dopiero znajomość pochodnej w punkcie $x_{0}$ może dać nam wiele informacji na temat kierunku i odległości optymalnego punktu $x_{0}$ .