Gradiente descendente

Introdução

Imagine que temos uma função $f(x)$ e gostaríamos de encontrar o seu mínimo. O que você faria ?

Simples, certo? Precisamos apenas resolver a seguinte equação:

$f'(x) = 0$

O fato é que encontrar a fórmula de $f'$ nem sempre é fácil, pois elas tendem a ser extremamente complicadas, especialmente em aprendizado profundo, onde lidamos com funções complexas. Portanto, precisamos encontrar outro método que possa nos fornecer o mínimo de uma função sem a necessidade de encontrar a fórmula da derivada $f'$ .

Vamos construir alguma intuição

Suponhamos que temos uma função f com o gráfico correspondente:

Vamos começar com um ponto aleatório $x_{0}$ . O objetivo é mover este ponto e torná-lo cada vez mais próximo de $x*$ de modo que $f'($ x* $) = 0$ . Portanto o problema pode ser dividido em duas partes:

Em que direção devemos mover o ponto $x$ ? Esquerda ou direita ?
Quanto devemos movê-lo?

A direção

Vamos construir alguma intuição para responder à primeira pergunta. Dê uma olhada no seguinte ponto:

Observe que:

quando o ponto $x_{0}$ está à direita do ponto ótimo $x*$ sua reta tangente sobe.
quando o ponto $x_{0}$ está à direita do ponto ótimo $x*$ sua reta tangente desce.

A direção de uma linha é determinada pelo sinal de sua inclinação:

Uma linha sobe $\implica$ que a inclinação $a$ é positiva.
Uma linha desce $\implica$ que a inclinação $a$ é negativa.

Observe que: \

A inclinação da reta tangente de uma função em um determinado ponto $x_{0}$ não é maior que a derivada nesse ponto $f'(x_{0})$ :

$tangent(x*{0}): g(x) = f'(x*{0}).(x-x*{0}) + f(x*{0})$

Então, como resposta à pergunta "Para onde devemos mover $x_{0}$ ?":

$f'(x_{0}) < 0$ $\implies$ $x_{0}$ à direita de $x*$ $\implies$ Precisamos mover $x_{0}$ para a esquerda.
$f'(x_{0}) > 0$ $\implies$ $x_{0}$ à esquerda de $x*$ $\implies$ Precisamos mover $x_{0}$ para a direita.

Os passos

Agora, para a segunda pergunta, Quanto devemos mover $x_{0}$ ?

Dê uma olhada nos seguintes exemplos:

Nos podemos concluir que:

$x_{0}$ está próximo de $x*$ => A inclinação da tangente é pequena => $f'(x_{0})$ é pequena.
$x_{0}$ está distante de $x*$ => A inclinação da tangente é grande => $f'(x_{0})$ é grande.

Ao responder a ambas as questões, concluímos que apenas o conhecimento da derivada no ponto $x_{0}$ pode nos dar muitos insights sobre a direção e a distância do ponto ótimo $x_{0}$ .