Descente graduelle

Introduction

Imaginez que nous ayons une fonction $f(x)$ et que nous aimerions trouver son minimum. Que feriez-vous ?

Simple, non ? Il suffit de résoudre l'équation suivante :

$f'(x) = 0$

Le fait est que trouver la formule de $f'$ n'est pas toujours facile car elle a tendance à être extrêmement compliquée, surtout en apprentissage profond où nous traitons de fonctions complexes. Nous devons donc trouver une autre méthode qui puisse nous fournir le minimum d'une fonction sans avoir besoin de trouver la formule de la dérivée $f'$ .

Construisons une certaine intuition

Supposons que nous ayons une fonction f avec le graphe correspondant :

Commençons par un point aléatoire $x_{0}$ . Le but est de déplacer ce point et de le rapprocher de plus en plus de $x*$ tel que $f'($ x* $) = 0$ . Le problème peut donc être divisé en deux parties :

Dans quelle direction doit-on déplacer le point $x$ ? Gauche ou droite ?
De combien doit-on le déplacer ?

La direction

Construisons une certaine intuition afin de répondre à la première question. Jetez un œil au point suivant :

Noter que:

lorsque le point $x_{0}$ est à droite du point optimal $x*$ sa tangente monte.
lorsque le point $x_{0}$ est à droite du point optimal $x*$ sa tangente descend.

La direction d'une ligne est déterminée par le signe de sa pente :

Une ligne monte $\implique$ la pente $a$ est positive.
Une ligne descend $\implique$ la pente $a$ est négative.

Notez que : \

La pente de la tangente d'une fonction en un certain point $x_{0}$ n'est pas supérieure à la dérivée en ce point $f'(x_{0})$ :

$tangent(x*{0}): g(x) = f'(x*{0}).(x-x*{0}) + f(x*{0})$

Donc, pour répondre à la question "Où devrions-nous déplacer $x_{0}$ ?" :

$f'(x_{0}) < 0$ $\implies$ $x_{0}$ à droite de $x*$ $\implies$ Nous devons déplacer $x_{0}$ vers la gauche.
$f'(x_{0}) > 0$ $\implies$ $x_{0}$ à gauche de $x*$ $\implies$ Nous devons déplacer $x_{0}$ vers la droite.

Les marches

Passons maintenant à la deuxième question : De combien devrions-nous déplacer $x_{0}$ ?

Jetez un œil aux exemples suivants :

Nous pouvons conclure que:

$x_{0}$ est proche de $x*$ => La pente de la tangente est petite => $f'(x_{0})$ est petite.
$x_{0}$ est éloigné de $x*$ => La pente de la tangente est grande => $f'(x_{0})$ est grande.

En répondant aux deux questions, nous avons conclu que seule la connaissance de la dérivée au point $x_{0}$ peut nous donner de nombreuses informations sur la direction et la distance du point optimal $x_{0}$ .