Régression linéaire

Introduction

Étant donné un ensemble de données $D = \{(X_{1}, Y_{2}), \dots,(X_{N}, Y_{N})\}$ tel que $X_{i}$ et $Y_{i }$ sont continus, le but de la « régression linéaire » est de trouver la meilleure ligne qui correspond à ces données.

En d’autres termes, nous voulons créer le modèle :

$\hat{y} = a*{0} + a*{1}.x*{1} + \dots + a*{p}.x\_{p}$

où $p$ est le nombre de dimensions de la variable $X$.

Dans cet article, nous verrons comment résoudre ce problème dans trois scénarios :

• Lorsque X est unidimensionnel c'est-à-dire $p=1$.

• Lorsque X est multidimensionnel c'est-à-dire $p>1$.

• Utilisation de la descente de gradient.

$X$ est unidimensionnel (moindres carrés ordinaires)

Le modèle que l'on souhaite créer est de forme :

$\hat{y} = a*{0} + a*{1}.x$

N'oubliez pas que le but de la régression linéaire est de trouver la droite qui correspond le mieux aux données. En d’autres termes, nous devons minimiser la distance entre les points de données et la ligne.

$(\hat{a*{0}}, \hat{a*{1}}) = \underset{(a*{0}, a*{1})}{\operatorname{argmin}} \sum\limits*{i=1}^{N} (y*{i} - \hat{y*{i}})^2$

$= \underset{(a*{0}, a*{1})}{\operatorname{argmin}} \sum\limits*{i=1}^{N} (y*{i} - (a*{0} + a*{1}.x*{i}))^2$

Mettons:

$L = \sum\limits*{i=1}^{N} (y*{i} - (a*{0} + a*{1}.x\_{i}))^2$

Afin de trouver le minimum, nous devons résoudre les équations suivantes :

Commençons par développer la première équation :

On substitue dans la deuxième équation :

Nous remplaçons $a_{0}$ :

$X$ est multidimensionnel (moindres carrés ordinaires)

Dans ce cas, $X_{i}$ n'est plus un nombre réel, mais plutôt un vecteur de taille $p$ :

$X*{i} = (X*{i1},X*{i2},\dots,X*{ip})$

Ainsi, le modèle s’écrit comme suit :

$\hat{y} = a*{0} + a*{1}x*{1} + a*{2}x*{2} + \dots + a*{p}x\_{p}$

ou, il peut être écrit sous forme matricielle :

$\hat{Y} = X.W$

où:

• $Y$ est de forme $(N, 1)$.

• $X$ est de forme $(N, p)$.

• $W$ est de forme $(p, 1)$ : c'est le vecteur de paramètres $(w_{1}, w_{2}, \dots, w_{p})$.

De la même manière que dans le premier cas, nous visons à minimiser la quantité suivante :

$\hat{W} = \underset{W}{\operatorname{argmin}} \sum\limits*{i=1}^{N} (y*{i} - \hat{y\_{i}})^2$

Mettons encore :

$L = \sum\limits*{i=1}^{N} (y*{i} - \hat{y\_{i}})^2$

Puisque nous voulons minimiser $L$ par rapport à $W$, alors nous pouvons ignorer le premier terme « $Y^TY$ » car il est indépendant de $W$ et résolvons l'équation suivante :

Utiliser la descente de gradient

Voici la formulation de l’algorithme de descente de gradient :

$w*{n+1} = w*{n} - lr \times \frac{\partial f}{\partial w\_{n}}$

Il ne reste plus qu'à l'appliquer sur les deux paramètres $a_{0}$ et $a_{1}$ (dans le cas d'une seule variable $X$) :

et nous savons que :

Par substitution :

Questionnaire

• Quelle est la formule du vecteur de paramètres optimaux dans le cas d'une régression linéaire multidimensionnelle :

• $\frac{COV(X, Y)}{VAR(Y)}$

• $\frac{COV(X, Y)}{VAR(X)}$

• $(X^TX)^{-1}X^TY$ "correct"

• Pourquoi met-on la dérivée à 0 ?

• Trouver l'extremum. "correct"

• Minimiser la dérivée.

• Ne conserver que la partie réelle de la dérivée.

• Quel est l'objectif de la régression linéaire ?

• Trouver la droite qui passe par tous les points.

• Pour trouver la ligne qui décrit le mieux les données."correct"

• Trouver la ligne qui sépare le mieux les données.