Lineær regression

Introduktion

Givet et datasæt $D = {(X_{1}, Y_{2}), \dots,(X_{N}, Y_{N})}$ såsom $X_{i}$ og $Y_{i }$ er kontinuerlige. Målet med "Lineær regression" er at finde den bedste linje, der passer til disse data.

Vi ønsker med andre ord at skabe modellen:

$$ \hat{y} = a*{0} + a*{1}.x*{1} + \dots + a*{p}.x_{p} $$

hvor $p$ er antallet af dimensioner af variablen $X$.

I denne artikel vil vi se, hvordan du løser dette problem i tre scenarier:

Når X er endimensional, dvs. $p=1$.
Når X er flerdimensional, dvs. $p>1$.
Brug af gradientnedstigning.

$X$ er endimensionel (almindelig mindste kvadrat)

Den model, vi ønsker at skabe, er af form:

$$ \hat{y} = a*{0} + a*{1}.x $$

Husk, at målet med lineær regression er at finde den linje, der passer bedst til dataene. Med andre ord skal vi minimere afstanden mellem datapunkterne og linjen.

$$ (\hat{a*{0}}, \hat{a*{1}}) = \underset{(a*{0}, a*{1})}{\operatorname{argmin}} \sum\limits*{i=1}^{N} (y*{i} - \hat{y*{i}})^2 $$

$$ = \underset{(a*{0}, a*{1})}{\operatorname{argmin}} \sum\limits*{i=1}^{N} (y*{i} - (a*{0} + a*{1}.x*{i}))^2 $$

Lad os sætte:

$$ L = \sum\limits*{i=1}^{N} (y*{i} - (a*{0} + a*{1}.x_{i}))^2 $$

For at finde minimum skal vi løse følgende ligninger:

$$ \begin{cases} \frac{\partial L}{\partial a_{0}} = 0\ \frac{\partial L}{\partial a_{1}} = 0 \end{cases} $$

$$ \begin{cases} \sum\limits_{i=1}^{N} -2(y_{i} - (a_{0} + a_{1}.x_{i})) = 0\ \sum\limits_{i=1}^{N} -2x_{i}(y_{i} - (a_{0} + a_{1}.x_{i})) = 0 \end{cases} $$

Vi starter med at udvikle den første ligning:

$$ \sum\limits_{i=1}^{N} y_{i} - \sum\limits_{i=1}^{N}a_{0} + \sum\limits_{i=1}^{N} a_{1}.x_{i} = 0\ $$

$$ \sum\limits_{i=1}^{N} y_{i} - Na_{0} + \sum\limits_{i=1}^{N} a_{1}.x_{i} = 0\ $$

$$ a_{0} = \frac{\sum\limits_{i=1}^{N} y_{i}}{N} - \frac{\sum\limits_{i=1}^{N} x_{i}}{N}a_{1} $$

$$ a_{0} = Y - Xa_{1} $$

Vi erstatter i den anden ligning:

$$ \sum\limits_{i=1}^{N} x_{i}(y_{i} - Y + Xa_{1} - a_{1}x_{i}) = 0 $$

$$ \sum\limits_{i=1}^{N} (y_{i} - Y) + a_{1}(X - x_{i}) = 0 $$

$$ \sum\limits_{i=1}^{N} (y_{i} - Y) - \sum\limits_{i=1}^{N}a_{1}(x_{i} - X) = 0 $$

$$ a_{1} = \frac{\sum\limits_{i=1}^{N} (y_{i} - Y)}{\sum\limits_{i=1}^{N}(x_{i} - X)} = \frac{\sum\limits_{i=1}^{N} (y_{i} - Y)(x_{i} - X)}{\sum\limits_{i=1}^{N}(x_{i} - X)^2} = \frac{COV(X, Y)}{VAR(X)} $$

Vi erstatter tilbage i $a_{0}$:

$$ \begin{cases} a_{0} = Y - X\frac{COV(X, Y)}{VAR(X)}\ a_{1} = \frac{COV(X, Y)}{VAR(X)} \end{cases} $$

$X$ er multidimensionel (almindelig mindste kvadrat)

I dette tilfælde er $X_{i}$ ikke længere et reelt tal, men i stedet er det en vektor af størrelsen $p$:

$$ X*{i} = (X*{i1},X*{i2},\dots,X*{ip}) $$

Så modellen er skrevet som følger:

$$ \hat{y} = a*{0} + a*{1}x*{1} + a*{2}x*{2} + \dots + a*{p}x_{p} $$

eller det kan skrives i et matrixformat:

$$ \hat{Y} = X.W $$

hvor:

$Y$ har formen $(N, 1)$.
$X$ har formen $(N, p)$.
$W$ har formen $(p, 1)$: dette er parametrene vektor $(w_{1}, w_{2}, \dots, w_{p})$.

På samme måde som i det første tilfælde tilstræber vi at minimere følgende mængde:

$$ \hat{W} = \underset{W}{\operatorname{argmin}} \sum\limits*{i=1}^{N} (y*{i} - \hat{y_{i}})^2 $$

Lad os igen sige:

$$ L = \sum\limits*{i=1}^{N} (y*{i} - \hat{y_{i}})^2 $$

$$ = (Y-XW)^{T}(Y-XW) $$

$$ = Y^TY-Y^TXW-W^TX^TY+W^TX^TXW $$

$$ = Y^TY-2W^TX^TY+W^TX^TXW $$

Da vi ønsker at minimere $L$ med hensyn til $W$, så kan vi ignorere det første udtryk "$Y^TY$", fordi det er uafhængigt af $W$, og lad os løse følgende ligning:

$$ \frac{\partial (-2W^TX^TY+W^TX^TXW)}{\partial W} = 0 $$

$$ -2X^TY+2X^TX\hat{W} = 0 $$

$$ \hat{W} = (X^TX)^{-1}X^TY $$

Bruger gradientnedstigning

Her er formuleringen af gradient descent-algoritmen:

$$ w*{n+1} = w*{n} - lr \times \frac{\partial f}{\partial w_{n}} $$

Nu skal vi bare anvende det på de to parametre $a_{0}$ og $a_{1}$ (i tilfælde af én variabel $X$):

$$ \begin{cases} a_{0}^{(n+1)} = a_{0}^{(n)} - lr \times \frac{\partial L}{\partial a_{0}}\ a_{1}^{(n+1)} = a_{1}^{(n)} - lr \times \frac{\partial L}{\partial a_{1}} \end{cases} $$

og vi ved at:

$$ \begin{cases} \frac{\partial L}{\partial a_{0}} = \sum\limits_{i=1}^{N} -2(y_{i} - (a_{0} + a_{1}.x_{i}))\ \frac{\partial L}{\partial a_{1}} = \sum\limits_{i=1}^{N} -2x_{i}(y_{i} - (a_{0} + a_{1}.x_{i})) \end{cases} $$

Ved substitution:

$$ \begin{cases} a_{0}^{(n+1)} = a_{0}^{(n)} + 2 \times lr \times \sum\limits_{i=1}^{N} (y_{i} - (a_{0}^{(n)} + a_{1}^{(n)}.x_{i}))\ a_{1}^{(n+1)} = a_{1}^{(n)} + 2 \times lr \times \sum\limits_{i=1}^{N} x_{i}(y_{i} - (a_{0}^{(n)} + a_{1}^{(n)}.x_{i})) \end{cases} $$

Quiz

Hvad er formlen for den optimale parametervektor i tilfælde af multidimensionel lineær regression:
$\frac{COV(X, Y)}{VAR(Y)}$
$\frac{COV(X, Y)}{VAR(X)}$
$(X^TX)^{-1}X^TY$ "korrekt"
Hvorfor sætter vi den afledede til 0?
At finde ekstremum. "korrekt"
For at minimere derivatet.
Kun at beholde den reelle del af derivatet.
Hvad er formålet med lineær regression?
At finde den linje, der går forbi alle punkterne.
For at finde den linje, der bedst beskriver dataene."korrekt"
At finde den linje, der bedst adskiller dataene.