Lineaire regressie

wiskunde
lineaire regressie
Lineaire regressie cover image

Introductie

Gegeven een dataset D={(X1,Y2),…,(XN,YN)}D = \{(X_{1}, Y_{2}), \dots,(X_{N}, Y_{N})\} zoals XiX_{i} en YiY_{i } zijn continu. Het doel van "Lineaire regressie" is om de beste lijn te vinden die bij deze gegevens past.

Met andere woorden, we willen het model maken:

y^=a∗0+a∗1.x∗1+⋯+a∗p.x_p\hat{y} = a*{0} + a*{1}.x*{1} + \dots + a*{p}.x\_{p}

waarbij pp het aantal dimensies van de variabele XX is.

In dit artikel zullen we zien hoe we dit probleem in drie scenario’s kunnen oplossen:

  • Wanneer X eendimensionaal is, d.w.z. p=1p=1.

  • Wanneer X multidimensionaal is, d.w.z. p>1p>1.

  • Gebruik van gradiëntafdaling.

XX is eendimensionaal (gewoon kleinste kwadraat)

Het model dat we willen maken heeft een vorm:

y^=a∗0+a∗1.x\hat{y} = a*{0} + a*{1}.x

Bedenk dat het doel van lineaire regressie is om de lijn te vinden die het beste bij de gegevens past. Met andere woorden, we moeten de afstand tussen de gegevenspunten en de lijn minimaliseren.

(a∗0^,a∗1^)=argmin⁡(a∗0,a∗1)∑∗i=1N(y∗i−y∗i^)2(\hat{a*{0}}, \hat{a*{1}}) = \underset{(a*{0}, a*{1})}{\operatorname{argmin}} \sum\limits*{i=1}^{N} (y*{i} - \hat{y*{i}})^2

=argmin⁡(a∗0,a∗1)∑∗i=1N(y∗i−(a∗0+a∗1.x∗i))2= \underset{(a*{0}, a*{1})}{\operatorname{argmin}} \sum\limits*{i=1}^{N} (y*{i} - (a*{0} + a*{1}.x*{i}))^2

Laten we:

L=∑∗i=1N(y∗i−(a∗0+a∗1.x_i))2L = \sum\limits*{i=1}^{N} (y*{i} - (a*{0} + a*{1}.x\_{i}))^2

Om het minimum te vinden, moeten we de volgende vergelijkingen oplossen:

{∂L∂a0=0∂L∂a1=0\begin{cases} \frac{\partial L}{\partial a_{0}} = 0\\ \frac{\partial L}{\partial a_{1}} = 0 \end{cases}
{∑i=1N−2(yi−(a0+a1.xi))=0∑i=1N−2xi(yi−(a0+a1.xi))=0\begin{cases} \sum\limits_{i=1}^{N} -2(y_{i} - (a_{0} + a_{1}.x_{i})) = 0\\ \sum\limits_{i=1}^{N} -2x_{i}(y_{i} - (a_{0} + a_{1}.x_{i})) = 0 \end{cases}

We beginnen met het ontwikkelen van de eerste vergelijking:

∑i=1Nyi−∑i=1Na0+∑i=1Na1.xi=0\sum\limits_{i=1}^{N} y_{i} - \sum\limits_{i=1}^{N}a_{0} + \sum\limits_{i=1}^{N} a_{1}.x_{i} = 0\\
∑i=1Nyi−Na0+∑i=1Na1.xi=0\sum\limits_{i=1}^{N} y_{i} - Na_{0} + \sum\limits_{i=1}^{N} a_{1}.x_{i} = 0\\
a0=∑i=1NyiN−∑i=1NxiNa1a_{0} = \frac{\sum\limits_{i=1}^{N} y_{i}}{N} - \frac{\sum\limits_{i=1}^{N} x_{i}}{N}a_{1}
a0=Y−Xa1a_{0} = Y - Xa_{1}

We substitueren in de tweede vergelijking:

∑i=1Nxi(yi−Y+Xa1−a1xi)=0\sum\limits_{i=1}^{N} x_{i}(y_{i} - Y + Xa_{1} - a_{1}x_{i}) = 0
∑i=1N(yi−Y)+a1(X−xi)=0\sum\limits_{i=1}^{N} (y_{i} - Y) + a_{1}(X - x_{i}) = 0
∑i=1N(yi−Y)−∑i=1Na1(xi−X)=0\sum\limits_{i=1}^{N} (y_{i} - Y) - \sum\limits_{i=1}^{N}a_{1}(x_{i} - X) = 0
a1=∑i=1N(yi−Y)∑i=1N(xi−X)=∑i=1N(yi−Y)(xi−X)∑i=1N(xi−X)2=COV(X,Y)VAR(X)a_{1} = \frac{\sum\limits_{i=1}^{N} (y_{i} - Y)}{\sum\limits_{i=1}^{N}(x_{i} - X)} = \frac{\sum\limits_{i=1}^{N} (y_{i} - Y)(x_{i} - X)}{\sum\limits_{i=1}^{N}(x_{i} - X)^2} = \frac{COV(X, Y)}{VAR(X)}

We vervangen dit terug in a0a_{0}:

{a0=Y−XCOV(X,Y)VAR(X)a1=COV(X,Y)VAR(X)\begin{cases} a_{0} = Y - X\frac{COV(X, Y)}{VAR(X)}\\ a_{1} = \frac{COV(X, Y)}{VAR(X)} \end{cases}

XX is multidimensionaal (gewoon kleinste kwadraat)

In dit geval is XiX_{i} niet langer een reëel getal, maar in plaats daarvan is het een vector met de grootte pp:

X∗i=(X∗i1,X∗i2,…,X∗ip)X*{i} = (X*{i1},X*{i2},\dots,X*{ip})

Het model is dus als volgt geschreven:

y^=a∗0+a∗1x∗1+a∗2x∗2+⋯+a∗px_p\hat{y} = a*{0} + a*{1}x*{1} + a*{2}x*{2} + \dots + a*{p}x\_{p}

of het kan in een matrixformaat worden geschreven:

Y^=X.W\hat{Y} = X.W

waar:

  • YY heeft de vorm (N,1)(N, 1).

  • XX heeft de vorm (N,p)(N, p).

  • WW heeft de vorm (p,1)(p, 1): dit is de parametervector (w1,w2,…,wp)(w_{1}, w_{2}, \dots, w_{p}).

Net als in het eerste geval streven we ernaar de volgende hoeveelheid te minimaliseren:

W^=argmin⁡W∑∗i=1N(y∗i−y_i^)2\hat{W} = \underset{W}{\operatorname{argmin}} \sum\limits*{i=1}^{N} (y*{i} - \hat{y\_{i}})^2

Laten we nogmaals stellen:

L=∑∗i=1N(y∗i−y_i^)2L = \sum\limits*{i=1}^{N} (y*{i} - \hat{y\_{i}})^2

=(Y−XW)T(Y−XW)= (Y-XW)^{T}(Y-XW)
=YTY−YTXW−WTXTY+WTXTXW= Y^TY-Y^TXW-W^TX^TY+W^TX^TXW
=YTY−2WTXTY+WTXTXW= Y^TY-2W^TX^TY+W^TX^TXW

Omdat we LL willen minimaliseren ten opzichte van WW, kunnen we de eerste term "YTYY^TY" negeren omdat deze onafhankelijk is van WW en laten we de volgende vergelijking oplossen:

∂(−2WTXTY+WTXTXW)∂W=0\frac{\partial (-2W^TX^TY+W^TX^TXW)}{\partial W} = 0
−2XTY+2XTXW^=0-2X^TY+2X^TX\hat{W} = 0
W^=(XTX)−1XTY\hat{W} = (X^TX)^{-1}X^TY

Gradiëntafdaling gebruiken

Hier is de formulering van het algoritme voor gradiëntafdaling:

w∗n+1=w∗n−lr×∂f∂w_nw*{n+1} = w*{n} - lr \times \frac{\partial f}{\partial w\_{n}}

Nu hoeven we het alleen maar toe te passen op de twee parameters a0a_{0} en a1a_{1} (in het geval van één variabele XX):

{a0(n+1)=a0(n)−lr×∂L∂a0a1(n+1)=a1(n)−lr×∂L∂a1\begin{cases} a_{0}^{(n+1)} = a_{0}^{(n)} - lr \times \frac{\partial L}{\partial a_{0}}\\ a_{1}^{(n+1)} = a_{1}^{(n)} - lr \times \frac{\partial L}{\partial a_{1}} \end{cases}

en wij weten dat:

{∂L∂a0=∑i=1N−2(yi−(a0+a1.xi))∂L∂a1=∑i=1N−2xi(yi−(a0+a1.xi))\begin{cases} \frac{\partial L}{\partial a_{0}} = \sum\limits_{i=1}^{N} -2(y_{i} - (a_{0} + a_{1}.x_{i}))\\ \frac{\partial L}{\partial a_{1}} = \sum\limits_{i=1}^{N} -2x_{i}(y_{i} - (a_{0} + a_{1}.x_{i})) \end{cases}

Door vervanging:

{a0(n+1)=a0(n)+2×lr×∑i=1N(yi−(a0(n)+a1(n).xi))a1(n+1)=a1(n)+2×lr×∑i=1Nxi(yi−(a0(n)+a1(n).xi))\begin{cases} a_{0}^{(n+1)} = a_{0}^{(n)} + 2 \times lr \times \sum\limits_{i=1}^{N} (y_{i} - (a_{0}^{(n)} + a_{1}^{(n)}.x_{i}))\\ a_{1}^{(n+1)} = a_{1}^{(n)} + 2 \times lr \times \sum\limits_{i=1}^{N} x_{i}(y_{i} - (a_{0}^{(n)} + a_{1}^{(n)}.x_{i})) \end{cases}

Quiz

  • Wat is de formule van de optimale parametervector in het geval van multidimensionale lineaire regressie:

  • COV(X,Y)VAR(Y)\frac{COV(X, Y)}{VAR(Y)}

  • COV(X,Y)VAR(X)\frac{COV(X, Y)}{VAR(X)}

  • (XTX)−1XTY(X^TX)^{-1}X^TY "juist"

  • Waarom zetten we de afgeleide op 0?

  • Om het uiterste te vinden. "juist"

  • Om de afgeleide te minimaliseren.

  • Alleen het reële deel van de afgeleide behouden.

  • Wat is het doel van lineaire regressie?

  • Om de lijn te vinden die langs alle punten loopt.

  • Om de regel te vinden die de gegevens het beste beschrijft."correct"

  • Om de lijn te vinden die de gegevens het beste scheidt.

Career Services background pattern

Carrièrediensten

Contact Section background image

Laten we in contact blijven

Overzicht

Over

Races

Wettelijk

CONTACT ONS

VOLG ONS:

Code Labs Academy © 2025 Alle rechten voorbehouden.