Doğrusal Regresyon

Giriiş

$D = {(X_{1}, Y_{2}), \dots,(X_{N}, Y_{N})}$ veri kümesi verildiğinde, örneğin $X_{i}$ ve $Y_{i }$ süreklidir, "Doğrusal Regresyon"un amacı bu verilere uyan en iyi doğruyu bulmaktır.

Başka bir deyişle modeli oluşturmak istiyoruz:

$$ \hat{y} = a*{0} + a*{1}.x*{1} + \dots + a*{p}.x_{p} $$

burada $p$, $X$ değişkeninin boyut sayısıdır.

Bu yazıda bu sorunun üç senaryoda nasıl çözüleceğini göreceğiz:

X tek boyutlu olduğunda yani $p=1$.
X çok boyutlu olduğunda, yani $p>1$.
Gradyan inişini kullanma.

$X$ tek boyutludur (Sıradan En Küçük Kare)

Oluşturmak istediğimiz model şu şekildedir:

$$ \hat{y} = a*{0} + a*{1}.x $$

Doğrusal regresyonun amacının verilere en iyi uyan doğruyu bulmak olduğunu unutmayın. Yani veri noktaları ile çizgi arasındaki mesafeyi en aza indirmemiz gerekiyor.

$$ (\hat{a*{0}}, \hat{a*{1}}) = \underset{(a*{0}, a*{1})}{\operatorname{argmin}} \sum\limits*{i=1}^{N} (y*{i} - \hat{y*{i}})^2 $$

$$ = \underset{(a*{0}, a*{1})}{\operatorname{argmin}} \sum\limits*{i=1}^{N} (y*{i} - (a*{0} + a*{1}.x*{i}))^2 $$

Hadi koyalım:

$$ L = \sum\limits*{i=1}^{N} (y*{i} - (a*{0} + a*{1}.x_{i}))^2 $$

Minimumu bulmak için aşağıdaki denklemleri çözmemiz gerekir:

$$ \begin{cases} \frac{\partial L}{\partial a_{0}} = 0\ \frac{\partial L}{\partial a_{1}} = 0 \end{cases} $$

$$ \begin{cases} \sum\limits_{i=1}^{N} -2(y_{i} - (a_{0} + a_{1}.x_{i})) = 0\ \sum\limits_{i=1}^{N} -2x_{i}(y_{i} - (a_{0} + a_{1}.x_{i})) = 0 \end{cases} $$

İlk denklemi geliştirerek başlıyoruz:

$$ \sum\limits_{i=1}^{N} y_{i} - \sum\limits_{i=1}^{N}a_{0} + \sum\limits_{i=1}^{N} a_{1}.x_{i} = 0\ $$

$$ \sum\limits_{i=1}^{N} y_{i} - Na_{0} + \sum\limits_{i=1}^{N} a_{1}.x_{i} = 0\ $$

$$ a_{0} = \frac{\sum\limits_{i=1}^{N} y_{i}}{N} - \frac{\sum\limits_{i=1}^{N} x_{i}}{N}a_{1} $$

$$ a_{0} = Y - Xa_{1} $$

İkinci denklemde yerine koyarsak:

$$ \sum\limits_{i=1}^{N} x_{i}(y_{i} - Y + Xa_{1} - a_{1}x_{i}) = 0 $$

$$ \sum\limits_{i=1}^{N} (y_{i} - Y) + a_{1}(X - x_{i}) = 0 $$

$$ \sum\limits_{i=1}^{N} (y_{i} - Y) - \sum\limits_{i=1}^{N}a_{1}(x_{i} - X) = 0 $$

$$ a_{1} = \frac{\sum\limits_{i=1}^{N} (y_{i} - Y)}{\sum\limits_{i=1}^{N}(x_{i} - X)} = \frac{\sum\limits_{i=1}^{N} (y_{i} - Y)(x_{i} - X)}{\sum\limits_{i=1}^{N}(x_{i} - X)^2} = \frac{COV(X, Y)}{VAR(X)} $$

$a_{0}$ yerine geri koyarız:

$$ \begin{cases} a_{0} = Y - X\frac{COV(X, Y)}{VAR(X)}\ a_{1} = \frac{COV(X, Y)}{VAR(X)} \end{cases} $$

$X$ çok boyutludur (Sıradan En Küçük Kare)

Bu durumda, $X_{i}$ artık gerçek bir sayı değil, bunun yerine $p$ boyutunda bir vektör olur:

$$ X*{i} = (X*{i1},X*{i2},\dots,X*{ip}) $$

Yani model şu şekilde yazılmıştır:

$$ \hat{y} = a*{0} + a*{1}x*{1} + a*{2}x*{2} + \dots + a*{p}x_{p} $$

veya matris formatında yazılabilir:

$$ \hat{Y} = X.W $$

Neresi:

$Y$ $(N, 1)$ şeklindedir.
$X$ $(N, p)$ şeklindedir.
$W$ $(p, 1)$ şeklindedir: bu $(w_{1}, w_{2}, \dots, w_{p})$ parametre vektörüdür.

İlk duruma benzer şekilde aşağıdaki miktarı en aza indirmeyi hedefliyoruz:

$$ \hat{W} = \underset{W}{\operatorname{argmin}} \sum\limits*{i=1}^{N} (y*{i} - \hat{y_{i}})^2 $$

Tekrar belirtelim:

$$ L = \sum\limits*{i=1}^{N} (y*{i} - \hat{y_{i}})^2 $$

$$ = (Y-XW)^{T}(Y-XW) $$

$$ = Y^TY-Y^TXW-W^TX^TY+W^TX^TXW $$

$$ = Y^TY-2W^TX^TY+W^TX^TXW $$

$L$'yi $W$'a göre minimuma indirmek istediğimizden, o zaman ilk terim olan "$Y^TY$"'yi yok sayabiliriz çünkü o $W$'dan bağımsızdır ve aşağıdaki denklemi çözelim:

$$ \frac{\partial (-2W^TX^TY+W^TX^TXW)}{\partial W} = 0 $$

$$ -2X^TY+2X^TX\hat{W} = 0 $$

$$ \hat{W} = (X^TX)^{-1}X^TY $$

Gradyan inişini kullanma

Gradyan iniş algoritmasının formülasyonu şöyledir:

$$ w*{n+1} = w*{n} - lr \times \frac{\partial f}{\partial w_{n}} $$

Şimdi tek yapmamız gereken, bunu iki $a_{0}$ ve $a_{1}$ parametresine (tek değişken $X$ olması durumunda) uygulamaktır:

$$ \begin{cases} a_{0}^{(n+1)} = a_{0}^{(n)} - lr \times \frac{\partial L}{\partial a_{0}}\ a_{1}^{(n+1)} = a_{1}^{(n)} - lr \times \frac{\partial L}{\partial a_{1}} \end{cases} $$

ve şunu biliyoruz:

$$ \begin{cases} \frac{\partial L}{\partial a_{0}} = \sum\limits_{i=1}^{N} -2(y_{i} - (a_{0} + a_{1}.x_{i}))\ \frac{\partial L}{\partial a_{1}} = \sum\limits_{i=1}^{N} -2x_{i}(y_{i} - (a_{0} + a_{1}.x_{i})) \end{cases} $$

Değiştirme yoluyla:

$$ \begin{cases} a_{0}^{(n+1)} = a_{0}^{(n)} + 2 \times lr \times \sum\limits_{i=1}^{N} (y_{i} - (a_{0}^{(n)} + a_{1}^{(n)}.x_{i}))\ a_{1}^{(n+1)} = a_{1}^{(n)} + 2 \times lr \times \sum\limits_{i=1}^{N} x_{i}(y_{i} - (a_{0}^{(n)} + a_{1}^{(n)}.x_{i})) \end{cases} $$

Sınav

Çok boyutlu doğrusal regresyon durumunda optimal parametre vektörünün formülü nedir:
$\frac{COV(X, Y)}{VAR(Y)}$
$\frac{COV(X, Y)}{VAR(X)}$
$(X^TX)^{-1}X^TY$ "doğru"
Türevi neden 0'a koyuyoruz?
Ekstremu bulmak için. "doğru"
Türevi en aza indirmek.
Türevin sadece reel kısmını tutmak.
Doğrusal regresyonun amacı nedir?
Tüm noktalardan geçen çizgiyi bulmak.
Veriyi en iyi tanımlayan satırı bulmak için."doğru"
Verileri en iyi ayıran çizgiyi bulmak.