Giới thiệu
Cho một tập dữ liệu $D = {(X_{1}, Y_{2}), \dots,(X_{N}, Y_{N})}$ chẳng hạn như $X_{i}$ và $Y_{i }$ là liên tục, Mục tiêu của "Hồi quy tuyến tính" là tìm ra dòng tốt nhất phù hợp với dữ liệu này.
Nói cách khác, chúng tôi muốn tạo mô hình:
$$ \hat{y} = a*{0} + a*{1}.x*{1} + \dots + a*{p}.x_{p} $$
trong đó $p$ là số chiều của biến $X$.
Trong bài viết này, chúng ta sẽ xem cách giải quyết vấn đề này trong ba trường hợp:
-
Khi X là một chiều tức là $p=1$.
-
Khi X là đa chiều tức là $p>1$.
-
Sử dụng phương pháp giảm độ dốc.
$X$ là một chiều (Bình phương tối thiểu thông thường)
Mô hình mà chúng tôi muốn tạo có hình dạng:
$$ \hat{y} = a*{0} + a*{1}.x $$
Hãy nhớ rằng mục tiêu của hồi quy tuyến tính là tìm ra dòng phù hợp nhất với dữ liệu. Nói cách khác, chúng ta cần giảm thiểu khoảng cách giữa các điểm dữ liệu và đường thẳng.
$$ (\hat{a*{0}}, \hat{a*{1}}) = \underset{(a*{0}, a*{1})}{\operatorname{argmin}} \sum\limits*{i=1}^{N} (y*{i} - \hat{y*{i}})^2 $$
$$ = \underset{(a*{0}, a*{1})}{\operatorname{argmin}} \sum\limits*{i=1}^{N} (y*{i} - (a*{0} + a*{1}.x*{i}))^2 $$
Hãy đặt:
$$ L = \sum\limits*{i=1}^{N} (y*{i} - (a*{0} + a*{1}.x_{i}))^2 $$
Để tìm cực tiểu ta giải các phương trình sau:
$$ \begin{cases} \frac{\partial L}{\partial a_{0}} = 0\ \frac{\partial L}{\partial a_{1}} = 0 \end{cases} $$
$$ \begin{cases} \sum\limits_{i=1}^{N} -2(y_{i} - (a_{0} + a_{1}.x_{i})) = 0\ \sum\limits_{i=1}^{N} -2x_{i}(y_{i} - (a_{0} + a_{1}.x_{i})) = 0 \end{cases} $$
Chúng tôi bắt đầu bằng cách phát triển phương trình đầu tiên:
$$ \sum\limits_{i=1}^{N} y_{i} - \sum\limits_{i=1}^{N}a_{0} + \sum\limits_{i=1}^{N} a_{1}.x_{i} = 0\ $$
$$ \sum\limits_{i=1}^{N} y_{i} - Na_{0} + \sum\limits_{i=1}^{N} a_{1}.x_{i} = 0\ $$
$$ a_{0} = \frac{\sum\limits_{i=1}^{N} y_{i}}{N} - \frac{\sum\limits_{i=1}^{N} x_{i}}{N}a_{1} $$
$$ a_{0} = Y - Xa_{1} $$
Chúng ta thay thế vào phương trình thứ hai:
$$ \sum\limits_{i=1}^{N} x_{i}(y_{i} - Y + Xa_{1} - a_{1}x_{i}) = 0 $$
$$ \sum\limits_{i=1}^{N} (y_{i} - Y) + a_{1}(X - x_{i}) = 0 $$
$$ \sum\limits_{i=1}^{N} (y_{i} - Y) - \sum\limits_{i=1}^{N}a_{1}(x_{i} - X) = 0 $$
$$ a_{1} = \frac{\sum\limits_{i=1}^{N} (y_{i} - Y)}{\sum\limits_{i=1}^{N}(x_{i} - X)} = \frac{\sum\limits_{i=1}^{N} (y_{i} - Y)(x_{i} - X)}{\sum\limits_{i=1}^{N}(x_{i} - X)^2} = \frac{COV(X, Y)}{VAR(X)} $$
Chúng tôi thay thế trở lại bằng $a_{0}$:
$$ \begin{cases} a_{0} = Y - X\frac{COV(X, Y)}{VAR(X)}\ a_{1} = \frac{COV(X, Y)}{VAR(X)} \end{cases} $$
$X$ là đa chiều (Bình phương tối thiểu thông thường)
Trong trường hợp này, $X_{i}$ không còn là số thực nữa mà thay vào đó là vectơ có kích thước $p$:
$$ X*{i} = (X*{i1},X*{i2},\dots,X*{ip}) $$
Vì vậy, mô hình được viết như sau:
$$ \hat{y} = a*{0} + a*{1}x*{1} + a*{2}x*{2} + \dots + a*{p}x_{p} $$
hoặc, nó có thể được viết dưới dạng ma trận:
$$ \hat{Y} = X.W $$
Ở đâu:
-
$Y$ có dạng $(N, 1)$.
-
$X$ có dạng $(N, p)$.
-
$W$ có dạng $(p, 1)$: đây là vectơ tham số $(w_{1}, w_{2}, \dots, w_{p})$.
Tương tự như trường hợp đầu tiên, chúng tôi hướng tới việc giảm thiểu số lượng sau:
$$ \hat{W} = \underset{W}{\operatorname{argmin}} \sum\limits*{i=1}^{N} (y*{i} - \hat{y_{i}})^2 $$
Một lần nữa hãy đặt:
$$ L = \sum\limits*{i=1}^{N} (y*{i} - \hat{y_{i}})^2 $$
$$ = (Y-XW)^{T}(Y-XW) $$
$$ = Y^TY-Y^TXW-W^TX^TY+W^TX^TXW $$
$$ = Y^TY-2W^TX^TY+W^TX^TXW $$
Vì chúng ta muốn cực tiểu hóa $L$ đối với $W$, nên chúng ta có thể bỏ qua số hạng đầu tiên "$Y^TY$" vì nó độc lập với $W$ và hãy giải phương trình sau:
$$ \frac{\partial (-2W^TX^TY+W^TX^TXW)}{\partial W} = 0 $$
$$ -2X^TY+2X^TX\hat{W} = 0 $$
$$ \hat{W} = (X^TX)^{-1}X^TY $$
Sử dụng độ dốc giảm dần
Đây là công thức của thuật toán giảm độ dốc:
$$ w*{n+1} = w*{n} - lr \times \frac{\partial f}{\partial w_{n}} $$
Bây giờ tất cả những gì chúng ta phải làm là áp dụng nó trên hai tham số $a_{0}$ và $a_{1}$ (trong trường hợp một biến $X$):
$$ \begin{cases} a_{0}^{(n+1)} = a_{0}^{(n)} - lr \times \frac{\partial L}{\partial a_{0}}\ a_{1}^{(n+1)} = a_{1}^{(n)} - lr \times \frac{\partial L}{\partial a_{1}} \end{cases} $$
và chúng tôi biết rằng:
$$ \begin{cases} \frac{\partial L}{\partial a_{0}} = \sum\limits_{i=1}^{N} -2(y_{i} - (a_{0} + a_{1}.x_{i}))\ \frac{\partial L}{\partial a_{1}} = \sum\limits_{i=1}^{N} -2x_{i}(y_{i} - (a_{0} + a_{1}.x_{i})) \end{cases} $$
Bằng cách thay thế:
$$ \begin{cases} a_{0}^{(n+1)} = a_{0}^{(n)} + 2 \times lr \times \sum\limits_{i=1}^{N} (y_{i} - (a_{0}^{(n)} + a_{1}^{(n)}.x_{i}))\ a_{1}^{(n+1)} = a_{1}^{(n)} + 2 \times lr \times \sum\limits_{i=1}^{N} x_{i}(y_{i} - (a_{0}^{(n)} + a_{1}^{(n)}.x_{i})) \end{cases} $$
Câu đố
-
Công thức vector tham số tối ưu trong trường hợp hồi quy tuyến tính đa chiều là gì:
-
$\frac{COV(X, Y)}{VAR(Y)}$
-
$\frac{COV(X, Y)}{VAR(X)}$
-
$(X^TX)^{-1}X^TY$ "đúng"
-
Tại sao ta đặt đạo hàm về 0?
-
Để tìm cực trị. "Chính xác"
-
Để giảm thiểu đạo hàm.
-
Chỉ giữ lại phần thực của đạo hàm.
-
Mục tiêu của hồi quy tuyến tính là gì?
-
Tìm đường đi qua tất cả các điểm.
-
Để tìm dòng mô tả đúng nhất dữ liệu."đúng"
-
Để tìm ra dòng phân tách dữ liệu tốt nhất.
