Ginagamit ang mga diskarte sa regularization tulad ng L1 at L2 para maiwasan ang overfitting sa mga modelo ng machine learning sa pamamagitan ng pagpaparusa sa malalaking coefficient.
Ang regularization ng L1, na kilala rin bilang regularization ng Lasso, ay nagdaragdag ng termino ng parusa na proporsyonal sa ganap na halaga ng mga coefficient ng mga feature. Hinihikayat nito ang sparsity sa pamamagitan ng paghimok ng ilang coefficient sa eksaktong zero, na epektibong gumaganap ng pagpili ng feature sa pamamagitan ng pag-aalis ng hindi gaanong mahahalagang feature. Ang kakayahan sa pagpili ng feature na ito ay ginagawang partikular na kapaki-pakinabang ang regularization ng L1 kapag nakikitungo sa mga dataset na may malaking bilang ng mga feature, dahil nakakatulong itong pasimplehin ang mga modelo sa pamamagitan ng pagtutok sa mga pinakanauugnay na feature. Ang resultang pagpapasimple ng modelo ay binabawasan ang overfitting.
Sa kabilang banda, ang L2 regularization, na kilala rin bilang Ridge regularization, ay nagdaragdag ng penalty term na proporsyonal sa square ng mga coefficient ng mga feature. Hindi nito pinipilit ang mga coefficient na maging eksaktong zero ngunit sa halip ay pinapaliit ang mga ito patungo sa zero, na ginagawang ang lahat ng mga tampok ay nakakatulong sa modelo sa ilang lawak. Ang regularisasyon ng L2 ay epektibo sa paghawak ng multicollinearity at sa pangkalahatan ay humahantong sa mas matatag ngunit mas kaunting mga modelo kumpara sa regularisasyon ng L1.
Kasama sa mga sitwasyon kung saan maaaring maging mas kapaki-pakinabang ang regularization ng L1:
-
Mga high-dimensional na dataset na may maraming feature: Kapag nakikitungo sa mga dataset kung saan malaki ang feature space, nakakatulong ang L1 regularization sa awtomatikong pagpili ng feature, pagpapahusay sa interpretability at performance ng modelo.
-
Kapag ang tampok na sparsity ay inaasahan: Sa mga domain kung saan inaasahang iilan lang ang mga feature ang tunay na maimpluwensyahan, ang L1 regularization ay mahusay na matukoy at makakatuon sa mga feature na iyon.
Gayunpaman, maaaring hindi gaanong epektibo ang regularisasyon ng L1 sa mga sitwasyon kung saan:
-
Ang lahat ng feature ay ipinapalagay na mahalaga: Kung may paniniwalang karamihan sa mga feature ay may kaugnayan at hindi kasama ang anuman ay maaaring magdulot ng pagkawala ng impormasyon, maaaring hindi ang L1 ang pinakamahusay na pagpipilian dahil malamang na itakda ang mga coefficient sa zero.
-
Ang dataset ay may mga isyu sa multicollinearity: Ang L2 regularization ay mas angkop para sa paghawak ng mga multicollinearity na problema kumpara sa L1 regularization.
Sa pagsasagawa, maaaring gamitin ang kumbinasyon ng L1 at L2 regularization, na kilala bilang Elastic Net regularization, para makinabang sa parehong mga diskarte, na ginagamit ang sparsity ng L1 at ang stability ng L2.
