Ang Regularization ay tumutukoy sa isang hanay ng mga diskarteng ginagamit upang pigilan ang overfitting at pahusayin ang generalization ng isang modelo. Nangyayari ang overfitting kapag masyadong natutunan ng isang modelo ang data ng pagsasanay, nakakakuha ng ingay at mga partikular na detalye na hindi nalalapat sa bago at hindi nakikitang data. Nakakatulong ang regularization na kontrolin ito sa pamamagitan ng pagdaragdag ng termino ng parusa sa layunin ng paggana ng modelo, na nakakapagpapahina ng loob sa mga sobrang kumplikadong modelo.
Dalawang karaniwang uri ng regularisasyon ang L1 at L2 regularization:
L1 Regularization (Lasso Regression):
-
Ang regularization ng L1 ay nagdaragdag ng termino ng parusa sa function ng gastos na katumbas ng mga ganap na halaga ng mga coefficient ng modelo.
-
Ito naghihikayat ng sparsity sa modelo sa pamamagitan ng pagliit ng ilang coefficient sa eksaktong zero, na epektibong gumaganap ng feature selection.
-
Ang resultang modelo ay mas simple at mas madaling bigyang-kahulugan, dahil pinipili lamang nito ang pinakamahahalagang feature habang itinatapon ang mga hindi gaanong nauugnay.
L2 Regularization (Ridge Regression):
-
Ang regularisasyon ng L2 ay nagdaragdag ng termino ng parusa sa function ng gastos na katumbas ng mga parisukat na magnitude ng mga coefficient ng modelo.
-
Ito ay may posibilidad na paliitin ang mga koepisyent ng hindi gaanong mahalagang mga tampok patungo sa zero, ngunit bihira itong itakda ang mga ito nang eksakto sa zero.
-
Ang regularisasyon ng L2 ay epektibo sa pagpigil sa overfitting sa pamamagitan ng pagpaparusa sa malalaking timbang at, samakatuwid, binabawasan ang pagiging kumplikado ng modelo.
Ang parehong L1 at L2 regularization techniques ay nakakatulong sa pagbabawas ng overfitting at pagpapabuti ng kakayahan ng modelo na mag-generalize sa hindi nakikitang data. Ang pagpili sa pagitan ng L1 at L2 na regularisasyon ay kadalasang nakadepende sa partikular na problema, katangian ng mga feature, at ang gustong resulta. Ang regularization ng Lasso (L1), kasama ang katangian ng pagpili ng tampok nito, ay mas gusto kapag may pangangailangang tukuyin ang mga pinaka-nauugnay na feature. Ang regularization ng Ridge (L2) ay angkop kapag ang lahat ng feature ay potensyal na mahalaga at binabawasan ang epekto ng mga ito nang hindi ganap na inaalis ang mga ito ay mas gusto. Bukod pa rito, ang kumbinasyon ng parehong mga diskarte, na kilala bilang Elastic Net regularization, ay maaaring gamitin upang samantalahin ang parehong L1 at L2 regularization nang sabay-sabay.
