Regulēšana attiecas uz paņēmienu kopumu, ko izmanto, lai novērstu pārmērīgu pielāgošanu un uzlabotu modeļa vispārināšanu. Pārmērīga pielāgošana notiek, ja modelis pārāk labi apgūst apmācības datus, tverot troksni un noteiktas detaļas, kas neattiecas uz jauniem, neredzētiem datiem. Regularizācija palīdz to kontrolēt, modeļa mērķa funkcijai pievienojot soda termiņu, tādējādi atturot no pārāk sarežģītiem modeļiem.
Divi izplatīti regularizācijas veidi ir L1 un L2 regularizācija:
L1 legalizācija (laso regresija):
-
L1 regularizācija izmaksu funkcijai pievieno soda termiņu, kas vienāds ar modeļa koeficientu absolūtajām vērtībām.
-
Tas veicina modeļa retumu, samazinot dažus koeficientus līdz precīzi nullei, efektīvi veicot funkciju atlasi.
- Rezultātā iegūtais modelis ir vienkāršāks un vieglāk interpretējams, jo tas atlasa tikai vissvarīgākās funkcijas, vienlaikus atmetot mazāk atbilstošās.
L2 Regularizācija (Ridžas regresija):
-
L2 regularizācija izmaksu funkcijai pievieno soda termiņu, kas vienāds ar modeļa koeficientu kvadrātveida lielumiem.
-
Tas mēdz samazināt mazāk svarīgu pazīmju koeficientus līdz nullei, taču tas reti nosaka tos precīzi uz nulli.
-
L2 regulēšana ir efektīva, lai novērstu pārmērību, jo tiek sodīti lieli svari, tādējādi samazinot modeļa sarežģītību.
Gan L1, gan L2 regulēšanas metodes palīdz samazināt pārmērīgu pielāgošanu un uzlabo modeļa spēju vispārināt līdz neredzamiem datiem. Izvēle starp L1 un L2 regularizāciju bieži ir atkarīga no konkrētās problēmas, pazīmju rakstura un vēlamā rezultāta. Laso (L1) regularizācija ar tās pazīmju atlases īpašību tiek dota priekšroka, ja ir nepieciešams identificēt visatbilstošākās pazīmes. Ridge (L2) regularizācija ir piemērota, ja visas funkcijas ir potenciāli svarīgas un priekšroka tiek dota to ietekmes samazināšanai, tos pilnībā neizslēdzot. Turklāt abu metožu kombināciju, kas pazīstama kā Elastīgā tīkla regularizācija, var izmantot, lai vienlaikus izmantotu gan L1, gan L2 regularizāciju.
