Regularisering är en uppsättning tekniker som används för att förhindra överanpassning och förbättra generaliseringen av en modell. Överanpassning inträffar när en modell lär sig träningsdata för bra och fångar upp brus och specifika detaljer som inte gäller för nya, osedda data. Regularisering hjälper till att kontrollera detta genom att lägga till en straffterm till modellens målfunktion, vilket avskräcker alltför komplexa modeller.
Två vanliga typer av regularisering är L1- och L2-regularisering:
L1 Regularisering (Lasso Regression):
-
L1-reglering lägger till en straffterm till kostnadsfunktionen som är lika med de absoluta värdena för modellens koefficienter.
-
Den uppmuntrar till sparsamhet i modellen genom att krympa vissa koefficienter till exakt noll, vilket effektivt utför funktionsurval.
-
Den resulterande modellen är enklare och lättare att tolka, eftersom den endast väljer ut de viktigaste egenskaperna medan mindre relevanta egenskaper sorteras bort.
L2 Regularization (Ridge Regression):
-
L2-reglering lägger till en straffterm till kostnadsfunktionen som är lika med de kvadrerade storleken på modellens koefficienter.
-
Den tenderar att krympa koefficienterna för mindre viktiga egenskaper mot noll, men den sätter dem sällan exakt till noll.
-
L2-reglering är effektiv för att förhindra överanpassning genom att straffa stora vikter och därmed minska modellens komplexitet.
Både L1- och L2-regleringstekniker hjälper till att minska överanpassning och förbättra modellens förmåga att generalisera till osedda data. Valet mellan L1- och L2-reglering beror ofta på det specifika problemet, egenskapernas karaktär och det önskade resultatet. Lasso (L1) regularization, med sin egenskap att välja ut funktioner, är att föredra när det finns ett behov av att identifiera de mest relevanta funktionerna. Ridge (L2) regularization är lämplig när alla funktioner är potentiellt viktiga och man vill minska deras inverkan utan att helt eliminera dem. Dessutom kan en kombination av de båda teknikerna, så kallad Elastic Net regularization, användas för att dra nytta av både L1- och L2-reglering samtidigt.
