Regularisering refererer til et sæt teknikker, der bruges til at forhindre overtilpasning og forbedre generaliseringen af en model. Overfitting opstår, når en model lærer træningsdataene for godt, og fanger støj og specifikke detaljer, der ikke gælder for nye, usete data. Regularisering hjælper med at kontrollere dette ved at tilføje en straffeterm til modellens objektive funktion, hvilket fraråder alt for komplekse modeller.
To almindelige typer af regularisering er L1 og L2 regularisering:
L1-regularisering (lasso-regression):
-
L1-regularisering tilføjer et strafled til omkostningsfunktionen svarende til de absolutte værdier af modellens koefficienter.
-
Det opmuntrer sparsomhed i modellen ved at krympe nogle koefficienter til præcis nul, hvilket effektivt udfører valg af funktioner.
-
Den resulterende model er enklere og nemmere at fortolke, da den kun udvælger de vigtigste funktioner, mens den kasserer mindre relevante.
L2 Regularization (Ridge Regression):
-
L2-regularisering tilføjer et strafled til omkostningsfunktionen svarende til kvadratstørrelserne af modellens koefficienter.
-
Det har en tendens til at skrumpe koefficienterne for mindre vigtige funktioner mod nul, men det sætter dem sjældent nøjagtigt til nul.
-
L2-regularisering er effektiv til at forhindre overtilpasning ved at straffe store vægte og derfor reducere modellens kompleksitet.
Både L1- og L2-regulariseringsteknikker hjælper med at reducere overtilpasning og forbedre modellens evne til at generalisere til usete data. Valget mellem L1 og L2 regularisering afhænger ofte af det specifikke problem, karakteren af funktionerne og det ønskede resultat. Lasso (L1)-regularisering med sin egenskab til valg af egenskaber foretrækkes, når der er behov for at identificere de mest relevante funktioner. Ridge (L2) regulering er velegnet, når alle funktioner er potentielt vigtige, og det foretrækkes at reducere deres påvirkning uden at eliminere dem helt. Derudover kan en kombination af begge teknikker, kendt som Elastic Net-regularisering, bruges til at drage fordel af både L1- og L2-regularisering samtidigt.
