Regularisering refererer til et sett med teknikker som brukes for å forhindre overtilpasning og forbedre generaliseringen av en modell. Overtilpasning oppstår når en modell lærer seg treningsdataene for godt og fanger opp støy og spesifikke detaljer som ikke gjelder for nye, usette data. Regularisering bidrar til å kontrollere dette ved å legge til et straffeterm i modellens målfunksjon, noe som motvirker altfor komplekse modeller.
To vanlige typer regulering er L1- og L2-regulering:
L1 Regularisering (Lasso Regression):
-
L1-regularisering legger til et straffeterm i kostnadsfunksjonen som tilsvarer absoluttverdiene av modellens koeffisienter.
-
Den oppmuntrer til sparsomhet i modellen ved å krympe noen koeffisienter til nøyaktig null, noe som effektivt utfører funksjonsseleksjon.
-
Den resulterende modellen er enklere og lettere å tolke, siden den bare velger ut de viktigste funksjonene og forkaster de mindre relevante.
L2-regulering (Ridge Regression):
-
L2-regularisering legger til et straffeterm i kostnadsfunksjonen som tilsvarer kvadrerte størrelser av modellens koeffisienter.
-
Den har en tendens til å krympe koeffisientene til mindre viktige funksjoner mot null, men den setter dem sjelden nøyaktig til null.
-
L2-regulering er effektiv for å forhindre overtilpasning ved å straffe store vekter og dermed redusere modellens kompleksitet.
Både L1- og L2-reguleringsteknikker bidrar til å redusere overtilpasning og forbedre modellens evne til å generalisere til usette data. Valget mellom L1- og L2-regularisering avhenger ofte av det spesifikke problemet, egenskapenes art og ønsket resultat. Lasso (L1)C_-regularisering, med sine egenskaper for funksjonsvalg, er å foretrekke når det er behov for å identifisere de mest relevante funksjonene. Ridge (L2) regularisering er egnet når alle funksjonene er potensielt viktige, og det er ønskelig å redusere effekten av dem uten å eliminere dem helt. I tillegg kan en kombinasjon av begge teknikkene, kjent som Elastic Net-regulering, brukes for å dra nytte av både L1- og L2-regulering samtidig.
