Regularizacija se nanaša na niz tehnik, ki se uporabljajo za preprečevanje prekomernega opremljanja in izboljšanje generalizacije modela. Prekomerno opremljanje se pojavi, ko se model predobro nauči podatkov o usposabljanju, pri čemer zajame šum in posebne podrobnosti, ki ne veljajo za nove, nevidene podatke. Regulacija pomaga nadzorovati to z dodajanjem kazenskega izraza objektivni funkciji modela, kar odvrača od preveč zapletenih modelov.
Dve pogosti vrsti regulacije sta L1 in L2 regulacija:
L1 Regularizacija (lasso regresija):
-
Regulacija L1 doda kazenski člen funkciji stroškov, ki je enak absolutnim vrednostim koeficientov modela.
-
spodbuja redkost v modelu tako, da skrči nekatere koeficiente na točno nič, s čimer učinkovito izvaja izbiro funkcij.
-
Dobljeni model je enostavnejši in lažji za interpretacijo, saj izbere samo najpomembnejše značilnosti, medtem ko zavrže manj relevantne.
L2 Regularizacija (grebenska regresija):
-
Regulacija L2 doda kazenski člen funkciji stroškov, ki je enak kvadratnim velikostim koeficientov modela.
-
Nagiba se k zmanjšanju koeficientov manj pomembnih lastnosti proti ničli, vendar jih le redko nastavi natančno na nič.
-
Regulacija L2 je učinkovita pri preprečevanju prekomernega opremljanja s kaznovanjem velikih uteži in s tem zmanjšanjem kompleksnosti modela.
Obe tehniki regulacije L1 in L2 pomagata zmanjšati prekomerno opremljanje in izboljšati sposobnost modela za posploševanje na nevidne podatke. Izbira med ureditvijo L1 in L2 je pogosto odvisna od specifičnega problema, narave značilnosti in želenega rezultata. Regulacija z lasom (L1) s svojo lastnostjo izbire funkcij je prednostna, kadar je treba identificirati najpomembnejše značilnosti. Regulacija grebena (L2) je primerna, kadar so vse značilnosti potencialno pomembne in je prednostno zmanjšati njihov vpliv, ne da bi jih v celoti odstranili. Poleg tega je mogoče uporabiti kombinacijo obeh tehnik, znano kot Elastic Net regularization, da hkrati izkoristite prednosti L1 in L2 regularizacije.
