Tehnike regulacije, kot sta L1 in L2, se uporabljajo za preprečevanje prekomernega opremljanja v modelih strojnega učenja s kaznovanjem velikih koeficientov.
Regulacija L1, znana tudi kot regulacija z lasom, doda kazen, sorazmerno z absolutno vrednostjo koeficientov funkcij. Spodbuja redkost tako, da nekatere koeficiente zniža na točno nič, učinkovito izvaja izbiro funkcij z izločanjem manj pomembnih funkcij. Zaradi te zmožnosti izbire funkcij je reguliranje L1 še posebej uporabno pri naborih podatkov z velikim številom funkcij, saj pomaga poenostaviti modele z osredotočanjem na najpomembnejše funkcije. Posledica poenostavitve modela zmanjša prekomerno opremljanje.
Po drugi strani pa regulacija L2, znana tudi kot regulacija Ridge, doda kazenski člen, ki je sorazmeren s kvadratom koeficientov značilnosti. Koeficientov ne prisili, da postanejo natanko nič, ampak jih skrči proti nič, zaradi česar vse funkcije do neke mere prispevajo k modelu. Regulacija L2 je učinkovita pri obravnavanju multikolinearnosti in na splošno vodi do bolj stabilnih, a manj redkih modelov v primerjavi z regulacijo L1.
Scenariji, kjer bi lahko bila ureditev L1 bolj koristna, vključujejo:
-
Visokodimenzionalni nabori podatkov s številnimi funkcijami: Ko imate opravka z nabori podatkov, kjer je prostor za funkcije velik, regulacija L1 pomaga pri samodejni izbiri funkcij, izboljša interpretabilnost in zmogljivost modela.
-
Kadar se pričakuje redkost funkcij: V domenah, kjer se pričakuje, da je le nekaj funkcij resnično vplivnih, lahko regulacija L1 učinkovito prepozna te funkcije in se nanje osredotoči.
Vendar je lahko ureditev L1 manj učinkovita v scenarijih, kjer:
-
Vse funkcije se domnevajo kot pomembne: če obstaja prepričanje, da je večina funkcij ustreznih in izključitev katere koli od njih bi lahko povzročila izgubo informacij, L1 morda ni najboljša izbira, saj ponavadi nastavi koeficiente na nič.
-
Nabor podatkov ima težave z multikolinearnostjo: regulacija L2 je bolj primerna za obravnavo težav z multikolinearnostjo kot regulacija L1.
V praksi se lahko kombinacija regulacije L1 in L2, znana kot Elastic Net regularization, uporabi za izkoriščanje obeh tehnik, pri čemer se izkoristi redkost L1 in stabilnost L2.
