Regularisointitekniikoita, kuten L1 ja L2, käytetään estämään ylisovitus koneoppimismalleissa rankaisemalla suuria kertoimia.
L1-regulaatio, joka tunnetaan myös nimellä Lasso-regulointi, lisää piirteiden kertoimien absoluuttiseen arvoon verrannollisen sakkotermin. Se kannustaa harvuuteen ajamalla jotkin kertoimet täsmälleen nollaan ja suorittamalla ominaisuuksien valinnan tehokkaasti eliminoimalla vähemmän tärkeitä ominaisuuksia. Tämä ominaisuuden valintaominaisuus tekee L1-reguloinnista erityisen hyödyllisen käsiteltäessä tietojoukkoja, joissa on suuri määrä ominaisuuksia, koska se auttaa yksinkertaistamaan malleja keskittymällä tärkeimpiin ominaisuuksiin. Tuloksena oleva mallin yksinkertaistaminen vähentää yliasennusta.
Toisaalta L2-regulaatio, joka tunnetaan myös nimellä Ridge-regulointi, lisää piirteiden kertoimien neliöön verrannollisen sakkotermin. Se ei pakota kertoimia muuttumaan täsmälleen nollaksi, vaan kutistaa niitä kohti nollaa, jolloin kaikki ominaisuudet vaikuttavat malliin jossain määrin. L2-regulaatio on tehokas monikollineaarisuuden käsittelyssä ja johtaa yleensä vakaampiin, mutta vähemmän harvempiin malleihin verrattuna L1-regulaatioon.
Skenaarioita, joissa L1-regulointi saattaa olla hyödyllisempää, ovat:
-
Suuriulotteiset tietojoukot, joissa on monia ominaisuuksia: Kun käsitellään tietojoukkoja, joissa ominaisuustila on suuri, L1-regulointi auttaa automaattisessa ominaisuuksien valinnassa, mikä parantaa mallin tulkittavuutta ja suorituskykyä.
-
Kun ominaisuuksien odotetaan olevan harvassa: Verkkotunnuksissa, joissa oletetaan, että vain muutamalla ominaisuuksilla on todella vaikutusta, L1-regulointi voi tehokkaasti tunnistaa nämä ominaisuudet ja keskittyä niihin.
L1-regulointi saattaa kuitenkin olla vähemmän tehokas skenaarioissa, joissa:
-
Kaikkien ominaisuuksien oletetaan olevan tärkeitä: Jos uskotaan, että useimmat ominaisuudet ovat merkityksellisiä ja minkä tahansa poissulkeminen saattaa aiheuttaa tiedon menetystä, L1 ei ehkä ole paras valinta, koska se yleensä asettaa kertoimet nollaan.
-
Tietojoukossa on multikollineaarisuusongelmia: L2-regulaatio sopii paremmin multikollineaarisuusongelmien käsittelyyn kuin L1-regulaatio.
Käytännössä L1- ja L2-regulaation yhdistelmää, joka tunnetaan nimellä Elastinen net-regulaatio, voidaan käyttää hyötymään molemmista tekniikoista, mikä hyödyntää L1:n harvalukuisuutta ja L2:n vakautta.
