Regularisointi viittaa joukkoon tekniikoita, joita käytetään estämään ylisovitusta ja parantamaan mallin yleistämistä. Ylisovitus tapahtuu, kun malli oppii harjoitustiedot liian hyvin ja vangitsee kohinaa ja tiettyjä yksityiskohtia, jotka eivät koske uutta, näkymätöntä dataa. Regularisointi auttaa hallitsemaan tätä lisäämällä rangaistustermin mallin tavoitefunktioon, mikä estää liian monimutkaisia malleja.
Kaksi yleistä regularisointityyppiä ovat L1- ja L2-regulointi:
L1-regulointi (Lasso-regressio):
-
L1-regulointi lisää kustannusfunktioon sakkotermin, joka vastaa mallin kertoimien absoluuttisia arvoja.
-
Se kannustaa mallin harvuuteen kutistamalla jotkin kertoimet täsmälleen nollaan suorittaen tehokkaasti ominaisuuksien valinnan.
-
Tuloksena oleva malli on yksinkertaisempi ja helpompi tulkita, koska se valitsee vain tärkeimmät ominaisuudet ja hylkää vähemmän merkitykselliset.
L2-regulointi (Ridgen regressio):
-
L2-regulointi lisää kustannusfunktioon sakkotermin, joka on yhtä suuri kuin mallin kertoimien neliösuuruudet.
-
Se pyrkii pienentämään vähemmän tärkeiden ominaisuuksien kertoimia kohti nollaa, mutta se asettaa ne harvoin tarkalleen nollaan.
-
L2-regulointi estää tehokkaasti yliasennusta rankaisemalla suuria painoja ja siten vähentäen mallin monimutkaisuutta.
Sekä L1- että L2-regulointitekniikat auttavat vähentämään ylisovitusta ja parantamaan mallin kykyä yleistää näkymättömään dataan. Valinta L1- ja L2-regulaation välillä riippuu usein tietystä ongelmasta, ominaisuuksien luonteesta ja halutusta tuloksesta. Lasso (L1) -regulointi ominaisuusvalintaominaisuuden kanssa on suositeltava, kun on tarpeen tunnistaa tärkeimmät piirteet. Ridge (L2) -regulointi sopii, kun kaikki ominaisuudet ovat mahdollisesti tärkeitä ja niiden vaikutusten vähentäminen ilman, että niitä poistetaan kokonaan, on parempi. Lisäksi molempien tekniikoiden yhdistelmää, joka tunnetaan nimellä Elastic Net regularization, voidaan käyttää hyödyntämään sekä L1- että L2-regulointia samanaikaisesti.
