Yli- ja alisovitus ovat yleisiä ongelmia koneoppimismalleissa, jotka vaikuttavat niiden kykyyn yleistää hyvin uuteen, ennennäkemättömään dataan.
Ylisovitus tapahtuu, kun malli oppii harjoitustiedon taustalla olevien kuvioiden lisäksi myös oppii kohinan ja datassa esiintyvät satunnaiset vaihtelut. Tämän seurauksena malli toimii poikkeuksellisen hyvin harjoitustiedoissa, mutta ei yleistä uuteen, näkemättömään dataan, koska se on olennaisesti muistanut harjoitusjoukon.
Aliasovitus sitä vastoin tapahtuu, kun malli on liian yksinkertainen kaapatakseen taustalla olevia kuvioita harjoitustietoihin. Se toimii huonosti paitsi harjoitusdatan, myös uuden datan suhteen, koska se ei pysty oppimaan datassa olevia suhteita ja monimutkaisuutta.
Kuinka estää liika- ja aliasovitus
-
Ristivalidointi: Käytä tekniikoita, kuten k-kertaista ristiinvalidointia, arvioidaksesi mallin suorituskykyä tietojen eri osajoukkoilla. Se auttaa arvioimaan, kuinka hyvin malli yleistyy uuteen dataan.
-
Train-test split: Jaa tietosi erillisiin harjoitus- ja testaussarjoihin. Harjoittele mallia harjoitussarjassa ja arvioi sen suorituskykyä testisarjassa. Tämä auttaa arvioimaan, kuinka hyvin malli yleistyy näkymättömään dataan.
-
Ominaisuuden valinta/vähentäminen: Vähennä mallin monimutkaisuutta valitsemalla vain tärkeimmät ominaisuudet tai käyttämällä tekniikoita, kuten pääkomponenttianalyysiä (PCA) tietojen mittasuhteiden vähentämiseksi.
-
Regulisointi: Tekniikat, kuten L1- tai L2-regulointi, lisäävät seuraamuksia mallin tavoitefunktion monimutkaisuudesta, estäen sitä sovittamasta kohinaa dataan liian tarkasti.
-
Kokousmenetelmät: Yhdistä useita malleja vähentääksesi yli- ja aliasennusta. Tekniikat, kuten pussittaminen, tehostaminen tai pinoaminen, käyttävät useita malleja yleisen suorituskyvyn ja yleistyksen parantamiseksi.
-
Hyperparametrien viritys: Säädä mallin hyperparametreja (kuten oppimisnopeus, päätöspuiden puiden syvyys jne.) käyttämällä tekniikoita, kuten ruudukkohaku tai satunnainen haku löytääksesi optimaalisen kokoonpanon, joka tasapainottaa harhaa. ja varianssi.
-
Varhainen pysäytys: Tarkkaile mallin suorituskykyä validointisarjalla harjoituksen aikana ja pysäytä harjoitusprosessi, kun suorituskyky alkaa heikentyä, mikä estää liiallisen sovituksen.
-
Lisää tietoja: Tietomäärän lisääminen voi auttaa mallia yleistymään paremmin tarjoamalla monipuolisemman ja edustavamman otoksen taustalla olevasta jakaumasta.
Oikean tasapainon löytäminen mallin monimutkaisuuden ja yleistyksen välillä on ratkaisevan tärkeää yli- ja alisovituksen estämisessä, ja nämä tekniikat auttavat saavuttamaan tämän tasapainon.
