Ylisovitus tapahtuu, kun malli oppii harjoitustietojen taustalla olevien kuvioiden lisäksi myös kohinaa ja satunnaisuutta kyseisessä tiedossa. Tämä johtaa malliin, joka toimii erittäin hyvin harjoitustiedoissa, mutta ei yleistä uusiin, näkymättömiin tietoihin.
Henkilöllisyystodistus
-
High Training Accuracy, Low Test Accuracy: Yksi ensisijaisista indikaattoreista on, kun malli toimii poikkeuksellisen hyvin harjoitustiedoissa, mutta huonosti testi- tai validointitiedoissa.
-
Mallin monimutkaisuus: Overfit-mallit ovat yleensä liian monimutkaisia ja sieppaavat kohinaa taustalla olevien kuvioiden sijaan.
-
Visualisoinnit: Kaaviot, kuten oppimiskäyrät, jotka osoittavat suorituskyvyn harjoitus- ja validointisarjoissa, voivat paljastaa ylisovituksen, jos harjoitussuorituskyky paranee edelleen validointisuorituskyvyn tasaantuessa tai laskeessa.
Ennaltaehkäisy ja tekniikat liiallisen asentamisen vähentämiseksi
-
Ristivahvistus: Tekniikat, kuten k-kertainen ristiinvalidointi, voivat auttaa arvioimaan mallin suorituskykyä datan eri osajoukkoilla varmistaen, että se yleistyy hyvin.
-
Juna-validointi-testijako: Tietojen jakaminen erillisiin ryhmiin koulutusta, validointia ja testausta varten varmistaa, että malli arvioidaan näkymättömien tietojen perusteella.
-
Ominaisuuden valinta: Käytä vain tärkeimpiä ominaisuuksia mallin kouluttamiseen välttäen vähemmän informatiivisten ominaisuuksien aiheuttamaa melua.
-
Regulisointi: Tekniikat, kuten L1- tai L2-regulointi, lisäävät rangaistusehtoja mallin häviöfunktioon, mikä estää liian monimutkaisia malleja.
-
Varhainen pysäytys: Tarkkaile mallin suorituskykyä validointisarjassa ja lopeta harjoitus, kun suorituskyky alkaa heikentyä, estäen sitä optimoimasta liikaa harjoitustietoja.
-
Kokousmenetelmät: Säkitys-, tehostus- tai pinoamisen kaltaisten tekniikoiden käyttäminen voi auttaa vähentämään ylisovitusta yhdistämällä useiden mallien ennusteita.
-
Tietojen lisäys: Tietyntyyppisissä malleissa lisäharjoitustietojen luominen käyttämällä muunnoksia tai häiriöitä olemassa oleviin tietoihin voi auttaa estämään ylisovituksen.
Mallin monimutkaisuuden, tietojoukon koon ja regularisointitekniikoiden tasapainottaminen on ratkaisevan tärkeää ylisovituksen estämiseksi ja samalla varmistaa, että malli yleistyy hyvin uuteen, näkymättömään dataan.
