Ristivalidointi on tekniikka, jota käytetään arvioimaan, kuinka hyvin malli yleistyy uusiin, näkymättömiin tietoihin. Sen ensisijainen tarkoitus on arvioida mallin suorituskykyä, estää ylisovitus ja antaa luotettavia arvioita mallin toimivuudesta riippumattomilla tietojoukoilla.
Metodologia
-
K-taiton ristiintarkistus: Tämä menetelmä sisältää tietojoukon jakamisen k suunnilleen samankokoiseen osajoukkoon/taitoon. Mallia harjoitellaan k kertaa, joka kerta käyttämällä k-1 taitosta harjoittelua varten ja jäljellä olevaa taitosta validointiin. Tämä prosessi tuottaa k erilaista mallia ja suorituskykyarviota, yleensä laskemalla tuloksista keskiarvoa, mikä tarjoaa lukeamman arviointimittarin.
-
Jätä yksi pois ristiinvalidointi (LOOCV): LOOCV:ssä yksittäinen tietopiste säilytetään vahvistusjoukona, kun taas muuta dataa käytetään harjoitteluun. Tämä prosessi toistetaan jokaiselle datapisteelle, jolloin tuloksena on n iteraatiota (jossa n = datapisteiden lukumäärä). Se on erittäin laskennallisesti kallista, mutta se voi antaa luotettavan arvion, etenkin pienemmillä tietojoukoilla.
Tarkoitus
-
Mallin suorituskyvyn arvioiminen: Ristiinvalidointi auttaa ymmärtämään, kuinka hyvin malli toimii näkymättömällä tiedolla, ja varmistaa, että se ei ole vain muistanut harjoitussarjaa (ylisovitus), vaan on oppinut yleistettäviä malleja.
-
Overfitting Reduction: Validoimalla mallin datan eri osajoukkoihin, ristiinvalidointi auttaa tunnistamaan ja vähentämään ylisovitusta. Se arvioi, kuinka hyvin malli toimii näkymättömällä tiedolla, minimoiden mahdollisuudet siepata kohinaa tai epäolennaisia kuvioita.
-
Luotettavat yleistysarviot: Ristiinvalidointi tarjoaa luotettavampia arvioita mallin suorituskyvystä hyödyntämällä useita vahvistusjoukkoja, mikä johtaa luotettavampiin arvioihin mallin kyvystä yleistää uusiin tietoihin.
Edut ja käytännön skenaariot
-
K-Fold CV: Se on laajalti käytetty ja sopii useimpiin tietojoukkoihin. Suurille tietojoukoille laskennalliset kustannukset voivat kuitenkin olla korkeat.
-
LOOCV: Se tarjoaa vähiten harhaanjohtavan arvion, mutta se voi olla laskennallisesti kallista ja epäkäytännöllistä suuremmille tietojoukoille iteraatioiden suuren määrän vuoksi.
Skenaariot
-
Pienet tietojoukot: LOOCV voi olla hyödyllinen, koska se tarjoaa luotettavan arvion laskentakustannuksista huolimatta.
-
Suuret tietojoukot: K-Fold CV saattaa olla käytännöllisempi alhaisempien laskentavaatimustensa vuoksi, mutta tarjoaa silti vankat arviot.
Ristiinvalidointi on ratkaisevan tärkeää mallin suorituskyvyn arvioimiseksi, ylisovituksen vähentämiseksi ja mallin yleistyskyvyn arvioimiseksi. Menetelmän valinta riippuu usein tietojoukon koosta, laskentaresursseista ja mallin suorituskyvyn arvioinnissa vaadittavasta tarkkuustasosta.
