K-kertainen ristiinvalidointi on tekniikka, jota käytetään mallin suorituskyvyn arvioimiseen. Se on erityisen hyödyllinen arvioitaessa kuinka hyvin malli yleistyy uuteen, näkemättömään dataan. Prosessi sisältää tietojoukon jakamisen "k" osajoukkoon tai suunnilleen samankokoisiksi taiteiksi. Tässä on erittely vaiheista:
1. Tietojoukon jakaminen:
Tietojoukko on jaettu "k" samankokoiseen osajoukkoon tai taitteeseen. Jos sinulla on esimerkiksi 1 000 näytettä ja valitse "k" 5:ksi, jokainen taitto sisältää 200 näytettä.
2. Iteratiivinen koulutus ja arviointi:
Malli on koulutettu "k" kertaa. Jokaisessa iteraatiossa erilaista taittoa käytetään vahvistussarjana, ja loput taitokset käytetään harjoitteluun. Esimerkiksi:
-
Iteraatio 1: Taita 1 vahvistuksena, taittaa 2 k:sta harjoittelua varten
-
Iteraatio 2: Taita 2 vahvistuksena, taita 1 ja 3 k:ksi harjoittelua varten
-
Iteraatio 3: Taita 3 vahvistuksena, taita 1 ja 2 sekä 4 - k harjoitusta varten
-
... ja niin edelleen, kunnes kaikkia taitoksia on käytetty vahvistussarjana.
3. Suorituskyvyn arviointi:
Jokaisen iteroinnin jälkeen mallin suorituskykyä arvioidaan validointijoukon valitulla mittarilla (esim. tarkkuus, tarkkuus, palautus jne.). Kunkin iteroinnin suorituskykymittareista lasketaan keskiarvo tai yhdistetään kokonaisarvio mallin suorituskyvystä.
4. Mittareiden yhdistäminen:
Kunkin iteroinnin suorituskykymittareista (esim. tarkkuuspisteistä) lasketaan keskiarvo tai yhdistetään mallin suorituskyvyn kokonaisarvio. Tämä koottu tieto edustaa mallin odotettua suorituskykyä näkymättömissä tiedoissa.
K-kertaisen ristiinvalidoinnin edut yksinkertaiseen juna/testi-jakoon verrattuna
-
Tietojen parempi käyttö: K-kertainen ristiinvalidointi hyödyntää paremmin saatavilla olevia tietoja, koska jokaista näytettä käytetään sekä koulutukseen että validointiin.
-
Suorituskyvyn arvioinnin pienentynyt varianssi: Se tarjoaa luotettavamman arvion mallin suorituskyvystä vähentämällä yksittäiseen juna-/testi-jakoon liittyvää varianssia.
-
Yleistäminen: Se auttaa ymmärtämään, kuinka malli toimii datan eri osajouksilla, ja arvioi siten sen yleistyskykyä.
K:n arvon valitseminen
-
Korkeammat k-arvot: Suuremman k-arvon käyttäminen (esim. 10 tai enemmän) johtaa pienempiin validointijoukkoon, mikä voi johtaa pienempään harhaan suorituskykyarviossa, mutta korkeampaan laskentakustannuksiin.
-
Pienemmät k-arvot: Pienemmän k-arvon käyttäminen (esim. 3 tai 5) vähentää laskentakustannuksia, mutta voi johtaa suurempaan harhaan suorituskykyarviossa pienemmän validoinnin vuoksi sarjat.
Käytännön skenaarioissa
-
Suurille tietojoukoille korkeammat "k"-arvot voivat olla laskennallisesti kalliita.
-
Kun tietojoukko on pieni, suurempi "k" ei välttämättä tarjoa tarpeeksi tietoa jokaisessa taitteessa vankkaa mallin harjoittelua varten.
-
Yleensä arvoja, kuten 5 tai 10, käytetään yleisesti, koska ne saavuttavat tasapainon laskennan tehokkuuden ja luotettavan suorituskyvyn arvioinnin välillä.
