K-kratna navzkrižna validacija je tehnika, ki se uporablja za ocenjevanje učinkovitosti modela. Še posebej je koristen za ocenjevanje, kako dobro se bo model posplošil na nove, še nevidene podatke. Postopek vključuje razdelitev nabora podatkov na 'k' podmnožic ali gub približno enake velikosti. Tukaj je razčlenitev korakov:
1. Razdelitev nabora podatkov:
Nabor podatkov je razdeljen na 'k' enako velikih podnaborov ali pregibov. Na primer, če imate 1000 vzorcev in izberete »k« kot 5, bo vsak pregib vseboval 200 vzorcev.
2. Ponavljajoče se usposabljanje in vrednotenje:
Model se uri 'k'-krat. V vsaki ponovitvi se kot niz za preverjanje uporabi drug pregib, preostali pregibi pa se uporabijo za usposabljanje. Na primer:
-
Ponovitev 1: Zloži 1 kot potrditev, Zloži 2 na k za usposabljanje
-
Ponovitev 2: Zložite 2 kot potrditev, Zložite 1 in 3 na k za usposabljanje
-
Ponovitev 3: Zgib 3 kot potrditev, Zgibi 1 in 2 ter 4 do k za usposabljanje
-
... in tako naprej, dokler niso vsi pregibi uporabljeni kot potrditveni niz.
3. Ocena uspešnosti:
Po vsaki ponovitvi se uspešnost modela ovrednoti z uporabo izbrane metrike (npr. natančnosti, natančnosti, priklica itd.) na nizu za preverjanje veljavnosti. Meritve uspešnosti iz vsake ponovitve so povprečne ali združene, da se zagotovi splošna ocena uspešnosti modela.
4. Združevanje meritev:
Meritve uspešnosti (npr. ocene natančnosti) iz vsake ponovitve so povprečne ali združene, da se zagotovi splošna ocena uspešnosti modela. Ta združena metrika predstavlja pričakovano zmogljivost modela na nevidnih podatkih.
Prednosti K-kratnega navzkrižnega preverjanja v primerjavi s preprosto delitvijo usposabljanja/testiranja
-
Boljša uporaba podatkov: K-kratna navzkrižna validacija omogoča boljšo uporabo razpoložljivih podatkov, saj se vsak vzorec uporablja za usposabljanje in validacijo.
-
Zmanjšana varianca v oceni zmogljivosti: zagotavlja zanesljivejšo oceno uspešnosti modela z zmanjšanjem variance, povezane z enim vlakom/preizkusom.
-
Posplošitev: Pomaga razumeti, kako se model obnese na različnih podmnožicah podatkov, s čimer oceni njegovo zmožnost posploševanja.
Izbira vrednosti 'k'
-
Višje vrednosti 'k': uporaba višje vrednosti 'k' (npr. 10 ali več) ima za posledico manjše validacijske nize, kar lahko povzroči nižjo pristranskost v oceni zmogljivosti, vendar višje računske stroške.
-
Nižje vrednosti 'k': uporaba nižje vrednosti 'k' (npr. 3 ali 5) zmanjša računske stroške, vendar lahko povzroči večjo pristranskost v oceni uspešnosti zaradi manjše validacije kompleti.
V praktičnih scenarijih
-
Za velike nabore podatkov so lahko višje vrednosti 'k' računsko drage.
-
Ko je nabor podatkov majhen, višji 'k' morda ne bo zagotovil dovolj podatkov v vsakem pregibu za robustno usposabljanje modela.
-
Na splošno se običajno uporabljajo vrednosti, kot sta 5 ali 10, saj vzpostavljajo ravnotežje med računalniško učinkovitostjo in zanesljivo oceno zmogljivosti.
