K-reizes savstarpējā validācija ir metode, ko izmanto, lai novērtētu modeļa veiktspēju. Tas ir īpaši noderīgi, lai novērtētu, cik labi modelis vispārinās uz jauniem, neredzētiem datiem. Process ietver datu kopas sadalīšanu aptuveni vienāda izmēra “k” apakškopās vai krokās. Tālāk ir sniegts darbību sadalījums.
1. Datu kopas sadalīšana:
Datu kopa ir sadalīta “k” vienāda lieluma apakškopās vai locījumos. Piemēram, ja jums ir 1000 paraugu un izvēlaties "k" kā 5, katrā locījumā būs 200 paraugu.
2. Iteratīvā apmācība un novērtēšana:
Modelis ir apmācīts "k" reizes. Katrā iterācijā kā validācijas kopa tiek izmantota cita locīšana, bet atlikušās reizes tiek izmantotas apmācībai. Piemēram:
- 1. iterācija: salokiet 1 kā apstiprinājumu, salokiet no 2 līdz k apmācībai
- 2. iterācija: 2. locīšana kā validācija, 1. un 3. locīšana līdz k treniņam.
-
3. iterācija: 3. locīšana, lai apstiprinātu, 1. un 2. locīšana un 4. — k treniņam.
-
... un tā tālāk, līdz visas krokas ir izmantotas kā validācijas kopa.
3. Darbības novērtējums:
Pēc katras iterācijas modeļa veiktspēja tiek novērtēta, izmantojot validācijas kopā izvēlēto metriku (piemēram, precizitāti, precizitāti, atsaukšanu utt.). Katras iterācijas veiktspējas rādītāji tiek aprēķināti vidēji vai apvienoti, lai iegūtu kopējo modeļa veiktspējas novērtējumu.
4. Metrikas apkopošana:
Katras iterācijas veiktspējas rādītāji (piem., precizitātes rādītāji) tiek aprēķināti vidēji vai apvienoti, lai nodrošinātu modeļa veiktspējas vispārēju novērtējumu. Šī apkopotā metrika atspoguļo modeļa paredzamo veiktspēju neredzamiem datiem.
K-reizes savstarpējās validācijas priekšrocības salīdzinājumā ar vienkāršu vilciena/pārbaudes sadalījumu
-
Labāka datu izmantošana: K-kārtīgā savstarpējā validācija ļauj labāk izmantot pieejamos datus, jo katrs paraugs tiek izmantots gan apmācībai, gan validācijai.
-
Samazināta veiktspējas novērtējuma atšķirība: tā nodrošina uzticamāku modeļa veiktspējas aprēķinu, samazinot novirzi, kas saistīta ar vienu vilciena/pārbaudes sadalījumu.
-
Vispārināšana: palīdz izprast, kā modelis darbojas dažādās datu apakškopās, tādējādi novērtējot tā vispārināšanas iespējas.
“k” vērtības izvēle
- augstākas “k” vērtības: izmantojot augstāku “k” vērtību (piemēram, 10 vai vairāk), tiek iegūtas mazākas validācijas kopas, kas var izraisīt mazāku novirzi veiktspējas aprēķinos, bet augstākas skaitļošanas izmaksas..
- Zemākas “k” vērtības: izmantojot zemāku “k” vērtību (piem., 3 vai 5), samazina aprēķinu izmaksas, bet var izraisīt lielāku novirzi veiktspējas aprēķinos mazākas validācijas dēļ. komplekti.
Praktiskos scenārijos
- Lielām datu kopām augstākas “k” vērtības var būt skaitļošanas ziņā dārgas.
-
Ja datu kopa ir maza, augstāks “k” var nenodrošināt pietiekami daudz datu katrā locījumā, lai nodrošinātu stabilu modeļa apmācību.
-
Parasti parasti tiek izmantotas tādas vērtības kā 5 vai 10, jo tās nodrošina līdzsvaru starp skaitļošanas efektivitāti un uzticamu veiktspējas novērtējumu.
