K-vou-kruisvalidering is 'n tegniek wat gebruik word om die prestasie van 'n model te evalueer. Dit is veral nuttig om te skat hoe goed 'n model sal veralgemeen na nuwe, onsigbare data. Die proses behels die verdeling van die datastel in 'k' subversamelings of voue van ongeveer gelyke grootte. Hier is 'n uiteensetting van die stappe:
1. Datastelverdeling:
Die datastel is verdeel in 'k' gelyke-grootte substelle of voue. Byvoorbeeld, as jy 1 000 monsters het en 'k' as 5 kies, sal elke vou 200 monsters bevat.
2. Iteratiewe opleiding en evaluering:
Die model word 'k' keer opgelei. In elke iterasie word 'n ander vou as die valideringsstel gebruik, en die oorblywende voue word vir opleiding gebruik. Byvoorbeeld:
-
Iterasie 1: Vou 1 as validering, vou 2 na k vir opleiding
-
Iterasie 2: Vou 2 as validering, vou 1 en 3 na k vir opleiding
-
Iterasie 3: Vou 3 as validering, vou 1 en 2, en 4 na k vir opleiding
-
... en so aan totdat alle voue as 'n valideringsstel gebruik is.
3. Prestasie-evaluering:
Na elke iterasie word die model se prestasie geëvalueer deur gebruik te maak van 'n gekose maatstaf (bv. akkuraatheid, akkuraatheid, herroeping, ens.) op die validasiestel. Die prestasiemaatstawwe van elke iterasie word gemiddeld of gekombineer om 'n algehele skatting van die model se prestasie te gee.
4. Samevoeging van statistieke:
Die prestasiemaatstawwe (bv. akkuraatheidtellings) van elke iterasie word gemiddeld of gekombineer om 'n algehele beoordeling van die model se prestasie te verskaf. Hierdie saamgevoegde maatstaf verteenwoordig die model se verwagte prestasie op onsigbare data.
Voordele van K-vou kruisvalidering bo 'n eenvoudige trein-/toetsverdeling
-
Beter gebruik van data: K-vou kruisvalidering maak beter gebruik van die beskikbare data aangesien elke monster vir beide opleiding en validering gebruik word.
-
Verminderde afwyking in prestasieskatting: Dit verskaf 'n meer betroubare skatting van modelwerkverrigting deur **die afwyking wat met 'n enkele trein/toetsverdeling geassosieer word, te verminder.
-
Veralgemening: Dit help om te verstaan hoe die model op verskillende subgroepe van die data presteer, en evalueer dus die veralgemeningsvermoë daarvan.
Kies die waarde van 'k'
-
Hoër 'k'-waardes: Die gebruik van 'n hoër 'k'-waarde (bv. 10 of meer) lei tot kleiner valideringsstelle, wat kan lei tot laer vooroordeel in die prestasieskatting maar hoër berekeningskoste.
-
Laer 'k'-waardes: Die gebruik van 'n laer 'k'-waarde (bv. 3 of 5) verminder berekeningskoste maar kan lei tot 'n hoër vooroordeel in die prestasieskatting as gevolg van kleiner validering stelle.
In praktiese scenario's
-
Vir groot datastelle kan hoër 'k'-waardes rekenkundig duur wees.
-
Wanneer die datastel klein is, sal 'n hoër 'k' dalk nie genoeg data in elke vou verskaf vir robuuste modelopleiding nie.
-
Oor die algemeen word waardes soos 5 of 10 algemeen gebruik aangesien hulle 'n balans tussen berekeningsdoeltreffendheid en betroubare prestasieskatting vind.
