K-voudige kruisvalidatie is een techniek die wordt gebruikt om de prestaties van een model te beoordelen. Het is vooral nuttig om in te schatten hoe goed een model zal generaliseren naar nieuwe, ongeziene gegevens. Het proces bestaat uit het verdelen van de dataset in 'k' subsets of vouwen van ongeveer gelijke grootte. Hier volgt een overzicht van de stappen:
1. Dataset opsplitsen:
De dataset wordt verdeeld in 'k' subsets of vouwen van gelijke grootte. Als u bijvoorbeeld 1000 monsters hebt en 'k' kiest als 5, zal elke vouw 200 monsters bevatten.
2. Iteratieve training en evaluatie:
Het model wordt 'k' keer getraind. Bij elke iteratie wordt een andere vouw gebruikt als validatieset en worden de overige vouwen gebruikt voor de training. Bijvoorbeeld:
-
Iteratie 1: Vouw 1 als validatie, vouwen 2 tot k voor opleiding
-
Iteratie 2: Vouw 2 als validatie, vouwen 1 en 3 tot k voor opleiding
-
Iteratie 3: Vouw 3 als validatie, vouwen 1 en 2, en 4 tot k voor opleiding
-
... enzovoort totdat alle plooien zijn gebruikt als validatieset.
3. Prestatie-evaluatie:
Na elke iteratie worden de prestaties van het model geëvalueerd aan de hand van een gekozen metriek ( bijv. nauwkeurigheid, precisie, recall, enz.) op de validatieset. De prestatiecijfers van elke iteratie worden gemiddeld of gecombineerd om een algemene schatting van de prestaties van het model te krijgen.
4. Samenvoeging van statistieken:
De prestatiecijfers ( bijvoorbeeld nauwkeurigheidsscores) van elke iteratie worden gemiddeld of gecombineerd om een algemene beoordeling van de prestaties van het model te krijgen. Deze geaggregeerde metriek vertegenwoordigt de verwachte prestaties van het model op ongeziene gegevens.
Voordelen van K-voudige kruisvalidatie ten opzichte van een eenvoudige train/test-splitsing
-
Beter gebruik van gegevens: K-voudige kruisvalidatie maakt beter gebruik van de beschikbare gegevens omdat elk monster wordt gebruikt voor zowel training als validatie.
-
Verminderde variantie in het schatten van prestaties: Het biedt een betrouwbaardere schatting van de modelprestaties door de variantie te verminderen die is gekoppeld aan een enkele train/test-splitsing.
-
Generalisatie: Het helpt om te begrijpen hoe het model presteert op verschillende subsets van de gegevens, waardoor het generalisatievermogen wordt beoordeeld.
De waarde van 'k' kiezen
-
Hogere 'k'-waarden: Het gebruik van een hogere 'k'-waarde ( bijvoorbeeld 10 of meer) resulteert in kleinere validatiesets, wat kan leiden tot een lagere vertekening in de prestatiebeoordeling, maar hogere rekenkosten.
-
Lagere 'k'-waarden: Het gebruik van een lagere 'k'-waarde (bijv. 3 of 5) vermindert de rekenkosten, maar kan leiden tot een grotere vertekening in de schatting van de prestaties vanwege kleinere validatiesets.
In praktische scenario's
-
Voor grote datasets kunnen hogere 'k'-waarden rekenkundig duur zijn.
-
Als de dataset klein is, levert een hogere 'k' mogelijk niet genoeg gegevens in elke vouw op voor een robuuste modeltraining.
-
Over het algemeen worden waarden als 5 of 10 gebruikt, omdat ze een balans vinden tussen rekenefficiëntie en betrouwbare schatting van de prestaties.
