Korsvalidering är en viktig teknik som används för att utvärdera hur bra en modell kommer att fungera på nya data. Det primära målet är att bedöma en modells prestanda på ett sätt som minimerar problem som överanpassning ( där modellen lär sig för mycket från träningsdata och presterar dåligt på osedda data) och underanpassning ( där modellen är för enkel för att fånga mönstren i data).
Konceptet innebär att tillgängliga data delas upp i flera delmängder, vanligtvis två huvuddelar: träningsmängden och valideringsmängden (, som ibland också kallas testmängden).
En vanlig teknik är k-fold korsvalidering:
-
Datasetet delas in i "k" delmängder (eller folds) av ungefär samma storlek.
-
Modellen tränas "k" gånger, varje gång med en annan fold som valideringsuppsättning och de återstående foldarna som träningsuppsättning.
-
Vid 5-faldig korsvalidering delas t.ex. data in i fem delmängder. Modellen tränas fem gånger, varje gång med en annan av de fem undergrupperna som valideringsuppsättning och de övriga fyra som träningsuppsättning.
-
Prestationsmåtten (som noggrannhet, precision, återkallelse etc.) beräknas i genomsnitt över dessa "k" iterationer för att få en slutlig prestationsuppskattning.
Andra vanliga tekniker inkluderar
Korsvalidering med "leave one out" (LOOCV)
-
Varje datapunkt fungerar som en valideringsuppsättning, och modellen tränas på resten av datan.
-
Denna metod är beräkningskrävande för stora datamängder men kan vara mycket exakt eftersom den använder nästan alla data för träning.
Stratifierad korsvalidering
- Säkerställer att varje vikning är representativ för hela datasetet. Den bibehåller klassfördelningen i varje vikning, vilket är användbart för obalanserade dataset.
Korsvalidering är avgörande eftersom det ger en mer tillförlitlig uppskattning av en modells prestanda på osedda data jämfört med en enda tåg-testdelning. Det hjälper till att identifiera problem som överanpassning eller underanpassning genom att ge en mer robust uppskattning av hur modellen kommer att generaliseras till nya data.
Genom att använda korsvalidering kan maskininlärningsutövare fatta bättre beslut om modellval, hyperparameterinställning och bedöma generaliseringsprestandan för en modell på osedda data.
