Krydsvalidering er en kritisk teknik, der bruges til at evaluere hvor godt en model vil præstere på nye data. Det primære mål er at vurdere en models ydeevne på en måde, der minimerer problemer som overtilpasning (hvor modellen lærer for meget af træningsdataene og klarer sig dårligt på usete data) og undertilpasning (hvor modellen er for enkel til at fange mønstrene i data).
Konceptet går ud på at opdele de tilgængelige data i flere delmængder, typisk to hoveddele: træningssættet og valideringssættet (som også nogle gange kaldes testsættet).
En almindelig teknik er k-fold krydsvalidering:
-
Datasættet er opdelt i 'k' undersæt (eller folder) af omtrent lige store størrelser.
-
Modellen trænes 'k' gange, hver gang med en anden fold som valideringssæt og de resterende fold som træningssæt.
-
For eksempel, i 5-fold krydsvalidering, er dataene opdelt i fem delmængder. Modellen trænes fem gange, hver gang med et andet af de fem undersæt som valideringssæt og de fire andre som træningssæt.
-
Ydeevnemålingerne (såsom nøjagtighed, præcision, genkaldelse osv.) beregnes som gennemsnit på tværs af disse 'k'-iterationer for at få et endeligt præstationsestimat.
Andre almindelige teknikker omfatter
Leave-One-Out Cross-Validation (LOOCV)
-
Hvert datapunkt fungerer som et valideringssæt, og modellen trænes på resten af dataene.
-
Denne metode er beregningsmæssigt dyr for store datasæt, men kan være ret præcis, da den bruger næsten alle data til træning.
Stratificeret krydsvalidering
- Sikrer, at hver fold er repræsentativ for hele datasættet. Det opretholder klassefordelingen i hver fold, hvilket er nyttigt for ubalancerede datasæt.
Krydsvalidering er afgørende, fordi det giver et mere pålideligt estimat af en models ydeevne på usete data sammenlignet med en enkelt tog-testopdeling. Det hjælper med at identificere problemer som overfitting eller underfitting ved at give et mere robust skøn over, hvordan modellen vil generalisere til nye data.
Ved at bruge krydsvalidering kan maskinlæringsudøvere træffe bedre beslutninger om modelvalg, hyperparameterjustering og vurdere generaliseringsydelsen af en model på usete data.
