A keresztellenőrzés egy olyan technika, amellyel felmérhető, hogy egy modell mennyire általánosítható az új, nem látott adatokra. Elsődleges célja a modell teljesítményének értékelése, a túlillesztés megelőzése, és megbízható becslések biztosítása arra vonatkozóan, hogy a modell hogyan fog teljesíteni független adatkészleteken.
Módszertan
-
K-hajtás keresztellenőrzése: Ez a módszer magában foglalja az adatkészlet felosztását k közel azonos méretű részhalmazra/hajtásra. A modell k-szer betanításra kerül, minden alkalommal k-1 hajtást használva a képzéshez és a fennmaradó hajtást az érvényesítéshez. Ez a folyamat k különböző modellt és teljesítménybecslést állít elő, általában az eredmények átlagolásával, robosztusabb értékelési mutatót biztosítva.
-
Kihagyó keresztellenőrzés (LOOCV): A LOOCV-ben egy egyetlen adatpont marad érvényesítési halmazként, míg a többi adatot a képzéshez használják fel. Ez a folyamat minden adatpontnál megismétlődik, ami n iterációt eredményez (ahol n = adatpontok száma). Nagyon számításilag drága, de megbízható becslést adhat, különösen kisebb adatkészletek esetén.
Cél
-
Modell teljesítményének értékelése: A keresztellenőrzés segít megérteni, hogy a modell mennyire teljesít jól a nem látott adatokon, biztosítva, hogy ne csak memorizálja a betanító készletet (túlillesztés), hanem megtanult általánosítható mintákat is.
-
Túlillesztés csökkentése: A modell érvényesítésével az adatok különböző részhalmazain a keresztellenőrzés segít a túlillesztés azonosításában és enyhítésében. Kiértékeli, hogy a modell mennyire teljesít a nem látott adatokon, minimálisra csökkentve a zaj vagy irreleváns minták rögzítésének esélyét.
-
Megbízható általánosítási becslések: A keresztellenőrzés megbízhatóbb becsléseket ad a modell teljesítményéről azáltal, hogy több ellenőrzési halmazt is felhasznál, ami a modell új adatokra való általánosítási képességének robusztusabb értékeléséhez vezet.
Előnyök és gyakorlati forgatókönyvek
-
K-Fold CV: Széles körben használják, és a legtöbb adatkészlethez alkalmas. Nagy adathalmazok esetén azonban a számítási költség magas lehet.
-
LOOCV: Ez biztosítja a legkisebb torzítású becslést, de számítási szempontból költséges lehet, és az iterációk nagy száma miatt nem praktikus nagyobb adatkészletek esetén.
Forgatókönyvek
-
Kis adatkészletek: A LOOCV hasznos lehet, mivel megbízható becslést ad a számítási költségek ellenére.
-
Nagy adatkészletek: A K-Fold CV praktikusabb lehet az alacsonyabb számításigénye miatt, ugyanakkor megbízható becsléseket ad.
A keresztellenőrzés kulcsfontosságú a modell teljesítményének értékeléséhez, a túlillesztés csökkentéséhez és a modell általánosító képességének becsléséhez. A módszer kiválasztása gyakran az adatkészlet méretétől, a számítási erőforrásoktól és a modell teljesítményének becsléséhez szükséges pontosságtól függ.
