Kryžminis patvirtinimas yra metodas, naudojamas įvertinti, kaip gerai modelis apibendrina naujus, nematomus duomenis. Pagrindinis jo tikslas yra įvertinti modelio našumą, neleisti per daug pritaikyti ir pateikti patikimus įvertinimus, kaip modelis veiks nepriklausomuose duomenų rinkiniuose.
Metodika
– K-Fold kryžminis patvirtinimas: šis metodas apima duomenų rinkinio padalijimą į k apytiksliai vienodo dydžio poaibius / raukšles. Modelis treniruojamas k kartų, kiekvieną kartą naudojant k-1 raukšles mokymui ir likusį lankstymą patvirtinimui. Šis procesas sukuria k skirtingų modelių ir našumo įvertinimų, paprastai apskaičiuojant rezultatų vidurkį ir pateikiant tikslesnę vertinimo metriką.
- Kryžminio patvirtinimo palikimas (LOOCV): naudojant LOOCV, vienas duomenų taškas laikomas patvirtinimo rinkiniu, o likusieji duomenys naudojami mokymui. Šis procesas kartojamas kiekvienam duomenų taškui ir gaunama n iteracijų (kur n = duomenų taškų skaičius). Tai labai skaičiuojant brangu, bet gali pateikti patikimą įvertinimą, ypač naudojant mažesnius duomenų rinkinius.
Tikslas
-
Modelio našumo vertinimas: kryžminis patvirtinimas padeda suprasti, kaip gerai modelis veikia su nematomais duomenimis, užtikrinant, kad jis ne tik įsiminė mokymo rinkinį (perdėtas), bet išmoko apibendrintus modelius.
-
Perdengimo mažinimas: patvirtinus modelį skirtinguose duomenų pogrupiuose, kryžminis patvirtinimas padeda nustatyti ir sušvelninti perteklinį pritaikymą. Jis įvertina, kaip gerai modelis veikia su nematomais duomenimis, sumažindama triukšmo ar nereikšmingų raštų tikimybę.
-
Patikimi apibendrinimo įvertinimai: kryžminis patvirtinimas suteikia patikimesnius modelio našumo įvertinimus, panaudojant kelis patvirtinimo rinkinius, todėl galima patikimiau įvertinti modelio gebėjimą apibendrinti naujus duomenis.
Privalumai ir praktiniai scenarijai
-
K-Fold CV: jis plačiai naudojamas ir tinka daugeliui duomenų rinkinių. Tačiau didelių duomenų rinkinių skaičiavimo sąnaudos gali būti didelės.
-
LOOCV: jis pateikia mažiausią šališkumą, bet gali būti brangus skaičiavimo požiūriu ir nepraktiškas didesniems duomenų rinkiniams dėl didelio iteracijų skaičiaus.
Scenarijai
- Maži duomenų rinkiniai: LOOCV gali būti naudingas, nes pateikia patikimą įvertinimą, nepaisant skaičiavimo išlaidų.
– Dideli duomenų rinkiniai: „K-Fold CV“ gali būti praktiškesnis dėl mažesnių skaičiavimo poreikių ir vis tiek pateikia patikimus įvertinimus.
Kryžminis patvirtinimas yra labai svarbus vertinant modelio veikimą, sumažinant permontavimą ir įvertinant modelio apibendrinimo galimybes. Metodo pasirinkimas dažnai priklauso nuo duomenų rinkinio dydžio, skaičiavimo išteklių ir tikslumo lygio, reikalingo modelio našumui įvertinti.
