K-karto kryžminis patvirtinimas yra metodas, naudojamas modelio veikimui įvertinti. Tai ypač naudinga įvertinant kaip gerai modelis apibendrins naujus, nematytus duomenis. Procesas apima duomenų rinkinio padalijimą į „k“ pogrupius arba maždaug vienodo dydžio raukšles. Štai veiksmų suskirstymas:
1. Duomenų rinkinio padalijimas:
Duomenų rinkinys yra padalintas į „k“ vienodo dydžio poaibius arba raukšles. Pavyzdžiui, jei turite 1 000 pavyzdžių ir pasirenkate „k“ kaip 5, kiekviename lankstymo metu bus 200 pavyzdžių.
2. Iteratyvinis mokymas ir vertinimas:
Modelis treniruojamas „k“ kartų. Kiekvienoje iteracijoje kaip patvirtinimo rinkinys naudojamas skirtingas sulenkimas, o likę lenkimai naudojami mokymui. Pavyzdžiui:
-
1 iteracija: Sulenkite 1 kaip patvirtinimą, sulenkite 2 į k treniruotėms
-
2 iteracija: Sulenkite 2 kaip patvirtinimą, 1 ir 3 sulankstykite iki k treniruotėms
-
3 iteracija: sulankstykite 3 kaip patvirtinimą, sulankstykite 1 ir 2 ir nuo 4 iki k treniruodamiesi
-
... ir taip toliau, kol visi sulenkimai bus naudojami kaip patvirtinimo rinkinys.
3. Veiklos įvertinimas:
Po kiekvienos iteracijos modelio veikimas įvertinamas naudojant pasirinktą patvirtinimo rinkinio metriką (pvz., tikslumą, tikslumą, atšaukimą ir kt.). Kiekvienos iteracijos našumo metrika apskaičiuojama arba sujungiama, kad būtų gautas bendras modelio našumo įvertinimas.
4. Metrikos apibendrinimas:
Kiekvienos iteracijos našumo metrika (pvz., tikslumo balai) apskaičiuojama arba sujungiama, kad būtų pateiktas bendras modelio našumo įvertinimas. Ši apibendrinta metrika parodo numatomą modelio našumą, kai naudojami nematyti duomenys.
K-karto kryžminio patvirtinimo pranašumai, palyginti su paprastu traukinio/bandymo padalijimu
-
Geresnis duomenų panaudojimas: K kartų kryžminis patvirtinimas leidžia geriau panaudoti turimus duomenis, nes kiekvienas pavyzdys naudojamas mokymui ir patvirtinimui.
-
Sumažintas našumo įvertinimo skirtumas: suteikia patikimesnį modelio našumo įvertinimą, nes sumažina dispersiją, susijusią su vienu traukinio / bandymo padalijimu.
-
Apibendrinimas: padeda suprasti, kaip modelis veikia įvairiuose duomenų pogrupiuose, taigi įvertina jo apibendrinimo galimybes.
„k“ vertės pasirinkimas
– Didesnės „k“ reikšmės: naudojant didesnę „k“ reikšmę (pvz., 10 ar daugiau), patvirtinimo rinkiniai gali būti mažesni, todėl našumo įvertinime gali būti mažesnis poslinkis, bet padidės skaičiavimo sąnaudos..
– Mažesnės „k“ reikšmės: naudojant mažesnę „k“ reikšmę (pvz., 3 arba 5) sumažinamos skaičiavimo išlaidos, bet dėl mažesnio patvirtinimo gali atsirasti didesnis poslinkis našumo įvertinime rinkiniai.
Praktiniuose scenarijuose
- Didelių duomenų rinkinių atveju didesnės „k“ reikšmės gali būti brangios.
– Kai duomenų rinkinys yra mažas, didesnis „k“ gali nepateikti pakankamai duomenų kiekviename lankstymo tvirtam modelio mokymui.
- Paprastai dažniausiai naudojamos tokios vertės kaip 5 arba 10, nes jos sukuria pusiausvyrą tarp skaičiavimo efektyvumo ir patikimo našumo įvertinimo.
