Krížová validácia K-násobku je technika používaná na hodnotenie výkonu modelu. Je to užitočné najmä pri odhadovaní toho, ako dobre sa model zovšeobecní na nové, neviditeľné údaje. Proces zahŕňa rozdelenie súboru údajov na „k“ podmnožiny alebo záhyby približne rovnakej veľkosti. Tu je rozpis krokov:
1. Rozdelenie množiny údajov:
Súbor údajov je rozdelený do „k“ rovnako veľkých podmnožín alebo záhybov. Napríklad, ak máte 1 000 vzoriek a vyberiete „k“ ako 5, každý sklad bude obsahovať 200 vzoriek.
2. Iteratívne školenie a hodnotenie:
Model je natrénovaný 'k' krát. V každej iterácii sa ako overovacia sada používa iný záhyb a zvyšné záhyby sa používajú na trénovanie. Napríklad:
-
Iterácia 1: Záhyb 1 ako overenie, záhyby 2 až k na trénovanie
-
Iterácia 2: Záhyb 2 ako overenie, záhyby 1 a 3 až k na školenie
-
Iterácia 3: Záhyb 3 ako overenie, záhyby 1 a 2 a 4 až k na školenie
-
... a tak ďalej, kým sa všetky sklady nepoužijú ako overovacia sada.
3. Hodnotenie výkonu:
Po každej iterácii sa výkonnosť modelu vyhodnotí pomocou vybranej metriky (napr. presnosť, presnosť, zapamätanie atď.) na overovacej sade. Metriky výkonnosti z každej iterácie sú spriemerované alebo kombinované, aby poskytli celkový odhad výkonnosti modelu.
4. Agregácia metrík:
Metriky výkonu (napr. skóre presnosti) z každej iterácie sú spriemerované alebo kombinované, aby poskytli celkové hodnotenie výkonu modelu. Táto agregovaná metrika predstavuje očakávanú výkonnosť modelu na neviditeľných údajoch.
Výhody krížovej validácie K-násobku oproti jednoduchému rozdeleniu vlak/test
-
Lepšie využitie údajov: K-násobná krížová validácia umožňuje lepšie využitie dostupných údajov, keďže každá vzorka sa používa na školenie aj na validáciu.
-
Redukovaný rozptyl v odhade výkonu: Poskytuje spoľahlivejší odhad výkonu modelu znížením rozptylu spojeného s jedným rozdelením vlaku/testu.
-
Zovšeobecnenie: Pomáha pochopiť, ako model funguje na rôznych podskupinách údajov, a tým posúdiť jeho schopnosť zovšeobecnenia.
Výber hodnoty „k“
– Vyššie hodnoty „k“: Použitie vyššej hodnoty „k“ (napr. 10 alebo viac) vedie k menším súborom overenia, čo môže viesť k nižšiemu skresleniu v odhade výkonnosti, ale vyšším výpočtovým nákladom.
– Nižšie hodnoty „k“: Použitie nižšej hodnoty „k“ (napr. 3 alebo 5) znižuje výpočtové náklady, ale môže viesť k vyššiemu skresleniu v odhade výkonnosti v dôsledku menšieho overenia súpravy.
V praktických scenároch
-
Pre veľké súbory údajov môžu byť vyššie hodnoty „k“ výpočtovo nákladné.
-
Keď je súbor údajov malý, vyššie „k“ nemusí poskytnúť dostatok údajov v každom záhybe na trénovanie robustného modelu.
-
Vo všeobecnosti sa bežne používajú hodnoty ako 5 alebo 10, pretože vytvárajú rovnováhu medzi výpočtovou efektívnosťou a spoľahlivým odhadom výkonu.
