Savstarpēja validācija ir kritiska metode, ko izmanto, lai novērtētu, cik labi modelis darbosies ar jauniem datiem. Galvenais mērķis ir novērtēt modeļa veiktspēju tā, lai samazinātu tādas problēmas kā pārmērīga pielāgošana (kad modelis pārāk daudz mācās no apmācības datiem un slikti darbojas ar neredzamiem datiem) un nepietiekama atbilstība (ja modelis ir pārāk vienkāršots, lai attēlotu modeļus dati).
Koncepcija ietver pieejamo datu sadalīšanu vairākās apakškopās, kas parasti ir divas galvenās daļas: apmācības kopa un validācijas kopa (ko dažreiz sauc arī par testa kopu).
Izplatīta metode ir k-kārtīga savstarpēja validācija:
- Datu kopa ir sadalīta aptuveni vienāda izmēra “k” apakškopās (vai locījumos).
-
Modelis tiek apmācīts “k” reizes, katru reizi izmantojot citu locījumu kā validācijas komplektu un atlikušos locījumus kā apmācības komplektu.
-
Piemēram, pieckārtīgā savstarpējā validācijā dati tiek sadalīti piecās apakškopās. Modelis tiek apmācīts piecas reizes, katru reizi izmantojot citu no piecām apakškopām kā validācijas kopu un pārējās četras kā apmācības kopu.
-
Veiktspējas rādītāji (piemēram, precizitāte, precizitāte, atsaukšana utt.) tiek aprēķināti vidēji šajās “k” iterācijās, lai iegūtu galīgo veiktspējas aprēķinu.
Citas izplatītas metodes ietver
Atstāšanas savstarpēja pārbaude (LOOCV)
-
Katrs datu punkts kalpo kā validācijas kopa, un modelis tiek apmācīts, izmantojot pārējos datus.
-
Šī metode ir skaitļošanas ziņā dārga lielām datu kopām, taču tā var būt diezgan precīza, jo apmācībai tiek izmantoti gandrīz visi dati.
Stratificēta savstarpēja validācija
- Nodrošina, lai katrs locījums reprezentētu visu datu kopu. Tas uztur klases sadalījumu katrā locījumā, kas ir noderīgi nelīdzsvarotām datu kopām.
Savstarpēja validācija ir ļoti svarīga, jo tā nodrošina uzticamāku modeļa veiktspējas novērtējumu, izmantojot neredzētus datus, salīdzinot ar vienu vilciena testa sadalījumu. Tas palīdz identificēt tādas problēmas kā pārmērīga pielāgošana vai nepietiekama atbilstība, sniedzot precīzāku aprēķinu par to, kā modelis tiks vispārināts līdz jauniem datiem.
Izmantojot savstarpējo validāciju, mašīnmācīšanās praktiķi var pieņemt labākus lēmumus par modeļa izvēli, hiperparametru regulēšanu un modeļa vispārināšanas veiktspējas novērtēšanu uz neredzamiem datiem.
