Novirzes un novirzes kompromiss ir pamatjēdziens, kas palīdz mums izprast modeļa vispārināšanas kļūdu.
Neobjektivitātes-variances sadalīšanās
Novirze attiecas uz kļūdu, kas radusies, tuvinot reālu problēmu ar vienkāršotu modeli. Tas atspoguļo atšķirību starp mūsu modeļa vidējo prognozi un pareizo vērtību**, ko mēs cenšamies paredzēt.Liela novirzebieži noved pienepietiekamas atbilstības — pārāk vienkāršotiem modeļiem, kas nespēj uztvert datu sarežģītību.
No otras puses, variance mēra modeļa jutību pret datu kopas svārstībām. Tas nosaka , cik ļoti modeļa prognozes atšķirtos, ja tas tiktu apmācīts dažādās datu kopās. Liela dispersija var izraisīt pārmērīgu pielāgošanu — modeļus, kas labi darbojas uz treniņu datiem, bet slikti vispārina uz jauniem, neredzētiem datiem.
Kompromiss un attiecības ar modeļa sarežģītību
Izšķiroša nozīme ir kompromisam starp neobjektivitāti un dispersiju. Palielinoties modeļa sarežģītībai, novirze parasti samazinās (modelis var uztvert sarežģītākus modeļus), bet dispersijai ir tendence pieaugt (modelis kļūst jutīgāks pret troksni un apmācības datu specifiku). Šo divu komponentu līdzsvarošana ir galvenais, lai sasniegtu optimālu modeļa veiktspēju.
Kļūdu ieguldījums un aprēķins
Paredzamo prognozēšanas kļūdu var sadalīt trīs daļās:
1. Nelabojama kļūda (troksnis)
-
Novirze kvadrātā
-
Variance
Matemātiski:
Paredzamā kļūda = nesamazināma kļūda + novirze2+ dispersija
Tieša novirzes un dispersijas aprēķināšana var būt sarežģīta, jo īpaši attiecībā uz reāliem datiem. Tādas metodes kā savstarpēja validācija, mācīšanās līknes vai datu kopu dažādu apakškopu izmantošana apmācībai un validācijai var palīdzēt novērtēt šos komponentus.
Stratēģijas lielas novirzes vai lielas atšķirības novēršanai
-
Augsta novirze: lai mazinātu lielo novirzi, var palielināt modeļa sarežģītību, izmantojot sarežģītākus modeļus (piemēram, pievienojot vairāk funkciju, izmantojot neironu tīklus, nevis lineāros modeļus).
-
Augsta novirze: lai novērstu lielas atšķirības, izmantojiet tādas metodes kā regulēšana (piemēram, Lasso, Ridge), modeļa sarežģītības samazināšana (funkciju atlase, izmēru samazināšana) vai vairāku datu vākšana. var būt noderīga.
Uzlabošana, izmantojot analīzi
Analizējot neobjektivitātes un novirzes kompromisu, mēs varam gūt ieskatu modeļa uzvedībā. Mēs varam izvēlēties atbilstošu problēmas sarežģītības līmeni, saprast, vai modelis ir nepietiekams vai pārāk piemērots, un piemērot atbilstošas stratēģijas, lai uzlabotu veiktspēju.
Piemēram, ja modelim ir liela dispersija, mēs varētu apsvērt iespēju to vienkāršot, samazinot funkciju skaitu vai izmantojot regularizācijas metodes. Un otrādi, ja tas parāda lielu novirzi, var palīdzēt sarežģītāka modeļa izmantošana vai atbilstošāku funkciju pievienošana.
Galu galā mērķis ir panākt līdzsvaru starp neobjektivitāti un dispersiju, lai izveidotu modeļus, kas labi vispārina neredzamus datus.
