Bias-varianssin kompromissi on peruskäsite, joka auttaa meitä ymmärtämään mallin yleistysvirheen.
Bias-varianssihajotelma
Bias viittaa virheeseen, joka aiheutuu likimääräisestä todellisesta ongelmasta yksinkertaistetulla mallilla. Se edustaa eroa mallimme keskimääräisen ennusteen ja oikean arvonvälillä, jota yritämme ennustaa.Suuri harhajohtaa useinalisovitukseen** – liian yksinkertaistettuihin malleihin, jotka eivät pysty sieppaamaan datan monimutkaisuutta.
Varianssi puolestaan mittaa mallin herkkyyttä tietojoukon vaihteluille. Se kvantifioi kuinka paljon mallin ennusteet vaihtelevat, jos sitä opetettaisiin eri tietojoukoilla. Suuri varianssi voi johtaa yliasennukseen – malleihin, jotka toimivat hyvin harjoitustiedoissa, mutta yleistyvät huonosti uuteen, näkemättömään dataan.
Kompromissi ja suhde mallin monimutkaisuuteen
Kompromissi harhan ja varianssin välillä on ratkaisevan tärkeä. Kun mallin monimutkaisuus kasvaa, harha yleensä vähenee (malli voi siepata monimutkaisempia kuvioita), mutta varianssilla on taipumus kasvaa (mallista tulee herkemmäksi kohinalle ja harjoitustietojen erityispiirteille). Näiden kahden komponentin tasapainottaminen on avain mallin optimaalisen suorituskyvyn saavuttamiseen.
Virhepanos ja laskenta
Odotettu ennustevirhe voidaan jakaa kolmeen osaan:
-
Parantumaton virhe (kohina)
-
Bias-neliö
-
Varianssi
Matemaattisesti:
Odotettu virhe = Irreducible Error + Bias2+ Varianssi
Biasin ja varianssin laskeminen suoraan voi olla monimutkaista, etenkin tosielämän datan osalta. Tekniikat, kuten ristivalidointi, oppimiskäyrät tai tietojoukon eri osajoukkojen käyttäminen koulutukseen ja validointiin, voivat auttaa arvioimaan näitä komponentteja.
Strategiat suuren harhan tai suuren varianssin käsittelemiseksi
-
High Bias: Suuren biasin lieventämiseksi voidaan lisätä mallin monimutkaisuutta käyttämällä kehittyneempiä malleja (esim. lisäämällä ominaisuuksia, käyttämällä hermoverkkoja lineaaristen mallien sijaan).
-
Suuri varianssi: suuren varianssin korjaamiseksi tekniikoita, kuten säännöstely (esim. Lasso, Ridge), mallin monimutkaisuuden vähentäminen (ominaisuuksien valinta, mittasuhteiden vähentäminen) tai lisätietojen kerääminen voi olla avuksi.
Parannus analyysin avulla
Analysoimalla bias-varianssin kompromissia voimme saada käsityksen mallin käyttäytymisestä. Voimme valita ongelmalle sopivan monimutkaisuuden tason, ymmärtää, sopiiko malli ali- vai ylisopivaksi, ja soveltaa asianmukaisia strategioita suorituskyvyn parantamiseksi.
Jos mallissa on esimerkiksi suuri varianssi, voimme harkita sen yksinkertaistamista vähentämällä ominaisuuksien määrää tai käyttämällä regularisointitekniikoita. Toisaalta, jos se osoittaa suurta harhaa, monimutkaisemman mallin käyttäminen tai osuvampien ominaisuuksien lisääminen voi auttaa.
Viime kädessä tavoitteena on löydä tasapaino harhan ja varianssin välillä luodakseen malleja, jotka yleistyvät hyvin näkymättömään dataan.
