El compromis de biaix-variància és un concepte fonamental que ens ajuda a entendre l'error de generalització d'un model.
Descomposició biaix-variant
Bias es refereix a l'error introduït en aproximar un problema real amb un model simplificat. Representa la diferència entre la predicció mitjana del nostre model i el valor correcte que estem intentant predir. El gran biaix sovint condueix a un ajustament insuficient: models excessivament simplificats que no aconsegueixen captar la complexitat de les dades.
Variance, en canvi, mesura la sensibilitat del model a les fluctuacions del conjunt de dades. Quantifica en quina mesura variarien les prediccions del model si s'entrenen en diferents conjunts de dades. La gran variància pot provocar un sobreajustament: models que funcionen bé amb les dades d'entrenament però que generalitzen malament a dades noves i no vistes.
Compartiment i relació amb la complexitat del model
El compromís entre el biaix i la variància és crucial. A mesura que augmenta la complexitat del model, el biaix normalment disminueix (el model pot capturar patrons més complexos), però la variància tendeix a augmentar (el model es torna més sensible al soroll i a les especificitats de les dades d'entrenament). L'equilibri d'aquests dos components és clau per aconseguir un rendiment òptim del model.
Contribució d'errors i càlcul
L'error de predicció esperat es pot descompondre en tres parts:
-
Error irreductible (soroll)
-
Biaix al quadrat
-
Variància
Matemàticament:
Error esperat = Error irreductible + Biaix2+ Variància
Calcular el biaix i la variància directament pot ser complex, especialment per a dades del món real. Tècniques com la validació creuada, corbes d'aprenentatge o utilitzar diferents subconjunts del conjunt de dades per a l'entrenament i la validació poden ajudar a estimar aquests components.
Estratègies per abordar un alt biaix o una gran variància
-
Alt biaix: per mitigar un alt biaix, es pot augmentar la complexitat del model utilitzant models més sofisticats (per exemple, afegint més funcions, utilitzant xarxes neuronals en lloc de models lineals).
-
Alta variància: per abordar l'alta variància, tècniques com la regularització (per exemple, Lasso, Ridge), reducció de la complexitat del model (selecció de funcions, reducció de la dimensionalitat) o recollida de més dades pot ser útil.
Millora mitjançant l'anàlisi
Mitjançant l'anàlisi de la compensació biaix-variància, podem obtenir informació sobre el comportament del model. Podem seleccionar un nivell de complexitat adequat per al problema, entendre si el model s'ajusta per sota o sobrepassa i aplicar estratègies adequades per millorar el rendiment.
Per exemple, si un model mostra una gran variància, podríem considerar simplificar-lo reduint el nombre de característiques o utilitzant tècniques de regularització. Per contra, si mostra un biaix elevat, utilitzar un model més complex o afegir funcions més rellevants podria ajudar.
En última instància, l'objectiu és assolir un equilibri entre el biaix i la variància per crear models que es generalitzin bé a les dades no vistes.
