Regularització es refereix a un conjunt de tècniques que s'utilitzen per evitar el sobreajustament i millorar la generalització d'un model. El sobreajust es produeix quan un model aprèn massa bé les dades d'entrenament, capturant soroll i detalls específics que no s'apliquen a dades noves i no vistes. La regularització ajuda a controlar-ho afegint un terme de penalització a la funció objectiva del model, descoratjant els models massa complexos.
Dos tipus habituals de regularització són la regularització L1 i L2:
Regularització L1 (regressió del lazo):
-
La regularització L1 afegeix un terme de penalització a la funció de cost igual als valors absoluts dels coeficients del model.
-
Fomenta la dispersió en el model reduint alguns coeficients a exactament zero, realitzant de manera efectiva la selecció de funcions.
-
El model resultant és més senzill i més fàcil d'interpretar, ja que selecciona només les característiques més importants mentre descarta les menys rellevants.
Regularització L2 (regressió de Ridge):
-
La regularització L2 afegeix un terme de penalització a la funció de cost igual a les magnituds quadrades dels coeficients del model.
-
Tendeix a reduir els coeficients de les característiques menys importants cap a zero, però poques vegades els posa exactament a zero.
-
La regularització de la L2 és eficaç per prevenir el sobreajustament penalitzant grans pesos i, per tant, reduint la complexitat del model.
Tant les tècniques de regularització L1 com L2 ajuden a reduir el sobreajust i a millorar la capacitat del model de generalitzar-se a dades no vistes. L'elecció entre la regularització L1 i L2 sovint depèn del problema específic, la naturalesa de les característiques i el resultat desitjat. La regularització Lasso (L1), amb la seva propietat de selecció de característiques, és preferida quan cal identificar les característiques més rellevants. La regularització de Ridge (L2) és adequada quan totes les característiques són potencialment importants i es prefereix reduir el seu impacte sense eliminar-les del tot. A més, es pot utilitzar una combinació d'ambdues tècniques, coneguda com a regularització de la xarxa elàstica, per aprofitar tant la regularització L1 com la L2 simultàniament.
