Regularización refírese a un conxunto de técnicas utilizadas para previr o sobreajuste e mellorar a xeneralización dun modelo. O sobreajuste prodúcese cando un modelo aprende demasiado ben os datos de adestramento, capturando ruído e detalles específicos que non se aplican a datos novos e non vistos. A regularización axuda a controlar isto engadindo un termo de penalización á función obxectivo do modelo, desalentando modelos demasiado complexos.
Dous tipos comúns de regularización son a regularización L1 e L2:
Regularización L1 (regresión de lazo):
-
A regularización L1 engade un termo de penalización á función de custo igual aos valores absolutos dos coeficientes do modelo.
-
Fomenta a escaseza no modelo ao reducir algúns coeficientes ata exactamente cero, realizando de forma efectiva a selección de funcións.
-
O modelo resultante é máis sinxelo e máis fácil de interpretar, xa que selecciona só as características máis importantes mentres descarta as menos relevantes.
Regularización L2 (regresión de cresta):
-
A regularización L2 engade un termo de penalización á función de custo igual ás magnitudes cadradas dos coeficientes do modelo.
-
Tende a diminuír os coeficientes de características menos importantes cara a cero, pero raramente os pon exactamente a cero.
-
A regularización da L2 é eficaz para evitar o sobreajuste penalizando grandes pesos e, polo tanto, reducindo a complexidade do modelo.
Tanto as técnicas de regularización L1 como L2 axudan a reducir o sobreajuste e a mellorar a capacidade do modelo para xeneralizar a datos non vistos. A elección entre a regularización L1 e L2 adoita depender do problema específico, da natureza das características e do resultado desexado. A regularización do lazo (L1), coa súa propiedade de selección de características, é preferible cando hai que identificar as características máis relevantes. A regularización de Ridge (L2) é adecuada cando todas as características son potencialmente importantes e se prefire reducir o seu impacto sen eliminalas por completo. Ademais, pódese usar unha combinación de ambas as dúas técnicas, coñecida como Regularización Elastic Net, para aproveitar simultáneamente a regularización L1 e L2.
