La regularización se refiere a un conjunto de técnicas utilizadas para evitar el sobreajuste y mejorar la generalización de un modelo. El sobreajuste se produce cuando un modelo aprende demasiado bien los datos de entrenamiento, captando ruido y detalles específicos que no se aplican a los nuevos datos no vistos. La regularización ayuda a controlar esta situación añadiendo un término de penalización a la función objetivo del modelo, lo que desincentiva los modelos demasiado complejos.
Dos tipos comunes de regularización son L1 y L2:
L1 Regularización (Lasso Regresión):
-
La regularización L1 añade un término de penalización a la función de coste igual a los valores absolutos de los coeficientes del modelo.
-
Favorece la dispersión del modelo reduciendo algunos coeficientes a cero, lo que permite seleccionar las características.
-
El modelo resultante es más sencillo y fácil de interpretar, ya que selecciona sólo las características más importantes y descarta las menos relevantes.
Regularización L2 (Regresión de Cresta):
-
La regularización L2 añade un término de penalización a la función de coste igual a las magnitudes al cuadrado de los coeficientes del modelo.
-
Tiende a reducir los coeficientes de los rasgos menos importantes hacia cero, pero rara vez los fija exactamente en cero.
-
La regularización L2 es eficaz para evitar el sobreajuste penalizando los pesos grandes y, por tanto, reduciendo la complejidad del modelo.
Las técnicas de regularización L1 y L2 ayudan a reducir el sobreajuste y a mejorar la capacidad del modelo para generalizar a datos no vistos. La elección entre la regularización L1 y L2 suele depender del problema específico, la naturaleza de las características y el resultado deseado. La regularización Lasso (L1), con su propiedad de selección de características, se prefiere cuando es necesario identificar las características más relevantes. La regularización Ridge (L2) es adecuada cuando todas las características son potencialmente importantes y se prefiere reducir su impacto sin eliminarlas por completo. Además, se puede utilizar una combinación de ambas técnicas, conocida como regularización de red elástica, para aprovechar las ventajas de la regularización L1 y L2 simultáneamente.
