La régularisation fait référence à un ensemble de techniques utilisées pour éviter l'ajustement excessif et améliorer la généralisation d'un modèle. L'ajustement excessif se produit lorsqu'un modèle apprend trop bien les données d'apprentissage, capturant le bruit et les détails spécifiques qui ne s'appliquent pas aux nouvelles données non vues. La régularisation permet de contrôler ce phénomène en ajoutant un terme de pénalité à la fonction objective du modèle, décourageant ainsi les modèles trop complexes.
Les deux types de régularisation les plus courants sont la régularisation L1 et la régularisation L2 :
Régularisation L1 (Lasso Régression) :
-
La régularisation L1 ajoute à la fonction de coût un terme de pénalité égal aux valeurs absolues des coefficients du modèle.
-
Il encourage la rareté dans le modèle en réduisant certains coefficients à zéro, ce qui permet d'effectuer une sélection efficace des caractéristiques.
-
Le modèle qui en résulte est plus simple et plus facile à interpréter, car il ne sélectionne que les caractéristiques les plus importantes tout en écartant celles qui le sont moins.
Régularisation L2 (Régression des crêtes) :
-
La régularisation L2 ajoute à la fonction de coût un terme de pénalité égal au carré des amplitudes des coefficients du modèle.
-
Il tend à réduire les coefficients des caractéristiques moins importantes vers zéro, mais il est rare qu'il les ramène exactement à zéro.
-
La régularisation L2 est efficace pour prévenir le surajustement en pénalisant les poids importants et, par conséquent, en réduisant la complexité du modèle.
Les techniques de régularisation L1 et L2 contribuent toutes deux à réduire le surajustement et à améliorer la capacité du modèle à se généraliser à des données inédites. Le choix entre les régularisations L1 et L2 dépend souvent du problème spécifique, de la nature des caractéristiques et du résultat souhaité. La régularisation Lasso (L1), avec sa propriété de sélection des caractéristiques, est préférée lorsqu'il est nécessaire d'identifier les caractéristiques les plus pertinentes. La régularisation Ridge (L2) convient lorsque toutes les caractéristiques sont potentiellement importantes et qu'il est préférable de réduire leur impact sans les éliminer complètement. En outre, une combinaison des deux techniques, connue sous le nom de régularisation Elastic Net, peut être utilisée pour tirer parti simultanément des régularisations L1 et L2.
