Regularisatie verwijst naar een reeks technieken die worden gebruikt om overfitting te voorkomen en de generalisatie van een model te verbeteren. Overfitting treedt op wanneer een model de trainingsgegevens te goed leert en ruis en specifieke details vastlegt die niet van toepassing zijn op nieuwe, ongeziene gegevens. Regularisatie helpt dit onder controle te houden door een strafterm toe te voegen aan de objectiefunctie van het model, waardoor te complexe modellen worden ontmoedigd.
Twee veel voorkomende soorten regularisatie zijn L1- en L2-regularisatie:
L1-Regularisatie (Lasso-regressie):
-
L1 regularisatie voegt een strafterm toe aan de kostenfunctie die gelijk is aan de absolute waarden van de coëfficiënten van het model.
-
Het moedigt spaarzaamheid in het model aan door sommige coëfficiënten te verkleinen tot precies nul, waardoor effectief kenmerkselectie wordt uitgevoerd.
-
Het resulterende model is eenvoudiger en gemakkelijker te interpreteren, omdat het alleen de belangrijkste kenmerken selecteert en minder relevante weglaat.
L2-Regularisatie (Ridge Regressie):
-
L2-regularisatie voegt een strafterm toe aan de kostenfunctie die gelijk is aan de gekwadrateerde grootte van de coëfficiënten van het model.
-
Het heeft de neiging om de coëfficiënten van minder belangrijke kenmerken naar nul te laten krimpen, maar zet ze zelden precies op nul.
-
L2 regularisatie is effectief in het voorkomen van overfitting door grote gewichten te bestraffen en daardoor de complexiteit van het model te verminderen.
Zowel L1- als L2-regularisatietechnieken helpen overfitting te verminderen en het vermogen van het model om te generaliseren naar ongeziene gegevens te verbeteren. De keuze tussen L1- en L2-regularisatie hangt vaak af van het specifieke probleem, de aard van de kenmerken en het gewenste resultaat. Lasso (L1) regularisatie, met zijn eigenschap om kenmerken te selecteren, geniet de voorkeur als de meest relevante kenmerken moeten worden geïdentificeerd. Ridge (L2) regularisatie is geschikt wanneer alle kenmerken potentieel belangrijk zijn en het de voorkeur verdient om hun impact te verminderen zonder ze volledig te elimineren. Daarnaast kan een combinatie van beide technieken, bekend als Elastic Net regularisatie, worden gebruikt om te profiteren van zowel L1 als L2 regularisatie tegelijkertijd.
