Regularisatietechnieken zoals L1 en L2 worden gebruikt om overfitting in machine learning-modellen te voorkomen door grote coëfficiënten te bestraffen.
L1-regularisatie, ook bekend als Lasso-regularisatie, voegt een strafterm toe die evenredig is aan de absolute waarde van de coëfficiënten van de kenmerken. Het moedigt spaarzaamheid aan door sommige coëfficiënten naar exact nul te brengen, waardoor op effectieve wijze kenmerkselectie wordt uitgevoerd door minder belangrijke kenmerken te elimineren. Deze functieselectiemogelijkheid maakt L1-regularisatie bijzonder nuttig bij het omgaan met datasets met een groot aantal kenmerken, omdat het modellen helpt te vereenvoudigen door zich te concentreren op de meest relevante kenmerken. De resulterende modelvereenvoudiging vermindert overfitting.
Aan de andere kant voegt L2-regularisatie, ook bekend als Ridge-regularisatie, een strafterm toe die evenredig is aan het kwadraat van de coëfficiënten van de kenmerken. Het dwingt de coëfficiënten niet om precies nul te worden, maar verkleint ze in plaats daarvan naar nul, waardoor alle kenmerken tot op zekere hoogte bijdragen aan het model. T2-regularisatie is effectief bij het omgaan met multicollineariteit en leidt over het algemeen tot stabielere maar minder schaarse modellen vergeleken met L1-regularisatie.
Scenario's waarin L1-regularisatie voordeliger zou kunnen zijn, zijn onder meer:
-
Hoogdimensionale datasets met veel functies: bij het omgaan met datasets met een grote featureruimte helpt L1-regularisatie bij de automatische selectie van features, waardoor de interpreteerbaarheid en prestaties van het model worden verbeterd.
-
Wanneer er schaarste aan functies wordt verwacht: in domeinen waar wordt verwacht dat slechts een paar functies echt van invloed zijn, kan L1-regularisatie deze functies efficiënt identificeren en hierop focussen.
L1-regularisatie kan echter minder effectief zijn in scenario's waarin:
-
Aangenomen wordt dat alle kenmerken belangrijk zijn: als men gelooft dat de meeste kenmerken relevant zijn en het uitsluiten van kenmerken tot verlies van informatie kan leiden, is L1 wellicht niet de beste keuze, omdat de coëfficiënten dan vaak op nul worden gezet.
-
De dataset heeft multicollineariteitsproblemen: L2-regularisatie is beter geschikt voor het omgaan met multicollineariteitsproblemen vergeleken met L1-regularisatie.
In de praktijk kan een combinatie van L1- en L2-regularisatie, bekend als Elastic Net-regularisatie, worden gebruikt om van beide technieken te profiteren, waarbij gebruik wordt gemaakt van de schaarsheid van L1 en de stabiliteit van L2.
