Regulačné techniky ako L1 a L2 sa používajú na zabránenie nadmernému prispôsobeniu v modeloch strojového učenia penalizáciou veľkých koeficientov.
Regulácia L1, tiež známa ako regulácia lasa, pridáva trestný čas úmerný absolútnej hodnote koeficientov vlastností. Podporuje riedkosť tým, že niektoré koeficienty vytlačí presne na nulu, čím efektívne vykonáva výber funkcií odstránením menej dôležitých funkcií. Vďaka tejto možnosti výberu funkcií je regularizácia L1 obzvlášť užitočná pri práci so súbormi údajov s veľkým počtom funkcií, pretože pomáha zjednodušiť modely zameraním sa na najrelevantnejšie funkcie. Výsledné zjednodušenie modelu znižuje nadmerné vybavenie.
Na druhej strane, regulácia L2, známa aj ako regulácia Ridge, pridáva trest úmerný druhej mocnine koeficientov vlastností. Nenúti koeficienty, aby sa stali presne nulovými, ale namiesto toho ich zmenšujú smerom k nule, vďaka čomu všetky prvky do určitej miery prispievajú k modelu. Regulácia L2 je účinná pri zvládaní multikolinearity a vo všeobecnosti vedie k stabilnejším, ale menej riedkym modelom v porovnaní s regularizáciou L1.
Medzi scenáre, v ktorých môže byť regularizácia L1 výhodnejšia, patria:
-
Vysokorozmerné množiny údajov s mnohými funkciami: Pri práci so množinami údajov, kde je priestor funkcií veľký, regularizácia L1 pomáha pri automatickom výbere prvkov, čím sa zlepšuje interpretovateľnosť a výkon modelu.
-
Keď sa očakáva vzácnosť funkcií: V doménach, kde sa predpokladá, že len niekoľko funkcií má skutočne vplyv, môže regularizácia L1 tieto funkcie efektívne identifikovať a zamerať sa na ne.
Regulácia L1 však môže byť menej účinná v scenároch, kde:
-
Všetky vlastnosti sa považujú za dôležité: Ak existuje presvedčenie, že väčšina vlastností je relevantných a vylúčenie akýchkoľvek môže spôsobiť stratu informácií, L1 nemusí byť najlepšou voľbou, pretože má tendenciu nastavovať koeficienty na nulu.
-
Súbor údajov má problémy s multikolinearitou: Regulácia L2 je vhodnejšia na riešenie problémov s multikolinearitou v porovnaní s regularizáciou L1.
V praxi sa môže použiť kombinácia regularizácie L1 a L2, známa ako regulácia elastickej siete, aby sa využili obe techniky, pričom sa využije vzácnosť L1 a stabilita L2.
