Regularizácia sa vzťahuje na súbor techník používaných na zabránenie nadmernej montáži a zlepšenie zovšeobecnenia modelu. Prepracovanie nastane, keď sa model naučí tréningové dáta príliš dobre, pričom zachytí hluk a špecifické detaily, ktoré sa nevzťahujú na nové, neviditeľné dáta. Regularizácia to pomáha kontrolovať pridaním trestného výrazu k objektívnej funkcii modelu, čím sa odradí od príliš zložitých modelov.
Dva bežné typy regularizácie sú L1 a L2 regularizácia:
Regularizácia L1 (lasová regresia):
-
Regulácia L1 pridáva do nákladovej funkcie penalizačný člen rovný absolútnym hodnotám koeficientov modelu.
-
podporuje riedkosť v modeli zmenšením niektorých koeficientov presne na nulu, čím sa efektívne vykonáva výber funkcií.
-
Výsledný model je jednoduchší a ľahšie interpretovateľný, pretože vyberá len tie najdôležitejšie vlastnosti, pričom menej relevantné vynecháva.
Regularizácia L2 (ridge regresia):
-
Regulácia L2 pridáva k nákladovej funkcii penalizačný člen rovnajúci sa druhým mocniam koeficientov modelu.
-
Má tendenciu zmenšovať koeficienty menej dôležitých prvkov smerom k nule, ale zriedka ich nastaví presne na nulu.
-
Regulácia L2 je účinná pri prevencii nadmerného vybavenia tým, že penalizuje veľké hmotnosti, a tým znižuje zložitosť modelu.
Techniky regularizácie L1 aj L2 pomáhajú znižovať nadmerné prispôsobenie a zlepšujú schopnosť modelu zovšeobecňovať na neviditeľné údaje. Voľba medzi regularizáciou L1 a L2 často závisí od konkrétneho problému, povahy vlastností a požadovaného výsledku. Regulácia lasa (L1) so svojou vlastnosťou výberu vlastností je preferovaná, keď je potrebné identifikovať najrelevantnejšie vlastnosti. Regulácia hrebeňa (L2) je vhodná, keď sú všetky funkcie potenciálne dôležité a preferuje sa zníženie ich vplyvu bez ich úplného odstránenia. Okrem toho je možné použiť kombináciu oboch techník, známych ako regulácia elastickej siete, aby ste využili výhody regulácie L1 aj L2 súčasne.
