Az L1-hez és az L2-höz hasonló szabályosító technikákat használnak a gépi tanulási modellek túlillesztésének megakadályozására a nagy együtthatók büntetésével.
Az L1-szabályozás, más néven Lasso-regularizáció, a jellemzők együtthatóinak abszolút értékével arányos büntetőtagot ad hozzá. Elősegíti a ritkaságot azáltal, hogy bizonyos együtthatókat pontosan nullára állít, és hatékonyan hajtja végre a jellemzők kiválasztását a kevésbé fontos jellemzők kiiktatásával. Ez a funkcióválasztási képesség különösen hasznossá teszi az L1 rendszerezést nagyszámú jellemzőt tartalmazó adatkészletek kezelésekor, mivel segít a modellek egyszerűsítésében azáltal, hogy a leginkább releváns jellemzőkre összpontosít. Az így kapott modellegyszerűsítés csökkenti a túlillesztést.
Másrészt az L2-es regularizáció, más néven Ridge-szabályozás, hozzáad egy büntetőtagot, amely arányos a jellemzők együtthatóinak négyzetével. Nem kényszeríti rá, hogy az együtthatók pontosan nullává váljanak, hanem nulla felé zsugorítja őket, így valamennyi jellemző hozzájárul a modellhez. Az L2-es regularizáció hatékonyan kezeli a multikollinearitást, és általában stabilabb, de kevésbé ritka modelleket eredményez az L1-hez képest.
Azok a forgatókönyvek, amelyekben az L1 rendszeresítés előnyösebb lehet:
-
Nagydimenziós adatkészletek sok funkcióval: Ha olyan adatkészletekkel foglalkozik, ahol nagy a tereptárgyak területe, az L1 rendszeresítés segít az automatikus jellemzőválasztásban, javítva a modell értelmezhetőségét és teljesítményét.
-
Ha a jellemzők ritkasága várható: Azokon a tartományokon, ahol várhatóan csak néhány jellemző lesz igazán befolyásos, az L1-szabályozás hatékonyan képes azonosítani és összpontosítani ezeket a jellemzőket.
Előfordulhat azonban, hogy az L1 rendszerezés kevésbé hatékony olyan forgatókönyvekben, ahol:
-
Az összes jellemzőt fontosnak tekintjük: Ha úgy gondoljuk, hogy a legtöbb jellemző releváns, és ezek kizárása információvesztést okozhat, akkor az L1 nem a legjobb választás, mivel általában nullára állítja az együtthatókat.
-
Az adathalmaznak többkollinearitási problémái vannak: az L2-es regularizáció jobban megfelel a multikollinearitási problémák kezelésére, mint az L1-es regularizáció.
A gyakorlatban az L1 és L2 regularizáció kombinációja, az úgynevezett Elasztikus nettó regularizáció, mindkét technika hasznára válik, kihasználva az L1 ritkaságát és az L2 stabilitását.
