Regularizācijas metodes, piemēram, L1 un L2, tiek izmantotas, lai novērstu pārmērīgu ietilpību mašīnmācīšanās modeļos, sodot lielus koeficientus.
L1 regularizācija, kas pazīstama arī kā Laso regularizācija, pievieno soda termiņu, kas ir proporcionāls pazīmju koeficientu absolūtajai vērtībai. Tas veicina retumu, samazinot dažus koeficientus līdz nullei, efektīvi veicot funkciju atlasi, novēršot mazāk svarīgas funkcijas. Šī funkciju atlases iespēja padara L1 legalizāciju īpaši noderīgu, strādājot ar datu kopām ar lielu skaitu līdzekļu, jo tā palīdz vienkāršot modeļus, koncentrējoties uz visatbilstošākajiem līdzekļiem. Iegūtā modeļa vienkāršošana samazina pārmērīgu pielāgošanu.
No otras puses, L2 regularizācija, kas pazīstama arī kā Ridge regularizācija, pievieno soda termiņu, kas ir proporcionāls pazīmju koeficientu kvadrātam. Tas neliek koeficientiem kļūt tieši par nulli, bet gan samazina tos līdz nullei, liekot visām funkcijām zināmā mērā veicināt modeli. L2 regularizācija ir efektīva multikolinearitātes apstrādē un parasti rada stabilākus, bet mazāk retus modeļus, salīdzinot ar L1 regularizāciju.
Scenāriji, kuros L1 legalizācija varētu būt izdevīgāka, ir šādi:
- Augstas dimensijas datu kopas ar daudzām funkcijām: strādājot ar datu kopām, kurās ir liela līdzekļu vieta, L1 regulācija palīdz automātiski atlasīt objektus, uzlabojot modeļa interpretējamību un veiktspēju.
- Ja ir sagaidāms funkciju retums: domēnos, kuros ir sagaidāms, ka tikai daži līdzekļi patiešām ir ietekmīgi, L1 legalizācija var efektīvi identificēt šīs funkcijas un koncentrēties uz tām.
Tomēr L1 regulēšana var būt mazāk efektīva scenārijos, kur:
- Tiek uzskatīts, ka visas funkcijas ir svarīgas: ja pastāv pārliecība, ka lielākā daļa funkciju ir atbilstošas un, izslēdzot nevienu, var tikt zaudēta informācija, L1 var nebūt labākā izvēle, jo tā mēdz iestatīt koeficientus uz nulli.
- Datu kopai ir daudzkolinearitātes problēmas: L2 regularizācija ir labāk piemērota multikolinearitātes problēmu risināšanai, salīdzinot ar L1 regularizāciju.
Praksē L1 un L2 regularizācijas kombināciju, kas pazīstama kā Elastīgā neto regularizācija, var izmantot, lai gūtu labumu no abām metodēm, izmantojot L1 retumu un L2 stabilitāti.
