Regularizarea se referă la un set de tehnici folosite pentru prevenirea supraadaptării și îmbunătățirea generalizării unui model. Supraadaptarea apare atunci când un model învață prea bine datele de antrenament, captând zgomot și detalii specifice care nu se aplică datelor noi, nevăzute. Regularizarea ajută la controlul acestui lucru prin adăugarea unui termen de penalizare la funcția obiectivă a modelului, descurajând modelele prea complexe.
Două tipuri comune de regularizare sunt regularizarea L1 și L2:
Regularizare L1 (regresie lazo):
-
Regularizarea L1 adaugă un termen de penalizare la funcția de cost egal cu valorile absolute ale coeficienților modelului.
-
Încurajează dispersitatea în model prin scăderea unor coeficienți la exact zero, efectuând în mod eficient selectarea caracteristicilor.
-
Modelul rezultat este mai simplu și mai ușor de interpretat, deoarece selectează doar cele mai importante caracteristici în timp ce le elimină pe cele mai puțin relevante.
Regularizare L2 (Regresia Ridge):
-
Regularizarea L2 adaugă un termen de penalizare la funcția de cost egal cu magnitudinile pătrate ale coeficienților modelului.
-
Are tendința de a micșora coeficienții caracteristicilor mai puțin importante spre zero, dar rareori îi stabilește exact la zero.
-
Regularizarea L2 este eficientă în prevenirea supraajustării prin penalizarea greutăților mari și, prin urmare, reducerea complexității modelului.
Atât tehnicile de regularizare L1, cât și L2 ajută la reducerea supraajustării și la îmbunătățirea capacității modelului de a generaliza la date nevăzute. Alegerea între regularizarea L1 și L2 depinde adesea de problema specifică, natura caracteristicilor și rezultatul dorit. Regularizarea lasso (L1), cu proprietatea de selecție a caracteristicilor, este preferată atunci când este nevoie de a identifica cele mai relevante caracteristici. Regularizarea crestei (L2) este potrivită atunci când toate caracteristicile sunt potențial importante și se preferă reducerea impactului lor fără a le elimina complet. În plus, o combinație a ambelor tehnici, cunoscută sub numele de Regularizare Elastic Net, poate fi utilizată pentru a profita de regularizarea L1 și L2 simultan.
