Regularyzacja odnosi się do zestawu technik stosowanych w celu zapobiegania nadmiernemu dopas owaniu i poprawy uogólnienia modelu. Overfitting ma miejsce, gdy model zbyt dobrze uczy się danych treningowych, wychwytując szum i specyficzne szczegóły, które nie mają zastosowania do nowych, niewidocznych danych. Regularyzacja pomaga to kontrolować, dodając termin kary do funkcji celu modelu, zniechęcając do tworzenia zbyt złożonych modeli.
Dwa powszechne typy regularyzacji to regularyzacja L1 i L2:
L1 Regularization (Lasso Regression):
-
Regularyzacja L1 dodaje termin kary do funkcji kosztu równy bezwzględnym wartościom współczynników modelu.
-
Zachęca do rzadkości w modelu, zmniejszając niektóre współczynniki do dokładnie zera, skutecznie przeprowadzając selekcję cech.
-
Wynikowy model jest prostszy i łatwiejszy do interpretacji, ponieważ wybiera tylko najważniejsze cechy, odrzucając mniej istotne.
L2 Regularization (Ridge Regression):
-
Regularyzacja L2 dodaje termin kary do funkcji kosztu równy kwadratowi wielkości współczynników modelu.
-
Ma tendencję do zmniejszania współczynników mniej ważnych cech w kierunku zera, ale rzadko ustawia je dokładnie na zero.
-
Regularyzacja L2 skutecznie zapobiega nadmiernemu dopasowaniu poprzez karanie dużych wag, a tym samym zmniejszenie złożoności modelu.
Zarówno techniki regularyzacji L1, jak i L2 pomagają ograniczyć nadmierne dopasowanie i poprawić zdolność modelu do uogólniania na niewidoczne dane. Wybór pomiędzy regularyzacją L1 i L2 często zależy od konkretnego problemu, charakteru cech i pożądanego wyniku. Regularyzacja Lasso (L1), z jej właściwością selekcji cech, jest preferowana, gdy istnieje potrzeba zidentyfikowania najbardziej istotnych cech. Regularyzacja Ridge (L2) jest odpowiednia, gdy wszystkie cechy są potencjalnie ważne i preferowane jest zmniejszenie ich wpływu bez ich całkowitego wyeliminowania. Dodatkowo, połączenie obu technik, znane jako regularyzacja Elastic Net, może być wykorzystane do jednoczesnego wykorzystania regularyzacji L1 i L2.
