Регуляризація відноситься до набору прийомів, які використовуються для запобігання переобладнанню та покращення узагальнення моделі. Переобладнання відбувається, коли модель надто добре вивчає навчальні дані, вловлюючи шум і конкретні деталі, які не стосуються нових, невидимих даних. Регулярізація допомагає контролювати це шляхом додавання штрафного терміну до цільової функції моделі, що перешкоджає надто складним моделям.
Два поширених типи регуляризації — регулярізація L1 і L2:
Регуляризація L1 (регресія ласо):
-
Регулярізація L1 додає штрафний термін до функції витрат, що дорівнює абсолютним значенням коефіцієнтів моделі.
-
Це заохочує розрідженість у моделі, зменшуючи деякі коефіцієнти точно до нуля, ефективно виконуючи вибір функцій.
-
Отримана модель є простішою та легшою для інтерпретації, оскільки вона вибирає лише найважливіші характеристики, відкидаючи менш важливі.
Регуляризація L2 (регресія хребта):
-
Регулярізація L2 додає штрафний термін до функції вартості, що дорівнює квадратам величин коефіцієнтів моделі.
-
Він має тенденцію зменшувати коефіцієнти менш важливих функцій до нуля, але рідко встановлює їх точно до нуля.
-
Регулярізація L2 є ефективною для запобігання переобладнанню, штрафуючи великі ваги та, отже, зменшуючи складність моделі.
Методи регулярізації L1 і L2 допомагають зменшити переобладнання та покращити здатність моделі узагальнювати невидимі дані. Вибір між регуляризацією L1 і L2 часто залежить від конкретної проблеми, характеру особливостей і бажаного результату. Регуляризація ласо (L1) з її властивістю вибору ознак є кращою, коли є потреба визначити найбільш відповідні функції. Риджова регулярізація (L2) придатна, коли всі функції є потенційно важливими, і перевагою є зменшення їхнього впливу без повного виключення. Крім того, комбінація обох методів, відома як регулярізація Elastic Net, може бути використана, щоб скористатися перевагами регуляризації L1 і L2 одночасно.
