A regularização refere-se a um conjunto de técnicas utilizadas para evitar o sobre ajuste e melhorar a generalização de um modelo. O sobreajuste ocorre quando um modelo aprende demasiado bem os dados de treino, captando ruído e detalhes específicos que não se aplicam a dados novos e não vistos. A regularização ajuda a controlar esta situação, adicionando um termo de penalização à função objetiva do modelo, desencorajando modelos demasiado complexos.
Dois tipos comuns de regularização são a regularização L1 e L2:
Regularização L1 (Lasso Regressão):
-
A regularização L1 adiciona um termo de penalização à função de custo igual aos valores absolutos dos coeficientes do modelo.
-
Incentiva a esparsidade no modelo, reduzindo alguns coeficientes para exatamente zero, realizando efetivamente a seleção de características.
-
O modelo resultante é mais simples e fácil de interpretar, uma vez que selecciona apenas as características mais importantes, descartando as menos relevantes.
Regularização L2 (Regressão de crista):
-
A regularização L2 adiciona um termo de penalização à função de custo igual ao quadrado das magnitudes dos coeficientes do modelo.
-
Tende a reduzir os coeficientes das características menos importantes para zero, mas raramente os coloca exatamente a zero.
-
A regularização L2 é eficaz na prevenção do sobreajuste, penalizando pesos grandes e, por conseguinte, reduzindo a complexidade do modelo.
As técnicas de regularização L1 e L2 ajudam a reduzir o sobreajuste e a melhorar a capacidade de generalização do modelo para dados não vistos. A escolha entre a regularização L1 e L2 depende muitas vezes do problema específico, da natureza das características e do resultado pretendido. A regularização Lasso (L1), com a sua propriedade de seleção de características, é preferida quando é necessário identificar as características mais relevantes. A regularização Ridge (L2) é adequada quando todas as características são potencialmente importantes e é preferível reduzir o seu impacto sem as eliminar completamente. Além disso, uma combinação de ambas as técnicas, conhecida como regularização Elastic Net, pode ser utilizada para tirar partido da regularização L1 e L2 em simultâneo.
