Tecniche di regolarizzazione come L1 e L2 vengono utilizzate per prevenire l'overfitting nei modelli di machine learning penalizzando coefficienti di grandi dimensioni.
La regolarizzazione L1, detta anche regolarizzazione Lasso, aggiunge un termine di penalità proporzionale al valore assoluto dei coefficienti delle caratteristiche. Incoraggia la scarsità portando alcuni coefficienti esattamente a zero, eseguendo in modo efficace la selezione delle caratteristiche eliminando quelle meno importanti. Questa capacità di selezione delle caratteristiche rende la regolarizzazione L1 particolarmente utile quando si ha a che fare con set di dati con un gran numero di caratteristiche, poiché aiuta a semplificare i modelli concentrandosi sulle caratteristiche più rilevanti. La semplificazione del modello risultante riduce l’overfitting.
D'altra parte, la regolarizzazione L2, nota anche come regolarizzazione Ridge, aggiunge un termine di penalità proporzionale al quadrato dei coefficienti delle caratteristiche. Non forza i coefficienti a diventare esattamente pari a zero, ma li riduce invece verso lo zero, facendo in modo che tutte le funzionalità contribuiscano in una certa misura al modello. La regolarizzazione L2 è efficace nel gestire la multicollinearità e generalmente porta a modelli più stabili ma meno sparsi rispetto alla regolarizzazione L1.
Gli scenari in cui la regolarizzazione L1 potrebbe essere più vantaggiosa includono:
-
Set di dati ad alta dimensione con molte funzionalità: quando si ha a che fare con set di dati in cui lo spazio delle funzionalità è ampio, la regolarizzazione L1 aiuta nella selezione automatica delle funzionalità, migliorando l'interpretabilità e le prestazioni del modello.
-
Quando è prevista la scarsità di funzionalità: nei domini in cui si prevede che solo poche funzionalità siano veramente influenti, la regolarizzazione L1 può identificare e concentrarsi in modo efficiente su tali funzionalità.
Tuttavia, la regolarizzazione L1 potrebbe essere meno efficace negli scenari in cui:
-
Si presuppone che tutte le funzionalità siano importanti: se si ritiene che la maggior parte delle funzionalità siano rilevanti e l'esclusione di qualcuna potrebbe causare perdita di informazioni, L1 potrebbe non essere la scelta migliore poiché tende a impostare i coefficienti su zero.
-
Il set di dati presenta problemi di multicollinearità: la regolarizzazione L2 è più adatta per gestire problemi di multicollinearità rispetto alla regolarizzazione L1.
In pratica, è possibile utilizzare una combinazione di regolarizzazione di L1 e L2, nota come regolarizzazione della rete elastica, per trarre vantaggio da entrambe le tecniche, sfruttando la scarsità di L1 e la stabilità di L2.
