Teknik regularisasi seperti L1 dan L2 digunakan untuk mencegah overfitting dalam model pembelajaran mesin dengan memberikan penalti pada koefisien yang besar.
Regularisasi L1, juga dikenal sebagai regularisasi Lasso, menambahkan istilah penalti yang sebanding dengan nilai absolut koefisien fitur. Hal ini mendorong ketersebaran dengan mengarahkan beberapa koefisien ke angka nol, melakukan pemilihan fitur secara efektif dengan menghilangkan fitur yang kurang penting. Kemampuan pemilihan fitur ini menjadikan regularisasi L1 sangat berguna ketika menangani kumpulan data dengan sejumlah besar fitur, karena membantu menyederhanakan model dengan berfokus pada fitur yang paling relevan. Penyederhanaan model yang dihasilkan mengurangi overfitting.
Di sisi lain, regularisasi L2, juga dikenal sebagai regularisasi Ridge, menambahkan suku penalti yang sebanding dengan kuadrat koefisien fitur. Hal ini tidak memaksa koefisien menjadi nol, namun malah mengecilkannya menjadi nol, sehingga semua fitur berkontribusi pada model sampai batas tertentu. Regularisasi L2 efektif dalam menangani multikolinearitas dan umumnya menghasilkan model yang lebih stabil namun tidak terlalu renggang dibandingkan dengan regularisasi L1.
Skenario dimana regularisasi L1 mungkin lebih bermanfaat meliputi:
-
Kumpulan data berdimensi tinggi dengan banyak fitur: Saat menangani kumpulan data yang ruang fiturnya besar, regularisasi L1 membantu dalam pemilihan fitur otomatis, sehingga meningkatkan interpretasi dan kinerja model.
-
Saat ketersebaran fitur diperkirakan terjadi: Di domain yang diperkirakan hanya memiliki sedikit fitur yang benar-benar berpengaruh, regularisasi L1 dapat mengidentifikasi dan fokus pada fitur tersebut secara efisien.
Namun, regularisasi L1 mungkin kurang efektif dalam skenario ketika:
-
Semua fitur dianggap penting: Jika ada keyakinan bahwa sebagian besar fitur relevan dan mengecualikan fitur apa pun dapat menyebabkan hilangnya informasi, L1 mungkin bukan pilihan terbaik karena cenderung menetapkan koefisien ke nol.
-
Dataset memiliki masalah multikolinearitas: Regularisasi L2 lebih cocok untuk menangani masalah multikolinearitas dibandingkan dengan regularisasi L1.
Dalam praktiknya, kombinasi regularisasi L1 dan L2, yang dikenal sebagai regularisasi Jaring Elastis, dapat digunakan untuk memanfaatkan kedua teknik tersebut, dengan memanfaatkan ketersebaran L1 dan stabilitas L2.
