Regularisasi mengacu pada serangkaian teknik yang digunakan untuk mencegah overfitting dan meningkatkan generalisasi model. Overfitting terjadi ketika model mempelajari data pelatihan dengan terlalu baik, menangkap noise dan detail spesifik yang tidak berlaku untuk data baru yang tidak terlihat. Regularisasi membantu mengendalikan hal ini dengan menambahkan istilah penalti ke fungsi tujuan model, sehingga tidak menyarankan model yang terlalu rumit.
Dua jenis regularisasi yang umum adalah regularisasi L1 dan L2:
Regularisasi L1 (Regresi Lasso):
-
Regularisasi L1 menambahkan istilah penalti ke fungsi biaya yang sama dengan nilai absolut koefisien model.
-
Ini mendorong ketersebaran dalam model dengan menyusutkan beberapa koefisien hingga tepat nol, sehingga secara efektif melakukan pemilihan fitur.
-
Model yang dihasilkan lebih sederhana dan mudah diinterpretasikan, karena hanya memilih fitur yang paling penting dan membuang fitur yang kurang relevan.
Regularisasi L2 (Regresi Punggungan):
-
Regularisasi L2 menambahkan istilah penalti ke fungsi biaya yang sama dengan kuadrat besaran koefisien model.
-
Hal ini cenderung memperkecil koefisien fitur yang kurang penting menuju nol, namun jarang menetapkannya tepat ke nol.
-
Regularisasi L2 efektif dalam mencegah overfitting dengan memberikan penalti pada bobot yang besar dan, oleh karena itu, mengurangi kompleksitas model.
Teknik regularisasi L1 dan L2 membantu mengurangi overfitting dan meningkatkan kemampuan model untuk menggeneralisasi data yang tidak terlihat. Pilihan antara regularisasi L1 dan L2 seringkali bergantung pada masalah spesifik, sifat fitur, dan hasil yang diinginkan. Regularisasi Lasso (L1), dengan properti pemilihan fiturnya, lebih disukai ketika ada kebutuhan untuk mengidentifikasi fitur yang paling relevan. Regularisasi Ridge (L2) cocok jika semua fitur berpotensi penting dan lebih disukai untuk mengurangi dampaknya tanpa menghilangkannya sepenuhnya. Selain itu, kombinasi kedua teknik, yang dikenal sebagai regularisasi Jaring Elastis, dapat digunakan untuk memanfaatkan regularisasi L1 dan L2 secara bersamaan.
