L1 ve L2 gibi düzenleme teknikleri, büyük katsayıları cezalandırarak makine öğrenimi modellerinde aşırı uyumu önlemek için kullanılır.
Kement düzenlileştirmesi olarak da bilinen L1 düzenlileştirmesi, özelliklerin katsayılarının mutlak değeriyle orantılı bir ceza terimi ekler. Bazı katsayıları tam olarak sıfıra çekerek seyrekliği teşvik eder, daha az önemli özellikleri ortadan kaldırarak özellik seçimini etkili bir şekilde gerçekleştirir. Bu özellik seçme yeteneği, en ilgili özelliklere odaklanarak modelleri basitleştirmeye yardımcı olduğundan, çok sayıda özelliğe sahip veri kümeleriyle uğraşırken L1 düzenlemesini özellikle yararlı kılar. Ortaya çıkan model basitleştirmesi aşırı uyumu azaltır.
Öte yandan Ridge düzenlileştirmesi olarak da bilinen L2 düzenlileştirmesi, özelliklerin katsayılarının karesiyle orantılı bir ceza terimi ekler. Katsayıları tam olarak sıfır olmaya zorlamaz, bunun yerine onları sıfıra doğru küçülterek tüm özelliklerin modele bir dereceye kadar katkıda bulunmasını sağlar. L2 düzenlileştirmesi çoklu doğrusallığın ele alınmasında etkilidir ve genellikle L1 düzenlileştirmesine kıyasla daha kararlı ancak daha az seyrek modellere yol açar.
L1 düzenlemesinin daha faydalı olabileceği senaryolar şunları içerir:
-
Birçok özelliğe sahip yüksek boyutlu veri kümeleri: Özellik alanının geniş olduğu veri kümeleriyle uğraşırken, L1 düzenlemesi otomatik özellik seçimine yardımcı olarak modelin yorumlanabilirliğini ve performansını artırır.
-
Özellik seyrekliği beklendiğinde: Yalnızca birkaç özelliğin gerçekten etkili olmasının beklendiği alanlarda, L1 düzenlemesi bu özellikleri verimli bir şekilde tanımlayabilir ve bunlara odaklanabilir.
Ancak L1 düzenlemesi aşağıdaki senaryolarda daha az etkili olabilir:
-
Tüm özelliklerin önemli olduğu varsayılır: Çoğu özelliğin ilgili olduğuna ve herhangi birinin hariç tutulmasının bilgi kaybına neden olabileceğine dair bir inanç varsa, katsayıları sıfıra ayarlama eğiliminde olduğundan L1 en iyi seçim olmayabilir.
-
Veri kümesinde çoklu bağlantı sorunları var: L2 düzenlileştirmesi, çoklu bağlantı sorunlarının çözümü için L1 düzenlileştirmesine kıyasla daha uygundur.
Uygulamada, Elastik Ağ düzenlemesi olarak bilinen L1 ve L2 düzenlemesinin bir kombinasyonu, her iki teknikten de faydalanmak için L1'in seyrekliğinden ve L2'nin kararlılığından yararlanılarak kullanılabilir.
