K-katlı çapraz doğrulama, bir modelin performansını değerlendirmek için kullanılan bir tekniktir. Bir modelin yeni, görülmemiş verilere ne kadar iyi genelleme yapacağını tahmin etmede özellikle yararlıdır. İşlem, veri kümesinin 'k' alt kümelerine veya yaklaşık olarak eşit boyuttaki katlara bölünmesini içerir. İşte adımların bir dökümü:
1. Veri Kümesi Bölme:
Veri kümesi 'k' eşit boyutlu alt kümelere veya katlara bölünmüştür. Örneğin, 1.000 örneğiniz varsa ve 'k'yi 5 olarak seçerseniz her kat 200 örnek içerecektir.
2. Yinelemeli Eğitim ve Değerlendirme:
Model 'k' kez eğitilir. Her yinelemede doğrulama seti olarak farklı bir katlama kullanılır ve geri kalan katlamalar eğitim için kullanılır. Örneğin:
-
Yineleme 1: Doğrulama olarak 1'i katlayın, eğitim için 2'yi k'ye katlayın
-
Yineleme 2: Doğrulama olarak 2'yi katlayın, eğitim için 1 ve 3'ü k'ye katlayın
-
Yineleme 3: Doğrulama için 3'ü katla, eğitim için 1 ve 2'yi katla ve 4'ten k'ye katla
-
... vb. tüm katlamalar doğrulama kümesi olarak kullanılıncaya kadar devam eder.
3. Performans Değerlendirmesi:
Her yinelemeden sonra modelin performansı, doğrulama kümesinde seçilen bir ölçüm (örneğin doğruluk, kesinlik, geri çağırma vb.) kullanılarak değerlendirilir. Modelin performansına ilişkin genel bir tahmin vermek için her yinelemedeki performans ölçümlerinin ortalaması alınır veya birleştirilir.
4. Metriklerin Toplanması:
Modelin performansının genel bir değerlendirmesini sağlamak için her yinelemedeki performans ölçümlerinin (örneğin doğruluk puanları) ortalaması alınır veya birleştirilir. Bu toplu ölçüm, modelin görünmeyen veriler üzerindeki beklenen performansını temsil eder.
Basit bir eğitim/test ayrımına göre K-katlı çapraz doğrulamanın avantajları
-
Verilerin Daha İyi Kullanımı: K-katlı çapraz doğrulama, her örnek hem eğitim hem de doğrulama için kullanıldığından mevcut verilerin daha iyi kullanılmasını sağlar.
-
Performans Tahmininde Azaltılmış Varyans: Tek bir eğitim/test bölünmesiyle ilişkili varyansı azaltarak model performansına ilişkin daha güvenilir bir tahmin sağlar.
-
Genelleme: Modelin farklı veri alt kümeleri üzerinde nasıl performans gösterdiğinin anlaşılmasına ve dolayısıyla genelleme yeteneğinin değerlendirilmesine yardımcı olur.
'k' değerini seçme
-
Daha yüksek 'k' Değerleri: Daha yüksek bir 'k' değeri kullanmak (ör. 10 veya daha fazla), doğrulama kümelerinin daha küçük olmasına neden olur; bu da performans tahmininde daha düşük önyargıya yol açabilir ancak daha yüksek hesaplama maliyetine yol açabilir.
-
Düşük 'k' Değerleri: Daha düşük bir 'k' değeri kullanmak (ör. 3 veya 5) hesaplama giderlerini azaltır ancak daha küçük doğrulama nedeniyle performans tahmininde daha yüksek yanlılığa yol açabilir Setler.
Pratik senaryolarda
-
Büyük veri kümeleri için daha yüksek 'k' değerleri hesaplama açısından pahalı olabilir.
-
Veri kümesi küçük olduğunda, daha yüksek bir 'k' sağlam model eğitimi için her katlamada yeterli veri sağlamayabilir.
-
Genellikle, hesaplama verimliliği ile güvenilir performans tahmini arasında bir denge kurduğu için 5 veya 10 gibi değerler yaygın olarak kullanılır.
