Bir sınıflandırma modelinin performansını değerlendirirken çeşitli ölçümler kullanılabilir ancak en yaygın olanlardan üçü hassaslık, hatırlama ve F1 puanıdır.
Kesinlik:
Hassasiyet, model tarafından yapılan olumlu tahminlerin doğruluğunu ölçer. Gerçek pozitif tahminlerin toplam pozitif tahmin sayısına (doğru pozitifler + yanlış pozitifler) oranı olarak hesaplanır. Basit bir ifadeyle kesinlik şu soruyu yanıtlar: "Modelin olumlu olarak öngördüğü tüm öğelerden kaç tanesi gerçekten olumluydu?". Yüksek hassasiyet, modelin bir şeyi olumlu olarak tahmin etmesi durumunda bunun genellikle doğru olduğu anlamına gelir.
Hatırlamak:
Geri çağırma, modelin tüm olumlu örnekleri doğru şekilde tanımlama yeteneğini ölçer. Gerçek pozitif tahminlerin gerçek pozitif örneklerin toplam sayısına (doğru pozitifler + yanlış negatifler) oranı olarak hesaplanır. Temel olarak hatırlama şu soruyu yanıtlıyor: "Tüm gerçek olumlu öğelerden kaç tanesini model doğru bir şekilde tanımladı?". Yüksek hatırlama, modelin olumlu örneklerin çoğunu tanımlayabildiğini gösterir.
F1 Puanı:
F1 puanı, kesinlik ve hatırlamanın harmonik ortalamasıdır. Hem kesinliği hem de hatırlamayı dengeleyen tek bir puan sağlar. Bu puan özellikle kesinlik ile hatırlama arasında bir denge bulmak istediğinizde veya sınıflar dengesiz olduğunda faydalıdır. F1 puanı 0 ila 1 arasında değişir; burada daha yüksek bir değer, daha iyi performansı gösterir.
Bir sınıflandırma modelini değerlendirirken bu metriklerin birlikte dikkate alınması önemlidir. Örneğin, yüksek hassasiyete sahip ancak düşük hatırlamaya sahip bir model, olumlu tahminler yapmada aşırı ihtiyatlı olabilirken, yüksek hatırlamaya sahip ancak düşük hassasiyete sahip bir model, pozitifleri tahmin etmede aşırı liberal olabilir. F1 puanı bu iki ölçüt arasında bir denge kurmaya yardımcı olur.
Ek olarak, belirli soruna ve gereksinimlere bağlı olarak doğruluk, özgüllük, ROC eğrisi (alıcı çalışma karakteristik eğrisi) ve AUC (ROC eğrisinin altındaki alan) gibi diğer ölçümler de modelin performansını değerlendirmek için değerli olabilir.
