Podczas oceny wydajności modelu klasyfikacji można użyć kilku wskaźników, ale trzy z nich są najczęściej używane: precyzja, wycofanie i wynik F1.
Precyzja:
Precyzja mierzy dokładność pozytywnych przewidywań dokonanych przez model. Jest ona obliczana jako stosunek prawdziwych pozytywnych przewidywań do całkowitej liczby pozytywnych przewidywań (true positives false positives)_. Mówiąc prościej, precyzja odpowiada na pytanie: "Spośród wszystkich elementów, które model przewidział jako pozytywne, ile z nich było faktycznie pozytywnych?". Wysoka precyzja oznacza, że gdy model przewiduje coś jako pozytywne, zwykle jest to poprawne.
Przypomnienie:
Recall mierzy zdolność modelu do poprawnej identyfikacji wszystkich pozytywnych instancji. Jest obliczany jako stosunek prawdziwych pozytywnych prognoz do całkowitej liczby rzeczywistych pozytywnych instancji (prawdziwe pozytywne fałszywe negatywne). Zasadniczo, recall odpowiada na pytanie: "Spośród wszystkich rzeczywistych pozytywnych elementów, ile z nich model poprawnie zidentyfikował?". Wysoka skuteczność wskazuje, że model może zidentyfikować większość pozytywnych przypadków.
Wynik F1:
Wynik F1 jest średnią harmoniczną precyzji i wycofania. Zapewnia pojedynczy wynik, który równoważy zarówno precyzję, jak i wycofanie. Wynik ten jest szczególnie przydatny, gdy chcesz znaleźć równowagę między precyzją a wycofaniem lub gdy klasy są niezrównoważone. Wynik F1 waha się od 0 do 1, gdzie wyższa wartość oznacza lepszą wydajność.
Podczas oceny modelu klasyfikacyjnego ważne jest, aby rozważyć te wskaźniki razem. Na przykład model z wysoką precyzją, ale niską wartością zwracaną może być zbyt ostrożny w dokonywaniu pozytywnych prognoz, podczas gdy model z wysoką wartością zwracaną, ale niską precyzją może być zbyt liberalny w przewidywaniu pozytywnych wyników. Wynik F1 pomaga znaleźć równowagę między tymi dwoma wskaźnikami.
Dodatkowo, w zależności od konkretnego problemu i wymagań, inne wskaźniki, takie jak dokładność, specyficzność, krzywa ROC (krzywa charakterystyki operacyjnej odbiornika) i AUC (obszar pod krzywą ROC_C_ mogą być również cenne dla oceny wydajności modelu.
