Při hodnocení výkonu klasifikačního modelu lze použít několik metrik, ale tři z nejběžnějších jsou přesnost, vybavení a skóre F1.
Přesnost:
Přesnost měří přesnost pozitivních předpovědí provedených modelem. Vypočítá se jako poměr skutečně pozitivních předpovědí k celkovému počtu pozitivních předpovědí (skutečně pozitivní + falešně pozitivní). Jednoduše řečeno, přesnost odpovídá na otázku: „Kolik ze všech položek, které model předpověděl jako pozitivní, kolik jich bylo skutečně pozitivních?“. Vysoká přesnost znamená, že když model předpovídá něco jako pozitivní, je to obvykle správné.
Odvolání:
Recall měří schopnost modelu správně identifikovat všechny pozitivní případy. Vypočítá se jako poměr skutečně pozitivních předpovědí k celkovému počtu skutečných pozitivních instancí (skutečně pozitivní + falešně negativní). V podstatě, reminiscence odpovídá na otázku: „Kolik ze všech skutečných pozitivních položek model správně identifikoval?“. Vysoká paměť ukazuje, že model dokáže identifikovat většinu pozitivních případů.
Skóre F1:
Skóre F1 je harmonický průměr přesnosti a vyvolání. Poskytuje jediné skóre, které vyvažuje přesnost a zapamatovatelnost. Toto skóre je zvláště užitečné, když chcete najít rovnováhu mezi přesností a vyvoláním nebo když jsou třídy nevyvážené. Skóre F1 se pohybuje od 0 do 1, kde vyšší hodnota znamená lepší výkon.
Při posuzování klasifikačního modelu je důležité zvážit tyto metriky společně. Například model s vysokou přesností, ale nízkou vybavitelností může být příliš opatrný při vytváření pozitivních předpovědí, zatímco model s vysokou vybavitelností, ale nízkou přesností může být příliš liberální při předpovídání pozitiv. Skóre F1 pomáhá najít rovnováhu mezi těmito dvěma metrikami.
Navíc, v závislosti na konkrétním problému a požadavcích, další metriky, jako je přesnost, specifičnost, křivka ROC (křivka provozní charakteristiky přijímače) a AUC (plocha pod křivkou ROC), mohou být také cenné pro posouzení výkonnosti modelu.
