Wanneer die prestasie van 'n klassifikasiemodel geëvalueer word, kan verskeie maatstawwe gebruik word, maar drie van die algemeenste is presisie, herroep en die F1-telling.
Presisie:
Presisie meet die akkuraatheid van die positiewe voorspellings wat deur die model gemaak word. Dit word bereken as die verhouding van ware positiewe voorspellings tot die totale aantal positiewe voorspellings (ware positiewe + vals positiewe). In eenvoudige terme beantwoord presisie die vraag: "Van al die items wat die model as positief voorspel het, hoeveel was werklik positief?". Hoë akkuraatheid beteken dat wanneer die model iets as positief voorspel, dit gewoonlik korrek is.
Herroep:
Herroep meet die model se vermoë om alle positiewe gevalle korrek te identifiseer. Dit word bereken as die verhouding van ware positiewe voorspellings tot die totale aantal werklike positiewe gevalle (ware positiewe + vals negatiewe). In wese, herroep beantwoord die vraag: "Van al die werklike positiewe items, hoeveel het die model korrek geïdentifiseer?". Hoë onthou dui aan dat die model die meeste van die positiewe gevalle kan identifiseer.
F1-telling:
Die F1-telling is die harmoniese gemiddelde van akkuraatheid en herroeping. Dit bied 'n enkele telling wat beide akkuraatheid en herroeping balanseer. Hierdie telling is veral nuttig wanneer jy 'n balans wil vind tussen akkuraatheid en herroeping of wanneer die klasse ongebalanseerd is. F1-telling wissel van 0 tot 1, waar 'n hoër waarde beter prestasie aandui.
Wanneer 'n klassifikasiemodel geassesseer word, is dit belangrik om hierdie maatstawwe saam te oorweeg. Byvoorbeeld, 'n model met hoë akkuraatheid maar lae herroeping kan te versigtig wees om positiewe voorspellings te maak, terwyl 'n model met hoë herroeping maar lae akkuraatheid dalk te liberaal kan wees in die voorspelling van positiewe. Die F1-telling help om 'n balans tussen hierdie twee maatstawwe te vind.
Daarbenewens, afhangende van die spesifieke probleem en vereistes, kan ander maatstawwe soos akkuraatheid, spesifisiteit, ROC-kromme (ontvanger-bedryfskarakteristieke kurwe) en AUC (area onder die ROC-kromme) ook waardevol wees vir die beoordeling van die model se prestasie.
