Vertinant klasifikavimo modelio našumą, galima naudoti keletą metrikų, tačiau trys dažniausios yra tikslumas, atsišaukimas ir F1 balas.
Tikslumas:
Tikslumas matuoja teigiamų modelio prognozių tikslumą. Jis apskaičiuojamas kaip tikrų teigiamų prognozių ir bendro teigiamų prognozių skaičiaus santykis (tikros teigiamos + klaidingos teigiamos). Paprastais žodžiais tariant, tikslumas atsako į klausimą: „Kiek iš visų elementų, kuriuos modelis numatė kaip teigiamus, iš tikrųjų buvo teigiami? Didelis tikslumas reiškia, kad kai modelis numato kažką kaip teigiamą, tai paprastai yra teisinga.
Prisiminkite:
Prisiminimas matuoja modelio gebėjimą teisingai nustatyti visus teigiamus atvejus. Jis apskaičiuojamas kaip tikrų teigiamų prognozių santykis su bendru faktinių teigiamų atvejų skaičiumi (tikrieji teigiami + klaidingai neigiami). Iš esmės prisiminimas atsako į klausimą: „Kiek iš visų faktinių teigiamų dalykų modelis teisingai nustatė? Didelis prisiminimas rodo, kad modelis gali nustatyti daugumą teigiamų atvejų.
F1 rezultatas:
F1 balas yra harmoninis tikslumo ir prisiminimo vidurkis. Jame pateikiamas vienas balas, kuris suderina tikslumą ir prisiminimą. Šis balas ypač naudingas, kai norite rasti pusiausvyrą tarp tikslumo ir prisiminimo arba kai klasės nesubalansuotos. F1 balas svyruoja nuo 0 iki 1, kur didesnė reikšmė rodo geresnį našumą.
Vertinant klasifikavimo modelį, svarbu atsižvelgti į šiuos rodiklius kartu. Pavyzdžiui, didelio tikslumo, bet mažo atminimo modelis gali būti pernelyg atsargus darydamas teigiamas prognozes, o modelis su dideliu atšaukimu, bet mažu tikslumu gali būti per daug liberalus prognozuojant teigiamus dalykus. F1 rezultatas padeda išlaikyti pusiausvyrą tarp šių dviejų metrikų.
Be to, atsižvelgiant į konkrečią problemą ir reikalavimus, kiti rodikliai, tokie kaip tikslumas, specifiškumas, ROC kreivė (imtuvo veikimo charakteristikų kreivė) ir AUC (plotas po ROC kreive), taip pat gali būti vertingi vertinant modelio veikimą.
