Luokittelumallin suorituskykyä arvioitaessa voidaan käyttää useita mittareita, mutta kolme yleisintä niistä ovat tarkkuus, palautus ja F1-pistemäärä.
Tarkkuus:
Tarkkuus mittaa mallin tekemien positiivisten ennusteiden tarkkuutta. Se lasketaan todellisten positiivisten ennusteiden suhteena positiivisten ennusteiden kokonaismäärään (oikeat positiiviset + väärät positiiviset). Yksinkertaisesti sanottuna tarkkuus vastaa kysymykseen: "Kuinka monet kohteista, jotka malli ennusti positiivisiksi, oli todella positiivisia?". Suuri tarkkuus tarkoittaa, että kun malli ennustaa jotain positiiviseksi, se on yleensä oikein.
Palauttaa mieleen:
Recall mittaa mallin kykyä tunnistaa oikein kaikki positiiviset esiintymät. Se lasketaan todellisten positiivisten ennusteiden suhteena todellisten positiivisten tapausten kokonaismäärään (oikeat positiiviset + väärät negatiiviset). Pohjimmiltaan muistaminen vastaa kysymykseen: "Kuinka monta todellisista positiivisista kohteista malli tunnisti oikein?". Korkea muisti osoittaa, että malli pystyy tunnistamaan useimmat positiiviset tapaukset.
F1-pisteet:
F1-pisteet ovat tarkkuuden ja muistamisen harmoninen keskiarvo. Se tarjoaa yhden pistemäärän, joka tasapainottaa sekä tarkkuuden että muistamisen. Tämä pistemäärä on erityisen hyödyllinen, kun haluat löytää tasapainon tarkkuuden ja muistamisen välillä tai kun luokat ovat epätasapainossa. F1-pisteet vaihtelevat välillä 0–1, jossa korkeampi arvo tarkoittaa parempaa suorituskykyä.
Luokittelumallia arvioitaessa on tärkeää tarkastella näitä mittareita yhdessä. Esimerkiksi malli, jolla on suuri tarkkuus mutta alhainen muistaminen, saattaa olla liian varovainen positiivisten ennusteiden tekemisessä, kun taas malli, jolla on hyvä muistaminen mutta alhainen tarkkuus, saattaa olla liian vapaa positiivisten ennustamisessa. F1-pisteet auttavat löytämään tasapainon näiden kahden mittarin välillä.
Lisäksi tietystä ongelmasta ja vaatimuksista riippuen muut mittarit, kuten tarkkuus, spesifisyys, ROC-käyrä (vastaanottimen toimintakäyrä) ja AUC (ROC-käyrän alla oleva alue), voivat myös olla arvokkaita arvioitaessa mallin suorituskykyä.
