Пры ацэнцы прадукцыйнасці класіфікацыйнай мадэлі можна выкарыстоўваць некалькі паказчыкаў, але тры найбольш распаўсюджаныя - гэта дакладнасць, запамінанне і бал F1.
Дакладнасць:
Дакладнасць вымярае дакладнасць станоўчых прагнозаў, зробленых мадэллю. Ён разлічваецца як стаўленне сапраўдных станоўчых прагнозаў да агульнай колькасці станоўчых прагнозаў (сапраўдныя станоўчыя + ілжывыя станоўчыя). Кажучы простымі словамі, дакладнасць адказвае на пытанне: "Колькі з усіх пунктаў, якія мадэль прадказала як станоўчыя, на самай справе былі станоўчымі?". Высокая дакладнасць азначае, што калі мадэль прадказвае нешта станоўчае, гэта звычайна правільна.
Нагадаем:
Адкліканне вымярае здольнасць мадэлі правільна ідэнтыфікаваць усе станоўчыя выпадкі. Ён разлічваецца як стаўленне сапраўдных станоўчых прагнозаў да агульнай колькасці фактычных станоўчых выпадкаў (сапраўдныя станоўчыя + ілжывыя адмоўныя). Па сутнасці, адкліканне адказвае на пытанне: "Колькі з усіх рэальных станоўчых элементаў мадэль правільна ідэнтыфікавала?". Высокая запамінальнасць паказвае на тое, што мадэль можа вызначыць большасць станоўчых выпадкаў.
Ацэнка F1:
Ацэнка F1 - гэта гарманічнае сярэдняе значэнне дакладнасці і запамінання. Ён забяспечвае адзіны бал, які збалансуе і дакладнасць, і запамінанне. Гэты бал асабліва карысны, калі вы хочаце знайсці баланс паміж дакладнасцю і запамінаннем або калі класы незбалансаваныя. Ацэнка F1 вагаецца ад 0 да 1, дзе больш высокае значэнне паказвае на лепшую прадукцыйнасць.
Пры ацэнцы мадэлі класіфікацыі важна разглядаць гэтыя паказчыкі разам. Напрыклад, мадэль з высокай дакладнасцю, але нізкай запамінальнасцю можа быць занадта асцярожнай у прагназаванні пазітыўных вынікаў, у той час як мадэль з высокай запамінальнасцю, але нізкай дакладнасцю можа быць занадта ліберальнай у прагназаванні станоўчых вынікаў. Ацэнка F1 дапамагае знайсці баланс паміж гэтымі двума паказчыкамі.
Акрамя таго, у залежнасці ад канкрэтнай праблемы і патрабаванняў, іншыя паказчыкі, такія як дакладнасць, спецыфічнасць, крывая ROC (крывая працоўных характарыстык прымача) і AUC (плошча пад крывой ROC), таксама могуць быць карыснымі для ацэнкі прадукцыйнасці мадэлі.
