文章目录

最近一段时间在看NLP相关的Paper,由于初次接触很多相关知识点不是很懂。今天看到有关分类器评价指标的问题。从开始看李航博士的《统计学习方法》,就没有弄明白。今天Google了相关资料。并进行了总结。

在信息检索领域经常要评价一个分类器的好坏,涉及到三个指标:准确率、精确率、召回率。

先引出一个常见的问题

假如某个班级有男生80人,女生20人,共计100人.目标是找出所有女生.
现在某人(相当于分类器)挑选出50个人,其中20人是女生,另外还错误的把30个男生也当作女生挑选出来了。作为评估者的你需要来评估(evaluation)下他的工作。

分析问题

某人选择时,目的是选择出所有的女生,结果把30个男生也当做女生选择出来了。对于这次选择,我们得到的相关的人数是20人,不相关的人数是30人。把结果分为四类:TP(true positive)、FP(false positive)、TN(true negative)、FN(false negative)

相关(Relevant)、正类 不相关(NoneRevelant)、负类
被检索到(Retrieved) TP 20个女生 FP,30个被当女生男生
未被检索到(Not Retrieved) FN,0 TN,50个男生

准确率(accuracy)

对于给定的测试数据集,分类器正确分类的样本数与总样本数之比.也就是损失函数是0-1损失时测试数据集上的准确率。公式:

$$ACC = \frac{TP + TN}{TP+TN+FP+FN} \tag{1}$$

ACC = (20 + 50) / 100 = 70%

精确率(precision)

精确率是针对依次预测结果而言的,在一次预测中的正样本有多少是真正的正样本。
$$P = \frac{TP}{TP + FP} \tag{2}$$
P = 20 / (20 + 30) = 40%

召回率(recall)

召回率是针对样本而言的,样本中的正样本有多少被预测对了。
$$R = \frac{TP}{TP + FN} \tag{3}$$
R = 20 / 20 = 100%

文章目录