一 背景
首先举个例子:
正样本(90) 负样本(10)
模型1预测 正(90) 正(10)
模型2预测 正(70)负(20) 正(5)负(5)
结论:
模型1准确率90%;
模型2 准确率75%
考虑对正负样本对预测能力,显然模型2要比模型1好,但对于这种正负样本分布不平衡对数据,准确率不能衡量分类器对好坏了,所以需要指标auc解决倾斜样本的评价问题。
二分类混淆矩阵
预测\实际 1 0
1 TP FP
0 FN TN
TPR=TP/P=TP/TP+FN 直观1中猜对多少
FPR=FP/N=FP/FP+TN 直观0中猜错多少
Auc对横纵坐标分别为FPR和TPR,相对于y=x这条直线靠近左上角对分类器性能更好,所以模型2更优。
TPR FPR
模型1 90/90=1 10/10=1