一、ROC曲线、AUC、Precision、Recall以及F-measure
二分类问题的预测结果可能正确，也可能不正确。结果正确存在两种可能：原本对的预测为对，原本错的预测为错；结果错误也存在两种可能：原本对的预测为错，原本错的预测为对，如Fig 1左侧所示。其中Positives代表预测是对的，Negatives代表预测是错的，True代表原本为对，False代表原本为错。如何评价两个二分类模型的好坏呢？二分类模型的理想状态是什么呢？
首先回答第二个问题，理想的二分类模型能将原本是对的预测为对，原本是错的预测为错。一般情况下，我们很难收集到完备的“原本是对的，原本是错的”数据集，也就是说，通常情况下我们获得是完备的“原本是对的，原本是错的”数据集的一个子集。因此，评价二分类模型的优劣就是在该子集上进行的。我们希望在该子集上对二分类模型的评价是无偏的，也就是说，在概率上保证在该子集上对二分类模型的评价与在完备集上的评价一致。
针对第一个问题，其实很简单，数数就行了。数数原本是对的预测为对的个数，原本是错的预测为错的个数，原本是对的预测为错的比例，原本是错的预测为对的比例（评价二分类问题的四个基本元素，后续评价指标都是在此基础上做出的）。评价一个模型的好坏用四个参数是不是有点不太直观哦，要是只有一个评价指标，如果一个模型的这指标比别的模型大，那这个模型就比别的模型好（或者反过来，一个模型的这指标比别的模型小，那这个模型比别的模型好），该多好哦！哈哈！
precision的含义是：预测为对的当中，原本为对的比例（越大越好，1为理想状态）
recall的含义是：原本为对的当中，预测为对的比例（越大越好，1为理想状态）
F-measure的含义是：用precision和recall两个指标不直观（任性），索性把他们合并为一个，这就是F-measure（越大越好，1为理想状态，此时precision为1，recall为1）
accuracy的含义是：预测对的（包括原本是对预测为对，原本是错的预测为错两种情形）占整个的比例（越大越好，1为理想状态）
fp rate的含义是：原本是错的预测为对的比例（越小越好，0为理想状态）
tp rate的含义是：原本是对的预测为对的比例（越大越好，1为理想状态）
延伸阅读
- ssh框架 2016-09-30
- 阿里移动安全 [无线安全]玩转无线电——不安全的蓝牙锁 2017-07-26
- 消息队列NetMQ 原理分析4-Socket、Session、Option和Pipe 2024-03-26
- Selective Search for Object Recognition 论文笔记【图片目标分割】 2017-07-26
- 词向量-LRWE模型-更好地识别反义词同义词 2017-07-26
- 从栈不平衡问题 理解 calling convention 2017-07-26
- php imagemagick 处理 图片剪切、压缩、合并、插入文本、背景色透明 2017-07-26
- Swift实现JSON转Model - HandyJSON使用讲解 2017-07-26
- 阿里移动安全 Android端恶意锁屏勒索应用分析 2017-07-26
- 集合结合数据结构来看看(二) 2017-07-26
学习是年轻人改变自己的最好方式