机器学习之类别不平衡问题 (1) —— 各种评估指标

  • 时间:
  • 浏览:1
  • 来源:万人炸金花_万人炸金花官网

FP和FN还有个还有个与之相关的概念,那怎么让我统计假设检验中的第一类错误 (Type I error)第二类错误 (Type II error) 。不可能 我们 比较关心正例,也不 将负例视为零假设,正例视为备选假设,则第一类错误为错误地拒绝零假设 (负例),确定备选假设,则为FP;第二类错误为错误地接受零假设,则为FN。

在二分类大疑问中,一般将数目少的类别视为正例,数目多的类别视为负例,下面先用matplotlib画张混淆矩阵图来直观地感受一下:

True Negative Rate (TNR,真负例率) = \(\frac{TN}{TN+FP}\) ,又称Specificity(特异性)。Specificity衡量的是所有的负例暗含有几个是被正确分类了,不可能 类别不平衡大疑问中通常关注正例可不能能 正确被识别,Specificity高则FP低,导致 很少将负例错判为正例,即该分类器对正例的判别具有“特异性”,在预测为正例的样本中很少有负例混入。

False Negative (假负例,FN):实际为正例,预测为负例。

True Positive Rate (TPR,真正例率) = \(\frac {TP}{TP+FN}\) ,又称__Recall__(查全率),Sensitivity(灵敏性)。Recall (TPR)衡量的是所有的正例暗含有几个是被正确分类了,也可不能能 看作是为了处理假负例(FN)的处于,不可能 TPR高导致 FN低。Recall的大疑问和Precision正相反,如此表现出有有几个负例被错判为正例(即FP),若将所有样本全划为正例,则Recall为1000%,但从前 也没多大用。

False Positive (假正例,FP):实际为负例,预测为正例。

Precision (查准率) = \(\frac{TP}{TP+FP}\) ,Precision衡量的是所有被预测为正例的样本暗含有几个是真正例。但Precision并如此表现有有几个正例是被错判为了负例(即FN),举个极端的例子,分类器只将有4个多 样本判为正例,或多或少所有都判为负例,你你这俩 情况汇报下Precision为1000%,但其实遗漏了也不 正例,也不 Precision常和下面的Recall (TPR) 相结合。

True Negative (真负例,TN):实际为负例,预测为负例。

False Positive Rate (FPR,假正例率) = \(\frac{FP}{TN+FP}\) = \(1 - TNR\), 由混淆矩阵可不能能 看出该指标的着眼点在于负例,意为有有几个负例被错判成了正例。在ROC曲线中分别以TPR和FPR作为纵、横轴作图,显示出你你这俩 正例与负例之间的“博弈”,在下篇文章中详解。

F1 score = \[\frac{2}{\frac{1}{recall}+\frac{1}{precision}} = \frac{2 × precision × recall}{precision + recall}\],是有4个多 综合指标,为Precision和Recall的调和平均 (harmonic mean),数值上一般接近于二者中的较小值,怎么让 不可能 F1 score比较高说说,导致 Precision和Recall都较高。

不可能 类别不平衡大疑问的行态使然,一般常使用于评估分类器性能的准确率错误率不可能 就不再适用了。不可能 在类别不平衡大疑问中我们 主要关心数目少的那一类可不能能 被正确分类,而不可能 分类器将所有样例都划分为数目多的那一类,就能轻松达到很高的准确率,但实际上该分类器并如此任何效果。

也不 在你你这俩 已经 学习的前提往往是采用不同的评估指标。学习机器学习的过程中总不免碰到各种评估指标,刚开始很容易被五花八门的术语绕晕了,也不 类别不平衡大疑问的第一篇先对那此指标进行梳理。毕竟评估指标不明确说说,底下模型的效果好坏也就无从谈起。

True Positive (真正例,TP):实际为正例,预测为正例。

在二分类大疑问中,通常假设正负类别相对均衡,然而实际应用中类别不平衡的大疑问,如1000, 10000, 100000倍的数据偏斜是非常常见的,比如疾病检测中未患病的人数远超患病的人数,产品质量检测中合格产品数量远超不合格产品等。在检测信用卡欺诈大疑问中,同样正例的数目稀少,怎么让 正例的数量会随着时间和地点的改变而不断变化,分类器要想在不断变化的正负样本中达到好的检测效果是非常困难的。

False Negative Rate (FNR,假负例率) = \(\frac{FN}{TP+FN}\) = \(1 - TPR\),由混淆矩阵可不能能 看出该指标的着眼点在于正例,意为有有几个正例被错判成了负例。