摘要：反映了分類(lèi)器檢測(cè)假負(fù)性的能力。我們將從混淆矩陣開(kāi)始，這是表示分類(lèi)結(jié)果的最簡(jiǎn)單方法。

作者：chen_h
微信號(hào) & QQ：862251340
微信公眾號(hào)：coderpai
簡(jiǎn)書(shū)地址：https://www.jianshu.com/p/c28...

分類(lèi)是將每個(gè)數(shù)據(jù)集合中的元素分配給一個(gè)已知的數(shù)據(jù)類(lèi)別。

那么分類(lèi)都有哪些任務(wù)呢？

根據(jù)醫(yī)生的病歷記錄，將檢查者區(qū)分為健康或者生病的人；

例如使用一些人口統(tǒng)計(jì)學(xué)和歷史財(cái)務(wù)數(shù)據(jù)，在申請(qǐng)信用卡的時(shí)候，我們就可以對(duì)客戶(hù)進(jìn)行可信度評(píng)分，評(píng)為“可信”或者“不可信”；

可以根據(jù)用戶(hù)使用軟件的行為數(shù)據(jù)進(jìn)行分析，來(lái)分類(lèi)這個(gè)用戶(hù)是不是還會(huì)繼續(xù)使用這個(gè)軟件，比如可以分為“繼續(xù)使用的用戶(hù)”和“不繼續(xù)使用的用戶(hù)”；

這個(gè)階段將數(shù)據(jù)分為兩個(gè)或三個(gè)部分：

訓(xùn)練數(shù)據(jù) —— 將被用來(lái)進(jìn)行數(shù)據(jù)建模；

驗(yàn)證數(shù)據(jù) —— 將被用來(lái)做模型評(píng)估（這個(gè)在復(fù)雜環(huán)境下會(huì)被用到）；

測(cè)試數(shù)據(jù) —— 將被用來(lái)評(píng)估模型的最終質(zhì)量；

這里有兩種指標(biāo)可以來(lái)評(píng)估一個(gè)分類(lèi)模型的質(zhì)量：

定量指標(biāo) —— 用具體數(shù)值來(lái)表示分類(lèi)質(zhì)量。

圖形指標(biāo) —— 分類(lèi)質(zhì)量用一張圖來(lái)表示。圖形化表示方法簡(jiǎn)化了質(zhì)量的評(píng)估，并且也增強(qiáng)了可視化效果。這些指標(biāo)包括：

混淆矩陣（confusion matrix）

ROC 曲線(xiàn)

LIFT 圖表

二分類(lèi)：

一個(gè)類(lèi)別被定義為正樣本，一個(gè)類(lèi)別被定義為負(fù)樣本。

多分類(lèi)

一個(gè)類(lèi)別被定義為正類(lèi)，其他類(lèi)別的組合都是被定義為負(fù)類(lèi)。

正樣本應(yīng)該是在建模過(guò)程中被識(shí)別出來(lái)的對(duì)象：例如在信用評(píng)分模型中，正樣本包括拖欠債務(wù)的顧客，負(fù)樣本就是剩下所有類(lèi)別的顧客。

TP —— 模型預(yù)測(cè)樣本是正樣本，這個(gè)樣本的真實(shí)結(jié)果也是正樣本；
比如：模型預(yù)測(cè)該客戶(hù)是一個(gè)流失客戶(hù)，然后實(shí)際情況是這個(gè)客戶(hù)確實(shí)是一個(gè)流失掉的客戶(hù)。

TN —— 模型預(yù)測(cè)樣本是負(fù)樣本，這個(gè)樣本的真實(shí)結(jié)果也是一個(gè)負(fù)樣本；
比如：模型預(yù)測(cè)該客戶(hù)不是一個(gè)流失客戶(hù)，然后實(shí)際情況是這個(gè)客戶(hù)確實(shí)不是一個(gè)流失掉的客戶(hù)。

FP —— 模型預(yù)測(cè)樣本是正樣本，這個(gè)樣本的真實(shí)結(jié)果卻是負(fù)樣本；
比如：模型預(yù)測(cè)該客戶(hù)是一個(gè)流失客戶(hù)，然后實(shí)際情況是這個(gè)客戶(hù)不是一個(gè)流失掉的客戶(hù)。

FN —— 模型預(yù)測(cè)樣本是負(fù)樣本，這個(gè)樣本的真實(shí)結(jié)果是正樣本；
比如：模型預(yù)測(cè)該客戶(hù)不是一個(gè)流失客戶(hù)，然后實(shí)際情況是這個(gè)客戶(hù)確是一個(gè)流失掉的客戶(hù)。

對(duì)于一個(gè)完美分類(lèi)器來(lái)說(shuō)，我們希望得到如下參數(shù)：

FP = 0
FN = 0
TP = 所有正樣本的個(gè)數(shù)
TN = 所有負(fù)樣本的個(gè)數(shù)

上面我們已經(jīng)介紹了一些基本的質(zhì)量指標(biāo)，現(xiàn)在我們來(lái)介紹一些派生出來(lái)的質(zhì)量指標(biāo)。

TPR（True Positive Rate） —— 反映了分類(lèi)器檢測(cè)正樣本的能力。
TPR = TP / (TP + FN) = TP / P，P 表示全部的正樣本

TNR（True Negative Rate） —— 反映了分類(lèi)器檢測(cè)負(fù)樣本的能力。
TNR = TN / (TN + FP) = TN / N，N 表示全部的負(fù)樣本

FPR（False Positive Rate） —— 反映了分類(lèi)器檢測(cè)假正性的能力。
FPR = FP / (FP + TN)

FNR（False Negative Rate）—— 反映了分類(lèi)器檢測(cè)假負(fù)性的能力。
FNR = FN / (FN + TP)

SE（敏感度）—— 反映了分類(lèi)器檢測(cè)正樣本的能力。
SE = TP / (TP + FN)

SP （特異性）—— 反映了分類(lèi)器檢驗(yàn)負(fù)樣本的能力
SP = TN / (TN + FP)

所以我們可以得到如下等式：

SE = TPR
SP = TNR
1 - SE = FNR
1 - SP = FPR

ACC（總準(zhǔn)確率）—— 反映了分類(lèi)器的總體預(yù)測(cè)準(zhǔn)確性，即進(jìn)行正確預(yù)測(cè)的概率，也就是等于正確決策的個(gè)數(shù)與總決策個(gè)數(shù)的比例。

ACC = (TP + TN) / (TP + TN + FP + FN)

從上面我們可以看到，分類(lèi)器有很多的評(píng)估質(zhì)量的指標(biāo)。那么如何選取當(dāng)前模型的指標(biāo)呢？這就變成了一個(gè)至關(guān)重要的問(wèn)題。

例子

在客戶(hù)流失分析模型中，我們的數(shù)據(jù)有兩個(gè)類(lèi)別：客戶(hù)流失和客戶(hù)不流失。假設(shè)我們有 100 個(gè)數(shù)據(jù)，那么：

90 個(gè)觀(guān)察到的數(shù)據(jù)被標(biāo)記為 “0”（正類(lèi)）的類(lèi)別，這個(gè)標(biāo)記屬于客戶(hù)決定停止使用我們的服務(wù)或者產(chǎn)品；

10 個(gè)觀(guān)察到的數(shù)據(jù)被標(biāo)記為 “1”（負(fù)類(lèi)）的類(lèi)別，這個(gè)標(biāo)記屬于客戶(hù)決定繼續(xù)使用我們的服務(wù)或者產(chǎn)品；

然后，我們?cè)O(shè)計(jì)的分類(lèi)器獲得了如下結(jié)果：

TP = 85（85個(gè)被正確分類(lèi)為正樣本）
TN = 1（1個(gè)被正確分類(lèi)為負(fù)樣本）
FP = 9（9個(gè)原來(lái)是負(fù)樣本的被分類(lèi)為正樣本）
FN = 5（5個(gè)原來(lái)是正樣本的被分類(lèi)為負(fù)樣本）

上述指標(biāo)總和是：

TP + TN + FP + FN = 100

我們現(xiàn)在計(jì)算分類(lèi)的總體準(zhǔn)確率：

ACC = （85 + 1）/ 100 = 0.86

86% 的準(zhǔn)確率已經(jīng)是一個(gè)不壞的結(jié)果了，但是讓我們看一下另一個(gè)指標(biāo)：TNR，這個(gè)指標(biāo)反映了分類(lèi)器檢測(cè)負(fù)樣本的能力，也就是在我們這個(gè)例子中會(huì)繼續(xù)使用我們軟件的客戶(hù)：

TNR = 1 / 10 = 0.1

也就是說(shuō)，只有一個(gè)不會(huì)流失的顧客被識(shí)別出來(lái)了，剩下的不流失的顧客都被錯(cuò)誤分類(lèi)了。如果從這個(gè)角度分析，那么這個(gè)模型是非常糟糕的一個(gè)模型。

所以，只有一個(gè) ACC 是不能很準(zhǔn)確來(lái)衡量一個(gè)模型的好壞的。

在接下來(lái)，我們將采用圖形指標(biāo)來(lái)分析模型的好壞。我們將從混淆矩陣開(kāi)始，這是表示分類(lèi)結(jié)果的最簡(jiǎn)單方法。

混淆矩陣是一個(gè) N*N 矩陣，其中每一行代表了數(shù)據(jù)的真實(shí)歸屬類(lèi)別，每一行的數(shù)據(jù)總數(shù)表示該類(lèi)別的數(shù)據(jù)實(shí)例的數(shù)目。每一列代表了模型預(yù)測(cè)得到的類(lèi)別，每一列的總數(shù)表示預(yù)測(cè)為該類(lèi)別的數(shù)據(jù)的數(shù)目。如下左上角的圖，第一行第一列中的 85 表示有 85 個(gè)實(shí)際歸屬為第一類(lèi)的數(shù)據(jù)被正確預(yù)測(cè)為了第一類(lèi)。同理，第二行第一列中的 9 表示有 9 個(gè)實(shí)際是第二類(lèi)的數(shù)據(jù)被錯(cuò)誤預(yù)測(cè)為了第一類(lèi)。

混淆矩陣的形式

各種形式的混淆矩陣讓我們可以更加容易的觀(guān)察分類(lèi)模型性能的這種特征，主要有如下兩種形式：

數(shù)字形式 —— 包含分配給特定類(lèi)別的數(shù)字表示

百分?jǐn)?shù)形式 —— 包含分配給特定類(lèi)別的百分比，計(jì)算為分配給該類(lèi)別的數(shù)量與總數(shù)量之間的比值。

收益和損失形式 —— 包含由于正確和錯(cuò)誤的分類(lèi)而產(chǎn)生的收益和損失信息。

收益和損失形式中的混淆矩陣包含分類(lèi)決策造成的成本總和。

接下來(lái)舉幾個(gè)例子。

例子1

例子2

截止點(diǎn)和混淆矩陣

截止點(diǎn)是一個(gè)確定的閾值，可以用來(lái)確定一個(gè)觀(guān)測(cè)屬性是否屬于一個(gè)特定的類(lèi)別。

如果 P(class(x) = 1) > alfa，那么這個(gè)則分配給第一類(lèi)。其中， alfa 就是一個(gè)截止點(diǎn)。P(class(x) = 1) 就是屬于第一類(lèi)的概率。

例如：

如果給定一個(gè)概率 60%，那么貸款申請(qǐng)人不善于償還貸款的概率大于這個(gè)值（這個(gè)值是我們模型計(jì)算出來(lái)的），那么就將這個(gè)申請(qǐng)人轉(zhuǎn)入壞賬類(lèi)別，否則將其轉(zhuǎn)入好賬類(lèi)別。

對(duì)于相同的問(wèn)題，我們可以考慮不同的截止點(diǎn)，這也將導(dǎo)致不同的混淆矩陣。通過(guò)分析這些矩陣我們就可以選擇一個(gè)最佳的截止點(diǎn)。

混淆矩陣總結(jié)

收集分類(lèi)結(jié)果的一種簡(jiǎn)單易懂的方法

使得分類(lèi)模型的評(píng)估更加容易

混淆矩陣的不同形式可以幫助更好的觀(guān)察分類(lèi)器的性能

ROC 曲線(xiàn)是分類(lèi)質(zhì)量可視化的另外一種方法，顯示了 TPR 和 FPR 之間的依賴(lài)關(guān)系。

曲線(xiàn)越凸，分類(lèi)器的性能越好。在下面的例子中，區(qū)域 1 中的 “綠色” 分類(lèi)器更好，區(qū)域 2 中的 “紅色” 分類(lèi)器更好。

我們需要計(jì)算決策函數(shù)的值；

我們測(cè)試不同的 alpha 閾值的分類(lèi)器?；叵胍幌?，alpha 是估計(jì)概率的一個(gè)閾值，高于這個(gè)概率的觀(guān)察值被分配到一個(gè)類(lèi)別（正樣本），低于這個(gè)閾值的概率被分配到另一個(gè)類(lèi)別（負(fù)樣本）；

對(duì)于具有 alpha 閾值的每一個(gè)分類(lèi)，我們獲得（TPR，F(xiàn)PR）對(duì)，其對(duì)應(yīng)于 ROC 曲線(xiàn)上的一個(gè)點(diǎn)。

對(duì)于每個(gè)具有 alpha 閾值的分類(lèi)，我們也有相應(yīng)的混淆矩陣；

例子

分類(lèi)質(zhì)量可以使用 ROC 曲線(xiàn)下面的面積大小來(lái)計(jì)算衡量，這個(gè)曲線(xiàn)下的面積就是 AUC 系數(shù)。

AUC 系數(shù)越高越好。AUC = 1 意味著這是一個(gè)完美的分類(lèi)器，我們把所有的東西都分類(lèi)準(zhǔn)確了。對(duì)于純隨機(jī)數(shù)的分類(lèi)，我們的 AUC = 0.5。如果 AUC < 0.5，那么意味著這個(gè)分類(lèi)器的性能比隨機(jī)數(shù)還要差。

這里再說(shuō)一個(gè)概念：基尼系數(shù)（Gini Coefficient），GC = 2 * AUC - 1?；嵯禂?shù)越高，代表模型的效果越好。如果 GC = 1，那么這就是一個(gè)完美的模型了。如果 GC = 0，那么代表這只是一個(gè)隨機(jī)數(shù)模型。

既然已經(jīng)這么多評(píng)價(jià)標(biāo)準(zhǔn)，為什么還要使用ROC和AUC呢？因?yàn)镽OC曲線(xiàn)有個(gè)很好的特性：當(dāng)測(cè)試集中的正負(fù)樣本的分布變化的時(shí)候，ROC曲線(xiàn)能夠保持不變。在實(shí)際的數(shù)據(jù)集中經(jīng)常會(huì)出現(xiàn)類(lèi)不平衡（class imbalance）現(xiàn)象，即負(fù)樣本比正樣本多很多（或者相反），而且測(cè)試數(shù)據(jù)中的正負(fù)樣本的分布也可能隨著時(shí)間變化。下圖是ROC曲線(xiàn)和Precision-Recall曲線(xiàn)的對(duì)比：

完整 PPT 可以關(guān)注微信公眾號(hào)：coderpai，后臺(tái)回復(fù) 20171223 獲得。

作者：chen_h
微信號(hào) & QQ：862251340
簡(jiǎn)書(shū)地址：https://www.jianshu.com/p/c28...

CoderPai 是一個(gè)專(zhuān)注于算法實(shí)戰(zhàn)的平臺(tái)，從基礎(chǔ)的算法到人工智能算法都有設(shè)計(jì)。如果你對(duì)算法實(shí)戰(zhàn)感興趣，請(qǐng)快快關(guān)注我們吧。加入AI實(shí)戰(zhàn)微信群，AI實(shí)戰(zhàn)QQ群，ACM算法微信群，ACM算法QQ群。長(zhǎng)按或者掃描如下二維碼，關(guān)注 “CoderPai” 微信號(hào)（coderpai）