Normarized Confusion Matrix（混同行列）#
Note
Normarized Confusion Matrix は2値分類、多値分類の場合にのみ求めることができる。
Confusion Matrix は、「真のラベル値（Y軸）」と「予測したラベル値（X軸）」の行列で、セル値に各々のサンプル数が入る。Normarized Confusion Matrix の場合は正答率（誤答率）が入る。
Fig. 30 Normarized Confusion Matrix の例（2値分類）#
Fig. 31 Normarized Confusion Matrix の例（多値分類）#
モデルの評価指標を理解するための用語集（2値分類）#
Normarized していない方のマトリックスの4象限はそれぞれに名前がついている。
予測したラベルが Negative (偽) |
予測したラベルが Positive (真) |
|
|---|---|---|
真のラベルが Negative (偽) |
TN (True Negative) |
FP (False Positive) |
真のラベルが Positive (真) |
FN (False Negative) |
TP (True Positive) |
TN (True Negative)#
第2象限（左上）のセル（0.92）は、真のラベル「No（Negative）」に対して、予測でも「No」と答えられた割合を意味する。正しく（=”True”）、”Negative” であることを答えられたケースなので “True Negative” と呼ぶ。
TP (True Positive)#
第4象限（右下）のセル（0.56）は、真のラベル「Yes（Positive）」に対して、予測でも「Yes」と答えられた割合を意味する。正しく（=”True”）、”Positive” であることを答えられたケースなので “True Positive” と呼ぶ。
FP (False Positive)#
第1象限（右上）のセル（0.08）は、真のラベル「No (Negative)」に対して、予測では「Yes」と答えてしまった割合を意味する。誤って（=”False”）、”Positive” と答えてしまったケースなので “False Positive” と呼ぶ。
FN (False Negative)#
第3象限（左下）のセル（0.44）は、真のラベル「Yes（Positive）」に対して、予測では「No」と答えてしまった割合を意味する。誤って（=”False”）、”Negative” と答えてしまったケースなので “False Negative” と呼ぶ。
Recall と Precision#
また、Notebook からは以下の指標が出力される。
precision |
recall |
f1-score |
support |
|
|---|---|---|---|---|
No |
0.852192 |
0.923247 |
0.886297 |
3622 |
Yes |
0.723658 |
0.556575 |
0.629213 |
1308 |
accuracy |
0.825963 |
0.825963 |
0.825963 |
0.825963 |
macro avg |
0.787925 |
0.739911 |
0.757755 |
4930 |
weighted avg |
0.81809 |
0.825963 |
0.818089 |
4930 |
このテーブルの2行目、Positive（Yes） と予測した結果に対して求められる precision と recall という2つの指標を紹介する。（同様に、1行目の Negative（No）と予測した結果に対しても同じ指標が与えられる。）
Recall(TPR)#
真の Positive ラベルすべてに対して、何割正解したかを示す指標である。
Note
TPR は高ければ高いほど良い。
FPR#
真の Negative ラベルすべてに対して、何割が不正解だったかを示す指標である。
Note
FPR は低ければ低いほど良い。
Precision#
Positive と予測したラベルのうち、何割が正解だったかを示す指標である。
Note
Precision は高ければ高いほど良い。
Recall と Precision の捉え方#
Fig. 32 Recall と Precision の図解的解釈#
Recallは、真のラベルが Positive である集合に対してのみ計算されるので、真のラベルが Negative である集合が考慮されない。真のラベルが Negative のサンプルが劇的に多くなっても（偏っても）値は変わらない（考慮できない）。
Precision は、真のラベルが Negative であるサンプル数が多いと分母が大きくなり、値が小さくなる傾向となる。故に、Negative サンプルがとりわけ多い状況では Precision の値がよりその状況を捉えていることになる。
Note
Negative サンプルがとりわけ多い状況では、Precision の値がよりその状況を捉えている指標と言える。