Precision-Recall 曲線 と PR_AUC

Note

Precision-Recall 曲線は2値分類、多値分類の場合にのみ求めることができる。

Fig. 35 Precision-Recall 曲線の例（2値分類）

Fig. 36 Precision-Recall 曲線の例（多値分類）

PR 曲線とは、（Positive と判定するための）閾値を動かした時に、Precision をX軸、Recall（TPR）をY軸にプロットしたものである。閾値を動かす中でも、Precision も Recall も高い値が望ましい。ゆえに良い状況とは**「カーブが右上に直角に近くなっている状況」**となる。モデルパフォーマンスを測る1つの指標である PR-AUC は、この PR曲線の下部の面積の値である（上図では各曲線の area の値）。カーブが右上に直角に近くなっていれば良いと言うことは、PR-AUC の意味では [0.0, 1.0] の間をとる中で、1.0 に近ければ近いほど良いことになる。

ROC 曲線と PR 曲線のどちらを重視すべきか？

Note

1. Positive 数と Negative 数が均等の場合、解釈の容易な ROC-AUC を重視すべき。

2. Positive のサンプルが過大の場合、FPRがその偏りを反映するので、ROC-AUC を重視すべき。

3. Negative のサンプルが過大の場合、precision がその偏りを反映するので、PR-AUC を重視すべき。

Fig. 37 ROC 曲線と PR 曲線のどちらを重視すべきか