指標¶
ROC曲線タブ右下にある[指標]ペインには、DataRobotが提供する標準統計が含まれ、選択した表示しきい値でのモデルのパフォーマンスを説明するのに役立ちます。
指標を表示¶
-
リーダーボードでモデルを選択し、評価 > ROC曲線に移動します。
-
右下の指標ペインを表示：
The Metrics pane initially displays the F1 Score, True Positive Rate (Sensitivity), and Positive Prediction Value (Precision). You can set up to six metrics.
-
指標を選択をクリックし、新たな指標を選択して、さまざまな指標を表示できます。
備考
You can select up to six metrics to display. If you change the selection, new metrics display the next time you access the ROC Curve tab for any model until you change them again.
ROC曲線指標の計算
ROC曲線に表示される指標値は、リーダーボードに表示される値と一致しない場合があります。 ROC曲線指標の場合、DataRobotは、分布を最もよく表す計算されたしきい値を最大120個保持します。 このため、詳細が失われる可能性があります。 たとえば、表示しきい値としてMCCを最大化を選択した場合、DataRobotは上位120のしきい値を保持し、その中で最大値を計算します。 この値は通常大差はありませんが、指標値と正確に一致しない場合があります。
指標の説明¶
以下の表では、分類ユースケース1を例にとり、各統計の簡単な説明をしています。
| 統計 | 説明 | サンプル（ユースケースから） | 計算方法 |
|---|---|---|---|
| F1スコア | モデルの精度を測るスケールで、陽性的中率とリコールに基づき計算されます。 | N/A |  |
| True Positive Rate (TPR) | 真陽性率またはリコール。 実測されたすべての陽性の中で、True Positives（陽性だと正しく予測された場合）が占める比率。 | モデルが糖尿病患者を正しく糖尿病と認識した率は？ |  |
| False Positive Rate（FPR） | 偽陽性率。 実測されたすべての陰性の中で、False Positives が占める比率。 | モデルが健康な患者を誤って糖尿病と認識した率は？ |  |
| True Negative Rate (TNR) | 真陰性率。 実測されたすべての陰性の中で、True Negatives（陰性だと正しく予測された場合）が占める比率。 | モデルが健康な患者を正しく健康だと予測した率は？ |  |
| Positive Predictive Value (PPV) | 陽性的中率。 すべての陽性（Positive）の予測に関してモデルが正しかったパーセンテージ。 | モデルのうち糖尿病だと予測された患者の中で実際に糖尿病だった率は？ |  |
| Negative Predictive Value (NPV) | すべての陰性（Negative）の予測に関してモデルが正しかった割合。 | モデルのうち健康だと予測された患者の中で実際に健康だった率は？ |  |
| 精度 | 正しく分類されたインスタンスの割合。 | モデルが正しい予測をする総合的な的中率は？ |  |
| マシューズ相関係数 | サイズが大きく異なる（バランスが悪い）分類クラスのモデル品質の測定。 | N/A | 式 |
| 平均収益 | モデルのビジネスインパクトを推定します。 現在の表示しきい値でのペイオフ行列に基づく平均収益を表示します。 ペイオフ行列が選択されていない場合は、N/Aを表示します。 | 患者の再入院には、どんなビジネス影響がありますか？ | 式 |
| 合計収益 | モデルのビジネスインパクトを推定します。 現在の表示しきい値でのペイオフ行列に基づく総利益を表示します。 ペイオフ行列が選択されていない場合は、N/Aを表示します。 | 患者の再入院には、どんなビジネス影響がありますか？ | 式 |