ROC曲線¶
ROC曲線タブのROC曲線の可視化は、選択したモデルの分類、パフォーマンス、統計を探索するのに役立ちます。 あるデータソースに基づき、True Positive RateをFalse Positive Rateに対比させる形でプロットしたものがROC曲線です。
ROC曲線を使用したモデルの評価¶
-
リーダーボードでモデルを選択し、評価 > ROC曲線に移動します。
-
データソースを選択し、表示しきい値を設定します。 ROC曲線は、[ROC曲線]タブの中央に表示されます。
以下の要素と併せて、曲線がハイライトで表示されています:
- 円—新しいしきい値のインジケーター。 新たな表示のしきい値を設定するたびに、曲線上の円の位置が変わります。
- 灰色の切片—選択したしきい値を視覚的に参照することができます。
- 45度の対角線—「ランダム」予測モデルを表します。
ROC曲線の分析¶
ROC曲線を表示し、次のことを考察してください。
ROC曲線の形¶
ROC曲線を使用してモデルのパフォーマンスを判定します。 データセットの各値を基に作成された曲線で、True Positive RateをFalse Positive Rateに対比させる形でプロットします。 ROC曲線から得られるポイントは次のとおりです。
-
適切な曲線では、X値が小さいと敏感に上がり、X値が1に近づくにつれて遅くなります。
-
曲線は、真陽性率と真陰性率の間のトレードオフを表します。 真陽性率を上げると、真陰性率が下がります。
-
False NegativesとFalse Positivesが全くない、いわゆる「完璧」なROC曲線はチャートの左上隅で点(座標 (0,1))となります(True Positives率が高くFalse Positives率が低い)。
-
ROC曲線が45度の線に近づけば近づくほどモデルの精度が落ち、ランダム割当モデルに近くなります。
-
曲線の形は、分類配分同士の重なり具合によって決まります。
ROC曲線下の面積¶
AUC(ROC曲線下の面積)は文字通りROC曲線より下の部分を指し、グラフの右下を占めています。
備考
AUCは自動的に[指標]ペインに表示されません。 指標を選択をクリックして、曲線下の面積(AUC)を選択して表示します。
AUCはグラフの右下に表示される二値分類の指標で、可能性のあるしきい値をすべて考慮し、1つの値におけるパフォーマンスを評価します。 曲線下の面積が大きいと、モデルの精度が高いことを示します。
-
AUCが0.5だと、このモデルに基づいた予測はランダムに行われた予測とさほど変わりません。
-
AUCが1.0の場合、このモデルに基づく予測が完全であることを示しています。完全なモデルは非常にまれであるため、欠陥がある可能性があります(ターゲットリーケージがこの結果の一般的な原因です)。
StackExchangeでは、AUCについて詳しく説明されています。
Kolmogorov-Smirnov(KS)指標¶
二値分類プロジェクトの場合、KS最適化指標は2つのノンパラメトリック分布の間の最大距離を測定します。
KS指標は、True PositiveとFalse Positive分布の間の乖離度に基づいてモデルを評価します。
備考
KS指標は自動的に[指標]ペインに表示されません。 指標を選択をクリックして、Kolmogorov-Smirnovスコアを選択して表示します。
Kolmogorov–Smirnov検定(K–S検定またはKS検定)の詳細については、Wikipediaの記事を参照してください。