Skip to content

アプリケーション内で をクリックすると、お使いのDataRobotバージョンに関する全プラットフォームドキュメントにアクセスできます。

ROC曲線

ROC曲線タブでの)ROC曲線の視覚化は、選択したモデルの分類、性能、統計を探索するのに役立ちます。あるデータソースに基づき、True Positive RateをFalse Positive Rateに対比させる形でプロットしたものがROC曲線です。

ROC曲線の説明

曲線にある2つの重要な特性に、ROC曲線下の面積(AUC: area under the curve)と曲線の形があります。

以下の要素と併せて、曲線がハイライトで表示されています:

  • 円—新しいしきい値のインジケーター。新たな表示のしきい値を設定するたびに、円の曲線の位置が変わります。
  • 切片—選択したしきい値のリファレンスの線を青色で示してあります。

ROC曲線の形

ROC曲線を使用してモデルのパフォーマンスを判定します。データセットの各値を基に作成された曲線で、true positive rateをfalse positive rateに対比させる形でプロットします。ROC曲線について:

  • 適切な曲線では、X値が小さいと敏感に上がり、X値が1に近づくにつれて遅くなります。

  • この曲線は、感度と特異度の間のトレードオフを示しています。 感度を上げると、特異度が下がります。

  • false negativesとfalse positivesが全くない、いわゆる「完璧」なROC曲線はチャートの左上コーナーで点(座標 (0,1))となります(true positives率が高くfalse positives率が低い)。

  • ROC曲線が45度の線に近づけば近づくほどモデルの精度の高いが落ち、ランダム割当モデルに近くなります。

  • 曲線の形は、分類分布の重なり具合によって決まります。

ROC曲線下の面積

AUC(ROC曲線下の面積)は文字通りROC曲線より下の部分を指し、グラフの右下を占めています。

備考

AUCは自動的に指標ペインに表示されません。指標の選択をクリックして、曲線下の面積(AUC)を選択して表示します。

AUCはグラフの右下に表示される二値分類の指標で、可能性のあるしきい値をすべて考慮し、1つの値におけるパフォーマンスを評価します。曲線下の面積が大きいと、モデルの精度の高いが高いことを示します。

  • AUCが0.5の場合、このモデルに基づいた予測はランダムに行われた予測とさほど変わりません。

  • AUC 1.0は、このモデルに基づく予測が完全であることを示しています。完全なモデルは非常にまれであるため、欠陥がある可能性があります(ターゲットリーケージがこの結果の一般的な原因です)。

StackExchangeでは、AUCについて詳しく説明されています。

Kolmogorov-Smirnov(KS)指標

二値分類プロジェクトの場合、KS最適化指標は2つのノンパラメトリック分布の間の最大距離を測定します。

KS指標は、True PositiveとFalse Positive分布の間の乖離度に基づいてモデルを評価します。

備考

KS指標は自動的に指標ペインに表示されません。指標の選択をクリックして、Kolmogorov-Smirnovスコアを選択して表示します。

Kolmogorov–Smirnov検定(K–S検定またはKS検定)の詳細については、Wikipediaの記事を参照してください。


更新しました May 10, 2022
Back to top