ROC曲線ツールの利用¶

ROC曲線ツールでは、特定のモデルの分類性能が仕様を満たしているかどうかを判断するのに役立つ可視化および指標を提供します。 It is important to understand that the ROC Curve and other charts on that tab are based on a sample of calculated thresholds. That is, DataRobot calculates thresholds for all data and then, because sampling provides faster performance (returns results in the UI more quickly), it uses a maximum of 120 thresholds—a quantile-based representative selection—for the visualizations. Manual calculations are slightly more precise, therefore, the initial auto-generated calculations and the manually generated will not match exactly.

ROC曲線ツールへのアクセス¶

1. ROC曲線タブにアクセスするには、リーダーボードに移動し、評価したいモデルを選択して、評価 > ROC曲線をクリックします。

   ROC曲線タブには、以下で説明する一連の対話型グラフィカル表示が用意されています。

   

   	要素	説明
   	データ選択	可視化するデータソースを選択します。 データソースには、パーティション（ホールドアウト、交差検定、検定）や外部テストデータを使用できます。 データソースを選択すると、ROC曲線による可視化は、新しいデータを反映して更新されます。
   	表示しきい値	「偽」に分類される予測と「真」に分類される予測を区別する表示しきい値を選択します。
   	エクスポート	CSV、PNGまたはZIPファイルにエクスポートします。 生成されたROC曲線または収益曲線からデータをCSVファイルとしてダウンロードする ROC曲線、収益曲線、予測分布グラフ、累積ゲインチャート、または累積リフトチャートのPNGをダウンロードする CSVとPNGの全ファイルが入ったZIPファイルをダウンロードする チャートとデータのエクスポートも参照してください。
   	予測分布	予測分布グラフを使って、分類モデルがどの程度PositiveクラスとNegativeクラスを識別しているかを評価します。 このグラフでは、設定した予測しきい値に基づいて、「真」に分類された予測と「偽」に分類された予測が区別されます。
   	チャートセレクター	表示するチャートのタイプを選択します。 ROC曲線（デフォルト）、平均収益、プレシジョンリコール、累積リフト（Positive/Negative）、累積ゲイン（Positive/Negative）から選択します。 独自のカスタムチャートを作成することもできます。
   	行列セレクター	表示する行列のタイプを選択します。 デフォルトでは、混同行列が表示されます。 混同行列のデータをインスタンス数で表示するか、パーセンテージで表示するかを選択することができます。 代わりにペイオフ行列を作成して、収益曲線を生成および表示することもできます。
   	+ ペイオフを追加	ペイオフ値を入力して収益曲線を生成し、モデルのビジネスインパクトを見積もることができます。 ペイオフを追加をクリックすると、まだ表示されていない場合は、行列ペインにペイオフ行列が表示されます。 行列でペイオフ値を調整し、チャートペインを平均収益に設定して、インパクトを表示します。
   	指標	選択したしきい値でのモデルのパフォーマンスを示すサマリー統計情報を表示します。 指標を選択メニューで、一度に表示する指標を最大6つまで選択できます。

2. これらのコンポーネントを使用するには、データソースと表示しきい値（「真」と「偽」に分類された予測を区別）を選択します。各コンポーネントは連携して、そのしきい値に基づくモデルの分類動作の対話型スナップショットを提供します。

   

分類のユースケース¶

以下のセクションでは、2つの二値分類のユースケースのいずれかを使用して、前述の概念を具体的に説明します。 どちらのユースケースも、データセットの各行が1人の患者を表し、特徴量（列）には患者の病状に関する説明的な特徴量が含まれています。

ROC曲線とは、モデルの分類性能を、確率スケール上の全ポイントにおける関連パフォーマンス統計データの変化としてグラフで示したものです。 報告された統計情報を理解するには、分類問題で考えられる4つの結果を理解する必要があります。これらの結果が混同行列の基礎となります。

分類のユースケース1¶

ユースケース1では、患者が糖尿病であるかどうかを尋ねます。 この架空のデータセットには、カテゴリー値と数値の両方が含まれ、患者が糖尿病であるかどうかを示しています。ターゲット特徴量であるhas_diabetesはカテゴリー値であり、患者が糖尿病である（has_diabetes=1）、または糖尿病ではない（has_diabetes=0）ことを示しています。 数値特徴量やその他のカテゴリー型特徴量は、血圧、支払者コード、処置回数、入院日数などの項目を示しています。 ユースケース1の結果とその説明は次のとおりです。

次の点により、結果を使用する統計的根拠を示すことができます。

• 正しい予測：
• 間違った予測：
• 総スコアリング件数：
• 誤り率：
• 全体的な精度（予測が正しい確率）：

分類のユースケース2¶

ユースケース2は、糖尿病患者が再入院するかどうか（ターゲット特徴量）を判断しようとするモデルです。 この架空のデータセットには、カテゴリー値と数値の両方が含まれ、患者が30日以内に再入院するかどうかを示しています（ターゲットvariable=readmitted）。 このカテゴリー値は、患者が30日以内に再入院するか（readmitted=1）、その期間内に再入院しないか（readmitted=0）を示します。その他のカテゴリー値には、入院IDや支払者コードなどがあります。 数値特徴量は、血圧、処置回数、入院日数などを示しています。