Skip to content

アプリケーション内で をクリックすると、お使いのDataRobotバージョンに関する全プラットフォームドキュメントにアクセスできます。

収益曲線

ROC曲線タブの他の視覚化ツールと同様、収益曲線は二値分類問題に使用できます。

収益曲線の説明

収益曲線を作成するには、ペイオフ行列を設定し、チャートペインを平均収益に設定します。

収益曲線は、選択したモデルのビジネスインパクトを推定するのに役立ちます。多くの分類問題では、正しい予測の利点と不正確な予測のペナルティ(またはコスト)の間に非対称性があります。平均収益チャートは、提供されたコストまたはメリットに基づいてモデルを評価して、この利益がさまざまな入力によってどのように変化するかを確認するのに役立ちます。

DataRobotがレポートする指標は、機械学習のコンテキストでのモデルの絶対パフォーマンスと相対パフォーマンスの両方を理解するのに役立ち、さまざまなコンテキストで一般化できます。たとえば、ROC曲線だけを見て、モデルをデプロイすることによってどれだけの収益を得ることができるか(または失うか)はすぐにはわかりません(以下の詳細な比較を参照してください)。収益曲線を使用すると、平均ペイオフ価を使用した場合でも、ビジネス環境でのモデルの直接応用をすばやく評価できます。具体的には、この曲線は、分類のしきい値を設定する場所と、正しい分類または誤分類に関連する平均コスト/利益に基づいてどれだけの利益を得ることができるかを理解するのに役立ちます。

収益曲線のセットアップに必要な2つの主なインタラクティブな要素があります。

  • ペイオフ行列設定:収益曲線を更新するために使用する収益計算を決定します
  • 収益曲線の視覚化

基本的なワークフロー:

  1. 二値分類プロジェクトモデルを選択します。
  2. ペイオフ行列を作成します。
  3. 対応する収益曲線を評価します。
  4. 比較のためにさまざまなシナリオを追加します。

ペイオフ行列の作成

ペイオフ行列は2つの部分で構成されています。

  • 実測値と予測値がどのように分類されたかをレポートする混同行列。
  • ペイオフ値ービジネスへのインパクトを表す一連の値(通貨なし)。たとえば、「ローンの債務不履行者を特定した場合、正しい予測と誤った予測の両方について、各観測値のコストまたは収益はどのようになるか?」

列とペイオフ値を組み合わせて、平均収益チャートを作成します。たとえば、異なる行列値で行列を作成すると、楽観的コストと悲観的コストなど、さまざまなコストシナリオを比較できます。

ペイオフ行列を作成する前に、表示されるペイオフ値は正しい分類では1と誤った分類では-1となっています。これは実際には行列ではなく、曲線の最初の視覚化を提供するための値の「プレースホルダー」セットです。

カスタムのペイオフ行列を作成するには、

  1. 行列ペインで、+ ペイオフを追加をクリックし、ペイオフ行列の名前を入力します。

  2. 各カテゴリー(TN、FP、FN、およびTP)のペイオフ値を入力します。

    ペイオフ値は、収益曲線を生成する収益計算を決定します。

  3. 保存をクリックします。

    新しいペイオフ行列は、プロジェクトのすべてのモデルに使用可能になります。必要に応じて行列を編集または削除できます。これらの変更はプロジェクト全体にも反映されます。最大6つの行列を作成できます。

  4. チャートペインを平均収益に設定し、しきい値を表示利益を最大化を選択します。

    これは、選択したペイオフ行列を使用して取得できる最大収益です。

  5. 収益曲線上の円をクリックして、そのしきい値の平均収益を表示します。曲線に沿った円をドラッグして、平均収益がどのように変化するかを確認します。ペイオフ行列を確認して、TN、FP、FN、およびTPカウントが表示しきい値に基づいてどのように変化するかを確認します。

    合計収益(または損失)は、行列設定に基づいて計算され、曲線に反映されます。つまり、合計収益/損失は、正確な分類および誤った分類にそれぞれからの収益または損失を掛けた合計です。

平均収益指標を表示します

また、指標ペインから平均収益を表示できます。

そのためには、メトリクスを選択をクリックして、平均収益(ペイオフ行列用)を選択します(3つまでしか選択できないため、選択した指標を選択解除する必要がある場合があります)。

収益曲線の視覚化

平均収益曲線は、分類しきい値に対して平均収益をプロットします。平均収益曲線の視覚化は、2つの入力に基づいます。

  • 正しい予測と誤った予測、および表示しきい値を分類する混同行列

  • ペイオフ行列:コストとメリットをさまざまなタイプの正しい予測と誤った予測(True Positive/True NegativeおよびFalse Positive/False Negative)に割り当てます。

次の平均収益曲線を考慮してください。

表示に含まれる要素を次の表に示します。

要素 説明
しきい値(確率) PositiveとNegativeの分類ポイントに対して収益をプロットする表示の焦点。これはペイオフ行列のカウントの基準として使用されるポイントです。予測しきい値をこの表示値に設定できます。
利益(平均) 各しきい値で、混同行列要素とペイオフ行列要素の各ペアの積の合計から計算されます(以下で説明されている式を使用します)。DataRobotでは、設定されたペイオフ値と組み合わされた「正誤」の数値に基づいて収益/損失が生成されます。
表示しきい値 収益曲線上のしきい値を示す円。予測分布グラフ上の表示しきい値プルダウンで利益を最大化を選択して、表示しきい値を最大利益に設定できます。
損益線 損益分岐点を視覚化するために常に0に向く線。これは、選択したデータパーティションに基づいて、値が正と負のどこにあるかを示します。

「モデル比較」タブ

モデル比較タブを使用して、異なる2つのモデルでのデータの処理方法を比較します。結果はペイオフ行列に基づくので、比較を行う前に少なくとも1つの行列を作成しておく必要があります。比較で評価するいくつかの情報を以下に示します。

  • 2つのモデルの形状はどのように異なるか?
  • 最大利益に大きな違いはあるか?
  • しきい値はどこで発生するか?

比較では、個々のモデルの視覚化と同じコントロール(データ選択、グラフスケール、行列)を使用します。

収益曲線の行列式

収益曲線では、分類のしきい値に対して利益がプロットされます。利益は、各しきい値で、混同行列要素とペイオフ行列要素の各ペアの積の合計から計算されます。この行列を例として使用すると、合計損益は186になります。

合計損益:

  • True Negative(TN)= 133
  • False Negative(FN)= 16
  • False Positive(FP)= 8
  • True Positive(TP)= 3

対応するペイオフ(P)行列:

  • PTN = 2
  • PFN = -5
  • PFP = -3
  • PTP = 8

純利益は、2つの行列の対応する要素の積の合計であり、次のように計算されます。

利益 = (TN * PTN) + (FP * PFP) + (FN * PFN) + (TP * PTP)

この例では次のようになります。

(133 * 2) + (8 * (-3)) + (16 * (-5)) + (3 * 8)

OR

266 - 24 - 80 + 24 = 186

収益曲線とROC曲線の関係

収益曲線は、ROC曲線の行列の補完である最適な分類確率のしきい値を決定するのに最も役立ちます。したがって、ROC曲線はさまざまな統計やドメインの専門知識に基づいて「最良」のしきい値を見つけるのに役立つ一方、収益曲線は、TrueとFalseのPositiveとNegativeの予測のコストに基づいてしきい値を選択するのに役立ちます。ビジネスの問題のコンテキストでモデル感度の感覚を提供します。緩やかな傾斜の曲線は高い柔軟性を示唆し、鋭いピッチは回避すべきしきい値領域を示します。形状は、選択したモデルと割り当てられたペイオフ値によって異なります。

ペイオフ値を混同行列に追加することにより、さまざまな入力を使用して比較できるように合計損益の見積もりを得ることができる層相乗効果が作成されます。収益曲線はROC曲線を同じデータを使用するので、しきい値が同じ場合、各視覚化の混同行列数は同じです。予測の出力結果に設定されたしきい値は、収益曲線とROC曲線の間で共有されます。

収益曲線に関する注意事項

  • モデルがダウンロードまたはデプロイされた後は予測しきい値を変更できないので、DataRobotがモデルのステータスを確認している間、しきい値の表示にわずかな遅延があります。

  • ベースライン(マジョリティークラス分類子)モデルに収益曲線を使用することは推奨されません。

  • ペイオフ行列は加重カウントを示します(これらの加重カウントは利益の計算に使用されます)。


更新しました May 11, 2022
Back to top