Skip to content

アプリケーション内で をクリックすると、お使いのDataRobotバージョンに関する全プラットフォームドキュメントにアクセスできます。

しきい値の表示と予測

分類モデルのしきい値は、予測値のクラス境界を設定する点です。モデルは、しきい値を下回る観測値を「false」として分類し、しきい値を上回る観測値「true」として分類します。したがって、DataRobotでは、しきい値を超える予測にPositiveクラスのラベルが自動的に割り当てられます。

変更できるしきい値は2つあります。

表示しきい値

表示のしきい値は、ROC曲線タブのいくつかの可視化の基準です。設定したしきい値は、次のセクションで説明する予測分布グラフおよびチャート、行列、指標ペインを更新します。モデリング目標を満たすしきい値で実験します。

以下に示す表示のしきい値設定から選択します。

要素 説明
表示しきい値 設定したしきい値を表示します。クリックして、しきい値の設定を選択します。予測分布グラフをクリックして、表示しきい値を更新することもできることに備考してください。表示しきい値は、デフォルトでF1を最大化します。

別のモデルに切り替えると、表示しきい値が更新され、新しいモデルのF1が最大化されます。これにより、モデル間の分類結果を簡単に比較できます。別のデータソースを選択した場合(ホールドアウト交差検定、またはデータ選択リスト検証)、新しいデータのF1を最大化するために、表示しきい値が更新されます。
しきい値 スライダーをドラッグするか、表示のしきい値を入力してください。可視化ツールはそれに応じて更新されます。
オプションの最大化 F1スコア、MCC(マシューズ相関係数)、または収益を最大化するしきい値を選択します。収益を最大化するには、まず、行列ペインの+ペイオフの追加をクリックしてペイオフを設定します。
予測しきい値として使用 クリックして、予測のしきい値表示のしきい値の現在の値に設定します。それにより、予測時に、しきい値は、正と負の分類の境界として機能します。しきい値を上回る観測値は、正のクラスのラベル、しきい値を下回る値は負のクラスのラベルを受け取ります。予測のしきい値は、収益曲線を生成する場合、およびデプロイまたは後で予測を行う場合に使用されます。
しきい値タイプ 最高予測値の上位%または予測値(0~1)を選択します。詳細については、しきい値のタイプを参照してください。

この例では、表示のしきい値は0.3151に設定されており、これによりF1スコアが最大化されます。次に、結果として得られる値をチャート、行列、指標ペインで表示することができます。

しきい値タイプ

表示しきい値の2つのベースを選択できます(予測値(0-1)または予測パーセンテージ)。予測値は、クラスの境界の決定に使用される数値を表しています。パーセンテージオプションでは、1つのクラスとして分類される上位または下位n%のレコードを設定できます。例えば、上位の予測をフィルターし、その境界を使用してリコール計算などを実行するかと思います。次に、値を比較指標として使用するか、単に記録の上位パーセンテージの点検に使用できます。

備考

表示は、指定したしきい値に最も近いデータポイントを表します(つまり、20%と入力した場合、実際には表示は20.7%のように表示されます)。ボックスは、「戻る」を押した後に正確な値をレポートします。

表示のしきい値の設定

次のいずれかの方法でしきい値を設定します。

  1. ROC曲線タブで、表示しきい値のドロップダウンメニューをクリックします

  2. スライダーを使用するか、値を入力して表示しきい値を設定します。

    しきい値タイプ上位%の場合は、0〜100の値を入力します(入力後に正確なポイントに更新されます)。しきい値タイプ予測値の場合、0.0から1.0までの数値を入力します。入力した値が有効でない場合は、右側に注意メッセージが表示されます。

  3. ドロップダウンの外側をクリックして、可視化ツールに対する表示しきい値の影響を表示します。

  1. 表示しきい値に使用するメトリックのMaximum(最大)値を選択します。F1、MCC、または利益から選択します。メトリックのMaximum(最大)値は次のように表示されます。

    備考

    利益を最大化できるようにするには、マトリックスペインをペイオフマトリックスに設定する必要があります。それ以外の場合、利益の最大化オプションはグレー表示されます。

  2. ドロップダウンの外側をクリックして、可視化ツールに対する表示しきい値の影響を表示します。

  1. 「ゴースト」線がその上に対応する値で表示されるまで、予測分布グラフにカーソルを合わせます。

  2. クリックすると、表示しきい値が新しく選択された値に自動的に更新されます。

表示のしきい値に有効な入力は、次のページの要素を変更します:

  • 更新された値は、指標ペインと(行列ペインで)混同行列に表示されます。
  • 予測分布グラフにあるオレンジ色の線が選択した値に合わせて移動し、オレンジ色の円でマークされます。
  • ROC曲線利益曲線など、チャートペインに表示される現在の曲線で、新しい点が選択されます(円で示されます)。一部の曲線には、ポイントに対応する線の交差点があります。

予測に対するしきい値

二値分類モデルの予測リクエストでは、Positiveクラスの確率とラベルの両方が返されます。しきい値(表示しきい値)がDataRobotは自動的に計算されますが、予測時にラベルを適用するとき、しきい値は0.5にリセットされます。結果の予測では、しきい値を超える値を含むレコードには、このしきい値に基づいて(予測に加えて)Positiveクラスのラベルが設定されます。この値によって予測処理後に実際のしきい値ラベルを適用する必要が生じている場合、予測のしきい値を変更することによって、そのステップを回避することができます。

予測のしきい値の設定

  1. ROC曲線タブで、表示しきい値のドロップダウンメニューをクリックします

  2. 必要に応じて表示のしきい値を更新します。

  3. 予測しきい値として使用を選択します。

    デプロイした後、このモデルで作成され、新しいしきい値を超えるすべての予測は、Positiveクラスラベルを返します。

ここで設定した予測しきい値は、以下のタブにも保存されます:

これらのタブのいずれかで値を変更すると、新しい値がすべてのタブに反映されます。モデルをデプロイした後は、そのデプロイ内でしきい値を変更することはできません。


更新しました May 10, 2022
Back to top