Skip to content

アプリケーション内で をクリックすると、お使いのDataRobotバージョンに関する全プラットフォームドキュメントにアクセスできます。

「精度」タブ

精度タブでは、標準的な統計的手法とエクスポート可能な可視化によって、時間の経過に伴うモデルデプロイのパフォーマンスを分析できます。このツールを使用して、モデルの品質が低下しているかどうか、モデルの交換を検討する必要があるかを判断します。精度タブには、問題のタイプに基づくインサイトと、タイプに関連付けられた最適化指標が表示されます。これらの指標は連続値プロジェクトか二値分類プロジェクトかに応じて異なります。

備考

このタブに表示される精度スコアは推定値であり、元のデータのすべての予測行を使用して計算された精度スコアとは異なる場合があります。これは、1時間あたりのデータ処理に限界があるためです。1時間の制限時間内では100,000を超える行を使用して精度スコアを計算できないため、DataRobotは精度を計算できた行に基づいてスコアを提供します。より正確な精度スコアを達成するには、予測リクエストの期間を数時間に設定し、1時間あたりの計算限界に達しないようにします。

精度タブの有効化

デフォルトでは、精度タブはデプロイに対して有効ではありません。タブを有効にするには、まずDataRobotの外部で収集されたデプロイの予測値と実測値を含むデータをアップロードしてください。詳細については、実測値を追加して、デプロイの精度を設定する概要を参照してください。

精度分析を妨げる可能性のある3つのエラーがあります。

  1. 選択した時間範囲のデータが提供されていない。予測値と実測値は、選択した時間範囲と一致しなければなりません。

  2. デプロイに実測値が追加されていない。設定 > データタブから実測値を追加します

  3. 精度分析を有効にするためには、予測数が不十分である。精度タブを有効化するには、対応する実測値を含む予測行が最低100行必要です。設定 > データを追加タブから実測値を追加してください。

時間範囲および期間のドロップダウン

コントロール(モデルバージョンおよびデータ時間範囲セレクター)は、データドリフトタブのコントロールと同様に機能します。精度タブはセグメント化された分析にも対応しており、個々のセグメントの属性や値の精度を表示できます。

精度指標の設定

デプロイオーナーは各デプロイに複数の精度指標を設定できます。デプロイで使用される精度指標は、精度グラフの上に個別のタイルとして表示されます。タイルをカスタマイズを選択して、使用する指標を編集します。

ダイアログボックスには、デプロイに対して現在有効になっているすべての指標が一覧表示されます。指標は、左から右方向のタイルの表示順で上から下に表示されます。

タイルの位置は、上矢印を選択すると左に移動し、下矢印を選択すると右に移動します。

新しいメトリックス・タイルを追加するには、別の指標を追加をクリックします。 1つのデプロイで、最大10の精度タイルを表示できます。

タイルの精度指標を変更するには、変更する指標のドロップダウンをクリックして、置き換える指標を選択します。

すべての変更を行ったら、OKをクリックします。精度タブが更新され、表示中の指標に加えた変更が反映されます。

利用可能な精度指標

利用可能な指標は、デプロイに使用するモデリングプロジェクトのタイプ(連続値または二値分類)によって異なります。

モデリングタイプ 利用可能な指標
連続値 RMSE、MAE、Gamma Deviance、Tweedie Deviance、R Squared、FVE Gamma、FVE Poisson、FVE Tweedie、Poisson Deviance、MAD、MAPE、RMSLE
二値分類 LogLoss, AUC, Kolmogorov-Smirnov, Gini-Norm, Rate@Top10%, Rate@Top5%, TNR, TPR, FPR, PPV, NVP, F1, MCC, 精度, 均衡正解率, FVE Binomial

結果の解釈

精度タブに表示される結果は、デプロイが連続値プロジェクトであるか二値分類であるかに応じて異なります。

時系列の精度グラフ

上のグラフは、選択した精度指標値(この例ではLogLoss )の時間経過に伴う変化を示します。これらの指標は、デプロイ前にモデルの評価に使用される指標と同一です。各指標の開始スコアは、ホールドアウトパーティションでトレーニングされたモデルの予測を使用して計算されたモデルの精度スコアを表します。グラフの上にある指標タイルをクリックすると、表示が変更されます。

グラフ上のポイントにカーソルを置くと以下のような詳細が表示されます。

フィールド 連続値 分類
タイムスタンプ(1) ポイントがキャプチャする期間
メトリック (2) ポイントの期間に対して選択した最適メトリック値。これにはグラフの上にある指標のタイルに対応したスコアが反映され、表示された期間に合わせて調整されます。
予測値(3) ポイントの期間の平均予測値(予測データから派生)。値は予測値と実測値のグラフに沿った青いポイントで反映されます。 ポイントの期間に対して予測データで値ラベル(trueまたはfalse)が予測された頻度(パーセンテージ)。値は予測値と実測値のグラフに沿った青いポイントで表示されます。ラベルの設定については、下の画像を参照してください。
実測値(4) ポイントの期間に対する平均実測値(実測データから導出)。値は予測値と実測値のグラフに沿ったオレンジのポイントで反映されます。 ポイントの期間に対して実測値データが値1(true)である頻度(パーセンテージ)。これらの値は、予測値と実測値のグラフに沿ってオレンジのポイントとして表されます。ラベルの設定については、下のイメージを参照してください。
行数(5) チャート上のこのポイントで表示される行数。
欠損実測値(6) 対応する実測値が記録されていない予測行の数。この値は、選択したポイントに固有のものではありません。

予測値と実測値のグラフの上部にあるドロップダウンメニューから、表示する分類値(この例では0または1)を選択できます。

予測値と実測値のグラフ

上のグラフには、二値分類データセットのタイムラインに沿って予測値と実測値が表示されます。いずれかのプロットのポイントにカーソルを合わせると、データドリフトタブの値と同じ値が表示されます(タイムスライダーが同じ時間範囲に設定されていると仮定)。

二値分類プロジェクトの場合、タイムラインとバケッティングは連続値プロジェクトと同様に機能しますが、このプロジェクトのタイプでは、結果を表示するクラスを選択できます(上記の時系列の精度グラフを参照してください)。

グラフの下のボリュームチャートには、各ポイントで行われた予測に対応する実測値の数が表示されます。影付きの領域はアップロードされた実測値の数を表し、縞模様の領域は対応する実測値が欠損している予測の数を表します。

実測値が欠損している予測を識別するには、実測値が欠損しているIDのダウンロードリンクをクリックします。実測値が欠損している予測をリストしたCSVファイル(missing_actuals.csv)が各予測の関連付けIDとともにダウンロードされます。関連付けIDを使用して、一致するIDを持つ実測値をアップロードします。

クラスセレクター

多クラスデプロイは、精度グラフに表示されるデータを変更するためのクラスベースの設定を提供します。デフォルトでは、グラフはトレーニングデータの中で最も一般的な5つのクラスを表示します。その他のクラスは1行で表示されます。日付スライダーの上にターゲットクラスのドロップダウンがあります。これは選択したタブに表示するためにどのクラスが選択されているかを示します。

ドロップダウンをクリックして、表示するクラスを選択します。すべてのクラスを使用するまたは特定のクラスを選択するを選択します。

すべてのクラスを表示する場合は、最初のオプションを選択してから、 適用をクリックします。

特定のクラスを表示するには、2番目のオプションを選択します。次のフィールドにクラス名を入力して、表示するクラス名を示します(一度に最大5つのクラスを表示可能)。DataRobotには、クラスのクイック選択ショートカット(トレーニングデータで最も一般的な5つのクラス、精度スコアが最も低い5つのクラス、データドリフトが最も多い5つのクラス)が用意されています。表示する5つのクラスを指定したら、適用をクリックします。

指定すると、タブ(デプロイ精度またはデータドリフト)のチャートが更新され、選択したクラスが表示されます。

精度多クラスのグラフ

時系列の精度:

予測値と実測値の比較:

アラートの解釈

DataRobotは、アラートステータスを作成するための精度スコアとしてデプロイに選択された最適化メトリックス・タイルを使用します。アラートステータスの意味を以下に示します。

  • 緑:精度はモデルがデプロイされたときとほぼ同じです。

  • 黄:精度はモデルがデプロイされたときから低下しています。

  • 赤:精度はモデルがデプロイされたときから大幅に低下しています。

  • グレー:精度データは使用できません。

たとえば

XYZ履歴データベーステーブルのトレーニングデータがあります。このトレーニングデータには、「アクティビティが不正行為かどうか」というターゲットが含まれています。モデルを構築した後、XYZ日次テーブル(ターゲットを含まない)に対してモデルのスコアリングを行い、XYZスコアデータベースに予測を書き出します。アプリケーションはXYZスコアを使用します。予測時にデータベースインスタンスに書き込まれたデータは、後でXYZ履歴テーブルに別途書き込まれます。

モデルで精度の高い予測が行われているかどうかを判断するために、XYZ履歴テーブルとXYZスコアを毎月統合します。これにより、予測される不正な値と実際に不正な値が単一の表に表示されます。

最後に、この予測データセットをDataRobotデプロイに追加し、実測値列および予測値列を設定します。次に、DataRobotで結果が分析され、モデル精度低下とモデル置き換えの必要性を識別するために役立つ指標が提供されます。


更新しました February 22, 2022
Back to top