title: 精度タブ description: [精度]タブを使用して、モデルの品質が低下しているかどうかを判断し、モデルの置換を検討する方法。
精度タブ¶
精度タブでは、標準的な統計的手法とエクスポート可能な可視化によって、時間の経過に伴うモデルデプロイのパフォーマンスを分析できます。
このツールを使用して、モデルの品質が低下しているかどうかを判断し、モデルの交換を検討する必要があります。 精度タブには、問題の種類に基づいてインサイトおよびインサイトに関連付けられた最適化指標が表示されます。これらの指標は連続値プロジェクトか二値分類プロジェクトかにより異なります。
備考
このタブに表示される精度スコアは推定値であり、元のデータのすべての予測行を使用して計算された精度スコアとは異なる場合があります。 これは、1時間あたりのデータ処理に限界があるためです。 1時間の制限時間内では100,000を超える行を使用して精度スコアを計算できないため、DataRobotは精度を計算できた行に基づいてスコアを提供します。 より正確な精度スコアを達成するには、予測リクエストの期間を数時間に設定し、1時間あたりの計算限界に達しないようにします。
備考
このタブに表示される精度スコアは推定値であり、元のデータのすべての予測行を使用して計算された精度スコアとは異なる場合があります。 これは、データ処理に限界があることが原因です（設定に応じて、時間または日単位）。 DataRobotは大きな予測リクエストのすべての行を使用しては精度スコアを計算できないので、精度を計算できた行に基づいてスコアが提供されます。 より正確な精度スコアを得るには、予測リクエストの期間を数時間または数日に設定して、計算限界に達しないようにします。
[精度]タブの有効化¶
デフォルトでは、精度タブはデプロイに対して有効ではありません。 タブを有効にするには、まずDataRobotの外部で収集されたデプロイの予測値と実測値を含むデータをアップロードしてください。 詳細については、実測値を追加して、デプロイの精度を設定する概要を参照してください。
精度分析を妨げる可能性のある以下のエラーがあります。
-
選択した時間範囲のデータは提供されません。 予測値と実測値は、選択した時間範囲と一致しなければなりません。
-
デプロイには実測値が追加されていません。 設定 > データ タブから実測値を追加します。
-
精度分析を有効にするには、予測数が不十分です。 精度 タブを有効にするには、対応する実測値を持つ最小100行の予測が必要です。 設定 > データ タブから実測値をさらに追加します。
-
ターゲット監視がオフになっている場合、ターゲット監視を有効にするよう精度タブにメッセージが表示されます。
時間範囲および期間ドロップダウン¶
コントロール（モデルバージョンおよびデータ時間範囲セレクター）は、データドリフトタブのコントロールと同様に機能します。 精度タブでもセグメント化された分析がサポートされるので、個々のセグメントの属性と値の精度を表示できます。
精度指標の設定¶
デプロイオーナー は各デプロイに複数の精度指標を設定できます。 デプロイで使用される精度指標は、精度グラフの上に個別のタイルとして表示されます。 タイルをカスタマイズを選択して、使用する指標を編集します。
ダイアログボックスには、デプロイに対して現在有効になっているすべての指標が一覧表示されます。 指標は、左から右方向のタイルの表示順で上から下に表示されます。
タイルの位置は、上矢印を選択すると左に移動し、下矢印を選択すると右に移動します。
新しいメトリックス・タイルを追加するには、別の指標を追加をクリックします。 1つのデプロイで、最大10の精度タイルを表示できます。
タイルの精度指標を変更するには、変更する指標のドロップダウンをクリックして、置き換える指標を選択します。
すべての変更を行ったら、OKをクリックします。 精度タブが更新され、表示中の指標に加えた変更が反映されます。
利用可能な精度指標¶
利用可能な指標は、デプロイに使用するモデリングプロジェクトのタイプ（連続値または二値分類）によって異なります。
| モデリングタイプ | 利用可能な指標 |
|---|---|
| 連続値 | RMSE、MAE、Gamma Deviance、Tweedie Deviance、R Squared、FVE Gamma、FVE Poisson、FVE Tweedie、Poisson Deviance、MAD、MAPE、RMSLE |
| 二値分類 | LogLoss、AUC、Kolmogorov-Smirnov、Gini-Norm、Rate@Top10%、Rate@Top5%、TNR、TPR、FPR、PPV、NPV、F1、MCC、Accuracy、Balanced Accuracy、FVE Binomial |
結果の解釈¶
精度タブに表示される結果は、デプロイが連続値プロジェクトか二値分類プロジェクトに応じて異なります。
予測の時間
予測の時間の値は、データドリフトタブと精度タブ、およびサービスの正常性タブで異なります。
-
[サービスの正常性]タブの「予測リクエストの日時」は、_常に_予測サーバーが予測リクエストを_受信した_日時です。 この予測リクエストの追跡方法は、診断目的で予測サービスの正常性を正確に示しています。
-
On the Data Drift and Accuracy tabs, the "time of prediction request" is, by default, the time you submitted the prediction request, which you can override with the prediction timestamp in the Prediction History settings.
時系列の精度グラフ¶
上のグラフは、選択した精度指標値（この例ではLogLoss ）の時間経過に伴う変化を示します。 これらの指標は、デプロイ前にモデルの評価に使用される指標と同一です。 各指標の開始スコアは、ホールドアウトパーティションでトレーニングされたモデルの予測を使用して計算されたモデルの精度スコアを表します。 グラフの上にある指標タイルをクリックすると、表示が変更されます。
グラフ上のポイントにカーソルを置くと以下のような詳細が表示されます。
| フィールド | 連続値 | 分類 |
|---|---|---|
| タイムスタンプ（1） | ポイントがキャプチャする期間。 | |
| 指標（2） | ポイントの期間に対して選択した最適化指標値。 これにはグラフ上の対応する指標タイルのスコアが反映され、表示された期間に合わせて調整されます。 | |
| 予測値（3） | ポイントの期間の平均予測値（予測データから派生）。 値は、予測値と実測値のグラフに沿った青いポイントとして反映されます。 | ポイントの期間に対して予測データで値ラベル（trueまたはfalse）が予測された頻度（パーセンテージ）。 値は、予測値と実測値のグラフに沿った青いポイントとして表されます。 ラベルの設定については、下の画像を参照してください。 |
| 実測値（4） | ポイントの期間の平均実測値（実測データから派生）。 値は予測値と実測値のグラフに沿ったオレンジのポイントで反映されます。 | ポイントの期間に対して実測値データが値1（true）である頻度（パーセンテージ）。 これらの値は、予測値と実測値のグラフに沿ってオレンジのポイントとして表されます。 ラベルの設定については、下の画像を参照してください。 |
| 行の数（5） | チャート上のこのポイントで表示される行数。 | |
| 欠損実測値（6） | 対応する実測値が記録されていない予測行数。 この値は、選択したポイントに固有のものではありません。 | |
予測値と実測値のグラフの上部にあるドロップダウンメニューから、表示する分類値（この例では0または1）を選択できます。
予測値と実測値のグラフ¶
上のグラフには、二値分類データセットのタイムラインに沿って予測値と実測値が表示されます。 いずれかのプロットのポイントにカーソルを合わせると、データドリフトタブの値と同じ値が表示されます（タイムスライダーが同じ時間範囲に設定されていると仮定）。
二値分類プロジェクトの場合、タイムラインとヒストグラムのバケットは連続値プロジェクトと同様に機能しますが、このプロジェクトのタイプでは、結果を表示するクラスを選択できます（上記の時系列の精度グラフを参照してください）。
グラフの下のボリュームチャートには、各ポイントで行われた予測に対応する実測値の数が表示されます。 影付きの領域はアップロードされた実測値の数を表し、縞模様の領域は対応する実測値が欠損している予測の数を表します。
実測値が欠損している予測を識別するには、実測値が欠損しているIDのダウンロードリンクをクリックします。 実測値が欠損している予測をリストしたCSVファイル（missing_actuals.csv）が各予測の関連付けIDとともにダウンロードされます。 関連付けIDを使用して、一致するIDを持つ実測値をアップロードします。
クラスセレクター¶
多クラスデプロイは、精度グラフに表示されるデータを変更するためのクラスベースの設定を提供します。 デフォルトでは、グラフにはトレーニングデータで最も一般的な5つのクラスが表示されます。 他のすべてのクラスは1行で表されます。 日付スライダーの上にターゲットクラスのドロップダウンがあります。 これは選択したタブに表示するためにどのクラスが選択されているかを示します。
ドロップダウンをクリックして、表示するクラスを選択します。 すべてのクラスを使用するまたは特定のクラスを選択するを選択します。
すべてのクラスを表示する場合は、最初のオプションを選択してから、 適用をクリックします。
特定のクラスを表示するには、2番目のオプションを選択します。 次のフィールドにクラス名を入力して、表示するクラス名を示します（一度に最大5つのクラスを表示可能）。 DataRobotには、クラスのクイック選択ショートカット（トレーニングデータで最も一般的な5つのクラス、精度スコアが最も低い5つのクラス、データドリフトが最も多い5つのクラス）が用意されています。 表示する5つのクラスを指定したら、適用をクリックします。
指定すると、タブ（デプロイ精度またはデータドリフト）のチャートが更新され、選択したクラスが表示されます。
精度多クラスのグラフ¶
時系列の精度：
予測値と実測値の比較。
アラートの解釈¶
DataRobotは、アラートステータスを作成するための精度スコアとしてデプロイに選択された最適化メトリックス・タイルを使用します。 アラートステータスの意味を以下に示します。
-
緑：精度はモデルがデプロイされたときとほぼ同じです。
-
黄：精度はモデルが展開されたときから低下しています。
-
赤：精度はモデルが展開されたときから大幅に低下しています。
-
グレー：精度は使用できません。
以下に例を示します。¶
XYZ履歴データベーステーブルのトレーニングデータがあります。このトレーニングデータには、「アクティビティが不正行為かどうか」というターゲットが含まれています。モデルを構築した後、XYZ日次テーブル（ターゲットを含まない）に対してモデルのスコアリングを行い、XYZスコアデータベースに予測を書き出します。 アプリケーションはXYZスコアを使用します。予測時にデータベースインスタンスに書き込まれたデータは、後でXYZ履歴テーブルに別途書き込まれます。
モデルで正確な予測が行われているかどうかを判断するために、XYZ履歴テーブルとXYZスコアを毎月統合します。 これにより、予測される不正な値と実際に不正な値が単一の表に表示されます。
最後に、この予測データセットをDataRobotデプロイに追加し、実測値列および予測値列を設定します。 次に、DataRobotで結果が分析され、モデル精度低下とモデル置き換えの必要性を判断するために役立つ指標が提供されます。