精度¶
精度タブでは、標準的な統計的手法とエクスポート可能な可視化によって、時間の経過に伴うモデルデプロイのパフォーマンスを分析できます。 このツールを使用して、モデルの品質が低下しているかどうかや、モデルの置換を検討すべきかどうかを判断します。 モニタリング > 精度タブには、問題のタイプとそれに関連する最適化指標に基づくインサイトが表示されます。
処理制限
このタブに表示される精度スコアは推定値であり、元のデータのすべての予測行を使用して計算された精度スコアとは異なる場合があります。 This is due to data processing limits. Processing limits can be hourly, daily, or weekly—depending on the configuration for your organization. In addition, a megabyte-per-hour limit (typically 100MB/hr) is defined at the system level. 精度スコアには、大規模な予測リクエストのすべての行が反映されるわけではないため、より正確なスコアを得るためには、計算の限界に達しないように、複数の時間または日にわたってリクエストを行います。
[精度]タブの有効化¶
デフォルトでは、精度タブはデプロイに対して有効ではありません。 有効にするには、ターゲットの監視を有効にし、関連付けIDを設定して、DataRobotの外部で収集されたデプロイの予測値と実測値を含むデータをアップロードします。 詳細については、実測値を追加してデプロイの精度を設定する方法の概要を参照してください。
以下のエラーは、精度分析の妨げになる可能性があります。
| 問題 | 単位 |
|---|---|
| ターゲットの監視設定が無効になっています | 設定 > データドリフトタブでターゲットの監視を有効にします。 精度タブに、ターゲットの監視を有効にするよう促すメッセージが表示されます。 |
| 予測時に関連付けIDがありません | 予測を精度追跡に含めるには、予測を行う前に関連付けIDを設定します。 |
| 欠損実測値 | 設定 > 精度 タブから実測値を追加します。 |
| 精度分析を有効にするには、予測数が不十分です | 設定 > 精度 タブから実測値を追加します。 精度 タブを有効にするには、対応する実測値を持つ最小100行の予測が必要です。 |
| 選択した時間範囲のデータがありません | 予測値と実測値が選択した時間範囲と一致することを確認して、その範囲の精度指標を参照します。 |
精度ダッシュボードを設定¶
コントロール（モデルバージョンおよびデータ時間範囲セレクター）は、データドリフトタブのコントロールと同様に機能します。 精度タブはセグメント化された分析にも対応しており、個々のセグメント属性や値の精度を確認することができます。
精度指標の設定¶
デプロイオーナー は各デプロイに複数の精度指標を設定できます。 デプロイで使用される精度指標は、精度グラフの上に個別のタイルとして表示されます。 使用する指標を編集するには、タイルをカスタマイズを選択します。
ダイアログボックスには、デプロイに対して現在有効になっているすべての指標が一覧表示されます。指標は、左から右方向のタイルの表示順で上から下に表示されます。 最初の指標であるデフォルト指標は、ページを開くと読み込まれます。
| アイコン | アクション | 説明 |
|---|---|---|
| 指標を上に移動 | 指標グリッドで、指標を左（または上）に移動します。 | |
| 指標を下に移動 | 指標グリッドで、指標を右（または下）に移動します。 | |
| 指標を削除 | 指標グリッドから指標を削除します。 | |
| 別の指標を追加 | 新しい指標を指標リストまたはグリッドの末尾に追加します。 |
1つのデプロイで、最大10の精度タイルを表示できます。 指標が不足している場合、既存のタイルの精度指標を変更します。変更する指標のドロップダウンをクリックして、置き換える指標を選択します。 利用可能な指標は、デプロイに使用するモデリングプロジェクトのタイプ（連続値、二値分類または多クラス）によって異なります。
| モデリングタイプ | 利用可能な指標 |
|---|---|
| 連続値 | RMSE、MAE、Gamma Deviance、Tweedie Deviance、R Squared、FVE Gamma、FVE Poisson、FVE Tweedie、Poisson Deviance、MAD、MAPE、RMSLE |
| 二値分類 | LogLoss、AUC、Kolmogorov-Smirnov、Gini-Norm、Rate@Top10%、Rate@Top5%、TNR、TPR、FPR、PPV、NPV、F1、MCC、Accuracy、Balanced Accuracy、FVE Binomial |
| 多クラス | LogLoss、FVE多項式 |
備考
これらの指標の詳細については、 最適化指標のドキュメントを参照してください。
すべての変更を行ったら、OKをクリックします。 精度タブが更新され、表示中の指標に加えた変更が反映されます。
精度チャートの分析¶
これらの精度のインサイトは、問題のタイプとそれに関連する最適化指標に基づいてレンダリングされます。 特に、時系列の精度チャートには、 選択した精度指標の経時変化が表示されます。 時系列の精度チャートと予測値と実測値チャートは、1つで2つのチャートであり、共通のx軸である予測時間を共有します。
予測の時間
予測の時間の値は、データドリフトタブと精度タブ、およびサービスの正常性タブで異なります。
-
[サービスの正常性]タブの「予測リクエストの日時」は、常に予測サーバーが予測リクエストを受信した日時です。 この予測リクエストの追跡方法は、診断目的で予測サービスの正常性を正確に示しています。
-
データドリフトタブと精度タブについてデフォルトで、「予測リクエストの時間」は、予測リクエストを送信した時刻になります。これは、 予測履歴とサービスの正常性設定で、予測タイムスタンプでオーバーライドできます。
予測時間軸（x軸）では、各ポイントで作成された予測に関連付けられた実測値の数が、ボリュームビンに表示されます。 影付きの領域はアップロードされた実測値の数を表し、縞模様の領域は対応する実測値が欠損している予測の数を表します。
いずれかのチャートで、プロット上のマーカー（またはマーカーに関連付けられた周囲のビン）をポイントすると、そのデータポイントの特定の詳細が表示されます。 次の表は、連続値モデルと分類モデルの両方のデプロイで提供される情報を示します。
| 要素 | 連続値 | 分類 |
|---|---|---|
| 1 | ポイントがキャプチャする期間。 | |
| 2 | ポイントの期間に対して選択した最適化指標値。 これにはグラフ上の対応する指標タイルのスコアが反映され、表示された期間に合わせて調整されます。 | |
| 3 | ポイントの期間の平均予測値（予測データから派生）。 値は、予測値と実測値のグラフに沿った青いポイントとして反映されます。 | ポイントの期間に対して予測データで値ラベル（trueまたはfalse）が予測された頻度（パーセンテージ）。 値は、予測値と実測値のグラフに沿った青いポイントとして表されます。 ラベルの設定については、下の画像を参照してください。 |
| 4 | ポイントの期間の平均実測値（実測データから派生）。 値は予測値と実測値のグラフに沿ったオレンジのポイントで反映されます。 | ポイントの期間に対して実測値データが値1（true）である頻度（パーセンテージ）。 これらの値は、予測値と実測値のグラフに沿ってオレンジのポイントとして表されます。 ラベルの設定については、下の画像を参照してください。 |
| 5 | チャート上のこのポイントで表示される行数。 | |
| 6 | 対応する実測値が記録されていない予測行数。 この値は、選択したポイントに固有のものではありません。 | |
時系列の精度（AOT）チャート¶
時系列の精度グラフには、選択した精度指標の値の経時変化が表示されます。 グラフの上にある指標タイルをクリックすると、表示が変更されます。
開始値（ベースライン精度スコア）とプロットされた精度ベースラインは、モデルの精度スコアを表します。これは、トレーニングされたモデルのホールドアウトパーティションでの予測を使用して計算されます。
カスタムモデルのホールドアウトパーティション
- 構造化カスタムモデルでは、トレーニングデータセットのパーティション列に基づいてホールドアウトパーティションを定義します。 トレーニングデータを追加する際にパーティション列を指定することができます。
- 非構造化カスタムモデルと外部モデルでは、トレーニングデータセットとホールドアウトデータセットを別々に提供します。
予測値と実測値の比較チャート¶
予測値と実測値のチャートには、時間の経過に伴う予測値と実測値が表示されます。 二値分類プロジェクトの場合、チャートの上部にあるドロップダウンメニューから、表示する分類値（この例ではTrueまたはFalse）を選択できます。
実測値が欠損している予測を識別するには、実測値が欠損しているIDのダウンロードリンクをクリックします。 実測値が欠損している予測をリストしたCSVファイル（missing_actuals.csv）が各予測の関連付けIDとともにダウンロードされます。 関連付けIDを使用して、一致するIDを持つ実測値をアップロードします。
多クラス精度チャート¶
多クラスデプロイでは、標準のデプロイと同じ時系列の精度と予測値と実測値の比較チャートが提供されますが、チャートには個々のクラスが含まれ、表示されるデータを定義するクラスベースの設定が提供されるため、チャートは若干異なります。 さらに、データを チャートとして表示するか、 テーブルとして表示するかを選択することができます。
備考
デフォルトでは、チャートにはトレーニングデータで最も一般的な5つのクラスが表示されます。クラスの数が5を超えると、他のすべてのクラスは1行で表されます。
表示されるクラスを設定するには、日付スライダー上で、ターゲットクラスドロップダウンを設定し、選択したタブに表示するクラスを制御します。
ドロップダウンをクリックして表示するクラスを決定し、以下のいずれかを選択します。
| オプション | 説明 |
|---|---|
| すべてのクラスを使用する | トレーニングデータで最も一般的な5つのクラスをすべて選択し、他のすべてのクラスを表す1つのラインを表示します。 |
| 特定のクラスを選択する | 最大5つのクラスを表示するには、次のいずれかを実行します。
|
適用をクリックすると、タブのチャートが更新され、選択したクラスが表示されます。
精度アラートの解釈¶
DataRobotは、デプロイのために選択された最適化指標タイルを精度スコアとして使用し、アラートステータスを作成します。 アラートステータスの意味を以下に示します。
| 色 | 精度 | アクション |
|---|---|---|
 Green / Passing |
精度はモデルがデプロイされたときとほぼ同じです。 | 必要なアクションはありません。 |
 Yellow / At risk |
精度はモデルが展開されたときから低下しています。 | 懸念がありますが、早急のアクションは必要ありません。監視を継続してください。 |
 Red / Failing |
精度はモデルが展開されたときから大幅に低下しています。 | 早急なアクションが必要です。 |
 Gray / Unknown |
精度データがありません。 予測が不十分（最低100が必要） | 予測の作成。 |