精度¶

精度タブでは、標準的な統計的手法とエクスポート可能な可視化によって、時間の経過に伴うモデルデプロイのパフォーマンスを分析できます。 このツールを使用して、モデルの品質が低下しているかどうかや、モデルの置換を検討すべきかどうかを判断します。 The Monitoring > Accuracy tab renders insights based on the problem type and its associated optimization metrics.

[精度]タブの有効化¶

デフォルトでは、精度タブはデプロイに対して有効ではありません。 有効にするには、ターゲットの監視を有効にし、関連付けIDを設定して、DataRobotの外部で収集されたデプロイの予測値と実測値を含むデータをアップロードします。 詳細については、実測値を追加してデプロイの精度を設定する方法の概要を参照してください。

以下のエラーは、精度分析の妨げになる可能性があります。

精度ダッシュボードを設定¶

コントロール（モデルバージョンおよびデータ時間範囲セレクター）は、データドリフトタブのコントロールと同様に機能します。 精度タブはセグメント化された分析にも対応しており、個々のセグメント属性や値の精度を確認することができます。

精度指標の設定¶

デプロイオーナー は各デプロイに複数の精度指標を設定できます。 デプロイで使用される精度指標は、精度グラフの上に個別のタイルとして表示されます。 使用する指標を編集するには、タイルをカスタマイズを選択します。

ダイアログボックスには、デプロイに対して現在有効になっているすべての指標が一覧表示されます。指標は、左から右方向のタイルの表示順で上から下に表示されます。 The first metric, the default metric, loads when you open the page.

1つのデプロイで、最大10の精度タイルを表示できます。 If you run out of metrics, change an existing tile's accuracy metric, clicking the dropdown for the metric you wish to change and selecting the metric to replace it. 利用可能な指標は、デプロイに使用するモデリングプロジェクトのタイプ（連続値、二値分類または多クラス）によって異なります。

すべての変更を行ったら、OKをクリックします。 精度タブが更新され、表示中の指標に加えた変更が反映されます。

Analyze the accuracy charts¶

これらの精度のインサイトは、問題のタイプとそれに関連する最適化指標に基づいてレンダリングされます。 In particular, the Accuracy over Time chart displays the change in the selected accuracy metric over time. The Accuracy over Time and Predicted & Actual charts are two charts in one, sharing a common x-axis, Time of Prediction.

On the Time of Prediction axis (the x-axis), the volume bins display the number of actual values associated with the predictions made at each point. 影付きの領域はアップロードされた実測値の数を表し、縞模様の領域は対応する実測値が欠損している予測の数を表します。

On either chart, point to a marker (or the surrounding bin associated with the marker) on the plot to see specific details for that data point. The following table explains the information provided for both regression and classification model deployments:

時系列の精度（AOT）チャート¶

時系列の精度グラフには、選択した精度指標の値の経時変化が表示されます。 グラフの上にある指標タイルをクリックすると、表示が変更されます。

開始値（ベースライン精度スコア）とプロットされた精度ベースラインは、モデルの精度スコアを表します。これは、トレーニングされたモデルのホールドアウトパーティションでの予測を使用して計算されます。

予測値と実測値の比較チャート¶

The Predicted & Actual chart shows the predicted and actual values over time. For binary classification projects, you can select which classification value to show (True or False in this example) from the dropdown menu at the top of the chart:

実測値が欠損している予測を識別するには、実測値が欠損しているIDのダウンロードリンクをクリックします。 実測値が欠損している予測をリストしたCSVファイル（missing_actuals.csv）が各予測の関連付けIDとともにダウンロードされます。 関連付けIDを使用して、一致するIDを持つ実測値をアップロードします。

Multiclass accuracy charts¶

Multiclass deployments provide the same Accuracy over Time and Predicted vs Actual charts as standard deployments; however, the charts differ slightly as they include individual classes and offer class-based configuration to define the data displayed. In addition, you can choose between viewing the data as Charts or a Table:

To configure the classes displayed, above the date slider, configure the Target Class dropdown, controlling which classes are selected to display on the selected tab:

Click the dropdown to determine which classes you want to display, then select one of the following:

After you click Apply, the charts on the tab update to display the selected classes.

Interpret accuracy alerts¶

DataRobotは、アラートステータスを作成するための精度スコアとしてデプロイに選択された最適化メトリックス・タイルを使用します。 アラートステータスの意味を以下に示します。

色	精度	アクション
緑 / 合格	精度はモデルがデプロイされたときとほぼ同じです。	必要なアクションはありません。
黄色 / リスクあり	精度はモデルが展開されたときから低下しています。	懸念がありますが、早急のアクションは必要ありません。監視を継続してください。
赤 / 失敗	精度はモデルが展開されたときから大幅に低下しています。	早急なアクションが必要です。
グレー / 不明	精度データがありません。 予測が不十分（最低100が必要）	予測の作成。