精度タブ¶

精度タブでは、標準的な統計的手法とエクスポート可能な可視化によって、時間の経過に伴うモデルデプロイのパフォーマンスを分析できます。

このツールを使用して、モデルの品質が低下しているかどうかや、モデルの置換を検討すべきかどうかを判断します。 精度タブには、問題の種類に基づいてインサイトおよびインサイトに関連付けられた最適化指標が表示されます。これらの指標は連続値プロジェクトか二値分類プロジェクトかにより異なります。

[精度]タブの有効化¶

デフォルトでは、精度タブはデプロイに対して有効ではありません。 有効にするには、ターゲットの監視を有効にし、関連付けIDを設定して、DataRobotの外部で収集されたデプロイの予測値と実測値を含むデータをアップロードします。 詳細については、実測値を追加してデプロイの精度を設定する方法の概要を参照してください。

以下のエラーは、精度分析の妨げになる可能性があります。

時間範囲および期間ドロップダウン¶

コントロール（モデルバージョンおよびデータ時間範囲セレクター）は、データドリフトタブのコントロールと同様に機能します。 精度タブはセグメント化された分析にも対応しており、個々のセグメント属性や値の精度を確認することができます。

精度指標の設定¶

デプロイオーナー は各デプロイに複数の精度指標を設定できます。 デプロイで使用される精度指標は、精度グラフの上に個別のタイルとして表示されます。 使用する指標を編集するには、タイルをカスタマイズを選択します。

ダイアログボックスには、デプロイに対して現在有効になっているすべての指標が一覧表示されます。 指標は、左から右方向のタイルの表示順で上から下に表示されます。

タイルの位置は、上矢印を選択すると左に移動し、下矢印を選択すると右に移動します。

新しいメトリックス・タイルを追加するには、別の指標を追加をクリックします。 1つのデプロイで、最大10の精度タイルを表示できます。

タイルの精度指標を変更するには、変更する指標のドロップダウンをクリックして、置き換える指標を選択します。

すべての変更を行ったら、OKをクリックします。 精度タブが更新され、表示中の指標に加えた変更が反映されます。

利用可能な精度指標¶

利用可能な指標は、デプロイに使用するモデリングプロジェクトのタイプ（連続値、二値分類または多クラス）によって異なります。

これらの指標の詳細については、 最適化指標のドキュメントを参照してください。

結果の解釈¶

精度タブに表示される結果は、デプロイが連続値プロジェクトか二値分類プロジェクトに応じて異なります。

時系列の精度グラフ¶

時系列の精度グラフには、選択した精度指標の値（この例ではLogLoss）の経時変化が表示されます。

開始値（ベースライン精度スコア）とプロットされた精度ベースラインは、モデルの精度スコアを表します。これは、トレーニングされたモデルのホールドアウトパーティションでの予測を使用して計算されます。

グラフの上にある指標タイルをクリックすると、表示が変更されます。

グラフ上のポイントにカーソルを置くと以下のような詳細が表示されます。

予測値と実測値のグラフ¶

上のグラフには、二値分類データセットのタイムラインに沿って予測値と実測値が表示されます。 いずれかのプロットのポイントにカーソルを合わせると、データドリフトタブの値と同じ値が表示されます（タイムスライダーが同じ時間範囲に設定されていると仮定）。

予測値と実測値のグラフの上部にあるドロップダウンメニューから、表示する分類値（この例では0または1）を選択できます。

二値分類プロジェクトの場合、タイムラインとヒストグラムのバケットは連続値プロジェクトと同様に機能しますが、このプロジェクトのタイプでは、結果を表示するクラスを選択できます（上記の時系列の精度グラフを参照してください）。

グラフの下のボリュームチャートには、各ポイントで行われた予測に対応する実測値の数が表示されます。 影付きの領域はアップロードされた実測値の数を表し、縞模様の領域は対応する実測値が欠損している予測の数を表します。

実測値が欠損している予測を識別するには、実測値が欠損しているIDのダウンロードリンクをクリックします。 実測値が欠損している予測をリストしたCSVファイル（missing_actuals.csv）が各予測の関連付けIDとともにダウンロードされます。 関連付けIDを使用して、一致するIDを持つ実測値をアップロードします。

クラスセレクター¶

多クラスデプロイは、精度グラフに表示されるデータを変更するためのクラスベースの設定を提供します。 デフォルトでは、グラフにはトレーニングデータで最も一般的な5つのクラスが表示されます。 他のすべてのクラスは1行で表されます。 日付スライダーの上にターゲットクラスのドロップダウンがあります。 これは選択したタブに表示するためにどのクラスが選択されているかを示します。

ドロップダウンをクリックして、表示するクラスを選択します。 すべてのクラスを使用するまたは特定のクラスを選択するを選択します。

すべてのクラスを表示する場合は、最初のオプションを選択してから、 適用をクリックします。

特定のクラスを表示するには、2番目のオプションを選択します。 次のフィールドにクラス名を入力して、表示するクラス名を示します（一度に最大5つのクラスを表示可能）。 DataRobotには、クラスのクイック選択ショートカット（トレーニングデータで最も一般的な5つのクラス、精度スコアが最も低い5つのクラス、データドリフトが最も多い5つのクラス）が用意されています。 表示する5つのクラスを指定したら、適用をクリックします。

指定すると、タブ（デプロイ精度またはデータドリフト）のチャートが更新され、選択したクラスが表示されます。

精度多クラスのグラフ¶

時系列の精度：

予測値と実測値の比較。

アラートの解釈¶

DataRobotは、アラートステータスを作成するための精度スコアとしてデプロイに選択された最適化メトリックス・タイルを使用します。 アラートステータスの意味を以下に示します。

色	精度	アクション
緑 / 合格	精度はモデルがデプロイされたときとほぼ同じです。	必要なアクションはありません。
黄色 / リスクあり	精度はモデルが展開されたときから低下しています。	懸念がありますが、早急のアクションは必要ありません。監視を継続してください。
赤 / 失敗	精度はモデルが展開されたときから大幅に低下しています。	早急なアクションが必要です。
グレー / 不明	精度データがありません。 予測が不十分（最低100が必要）	予測を作成します。

以下に例を示します。¶

XYZ履歴データベーステーブルのトレーニングデータがあります。このトレーニングデータには、「アクティビティが不正行為かどうか」というターゲットが含まれています。モデルを構築した後、XYZ日次テーブル（ターゲットを含まない）に対してモデルのスコアリングを行い、XYZスコアデータベースに予測を書き出します。 アプリケーションはXYZスコアを使用します。予測時にデータベースインスタンスに書き込まれたデータは、後でXYZ履歴テーブルに別途書き込まれます。

モデルで正確な予測が行われているかどうかを判断するために、XYZ履歴テーブルとXYZスコアを毎月統合します。 これにより、予測される不正な値と実際に不正な値が単一の表に表示されます。

最後に、この予測データセットをDataRobotデプロイに追加し、実測値列および予測値列を設定します。 次に、DataRobotで結果が分析され、モデル精度低下とモデル置き換えの必要性を判断するために役立つ指標が提供されます。