精度¶

精度タブでは、標準的な統計的手法とエクスポート可能な可視化によって、時間の経過に伴うモデルデプロイのパフォーマンスを分析できます。 このツールを使用して、モデルの品質が低下しているかどうかや、モデルの置換を検討すべきかどうかを判断します。 モニタリング > 精度タブには、問題のタイプとそれに関連する最適化指標に基づくインサイトが表示されます。

[精度]タブの有効化¶

デフォルトでは、精度タブはデプロイに対して有効ではありません。 有効にするには、ターゲットの監視を有効にし、関連付けIDを設定して、DataRobotの外部で収集されたデプロイの予測値と実測値を含むデータをアップロードします。 詳細については、実測値を追加してデプロイの精度を設定する方法の概要を参照してください。

以下のエラーは、精度分析の妨げになる可能性があります。

精度ダッシュボードを設定¶

コントロール（モデルバージョンおよびデータ時間範囲セレクター）は、データドリフトタブのコントロールと同様に機能します。 精度タブはセグメント化された分析にも対応しており、個々のセグメント属性や値の精度を確認することができます。

精度指標の設定¶

デプロイオーナー は各デプロイに複数の精度指標を設定できます。 デプロイで使用される精度指標は、精度グラフの上に個別のタイルとして表示されます。 使用する指標を編集するには、タイルをカスタマイズを選択します。

ダイアログボックスには、デプロイに対して現在有効になっているすべての指標が一覧表示されます。指標は、左から右方向のタイルの表示順で上から下に表示されます。 最初の指標であるデフォルト指標は、ページを開くと読み込まれます。

1つのデプロイで、最大10の精度タイルを表示できます。 指標が不足している場合、既存のタイルの精度指標を変更します。変更する指標のドロップダウンをクリックして、置き換える指標を選択します。 利用可能な指標は、デプロイに使用するモデリングプロジェクトのタイプ（連続値、二値分類または多クラス）によって異なります。

すべての変更を行ったら、OKをクリックします。 精度タブが更新され、表示中の指標に加えた変更が反映されます。

精度チャートの分析¶

これらの精度のインサイトは、問題のタイプとそれに関連する最適化指標に基づいてレンダリングされます。 特に、時系列の精度チャートには、 選択した精度指標の経時変化が表示されます。 時系列の精度チャートと予測値と実測値チャートは、1つで2つのチャートであり、共通のx軸である予測時間を共有します。

予測時間軸（x軸）では、各ポイントで作成された予測に関連付けられた実測値の数が、ボリュームビンに表示されます。 影付きの領域はアップロードされた実測値の数を表し、縞模様の領域は対応する実測値が欠損している予測の数を表します。

いずれかのチャートで、プロット上のマーカー（またはマーカーに関連付けられた周囲のビン）をポイントすると、そのデータポイントの特定の詳細が表示されます。 次の表は、連続値モデルと分類モデルの両方のデプロイで提供される情報を示します。

時系列の精度（AOT）チャート¶

時系列の精度グラフには、選択した精度指標の値の経時変化が表示されます。 グラフの上にある指標タイルをクリックすると、表示が変更されます。

開始値（ベースライン精度スコア）とプロットされた精度ベースラインは、モデルの精度スコアを表します。これは、トレーニングされたモデルのホールドアウトパーティションでの予測を使用して計算されます。

予測値と実測値の比較チャート¶

予測値と実測値のチャートには、時間の経過に伴う予測値と実測値が表示されます。 二値分類プロジェクトの場合、チャートの上部にあるドロップダウンメニューから、表示する分類値（この例ではTrueまたはFalse）を選択できます。

実測値が欠損している予測を識別するには、実測値が欠損しているIDのダウンロードリンクをクリックします。 実測値が欠損している予測をリストしたCSVファイル（missing_actuals.csv）が各予測の関連付けIDとともにダウンロードされます。 関連付けIDを使用して、一致するIDを持つ実測値をアップロードします。

多クラス精度チャート¶

多クラスデプロイでは、標準のデプロイと同じ時系列の精度と予測値と実測値の比較チャートが提供されますが、チャートには個々のクラスが含まれ、表示されるデータを定義するクラスベースの設定が提供されるため、チャートは若干異なります。 さらに、データを チャートとして表示するか、 テーブルとして表示するかを選択することができます。

表示されるクラスを設定するには、日付スライダー上で、ターゲットクラスドロップダウンを設定し、選択したタブに表示するクラスを制御します。

ドロップダウンをクリックして表示するクラスを決定し、以下のいずれかを選択します。

適用をクリックすると、タブのチャートが更新され、選択したクラスが表示されます。

Accuracy over space chart¶

When DataRobot Location AI detects and ingests geospatial features, DataRobot uses H3 indexing and segmented analysis to segment the world into a grid of cells. On the Accuracy tab, these cells serve as the foundation for "accuracy over space" analysis, allowing you to identify changes in accuracy for each location cell, in addition to the difference in sample size between training data baseline calculation and the scoring data.

To access the Accuracy over space chart, in a deployment configured for accuracy over space analysis, click Over space to switch the Accuracy over time chart to accuracy over space mode.

Enable geospatial monitoring for a deployment¶

For a deployed binary classification, regression, or multiclass model built with location data in the training dataset, you can leverage DataRobot Location AI to perform geospatial monitoring for the deployment. デプロイで地理空間分析を有効にするには、セグメント化された分析を有効化し、位置データの取込み中に生成される位置特徴量geometryのセグメントを定義します。 The geometry segment contains the identifier used to segment the world into a grid of—typically hexagonal—cells, known as H3 cells.

Location AI supports ingest of these native geospatial data formats:

• ESRIシェープファイル
• GeoJSON
• ESRIファイルジオデータベース
• Well Known Text（テーブルの列に埋め込み）
• PostGISデータベース

In addition to native geospatial data ingest, location AI can automatically detect location data within non-geospatial formats by recognizing location variables when columns in the dataset are named latitude and longitude and contain values in these formats:

• 小数度
• 度分秒
  • -46° 37′ 59.988″ および -23° 33′
  • 46.63333W および 23.55S
  • 46*37′59.98"W および 23*33′S
  • W 46D 37m 59.988s および S 23D 33m

When location AI recognizes location features, the location data is aggregated using H3 indexing to group locations into cells. Cells are represented by a 64-bit integer described in hexadecimal format (for example, 852a3067fffffff). As a result, locations that are close together are often grouped in the same cell. These hexadecimal values are stored in the geometry feature.

The size of the resulting cells is determined by a resolution parameter, where a higher resolution value represents more cells generated. The resolution is calculated during training data baseline generation and is stored for use in deployment monitoring.

When making predictions, each prediction row should contain the required location feature alongside the other prediction rows.

Analyze the accuracy over space chart¶

If a deployment is configured for accuracy over space analysis, click Over space to switch the Accuracy over time chart to the Accuracy over space chart.

To configure the Metric represented in the Drift over space chart, click the Metric: drop-down menu and select one of the following options:

To interact with the Drift over space chart display, use the following actions:

精度アラートの解釈¶

DataRobotは、デプロイのために選択された最適化指標タイルを精度スコアとして使用し、アラートステータスを作成します。 アラートステータスの意味を以下に示します。