精度¶

精度タブでは、標準的な統計的手法とエクスポート可能な可視化によって、時間の経過に伴うモデルデプロイのパフォーマンスを分析できます。 このツールを使用して、モデルの品質が低下しているかどうかや、モデルの置換を検討すべきかどうかを判断します。 モニタリング > 精度タブには、問題のタイプとそれに関連する最適化指標に基づくインサイトが表示されます。

[精度]タブの有効化¶

デフォルトでは、精度タブはデプロイに対して有効ではありません。 有効にするには、ターゲットの監視を有効にし、関連付けIDを設定して、DataRobotの外部で収集されたデプロイの予測値と実測値を含むデータをアップロードします。 Reference the overview of setting up accuracy for deployments by adding actuals for more information.

以下のエラーは、精度分析の妨げになる可能性があります。

精度ダッシュボードを設定¶

コントロール（モデルバージョンおよびデータ時間範囲セレクター）は、データドリフトタブのコントロールと同様に機能します。 The Accuracy tab also supports segmented analysis, allowing you to view accuracy for individual segment attributes and values.

精度指標の設定¶

デプロイオーナー は各デプロイに複数の精度指標を設定できます。 デプロイで使用される精度指標は、精度グラフの上に個別のタイルとして表示されます。 使用する指標を編集するには、タイルをカスタマイズを選択します。

ダイアログボックスには、デプロイに対して現在有効になっているすべての指標が一覧表示されます。指標は、左から右方向のタイルの表示順で上から下に表示されます。 最初の指標であるデフォルト指標は、ページを開くと読み込まれます。

1つのデプロイで、最大10の精度タイルを表示できます。 指標が不足している場合、既存のタイルの精度指標を変更します。変更する指標のドロップダウンをクリックして、置き換える指標を選択します。 利用可能な指標は、デプロイに使用するモデリングプロジェクトのタイプ（連続値、二値分類または多クラス）によって異なります。

すべての変更を行ったら、OKをクリックします。 精度タブが更新され、表示中の指標に加えた変更が反映されます。

精度チャート¶

これらの精度のインサイトは、問題のタイプとそれに関連する最適化指標に基づいてレンダリングされます。 In particular, the Accuracy over Time chart displays the change in the selected accuracy metric over time. 時系列の精度チャートと予測値と実測値チャートは、1つで2つのチャートであり、共通のx軸である予測時間を共有します。

予測時間軸（x軸）では、各ポイントで作成された予測に関連付けられた実測値の数が、ボリュームビンに表示されます。 影付きの領域はアップロードされた実測値の数を表し、縞模様の領域は対応する実測値が欠損している予測の数を表します。

いずれかのチャートで、プロット上のマーカー（またはマーカーに関連付けられた周囲のビン）をポイントすると、そのデータポイントの特定の詳細が表示されます。 次の表は、連続値モデルと分類モデルの両方のデプロイで提供される情報を示します。

時系列の精度チャート¶

時系列の精度チャートには、選択した精度指標の値の経時変化が表示されます。 グラフの上にある指標タイルをクリックすると、表示が変更されます。

開始値（ベースライン精度スコア）とプロットされた精度ベースラインは、モデルの精度スコアを表します。これは、トレーニングされたモデルのホールドアウトパーティションでの予測を使用して計算されます。

予測値&実測値チャート¶

予測値と実測値のチャートには、時間の経過に伴う予測値と実測値が表示されます。 二値分類プロジェクトの場合、チャートの上部にあるドロップダウンメニューから、表示する分類値（この例ではTrueまたはFalse）を選択できます。

実測値が欠損している予測を識別するには、実測値が欠損しているIDのダウンロードリンクをクリックします。 This prompts the download of a CSV file (missing_actuals.csv) that lists the predictions made that are missing actuals, along with the association ID of each prediction. Use the association IDs to upload the actuals with matching IDs.

多クラス精度チャート¶

多クラスデプロイでは、標準のデプロイと同じ時系列の精度と予測値と実測値の比較チャートが提供されますが、チャートには個々のクラスが含まれ、表示されるデータを定義するクラスベースの設定が提供されるため、チャートは若干異なります。 さらに、データを チャートとして表示するか、 テーブルとして表示するかを選択することができます。

表示されるクラスを設定するには、日付スライダー上で、ターゲットクラスドロップダウンを設定し、選択したタブに表示するクラスを制御します。

ドロップダウンをクリックして表示するクラスを決定し、以下のいずれかを選択します。

適用をクリックすると、タブのチャートが更新され、選択したクラスが表示されます。

位置データの精度チャート¶

DataRobotの Location AIが地理空間特徴量を検出して取り込むと、 H3インデックスと セグメント化された分析を使用して、世界がセルのグリッドに分割されます。 指標タブでは、これらのセルが「位置ごとの精度」分析の基礎となり、位置を比較することで、予測精度、スコアリングデータのサンプルサイズ、実測値のある行数の違いを特定できます。

デプロイの地理空間監視の有効化¶

トレーニングデータセット内の位置データを使用して構築し、デプロイした二値分類、連続値、多クラス、または位置モデルでは、DataRobotのLocation AIを活用して、デプロイでの地理空間の監視ができます。 To enable geospatial analysis for a deployment, enable segmented analysis and define a segment for the location feature geometry, generated during location data ingest. The geometry segment contains the identifier used to segment the world into a grid of—typically hexagonal—cells, known as H3 cells.

Location AIは、以下のネイティブの地理空間データ形式の取込みをサポートしています。

• ESRIシェープファイル
• GeoJSON
• ESRIファイルジオデータベース
• Well Known Text（テーブルの列に埋め込み）
• PostGISデータベース

Location AIは、ネイティブの地理空間データの取込みに加えて、データセットの列がlatitudeやlongitudeという名前で、次の形式の値が含まれている場合、位置変数を認識することで、非地理空間形式内の位置データを自動的に検出できます。

• 小数度
• 度分秒
  • -46° 37′ 59.988″ および -23° 33′
  • 46.63333W および 23.55S
  • 46*37′59.98"W および 23*33′S
  • W 46D 37m 59.988s および S 23D 33m

Location AIが位置特徴量を認識すると、位置データは H3インデックスを使用して集計され、各位置がセルにグループ化されます。 セルは、16進数形式で記述された64ビットの整数で表されます（852a3067fffffffなど）。 その結果、多くの場合、近接する位置は同じセルにグループ化されます。 これらの16進値はgeometry特徴量に保存されます。

生成されるセルのサイズは、 解像度パラメーターによって決まり、解像度の値が大きいほど、生成されるセルの数が多くなります。 解像度は、トレーニングデータのベースライン生成中に計算され、デプロイの監視で使用するために保存されます。

予測を行う場合、各予測行には、他の予測行とともに、必要な位置情報が含まれているようにします。

位置ごとの精度チャート¶

位置ごとの精度チャートにアクセスするには、 位置ごとの精度分析向けに設定されたデプロイで、位置ごとをクリックして時系列の精度チャートを位置ごとの精度モードに切り替えます。

このチャートでは、位置間の予測精度の違い、位置間のスコアリングデータのサンプルサイズの違い、または位置間の実測値のある行数の違いを特定するH3セルのグリッドを表示できます。

位置ごとの精度チャートに表示される指標を設定するには、指標： メニューをクリックし、以下のいずれかのオプションを選択します。

位置ごとの予測値対実測値チャート¶

位置ターゲットタイプのデプロイ済みモデルの場合、位置ごとタブには位置ごとの予測値対実測値チャートが含まれます。 このチャートでは、位置間のスコアリングデータのサンプルサイズの違い、または位置間の実測値のある行数の違いを特定するH3セルのグリッドを表示できます。 For each cell, this chart plots the mean Predicted location and the corresponding mean Actual location, connected by a line, to provide a direct visualization of the accuracy represented by the WGS84 MAE and WGS84 RMSE metrics. 平均位置間の距離が小さいほど、モデルの精度が高くなります。

位置ごとの予測値対実測値チャートに表示される指標を設定するには、指標： メニューをクリックし、以下のいずれかのオプションを選択します。

地図ベースのチャートの操作¶

位置ごとの精度および位置ごとの予測値対実測値チャートを使用するには、以下の操作を行います。

精度アラートの解釈¶

DataRobotは、デプロイのために選択された最適化指標タイルを精度スコアとして使用し、アラートステータスを作成します。 アラートステータスの意味を以下に示します。