精度¶

精度タブでは、標準的な統計的手法とエクスポート可能な可視化によって、時間の経過に伴うモデルデプロイのパフォーマンスを分析できます。 このツールを使用して、モデルの品質が低下しているかどうかや、モデルの置換を検討すべきかどうかを判断します。 モニタリング > 精度タブには、問題のタイプとそれに関連する最適化指標に基づくインサイトが表示されます。

[精度]タブの有効化¶

デフォルトでは、精度タブはデプロイに対して有効ではありません。 有効にするには、ターゲットの監視を有効にし、関連付けIDを設定して、DataRobotの外部で収集されたデプロイの予測値と実測値を含むデータをアップロードします。 詳細については、実測値を追加してデプロイの精度を設定する方法の概要を参照してください。

以下のエラーは、精度分析の妨げになる可能性があります。

精度ダッシュボードを設定¶

コントロール（モデルバージョンおよびデータ時間範囲セレクター）は、データドリフトタブのコントロールと同様に機能します。 精度タブはセグメント化された分析にも対応しており、個々のセグメント属性や値の精度を確認することができます。

精度指標の設定¶

デプロイオーナー は各デプロイに複数の精度指標を設定できます。 デプロイで使用される精度指標は、精度グラフの上に個別のタイルとして表示されます。 使用する指標を編集するには、タイルをカスタマイズを選択します。

ダイアログボックスには、デプロイに対して現在有効になっているすべての指標が一覧表示されます。指標は、左から右方向のタイルの表示順で上から下に表示されます。 最初の指標であるデフォルト指標は、ページを開くと読み込まれます。

1つのデプロイで、最大10の精度タイルを表示できます。 指標が不足している場合、既存のタイルの精度指標を変更します。変更する指標のドロップダウンをクリックして、置き換える指標を選択します。 利用可能な指標は、デプロイに使用するモデリングプロジェクトのタイプ（連続値、二値分類または多クラス）によって異なります。

すべての変更を行ったら、OKをクリックします。 精度タブが更新され、表示中の指標に加えた変更が反映されます。

精度チャート¶

これらの精度のインサイトは、問題のタイプとそれに関連する最適化指標に基づいてレンダリングされます。 特に、時系列の精度チャートには、 選択した精度指標の経時変化が表示されます。 時系列の精度チャートと予測値と実測値チャートは、1つで2つのチャートであり、共通のx軸である予測時間を共有します。

予測時間軸（x軸）では、各ポイントで作成された予測に関連付けられた実測値の数が、ボリュームビンに表示されます。 影付きの領域はアップロードされた実測値の数を表し、縞模様の領域は対応する実測値が欠損している予測の数を表します。

いずれかのチャートで、プロット上のマーカー（またはマーカーに関連付けられた周囲のビン）をポイントすると、そのデータポイントの特定の詳細が表示されます。 次の表は、連続値モデルと分類モデルの両方のデプロイで提供される情報を示します。

時系列の精度チャート¶

時系列の精度チャートには、選択した精度指標の値の経時変化が表示されます。 グラフの上にある指標タイルをクリックすると、表示が変更されます。

開始値（ベースライン精度スコア）とプロットされた精度ベースラインは、モデルの精度スコアを表します。これは、トレーニングされたモデルのホールドアウトパーティションでの予測を使用して計算されます。

予測値&実測値チャート¶

予測値と実測値のチャートには、時間の経過に伴う予測値と実測値が表示されます。 二値分類プロジェクトの場合、チャートの上部にあるドロップダウンメニューから、表示する分類値（この例ではTrueまたはFalse）を選択できます。

二値分類連続値

実測値が欠損している予測を識別するには、実測値が欠損しているIDのダウンロードリンクをクリックします。 実測値が欠損している予測をリストしたCSVファイル（missing_actuals.csv）が各予測の関連付けIDとともにダウンロードされます。 関連付けIDを使用して、一致するIDを持つ実測値をアップロードします。

多クラス精度チャート¶

多クラスデプロイでは、標準のデプロイと同じ時系列の精度と予測値と実測値の比較チャートが提供されますが、チャートには個々のクラスが含まれ、表示されるデータを定義するクラスベースの設定が提供されるため、チャートは若干異なります。 さらに、データを チャートとして表示するか、 テーブルとして表示するかを選択することができます。

表示されるクラスを設定するには、日付スライダー上で、ターゲットクラスドロップダウンを設定し、選択したタブに表示するクラスを制御します。

ドロップダウンをクリックして表示するクラスを決定し、以下のいずれかを選択します。

適用をクリックすると、タブのチャートが更新され、選択したクラスが表示されます。

位置データの精度チャート¶

DataRobotの Location AIが地理空間特徴量を検出して取り込むと、 H3インデックスと セグメント化された分析を使用して、世界がセルのグリッドに分割されます。 指標タブでは、これらのセルが「位置ごとの精度」分析の基礎となり、位置を比較することで、予測精度、スコアリングデータのサンプルサイズ、実測値のある行数の違いを特定できます。

デプロイの地理空間監視の有効化¶

For a deployed binary classification, regression, multiclass, or location model built with location data in the training dataset, you can leverage DataRobot Location AI to perform geospatial monitoring for the deployment. デプロイで地理空間分析を有効にするには、 セグメント化された分析を有効化し、位置データの 取込み中に生成される位置特徴量geometryのセグメントを定義します。 このgeometryセグメントには、世界を H3セル（通常は六角形のセル）のグリッドに分割する際に使われる識別子が含まれています。

Location AIは、以下のネイティブの地理空間データ形式の取込みをサポートしています。

• ESRIシェープファイル
• GeoJSON
• ESRIファイルジオデータベース
• Well Known Text（テーブルの列に埋め込み）
• PostGISデータベース

Location AIは、ネイティブの地理空間データの取込みに加えて、データセットの列がlatitudeやlongitudeという名前で、次の形式の値が含まれている場合、位置変数を認識することで、非地理空間形式内の位置データを自動的に検出できます。

• 小数度
• 度分秒
  • -46° 37′ 59.988″ および -23° 33′
  • 46.63333W および 23.55S
  • 46*37′59.98"W および 23*33′S
  • W 46D 37m 59.988s および S 23D 33m

Location AIが位置特徴量を認識すると、位置データは H3インデックスを使用して集計され、各位置がセルにグループ化されます。 セルは、16進数形式で記述された64ビットの整数で表されます（852a3067fffffffなど）。 その結果、多くの場合、近接する位置は同じセルにグループ化されます。 これらの16進値はgeometry特徴量に保存されます。

生成されるセルのサイズは、 解像度パラメーターによって決まり、解像度の値が大きいほど、生成されるセルの数が多くなります。 解像度は、トレーニングデータのベースライン生成中に計算され、デプロイの監視で使用するために保存されます。

予測を行う場合、各予測行には、他の予測行とともに、必要な位置情報が含まれているようにします。

位置ごとの精度チャート¶

位置ごとの精度チャートにアクセスするには、 位置ごとの精度分析向けに設定されたデプロイで、位置ごとをクリックして時系列の精度チャートを位置ごとの精度モードに切り替えます。

このチャートでは、位置間の予測精度の違い、位置間のスコアリングデータのサンプルサイズの違い、または位置間の実測値のある行数の違いを特定するH3セルのグリッドを表示できます。

位置ごとの精度チャートに表示される指標を設定するには、指標： メニューをクリックし、以下のいずれかのオプションを選択します。

連続値二値分類/多クラス分類位置

位置ごとの予測値対実測値チャート¶

位置ターゲットタイプのデプロイ済みモデルの場合、位置ごとタブには位置ごとの予測値対実測値チャートが含まれます。 このチャートでは、位置間のスコアリングデータのサンプルサイズの違い、または位置間の実測値のある行数の違いを特定するH3セルのグリッドを表示できます。 このグラフでは、各セルについて、平均的な予測位置と対応する平均的な実際の位置を線で結んでプロットし、WGS84 MAEおよびWGS84 RMSE指標によって表される精度を直接表示します。 平均位置間の距離が小さいほど、モデルの精度が高くなります。

精度の低いモデルの特定

精度の低いモデルでは、平均的な予測位置に対応する平均的な実際の位置は、2つの点を結ぶ線で示されるセグメンテーションセルの外側にある場合があります。 たとえば、以下は精度の低いモデルですが、予測された位置が実際の位置から大きく離れています。

位置ごとの予測値対実測値チャートに表示される指標を設定するには、指標： メニューをクリックし、以下のいずれかのオプションを選択します。

地図ベースのチャートの操作¶

位置ごとの精度および位置ごとの予測値対実測値チャートを使用するには、以下の操作を行います。

精度アラートの解釈¶

DataRobotは、デプロイのために選択された最適化指標タイルを精度スコアとして使用し、アラートステータスを作成します。 アラートステータスの意味を以下に示します。