# 精度のモニタリングを設定

> 精度のモニタリングを設定 - デプロイの「精度の設定」タブで、精度監視を設定します。

This Markdown file sits beside the HTML page at the same path (with a `.md` suffix). It summarizes the topic and lists links for tools and LLM context.

Companion generated at `2026-07-15T05:55:44.916779+00:00` (UTC).

## Primary page

- [精度のモニタリングを設定](https://docs.datarobot.com/ja/docs/classic-ui/mlops/deployment-settings/accuracy-settings.html.md): Full documentation for this topic (Markdown sidecar).

## Sections on this page

- [ターゲット監視の有効化](https://docs.datarobot.com/ja/docs/classic-ui/mlops/deployment-settings/accuracy-settings.html.md#enable-target-monitoring): In-page section heading.
- [関連付けIDを選択](https://docs.datarobot.com/ja/docs/classic-ui/mlops/deployment-settings/accuracy-settings.html.md#select-an-association-id): In-page section heading.
- [時系列デプロイの関連付けID](https://docs.datarobot.com/ja/docs/classic-ui/mlops/deployment-settings/accuracy-settings.html.md#association-ids-for-time-series-deployments): In-page section heading.
- [実測値の追加](https://docs.datarobot.com/ja/docs/classic-ui/mlops/deployment-settings/accuracy-settings.html.md#add-actuals): In-page section heading.
- [APIを使用した実績のアップロード](https://docs.datarobot.com/ja/docs/classic-ui/mlops/deployment-settings/accuracy-settings.html.md#upload-actuals-with-the-api): In-page section heading.
- [精度監視の通知を定義する](https://docs.datarobot.com/ja/docs/classic-ui/mlops/deployment-settings/accuracy-settings.html.md#define-accuracy-monitoring-notifications): In-page section heading.
- [精度のモニタリングの設定例](https://docs.datarobot.com/ja/docs/classic-ui/mlops/deployment-settings/accuracy-settings.html.md#examples-of-accuracy-monitoring-settings): In-page section heading.

## Documentation content

[精度](https://docs.datarobot.com/ja/docs/classic-ui/mlops/monitor/deploy-accuracy.html.md) タブを使ってデプロイの精度監視が可能になり、標準的な統計測定値とエクスポート可能な可視化情報によって、モデルデプロイのパフォーマンスを経時的に分析することができます。 精度監視は、 精度 > 設定 タブで有効にすることができます。 精度監視を設定するには、次のことが必要です。

- データドリフト設定でターゲット監視の有効化
- 精度の設定で関連付けIDを選択
- 精度の設定で実測値を追加

デプロイの 精度の設定 ページでは、 関連付けID および 実測値アップロード の設定と、精度監視の 定義 および 通知 の設定を行うことができます。

| フィールド | 説明 |
| --- | --- |
| 関連付けID |  |
| 関連付けID | モデルの予測データセットで関連付けIDを含む列の名前を定義します。 関連付けIDはデプロイの精度監視の設定で必要となります。 関連付けIDは予測データセットの識別子として機能するので、後で出力データ（「実測値」）を予測に紐づけることができます。 |
| 予測リクエストで関連付けIDを要求 | 関連付けIDフィールドに入力した列名に一致する列名が予測データセットに存在する必要があります。 有効化したときに、列がない場合はエラーが表示されます。 これは、予測行での関連付けIDの自動生成を有効にすると同時に有効にすることはできません。 |
| 予測行での関連付けIDの自動生成を有効にする | 関連付けID列の名前が定義されている場合、関連付けIDの値を自動的に設定できます。 これは、予測リクエストで関連付けIDを要求と同時に有効にすることはできません。 |
| 時系列モデルで自動実測値フィードバックを有効にする | 関連付けIDが示された時系列デプロイでは、この設定によって実測値の自動送信が可能になり、UIやAPIから手動で送信する必要がなくなります。 有効にした場合、予測の生成に使用されるデータから実測値を抽出できます。 各予測リクエストが送信されると、DataRobotは特定の日付の実測値を抽出できます。 これは、予測行を予測に送信すると、履歴データが含まれるためです。 この履歴データは、前の予測リクエストの実測値として機能します。 |
| 実測値をアップロード |  |
| ここにファイルをドロップするか、ファイルを選択する | モデルの予測値を実測値と照合して精度を監視するために、実測値を含むファイルをアップロードします。 実測値は、精度タブを有効にするために必要です。 |
| 割り当てられた特徴量 | 実測値をアップロードしたら、割り当てられた特徴量の設定を行います。 |
| 定義 |  |
| 定義を設定 | 精度監視の指標、測定、しきい値の定義を行います。 |

## ターゲット監視の有効化

精度監視を有効にするには、 データドリフト設定 タブの データドリフト セクションで [ターゲット監視の有効化](https://docs.datarobot.com/ja/docs/classic-ui/mlops/deployment-settings/data-drift-settings.html.md) も必要です。

ターゲット監視がオフになっている場合、ターゲット監視を有効にするよう 精度 タブにメッセージが表示されます。

## 関連付けIDを選択

デプロイの [精度タブ](https://docs.datarobot.com/ja/docs/classic-ui/mlops/monitor/deploy-accuracy.html.md) を有効にするには、まず予測データセットの関連付けIDを指定します。 関連付けIDは [外部キー](https://www.tutorialspoint.com/Foreign-Key-in-RDBMS) で、予測と将来の結果（つまり [実測値](https://docs.datarobot.com/ja/docs/reference/glossary/index.html.md#actuals) ）をリンクさせます。 このIDは、結果を追跡するイベントに対応します。たとえば、一連のローンのうちに債務不履行があるかどうかを追跡することが考えられます。

> [!NOTE] 重要：監視エージェントと監視ジョブの関連付けID
> 予測を精度追跡に含めるには、予測を行う 前 に関連付けIDを設定する必要があります。 [エージェントによって監視](https://docs.datarobot.com/ja/docs/classic-ui/mlops/deployment/mlops-agent/monitoring-agent/index.html.md) され、チャレンジャー（およびチャレンジャーの監視ジョブ）を含む外部モデルのデプロイの場合、 [モデル_と_そのチャレンジャーの精度を報告する](https://docs.datarobot.com/ja/docs/classic-ui/mlops/deployment/mlops-agent/monitoring-agent/agent-use.html.md#report-accuracy-for-challengers) には、関連付けIDを `__DataRobot_Internal_Association_ID__` にする必要があります。

デプロイの 精度 > 設定 タブの 関連付けID セクションには、関連付けIDを含む列名を入力するフィールドがあります。 関連性ID フィールドに入力した列名は、モデルの予測データセットの関連性IDを含む列名に一致する必要があります。 予測データセット内のこの列の各セルには、一意のIDを含める必要があります。このIDは、実測値のペイロードで発生する、対応する一意のIDと対になります。

また、 予測リクエストで関連付けIDを要求 を有効にすると、予測リクエストを行う際に、予測データセットから列が欠落している場合はエラーをスローすることができます。

> [!NOTE] チャットリクエストでの関連付けID
> DataRobotにデプロイされたテキスト生成およびエージェントワークフローのカスタムモデルで、ボルトオンのガバナンスAPI（チャット補完）を使用する場合、 `extra_body` フィールドによって、チャットリクエスト内で直接関連付けIDを指定できます。 自動生成された関連付けIDの代わりにカスタムの関連付けIDを使用するには、 `extra_body` で `datarobot_association_id` を設定します。 詳細については、 [chat()フックのドキュメント](https://docs.datarobot.com/ja/docs/api/code-first-tools/drum/structured-custom-models.html.md#association-id) を参照してください。

そのデプロイに対して予測が作成されているかどうかに関係なく、デプロイでは関連付けIDを含む列名をいつでも設定できます。 関連付けIDは、そのIDを含む予測をまだ作成していない場合にのみ更新できます。 そのIDを使用して予測が作成された後は、IDを変更することはできません。

関連付けID（指定した列名の各行の内容）は128文字以下である必要があります。128文字以上の場合、128文字の長さに切り詰められます。 切り詰められた場合、アップロードされた実測値には、精度統計を適切に生成するために、実測値に対する切り捨てられた関連付けIDが必要になります。

**Q: 関連付けIDの仕組み**

関連付けIDの例として、次のトランザクションのサンプルデータセットを見てみましょう。

第3の列（ `transaction_num` ）は、関連性IDを含む列です。 行の一意のID（この例では `transaction_num` ）は、その行の他の特徴量（この例では `transaction_amnt` と `annual_inc` ）をグループ化し、関連する特徴量値の間に「関連」を作成します。 関連付けIDを含む列として `transaction_num` を定義すると、DataRobotはこれらの一意のIDを使って、予測データおよび予測結果の各行と実際の結果を後で関連付けることができます。 したがって、精度を設定する際、 関連付けID フィールドには `transaction_num` を入力します。

### 時系列デプロイの関連付けID

時系列デプロイの場合、予測リクエストには、個々の予測を一意に識別するために必要なデータがすでに含まれています。 したがって、関連付けIDとして使用される特徴量を考慮することが重要です。デプロイタイプに応じて、以下のガイドラインを参照してください。

- 単一系列のデプロイ：DataRobotでは、予測日は予測を行う日付であるため、関連付けIDとしてこの列を使用することを推奨しています。 たとえば、今日が2022年6月15日で、店舗の1日の総売上高を予測している場合、2022年7月15日の売上高を確認する必要が生じたとします。この日付の実際の総売上高は1つになるため、「2022-07-15」を関連付けID（予測日付）として使用します。
- 複数系列のデプロイ：DataRobotでは、予測日 + 系列IDを含むカスタム列を関連付けIDとして使用することを推奨しています。 単一のモデルで複数の店舗の1日の総売上を予測できる場合は、店舗＃1234の2022年7月15日の販売用に関連付けID「2022-07-15 1234」などを使用できます。
- すべての時系列デプロイ：同じ日付を、その日付が迫っているときに、何度も予測したい場合があります。 たとえば、1日の売り上げを、30日前、14日前、7日前にそれぞれ予測するとします。 これらの予測の予測日は同じなので、関連付けIDは同じです。

> [!NOTE] 重要
> 予測日に近づく予測を行う場合、モデルによって異なる予測が生成される可能性があることに注意してください。 複数の予測距離の予測はそれぞれ個別に追跡されるため、予測距離ごとに精度を適切に計算できます。

関連付けIDを指定したら、 時系列モデルで自動実測値フィードバックを有効にする をオンに切り替えることができます。 この設定によって実測値が自動送信され、UIやAPIから手動で送信する必要がなくなります。 有効にした場合、予測の生成に使用されるデータから実測値を抽出できます。 各予測リクエストが送信されると、DataRobotは特定の日付の実測値を抽出できます。 これは、予測行を予測に送信すると、履歴データが含まれるためです。 この履歴データは、前の予測リクエストの実測値として機能します。

## 実測値の追加

実測値を含むデータセットを、 精度 > 設定 タブ（ここで説明）または [API](https://docs.datarobot.com/ja/docs/classic-ui/mlops/deployment-settings/accuracy-settings.html.md#upload-actuals-with-the-api) からデプロイに直接アップロードすることができます。 デプロイに対する予測データは、アップロードした実測値に対応する必要があります。 続行する前に、 [行制限](https://docs.datarobot.com/ja/docs/classic-ui/mlops/deployment-settings/accuracy-settings.html.md#actuals-upload-limit) を確認し、実測値をアップロードしてください。

1. デプロイで実測値を使用するには、実測値をアップロードセクションでファイルを選択をクリックします。 ファイルを直接アップロードするか、AIカタログからファイルを選択します。 ローカルファイルをアップロードすると、アップロード後にAIカタログに追加されます。 実測値をデプロイで使用するには、AIカタログでスナップショットを作成する必要があります。
2. アップロードした後、実測値セクションのフィールドに入力します。割り当てられた特徴量では、各フィールドにドロップダウンメニューがあり、データセットの任意の列を選択できます。 フィールド説明実際のレスポンスデータセット内で実測値を含む列を定義します。関連付けID関連付けIDを含む列を定義します。タイムスタンプ（オプション）実測値が取得された日時を含む列を、RFC 3339に従ってフォーマットして定義します（例：2018-04-12T23:20:50.52Z）。予測値と一致させずに実測値を保持DataRobotが、関連IDによって既存の予測と一致しないアップロードされた実測値を保存するかどうかを決定します。 列名の一致予測値データセットと実測値データセットの関連付けIDの列名は一致する必要はありません。 唯一の要件は、各データセットに、他のデータセットと一致する識別子を含む列が含まれていることです。 たとえば、store_id列に行を識別して実際の結果と照合するために使用する予測データセットの関連付けIDが含まれている場合は、store_idを関連付けIDとして関連付けIDセクションに入力します。実測値をアップロードセクションの割り当てられたフィールドの下の関連付けIDフィールドに、予測データセット内の識別子に関連付けられた識別子を含む実測値データセット内の列の名前を入力します。
3. 割り当てられたフィールドを設定したら、保存をクリックします。 この設定プロセスを完了し、定義された関連付けIDを含むデータセットで予測を行うと、デプロイで精度ページが有効になります。

## APIを使用した実績のアップロード

このワークフローは、DataRobot APIを使用してデプロイの 精度 タブを有効化する方法を示します。

1. 精度 > 設定タブから、関連付けIDセクションを見つけます。
2. 関連付けIDフィールドに、予測データセットの関連IDを含む列名を入力します。
3. 予測リクエストで関連付けIDを要求を有効にします。 この場合、関連付けIDフィールドに入力した列名に一致する列名が予測データセットに存在する必要があります。 列がない場合はエラーが表示されます。 備考関連付けIDを含まない予測リクエストを送信する際にエラーが発生することを回避する場合、関連付けIDを設定し、この設定をオフにしたままにすることも可能です。しかし、この設定を有効にするまでデプロイの精度を監視することはできません。
4. 関連付けIDを含むデータセットを使用した予測の作成。
5. DataRobot API経由で実測値を送信します（詳細は、DataRobotにサインインして、右上の疑問符のアイコンをクリックし、APIドキュメントを選択し、APIドキュメントを参照してください。APIドキュメントで、デプロイ > 実測値の送信（JSON）を選択します）。 続行する前に、行制限を確認し、実測値をアップロードしてください。 備考実測値のペイロードには、アップロードプロセス中に定義されたデータセット内の値の列名とともに、associationIdとactualValueが含まれている必要があります。 同じ関連付けID値を持つ複数の実測値を、同じリクエストまたは後続のリクエストで送信した場合、DataRobotは実測値を更新します。ただし、この更新では、最初の実測値を使って以前に計算された指標は再計算されません。 指標を再計算するには、デプロイ統計をクリアして、実測値を再アップロードします（または新しいデプロイを作成します）。 APIで次のスニペットを使用して実測値を送信します。 importrequestsAPI_TOKEN=''USERNAME='johndoe@datarobot.com'DEPLOYMENT_ID='5cb314xxxxxxxxxxxa755'LOCATION='https://app.datarobot.com'defsubmit_actuals(data,deployment_id):headers={'Content-Type':'application/json','Authorization':'Token{}'.format(API_TOKEN)}url='{location}/api/v2/deployments/{deployment_id}/actuals/fromJSON/'.format(deployment_id=deployment_id,location=LOCATION)resp=requests.post(url,json=data,headers=headers)ifresp.status_code>=400:raiseRuntimeError(resp.content)returnresp.contentdefmain():deployment_id=DEPLOYMENT_IDpayload={'data':[{'actualValue':1,'associationId':'5d8138fb9600000000000000',# str},{'actualValue':0,'associationId':'5d8138fb9600000000000001',},]}submit_actuals(payload,deployment_id)print('Done')if__name__=="__main__":main() 非時系列デプロイでは100レコード以上（時系列デプロイでは最小レコード数の制限はありません）の実測値を送信した際に、対応する関連付けIDを含む予測を行う場合、デプロイで精度タブが使用可能になります。

**実際のアップロード制限**

デプロイにアップロードできる実測値の数は、 1回のリクエストごと および 1時間ごと に制限 されています。 これらの制限は、使用するエンドポイントによって異なります。

| エンドポイント | アップロードの上限 |
| --- | --- |
| fromJSON | 1リクエストあたり10,000行1時間あたり10,000,000行 |
| fromDataset | 1リクエストあたり5,000,000行1時間あたり10,000,000行 |

## 精度監視の通知を定義する

精度に関して、通知条件はデプロイの基礎となるモデルの [パフォーマンス最適化指標](https://docs.datarobot.com/ja/docs/reference/pred-ai-ref/opt-metric.html.md) に関連します。 リーダーボードで使用できる、同じ指標セットから選択します。 [時系列の精度のグラフ](https://docs.datarobot.com/ja/docs/classic-ui/mlops/monitor/deploy-accuracy.html.md#accuracy-over-time-graph) と [予測と実測のグラフ](https://docs.datarobot.com/ja/docs/classic-ui/mlops/monitor/deploy-accuracy.html.md#predicted-actual-graph) を使用して、精度を視覚化できます。 精度モニタリングは1つの精度ルールによって定義されます。 デプロイの精度はルールによって30秒ごとに評価されます。 このルールに違反すると通知が発行されます。

デプロイの精度通知とモニタリングを設定する前に、 [関連付けID](https://docs.datarobot.com/ja/docs/classic-ui/mlops/deployment-settings/accuracy-settings.html.md#select-an-association-id) を設定します。 関連付けIDが設定されていない場合、精度通知設定を変更しようとすると、DataRobotは次のメッセージを表示します。

> [!NOTE] 備考
> 精度監視の設定を変更できるのは、デプロイオーナーだけです。 オーナーが設定できるのはデプロイあたり1つの精度ルールだけです。 コンシューマーは監視や通知の設定を変更できません。 ユーザーは [通知が送信される条件を設定](https://docs.datarobot.com/ja/docs/classic-ui/mlops/governance/deploy-notifications.html.md) でき、精度ステータスアイコンにカーソルを合わせると、ステータス情報の説明を参照することができます。
> 
> [https://docs.datarobot.com/ja/docs/images/notify-8-jp.png](https://docs.datarobot.com/ja/docs/images/notify-8-jp.png)

精度のモニタリングを設定するには：

1. 精度の設定ページの定義セクションで、精度を監視するための設定を行います。 要素説明1指標デプロイの精度を評価するために使用される指標を定義します。 ドロップダウンメニューから利用できる指標は、精度タブでサポートされているものと同じです。2単位精度指標およびそのしきい値の測定単位を定義します。 ドロップダウンから値またはパーセントを選択できます。値オプションは、特定の値によって指標としきい値を測定します。パーセントオプションは、変化したパーセントによって測定されます。パーセントオプションは、トレーニングデータのないモデルデプロイでは使用できません。3「注意」/「失敗」のしきい値値またはパーセントが超過すると通知が発行されるよう設定します。 2つのしきい値は、デプロイの精度が「注意」および「失敗」である場合にサポートされます。DataRobotは、デプロイのトレーニングデータに基づいて提供された最初の精度指標（分類の場合はLogLoss、連続値デプロイの場合はRMSE）のしきい値に関するデフォルト値を提供します。 トレーニングデータのないデプロイでは、それに代えて予測データに基づくデフォルトのしきい値が入力されます。 指標を変更した場合、デフォルト値は提供されません。 備考しきい値の変更は、デプロイの履歴全体にわたって予測が行われる期間に影響します。 これらの更新されたしきい値は、精度タブでのパフォーマンス監視のビジュアライゼーションに反映されます。
2. 精度監視の設定を更新したら、保存をクリックします。

### 精度のモニタリングの設定例

指標と測定の各組合せによって、ルールの式が定義されます。 たとえば、値によって測定されたLogLoss指標を使用する場合、精度が10のうち5の値「よりも大きい」ときにルールによって通知が発行されます。

しかし、指標をAUCに変更し、測定をパーセントに変更した場合、しきい値に設定された値によって精度が「減少」したときにルールによって通知が発行されます。