# 生成モデルの監視

> 生成モデルの監視 - DataRobotのカスタムモデルと外部モデルのテキスト生成ターゲットタイプは、生成LLM（大規模言語モデル）と互換性があり、生成モデルのデプロイ、予測の実行、モデルのパフォーマ
> ンス統計の監視、データのエクスポート、カスタム指標の作成が可能です。

This Markdown file sits beside the HTML page at the same path (with a `.md` suffix). It summarizes the topic and lists links for tools and LLM context.

Companion generated at `2026-07-15T05:55:44.940988+00:00` (UTC).

## Primary page

- [生成モデルの監視](https://docs.datarobot.com/ja/docs/classic-ui/mlops/monitor/generative-model-monitoring.html.md): Full documentation for this topic (Markdown sidecar).

## Sections on this page

- [生成型カスタムモデルの作成とデプロイ](https://docs.datarobot.com/ja/docs/classic-ui/mlops/monitor/generative-model-monitoring.html.md#create-and-deploy-a-generative-custom-model): In-page section heading.
- [生成型カスタムモデルの追加](https://docs.datarobot.com/ja/docs/classic-ui/mlops/monitor/generative-model-monitoring.html.md#add-a-generative-custom-model): In-page section heading.
- [生成型カスタムモデルの構築とデプロイ](https://docs.datarobot.com/ja/docs/classic-ui/mlops/monitor/generative-model-monitoring.html.md#assemble-and-deploy-a-generative-custom-model): In-page section heading.
- [外部生成モデルの作成とデプロイ](https://docs.datarobot.com/ja/docs/classic-ui/mlops/monitor/generative-model-monitoring.html.md#create-and-deploy-an-external-generative-model): In-page section heading.
- [デプロイされた生成モデルの監視](https://docs.datarobot.com/ja/docs/classic-ui/mlops/monitor/generative-model-monitoring.html.md#monitor-a-deployed-generative-model): In-page section heading.
- [生成モデルのデータドリフト](https://docs.datarobot.com/ja/docs/classic-ui/mlops/monitor/generative-model-monitoring.html.md#feature-details-for-generative-models): In-page section heading.

## Documentation content

> [!NOTE] 本機能の提供について
> 生成モデルの監視サポートはプレミアム機能です。 この機能を有効にする方法については、DataRobotの担当者または管理者にお問い合わせください。

カスタムモデルと外部モデルのテキスト生成ターゲットタイプを使用した、LLMOpsのプレミアム機能では、生成LLM（大規模言語モデル）をデプロイして、予測の実行、サービス、使用状況、データドリフト統計の監視、カスタム指標の作成を行います。 DataRobotは、次の2つのデプロイ方法でLLMに対応しています。

- DataRobotでカスタム推論モデルとしてテキスト生成モデルを作成：DataRobotのカスタムモデルワークショップを使用してテキスト生成モデルを作成してデプロイし、LLMのAPIを呼び出して、直接推論を実行する代わりにテキストを生成し、DataRobot MLOpsが監視のためにLLMの入力と出力にアクセスできるようにします。 LLMのAPIを呼び出すには、カスタムモデルのパブリックネットワークアクセスを有効にする必要があります。
- 外部で実行されているテキスト生成モデルを監視：インフラストラクチャ（ローカルまたはクラウド）にテキスト生成モデルを作成してデプロイし、監視エージェントを使用して、LLMの入出力を監視のためにDataRobotに通信します。

> [!TIP] 評価とモデレーションのカスタム指標には関連付けIDが必要
> 評価とモデレーションを設定するときに追加された指標について、カスタム指標タブでデータを表示するには、デプロイされたLLMを介して予測を開始する前に、関連付けIDを設定して予測ストレージを有効にします。 関連付けIDを設定せず、LLMの予測とともに関連付けIDを指定した場合、モデレーションの指標は [カスタム指標](https://docs.datarobot.com/ja/docs/workbench/nxt-console/nxt-monitoring/nxt-custom-metrics.html.md) タブでは計算されません。 この設定は、デプロイ [中](https://docs.datarobot.com/ja/docs/workbench/nxt-registry/nxt-model-directory/nxt-deploy-models.html.md#custom-metrics) やデプロイ [後](https://docs.datarobot.com/ja/docs/workbench/nxt-console/nxt-settings/nxt-custom-metrics-settings.html.md) に有効化できます。

## 生成型カスタムモデルの作成とデプロイ

カスタム推論モデルは、ユーザーが作成して、 [カスタムモデルワークショップ](https://docs.datarobot.com/ja/docs/classic-ui/mlops/deployment/custom-models/custom-model-workshop/index.html.md) を介して（ファイルのコレクションとして）、DataRobotにアップロードできる事前トレーニング済みのモデルです。 次に、モデルアーティファクトをアップロードして、DataRobotの一元化されたデプロイハブにカスタム推論モデルを作成、テスト、およびデプロイすることができます。

生成カスタムモデルは、 [ボルトオンのガバナンスAPIを実装](https://docs.datarobot.com/ja/docs/api/code-first-tools/drum/structured-custom-models.html.md#chat) することもできます。これにより、会話型アプリケーションの構築に特に役立ちます。

### 生成型カスタムモデルの追加

生成モデルをカスタムモデルワークショップに追加するには：

1. モデルレジストリ > カスタムモデルワークショップをクリックし、モデルタブで+ 新しいモデルを追加をクリックします。
2. カスタム推論モデルを追加ダイアログボックスのターゲットタイプで、テキスト生成をクリックします。
3. モデル名とターゲット名を入力します。 さらに、オプションのフィールドを表示をクリックして、モデルの構築に使用する言語を定義し、説明を入力します。
4. カスタムモデルを追加をクリックします。 新しいカスタムモデルがアセンブルタブで開きます。

### 生成型カスタムモデルの構築とデプロイ

カスタムモデルワークショップから生成モデルを構築、テスト、デプロイするには：

1. アセンブルタブの右側にあるモデル環境の下で、基本環境リストからモデル環境を選択します。 モデル環境は、カスタムモデルのテストとデプロイに使用されます。 備考基本環境プルダウンメニューにはドロップインモデル環境（存在する場合）と、作成可能なカスタム環境が含まれています。
2. アセンブルタブの左側にあるモデルの下でファイルをドラッグアンドドロップするか、ローカルファイルを参照をクリックして、LLMのカスタムモデルアーティファクトをアップロードします。 また、リモートリポジトリからモデルファイルをインポートすることもできます。 重要ローカルファイルを参照をクリックすると、ローカルフォルダーを追加するオプションが表示されます。 ローカルフォルダーには、モデル自体ではなく、モデルに必要な依存ファイルおよび追加のアセットを含めるようにしてください。 モデルファイルがフォルダーに含まれている場合でも、DataRobotからモデルファイルにアクセスすることはできません。 代わりに、モデルファイルはルートレベルに存在する必要があります。 ルートにあるファイルは、フォルダー内の依存関係を指定することができます。 カスタムモデルワークショップで構築された基本的なLLMには、次のファイルが含まれているはずです。 ファイル内容custom.pyカスタムモデルコード（カスタムモデルのパブリックネットワークアクセスを介してLLMサービスのAPIを呼び出します）。model-metadata.yaml生成モデルで必要なランタイムパラメーター。requirements.txt生成モデルに必要なライブラリ（およびバージョン）。 requirements.txtからの依存関係は、モデルの依存関係ボックスのモデル環境の下に表示されます。
3. 必要なモデルファイルを追加したら、トレーニングデータを追加します。 ドリフト監視のトレーニングベースラインを提供するには、生成モデルが質問に回答することを想定しているトピックに関連したプロンプトとレスポンスを20行以上含むデータセットをアップロードする必要があります。 これらのプロンプトとレスポンスは、ドキュメントから取得することも、手動で作成することも、生成することもできます。
4. 次に、テストタブ、+ 新規テスト、テストを開始を順番にクリックして、テキスト生成ターゲットタイプでサポートされている唯一のテストであるスタートアップおよび予測エラーテストを実行します。
5. 登録してデプロイをクリックし、モデル情報を入力して、レジストリに追加をクリックします。 登録済みのモデルタブでモデルが開きます。
6. 登録されているモデルバージョンヘッダーで、デプロイをクリックし、デプロイ設定を行います。 他のDataRobotモデルと同様に予測を作成できるようになりました。

## 外部生成モデルの作成とデプロイ

外部モデルパッケージを使用すると、外部生成モデルを登録およびデプロイできます。 [監視エージェント](https://docs.datarobot.com/ja/docs/classic-ui/mlops/deployment/mlops-agent/index.html.md) を使用して、これらのモデルタイプでMLOps監視機能にアクセスできます。

外部生成モデルのモデルパッケージを作成してデプロイするには：

1. モデルレジストリをクリックし、登録済みのモデルタブで新規パッケージを追加をクリックして、新しい外部モデルパッケージを選択します。
2. 新しい外部モデルを登録ダイアログボックスで、予測タイプリストからテキスト生成をクリックし、エージェントで監視する生成モデルについて必要な情報を追加します。 ドリフト監視のトレーニングベースラインを提供するには、トレーニングデータフィールドで、生成モデルが質問に回答することを想定しているトピックに関連したプロンプトとレスポンスを20行以上含むデータセットをアップロードする必要があります。 これらのプロンプトとレスポンスは、ドキュメントから取得することも、手動で作成することも、生成することもできます。
3. モデルパッケージのすべてのフィールドを定義したら、登録をクリックします。 パッケージがモデルレジストリに追加され、使用できるようになります。
4. モデルレジストリ > 登録済みのモデルタブから、生成モデルを見つけてデプロイします。
5. デプロイ情報を追加しデプロイを実行します。

## デプロイされた生成モデルの監視

本番環境で生成モデルを監視するために、 [サービスの正常性](https://docs.datarobot.com/ja/docs/classic-ui/mlops/monitor/service-health.html.md) と [使用状況](https://docs.datarobot.com/ja/docs/classic-ui/mlops/monitor/deploy-usage.html.md) の統計の表示、 [デプロイデータ](https://docs.datarobot.com/ja/docs/api/reference/sdk/data-exploration.html.md) のエクスポート、 [カスタム指標](https://docs.datarobot.com/ja/docs/api/reference/sdk/custom-metrics.html.md) の作成、 [データドリフト](https://docs.datarobot.com/ja/docs/classic-ui/mlops/monitor/data-drift.html.md) の識別を行うことができます。

**サービスの正常性:**
[https://docs.datarobot.com/ja/docs/images/text-generation-service-health.png](https://docs.datarobot.com/ja/docs/images/text-generation-service-health.png)

**使用状況:**
[https://docs.datarobot.com/ja/docs/images/text-generation-usage.png](https://docs.datarobot.com/ja/docs/images/text-generation-usage.png)

**データ探索:**
[https://docs.datarobot.com/ja/docs/images/text-generation-data-export.png](https://docs.datarobot.com/ja/docs/images/text-generation-data-export.png)

**カスタム指標:**
[https://docs.datarobot.com/ja/docs/images/text-generation-custom-metrics.png](https://docs.datarobot.com/ja/docs/images/text-generation-custom-metrics.png)

**データドリフト:**
[https://docs.datarobot.com/ja/docs/images/text-generation-data-drift.png](https://docs.datarobot.com/ja/docs/images/text-generation-data-drift.png)


### 生成モデルのデータドリフト

生成モデルの予測データでドリフトを監視するために、DataRobotは新しいプロンプトとレスポンスを、モデル作成時にアップロードしたトレーニングデータのプロンプトおよびレスポンスと比較します。 比較に適切なトレーニングベースラインを提供するには、アップロードされたトレーニングデータセットに、モデルが質問に回答することを想定しているトピックに関連したプロンプトとレスポンスが20行 以上 含まれている必要があります。 これらのプロンプトとレスポンスは、ドキュメントから取得することも、手動で作成することも、生成することもできます。

生成モデルの データドリフト タブでは、 [特徴量ドリフトと特徴量の有用性の比較](https://docs.datarobot.com/ja/docs/classic-ui/mlops/monitor/data-drift.html.md#feature-drift-vs-feature-importance-chart) 、 [特徴量の詳細](https://docs.datarobot.com/ja/docs/classic-ui/mlops/monitor/generative-model-monitoring.html.md#feature-details-for-generative-models) 、 [時間経過に伴うドリフト](https://docs.datarobot.com/ja/docs/classic-ui/mlops/monitor/data-drift.html.md#drift-over-time-chart) のチャートを見ることができます。

目的のモデル、期間、または特徴量にフォーカスするように データドリフト ダッシュボードを調整する方法については、 [データドリフトダッシュボードの設定](https://docs.datarobot.com/ja/docs/classic-ui/mlops/monitor/data-drift.html.md#configure-the-data-drift-dashboard) ドキュメントを参照してください。

特徴量の詳細 チャートには、テキスト生成モデルのための新機能が含まれており、トレーニング期間とスコアリング期間におけるデータセット内の各トークンのデータ分布の違いを視覚化するワードクラウドを提供します。 デフォルトでは、 特徴量の詳細 チャートには、 質問 （またはプロンプト）と 回答 （またはモデルの完了／出力）に関する情報が含まれます。

| 特徴量 | 説明 |
| --- | --- |
| question | トレーニング期間とスコアリング期間における各 ユーザープロンプト トークンのデータ分布の違いを視覚化し、各トークンがユーザープロンプトデータのデータドリフトにどの程度関与しているかを明らかにするワードクラウド。 |
| 回答 | トレーニング期間とスコアリング期間における各 モデル出力 トークンのデータ分布の違いを視覚化し、各トークンがモデル出力データのデータドリフトにどの程度関与しているかを明らかにするワードクラウド。 |

> [!NOTE] 備考
> 生成モデルの入出力の特徴量名は、モデルのデータ内の特徴量名に依存するため、上記の例の 質問 と 回答 の特徴量は、モデルのデータ内の入力列と出力列の名前に置き換えられます。

データドリフト追跡の他の特徴量を指定することもできます。たとえば、モデルの _温度_を追跡し、生成モデルのレスポンスの創造性レベルを高い（1）から低い（0）まで監視することができます。

質問 や 回答などのテキスト特徴量の特徴量ドリフトワードクラウドを解釈するには 、ユーザープロンプトまたはモデル出力トークンにカーソルを合わせると、以下の詳細が表示されます。

| チャートの要素 | 説明 |
| --- | --- |
| トークン | ワードクラウド内のワードで表されるトークン化されたテキスト。 テキストサイズはトークンのドリフト貢献度を表し、テキストの色はデータセットの普及率を表します。 このチャートではストップワードは非表示になります。 |
| ドリフト貢献度 | この特定のトークンが、特徴量ドリフト対特徴量の有用性チャートで報告されている、特徴量のドリフト値にどれだけ貢献しているかを示します。 |
| ターゲット分布 | この特定のトークンがトレーニングデータまたは予測データに表示される頻度がどれだけ増加するか。 青：このトークンは、トレーニングデータでX%頻繁に表示されます。赤：このトークンは、予測データでX%頻繁に表示されます。 |

> [!TIP] ヒント
> ポインターがワードクラウド上にあるとき、上にスクロールするとズームインして、より小さいトークンのテキストを表示できます。