# 生成モデルの監視

> 生成モデルの監視 - DataRobotのカスタムモデルと外部モデルのテキスト生成ターゲットタイプは、生成型の大規模言語モデル（LLM）と互換性があり、生成モデルのデプロイ、予測の実行、モデルのパフォ
> ーマンス統計の監視、データの探索、カスタム指標の作成が可能です。

This Markdown file sits beside the HTML page at the same path (with a `.md` suffix). It summarizes the topic and lists links for tools and LLM context.

Companion generated at `2026-07-23T18:01:59.861080+00:00` (UTC).

## Primary page

- [生成モデルの監視](https://docs.datarobot.com/ja/docs/workbench/nxt-console/nxt-monitoring/nxt-genai-monitoring.html.md): Full documentation for this topic (Markdown sidecar).

## Sections on this page

- [生成型カスタムモデルの作成とデプロイ](https://docs.datarobot.com/ja/docs/workbench/nxt-console/nxt-monitoring/nxt-genai-monitoring.html.md#create-and-deploy-a-generative-custom-model): In-page section heading.
- [生成型カスタムモデルの追加](https://docs.datarobot.com/ja/docs/workbench/nxt-console/nxt-monitoring/nxt-genai-monitoring.html.md#add-a-generative-custom-model): In-page section heading.
- [生成型カスタムモデルの構築とデプロイ](https://docs.datarobot.com/ja/docs/workbench/nxt-console/nxt-monitoring/nxt-genai-monitoring.html.md#assemble-and-deploy-a-generative-custom-model): In-page section heading.
- [外部生成モデルの作成とデプロイ](https://docs.datarobot.com/ja/docs/workbench/nxt-console/nxt-monitoring/nxt-genai-monitoring.html.md#create-and-deploy-an-external-generative-model): In-page section heading.
- [デプロイされた生成モデルの監視](https://docs.datarobot.com/ja/docs/workbench/nxt-console/nxt-monitoring/nxt-genai-monitoring.html.md#monitor-a-deployed-generative-model): In-page section heading.
- [生成モデルのデータドリフト](https://docs.datarobot.com/ja/docs/workbench/nxt-console/nxt-monitoring/nxt-genai-monitoring.html.md#feature-details-for-generative-models): In-page section heading.

## Documentation content

> [!NOTE] 本機能の提供について
> 生成モデルの監視サポートはプレミアム機能です。 この機能を有効にする方法については、DataRobotの担当者または管理者にお問い合わせください。

カスタムモデルと外部モデルのテキスト生成ターゲットタイプを使用した、LLMOpsのプレミアム機能では、生成LLM（大規模言語モデル）をデプロイして、予測の実行、サービス、使用状況、データドリフト統計の監視、カスタム指標の作成を行います。 DataRobotは、次の2つのデプロイ方法でLLMに対応しています。

| 方法 | 説明 |
| --- | --- |
| DataRobotでカスタムモデルとしてテキスト生成モデルを作成する | ワークショップを使用してテキスト生成モデルを作成およびデプロイし、LLMのAPIを呼び出してテキストを生成し、MLOpsがLLMの入力および出力にアクセスして監視できるようにします。 LLMのAPIを呼び出すには、カスタムモデルのパブリックネットワークアクセスを有効にする必要があります。 |
| 外部で実行されているテキスト生成モデルを監視する | インフラストラクチャ（ローカルまたはクラウド）にテキスト生成モデルを作成してデプロイし、監視エージェントを使用して、LLMの入出力を監視のためにDataRobotに通信します。 |

> [!TIP] 評価とモデレーションのカスタム指標には関連付けIDが必要
> 評価とモデレーションを設定するときに追加された指標について、カスタム指標タブでデータを表示するには、デプロイされたLLMを介して予測を開始する前に、関連付けIDを設定して予測ストレージを有効にします。 関連付けIDを設定せず、LLMの予測とともに関連付けIDを指定した場合、モデレーションの指標は [カスタム指標](https://docs.datarobot.com/ja/docs/workbench/nxt-console/nxt-monitoring/nxt-custom-metrics.html.md) タブでは計算されません。 この設定は、デプロイ [中](https://docs.datarobot.com/ja/docs/workbench/nxt-registry/nxt-model-directory/nxt-deploy-models.html.md#custom-metrics) やデプロイ [後](https://docs.datarobot.com/ja/docs/workbench/nxt-console/nxt-settings/nxt-custom-metrics-settings.html.md) に有効化できます。

## 生成型カスタムモデルの作成とデプロイ

カスタム推論モデルは、ユーザーが作成した事前トレーニング済みのモデルであり、 [ワークショップ](https://docs.datarobot.com/ja/docs/workbench/nxt-registry/nxt-model-workshop/index.html.md) を通じてDataRobotに（ファイル群として）アップロードできます。 次に、モデルアーティファクトをアップロードして、DataRobotの一元化されたデプロイハブにカスタム推論モデルを作成、テスト、およびデプロイすることができます。

### 生成型カスタムモデルの追加

ワークショップに生成モデルを追加するには：

1. レジストリ > ワークショップをクリックします。 このタブには、作成したモデルが一覧表示されます。
2. + モデルを追加（またはカスタムモデルパネルが開いている場合はボタン）をクリックします。
3. モデルを追加ページで、次に示すモデルの設定の下にあるフィールドを定義します。 フィールド説明モデル名カスタムモデルにわかりやすい名前を入力します。ターゲットタイプテキスト生成を選択します。ターゲット名生成AIモデルの出力を含めるデータセット列の名前（resultTextなど）を入力します。高度な設定言語生成AIモデルの構築に使用されるプログラミング言語を入力します。説明モデルのコンテンツと目的の説明を入力します。
4. フィールドに入力したら、モデルを追加をクリックします。 カスタムモデルがアセンブルタブで開きます。

### 生成型カスタムモデルの構築とデプロイ

ワークショップから生成モデルを構築して、テストし、デプロイするには：

1. アセンブルタブの上部にある環境の下で、基本環境リストからGenAIモデル環境を選択します。 モデル環境は、カスタムモデルのテストと登録済みカスタムモデルのデプロイに使用されます。
2. 依存関係セクションに入力するために、ファイルセクションでrequirements.txtファイルをアップロードし、DataRobotが最適なイメージを構築できるようにします。
3. ファイルセクションで、必要なカスタムモデルファイルを追加します。 モデルとドロップイン環境をペアリングしていない場合、これにはカスタムモデル環境要件とstart_server.shファイルが含まれます。 ファイルの追加方法はいくつかあります。 要素説明1ファイルファイルをグループボックスにドラッグしてアップロードします。2ソースから選択クリックしてローカルファイルまたはローカルフォルダーを参照します。3アップロードクリックしてローカルファイルまたはローカルフォルダーを参照するか、リモートリポジトリからファイルを取得します。4作成空のファイルまたはテンプレートとして新しいファイルを作成し、カスタムモデルに保存します。model-metadata.yamlを作成：ランタイムパラメーターファイルの基本的で編集可能な例を作成します。空白ファイルを作成：空のファイルを作成します。名称未設定の横にある編集アイコン（）をクリックしてファイル名と拡張子を入力し、カスタムコンテンツを追加します。 ワークショップで構築された基本LLMには、少なくとも次のファイルが含まれている必要があります。 ファイル内容custom.pyカスタムモデルコード（カスタムモデルのパブリックネットワークアクセスを介してLLMサービスのAPIを呼び出します）。model-metadata.yaml生成モデルに必要なカスタムモデルのメタデータとランタイムパラメーター。requirements.txt生成モデルに必要なライブラリ（およびバージョン）。
4. 必要なモデルファイルを追加したら、トレーニングデータを追加します。 ドリフト監視のトレーニングベースラインを提供するには、生成モデルが質問に回答することを想定しているトピックに関連したプロンプトと回答を少なくとも20行含むデータセットをアップロードします。 これらのプロンプトとレスポンスは、ドキュメントから取得することも、手動で作成することも、生成することもできます。
5. 次に、テストタブ、新しいテストを実行、実行を順にクリックして、起動テストおよび予測エラーテスト（テキスト生成ターゲットタイプではこれらのテストのみサポート）を実行します。
6. ClickRegister a model,provide the model information, and clickRegister model. 登録済みのモデルがモデルディレクトリタブで開きます。
7. 登録されているモデルバージョンヘッダーで、デプロイをクリックし、デプロイ設定を行います。 他のDataRobotモデルと同様に予測を作成できるようになりました。

## 外部生成モデルの作成とデプロイ

外部モデルパッケージを使用すると、外部生成モデルを登録およびデプロイできます。 [監視エージェント](https://docs.datarobot.com/ja/docs/classic-ui/mlops/deployment/mlops-agent/index.html.md) を使用して、これらのモデルタイプでMLOps監視機能にアクセスできます。

監視エージェントが監視する外部生成モデルを生成してデプロイするには、レジストリから外部モデルを登録モデルまたはバージョンとして追加します。

1. On theRegistry > Modelstab, click+ Register a model(or thebutton when the registered model or version info panel is open): モデルの登録パネルが開き、外部モデルタブが表示されます。
2. 外部モデルタブのモデルの設定で、既存の登録モデルにバージョンを追加または新しい登録モデルを作成を選択します。
3. ターゲットタイプリストからテキスト生成をクリックし、エージェントで監視する生成モデルに関する必要な情報を追加します。
4. オプション設定で、ドリフト監視のトレーニングベースラインを指定します。トレーニングデータの下で+ データを追加をクリックし、生成モデルが質問に回答することを意図したトピックに関連するプロンプトと回答を少なくとも20行含むデータセットをアップロードします。 これらのプロンプトとレスポンスは、ドキュメントから取得することも、手動で作成することも、生成することもできます。
5. すべての必須フィールドを設定したら、モデルの登録をクリックします。 モデルのバージョンが、レジストリ > モデルタブで開きます。
6. 登録されているモデルバージョンヘッダーで、デプロイをクリックし、デプロイ設定を行います。

## デプロイされた生成モデルの監視

本番環境で生成モデルを監視するために、 [サービスの正常性](https://docs.datarobot.com/ja/docs/workbench/nxt-console/nxt-monitoring/nxt-service-health.html.md) と [使用状況](https://docs.datarobot.com/ja/docs/workbench/nxt-console/nxt-monitoring/nxt-usage.html.md) の統計の表示、 [デプロイデータ](https://docs.datarobot.com/ja/docs/workbench/nxt-console/nxt-monitoring/nxt-data-exploration.html.md) の探索、 [カスタム指標](https://docs.datarobot.com/ja/docs/workbench/nxt-console/nxt-monitoring/nxt-custom-metrics.html.md) の作成、 [データドリフト](https://docs.datarobot.com/ja/docs/workbench/nxt-console/nxt-monitoring/nxt-data-drift.html.md) の識別を行うことができます。

**サービスの正常性:**
[https://docs.datarobot.com/ja/docs/images/nxt-text-generation-service-health.png](https://docs.datarobot.com/ja/docs/images/nxt-text-generation-service-health.png)

**使用状況:**
[https://docs.datarobot.com/ja/docs/images/nxt-text-generation-usage.png](https://docs.datarobot.com/ja/docs/images/nxt-text-generation-usage.png)

**データ探索:**
[https://docs.datarobot.com/ja/docs/images/nxt-text-generation-data-exploration.png](https://docs.datarobot.com/ja/docs/images/nxt-text-generation-data-exploration.png)

**カスタム指標:**
[https://docs.datarobot.com/ja/docs/images/nxt-text-generation-custom-metrics.png](https://docs.datarobot.com/ja/docs/images/nxt-text-generation-custom-metrics.png)

**データドリフト:**
[https://docs.datarobot.com/ja/docs/images/nxt-text-generation-data-drift.png](https://docs.datarobot.com/ja/docs/images/nxt-text-generation-data-drift.png)


### 生成モデルのデータドリフト

生成モデルの予測データでドリフトを監視するために、DataRobotは新しいプロンプトとレスポンスを、モデル作成時にアップロードしたトレーニングデータのプロンプトおよびレスポンスと比較します。 比較に適切なトレーニングベースラインを提供するには、アップロードされたトレーニングデータセットに、モデルが質問に回答することを想定しているトピックに関連したプロンプトとレスポンスが20行 以上 含まれている必要があります。 これらのプロンプトとレスポンスは、ドキュメントから取得することも、手動で作成することも、生成することもできます。

生成モデルの モニタリング > データドリフト タブでは、 [特徴量ドリフトと特徴量の有用性の比較](https://docs.datarobot.com/ja/docs/workbench/nxt-console/nxt-monitoring/nxt-data-drift.html.md#feature-drift-vs-feature-importance-chart) 、 [特徴量の詳細](https://docs.datarobot.com/ja/docs/workbench/nxt-console/nxt-monitoring/nxt-genai-monitoring.html.md#feature-details-for-generative-models) 、 [時間経過に伴うドリフト](https://docs.datarobot.com/ja/docs/workbench/nxt-console/nxt-monitoring/nxt-data-drift.html.md#drift-over-time-chart) のチャートを表示できます。 さらに、 [ドリルダウン](https://docs.datarobot.com/ja/docs/workbench/nxt-console/nxt-monitoring/nxt-data-drift.html.md#drill-down-on-the-data-drift-tab) タブを生成モデルに使用できます。 特定のモデル、期間、または特徴量にフォーカスするように データドリフト ダッシュボードを調整する方法については、 [データドリフトダッシュボードの設定](https://docs.datarobot.com/ja/docs/workbench/nxt-console/nxt-monitoring/nxt-data-drift.html.md#configure-the-data-drift-dashboard) ドキュメントを参照してください。

#### 生成モデルの特徴量の詳細

特徴量の詳細 チャートには、テキスト生成モデルのための新機能が含まれており、トレーニング期間とスコアリング期間におけるデータセット内の各トークンのデータ分布の違いを視覚化するワードクラウドを提供します。 デフォルトでは、 特徴量の詳細 チャートには、 質問 （プロンプト）と 答え （ターゲット、モデル完了、出力、または回答）に関する情報が含まれます。 これらは テキスト 特徴量です。以下の例では、質問の特徴量は プロンプト で、回答の特徴量は _ターゲット_です。

| 特徴量 | 説明 |
| --- | --- |
| プロンプト | トレーニング期間とスコアリング期間における各 ユーザープロンプト または 質問 トークンのデータ分布の違いを視覚化し、各トークンがユーザープロンプトデータのデータドリフトにどの程度関与しているかを明らかにするワードクラウド。 |
| ターゲット | トレーニング期間とスコアリング期間における各 モデル出力 または 回答 トークンのデータ分布の違いを視覚化し、各トークンがモデル出力データのデータドリフトにどの程度関与しているかを明らかにするワードクラウド。 |

> [!NOTE] 特徴量の詳細チャートの特徴量
> 生成モデルの入出力の特徴量名は、モデルのデータ内にある特徴量名に依存します。したがって、上記の例の プロンプト 特徴量と ターゲット 特徴量は、モデルのデータ内の入力列と出力列の名前で置き換えられます。 これらの特徴量名は、生成モデルの [概要](https://docs.datarobot.com/ja/docs/workbench/nxt-console/nxt-overview/nxt-overview.html.md) タブにある ターゲット 列名フィールドと プロンプト列名 フィールドに表示されます。

データドリフト追跡の他の特徴量を指定することもできます。たとえば、モデルの _温度_を追跡し、生成モデルのレスポンスの創造性レベルを高い（1）から低い（0）まで監視することができます。

プロンプト や _ターゲット_などのテキスト特徴量の特徴量ドリフトワードクラウドを解釈するには、ユーザープロンプトまたはモデル出力トークンにカーソルを合わせて以下の詳細を表示します。

| チャートの要素 | 説明 |
| --- | --- |
| トークン | ワードクラウド内のワードで表されるトークン化されたテキスト。 テキストサイズはトークンのドリフト貢献度を表し、テキストの色はデータセットの普及率を表します。 このチャートではストップワードは非表示になります。 |
| ドリフト貢献度 | この特定のトークンが、特徴量ドリフト対特徴量の有用性チャートで報告されている、特徴量のドリフト値にどれだけ貢献しているかを示します。 |
| ターゲット分布 | この特定のトークンがトレーニングデータまたは予測データに表示される頻度がどれだけ増加するか。 青：このトークンは、トレーニングデータでX%頻繁に表示されます。赤：このトークンは、予測データでX%頻繁に表示されます。 |

> [!TIP] ヒント
> ポインターがワードクラウド上にあるとき、上にスクロールするとズームインして、より小さいトークンのテキストを表示できます。