# LLM評価ツールの使用

> LLM評価ツールの使用 - プレイグラウンドでLLMブループリントの評価およびモデレーションガードレールを設定します。

This Markdown file sits beside the HTML page at the same path (with a `.md` suffix). It summarizes the topic and lists links for tools and LLM context.

Companion generated at `2026-07-30T11:40:01.253505+00:00` (UTC).

## Primary page

- [LLM評価ツールの使用](https://docs.datarobot.com/ja/docs/agentic-ai/playground-tools/playground-eval-metrics.html.md): Full documentation for this topic (Markdown sidecar).

## Sections on this page

- [評価指標の設定](https://docs.datarobot.com/ja/docs/agentic-ai/playground-tools/playground-eval-metrics.html.md#configure-evaluation-metrics): In-page section heading.
- [新しい設定の作成](https://docs.datarobot.com/ja/docs/agentic-ai/playground-tools/playground-eval-metrics.html.md#create-a-new-configuration): In-page section heading.
- [資格情報を変更](https://docs.datarobot.com/ja/docs/agentic-ai/playground-tools/playground-eval-metrics.html.md#change-credentials): In-page section heading.
- [設定済み指標の管理](https://docs.datarobot.com/ja/docs/agentic-ai/playground-tools/playground-eval-metrics.html.md#manage-configured-metrics): In-page section heading.
- [指標設定のコピー](https://docs.datarobot.com/ja/docs/agentic-ai/playground-tools/playground-eval-metrics.html.md#copy-a-metric-configuration): In-page section heading.
- [チャットでの指標の表示](https://docs.datarobot.com/ja/docs/agentic-ai/playground-tools/playground-eval-metrics.html.md#view-metrics-in-a-chat): In-page section heading.
- [評価データセットの追加](https://docs.datarobot.com/ja/docs/agentic-ai/playground-tools/playground-eval-metrics.html.md#add-evaluation-datasets): In-page section heading.
- [集計された指標の追加](https://docs.datarobot.com/ja/docs/agentic-ai/playground-tools/playground-eval-metrics.html.md#add-aggregated-metrics): In-page section heading.
- [コンプライアンステストの設定](https://docs.datarobot.com/ja/docs/agentic-ai/playground-tools/playground-eval-metrics.html.md#configure-compliance-testing): In-page section heading.
- [評価タブからのコンプライアンステストの管理](https://docs.datarobot.com/ja/docs/agentic-ai/playground-tools/playground-eval-metrics.html.md#_1): In-page section heading.
- [DataRobotコンプライアンステストの表示およびカスタマイズ](https://docs.datarobot.com/ja/docs/agentic-ai/playground-tools/playground-eval-metrics.html.md#view-and-customize-datarobot-compliance-tests): In-page section heading.
- [カスタムコンプライアンステストを作成](https://docs.datarobot.com/ja/docs/agentic-ai/playground-tools/playground-eval-metrics.html.md#manage-custom-compliance-tests): In-page section heading.
- [プレイグラウンドからコンプライアンステストを実行する](https://docs.datarobot.com/ja/docs/agentic-ai/playground-tools/playground-eval-metrics.html.md#run-compliance-testing-from-the-playground-): In-page section heading.
- [既存のコンプライアンステストの実行](https://docs.datarobot.com/ja/docs/agentic-ai/playground-tools/playground-eval-metrics.html.md#run-existing-compliance-tests): In-page section heading.
- [カスタムコンプライアンステストの作成と実行](https://docs.datarobot.com/ja/docs/agentic-ai/playground-tools/playground-eval-metrics.html.md#create-and-run-custom-compliance-tests): In-page section heading.
- [コンプライアンステストの実行管理](https://docs.datarobot.com/ja/docs/agentic-ai/playground-tools/playground-eval-metrics.html.md#manage-compliance-test-runs): In-page section heading.
- [コンプライアンステスト結果の比較](https://docs.datarobot.com/ja/docs/agentic-ai/playground-tools/playground-eval-metrics.html.md#compare-compliance-test-results): In-page section heading.
- [トレーステーブルの表示](https://docs.datarobot.com/ja/docs/agentic-ai/playground-tools/playground-eval-metrics.html.md#view-the-tracing-table): In-page section heading.
- [指標とコンプライアンステストの設定をワークショップに送る](https://docs.datarobot.com/ja/docs/agentic-ai/playground-tools/playground-eval-metrics.html.md#send-a-metric-and-compliance-test-configuration-to-the-workshop): In-page section heading.

## Documentation content

> [!NOTE] プレミアム機能
> LLM評価ツールはプレミアム機能です。 この機能を有効にする方法については、DataRobotの担当者または管理者にお問い合わせください。

プレイグラウンドのLLM評価ツールには、評価指標とデータセット、集計された指標、コンプライアンステスト、トレースが含まれます。 LLM評価指標ツールには、以下の項目が含まれます。

| LLM評価ツール | 説明 |
| --- | --- |
| 評価指標 | プレイグラウンドでのプロンプトと回答のパフォーマンス、安全性、運用に関する一連の指標を報告し、設定された指標にモデレーションの基準とアクションを定義します。 |
| 評価データセット | 評価データセットの指標、集計された指標、およびコンプライアンステストを通じてLLMブループリントを評価するために使用される評価データセットをアップロードまたは生成します。 |
| 集計された指標 | 1つのプロンプトや回答の評価から得られることは限られているため、LLMブループリントを全体的に評価するには、多くのプロンプトと回答の評価指標を組み合わせます。 |
| コンプライアンステスト | 評価指標とデータセットを組み合わせ、設定済みまたはカスタムのコンプライアンステストを使用して、コンプライアンスの問題を自動的に検出します。 |
| トレーステーブル | プレイグラウンドでLLMの回答生成に使用されるすべてのコンポーネントとプロンプトアクティビティのログを通して、LLMブループリントの実行をトレースします。 |

## 評価指標の設定

評価指標を使用すると、パフォーマンス、安全性、運用に関するさまざまな指標を設定することができます。 これらの指標を設定すると、プロンプトと回答が設定したモデレーション基準を満たした場合に介入するモデレーション方法を定義できます。 この機能は、プロンプトインジェクションや、悪意のある、有害な、または不適切なプロンプトや回答を検出してブロックするのに役立ちます。 また、ハルシネーションや信頼度の低い回答を特定し、個人を特定できる情報（PII）の共有を防ぐのにも役立ちます。

> [!TIP] 評価デプロイの指標
> 多くの評価指標は、プレイグラウンドで構築されたLLMと、デプロイされたガードモデルを結びつけます。 これらのガードモデルは、LLMのプロンプトと回答で予測を作成し、予測と統計をプレイグラウンドにレポートします。 評価デプロイ タイプの指標（カスタムデプロイ、PII検出、プロンプトインジェクション、感情分類器、毒性）のいずれかを使用する場合、LLMのプロンプトや回答に基づいて予測を行うには、 [NextGenレジストリから必要なガードモデル](https://docs.datarobot.com/ja/docs/workbench/nxt-registry/nxt-model-directory/nxt-global-models.html.md) をデプロイします。

LLMプレイグラウンドでの評価指標の選択および設定は、LLMブループリントがすでに設定されているかどうかによって異なります。

**LLMブループリントあり:**
プレイグラウンドに1つ以上のLLMブループリントを追加した場合、ブループリントが選択されているかどうかにかかわらず、サイドナビゲーションバーの 評価 タイルをクリックします。

[https://docs.datarobot.com/ja/docs/images/playground-eval-metrics-blueprint.png](https://docs.datarobot.com/ja/docs/images/playground-eval-metrics-blueprint.png)

**LLMブループリントなし:**
プレイグラウンドにブループリントを追加していない場合は、 指標で評価 セクションで、 評価の設定を開く をクリックして、LLMブループリントを追加する前に指標を設定します。

[https://docs.datarobot.com/ja/docs/images/playground-eval-metrics-no-blueprint.png](https://docs.datarobot.com/ja/docs/images/playground-eval-metrics-no-blueprint.png)


どちらの場合も、 評価とモデレーション ページが開き、 指標 タブが表示されます。 特定の指標はデフォルトで有効になっています。 ただし、 引用 および ROUGE-1 の指標値をレポートするには、最初にベクターデータベースをLLMブループリントに関連付ける必要があります。

### 新しい設定の作成

プレイグラウンドに新しい評価指標設定を作成するには：

1. 評価とモデレーションページの右上隅で、指標の設定をクリックします。
2. 評価とモデレーションの設定パネルで、評価指標をクリックしてから、指標を設定します。 指標、要件、設定の概要は、以下のテーブルのとおりです。 評価指標要件説明コストLLMコスト設定デフォルトまたはカスタムのLLM、通貨、トークンあたりの入力コスト、トークンあたりの出力コストを使用して、LLM回答の生成コストを計算します。 コストの計算には、引用コストも含まれます。 詳細については、コスト指標の設定を参照してください。カスタムデプロイカスタムデプロイ既存のデプロイを使用して、LLMを評価およびモデレートします（サポートされるターゲットタイプ：連続値、二値分類、多クラス、テキスト生成）。感情分類器感情分類器のデプロイプロンプトまたはレスポンステキストを感情別に分類します。PII検出PresidioのPII検出のデプロイMicrosoft Presidioライブラリを使用して、テキスト内の個人識別情報 (PII) を検出します。プロンプトインジェクションプロンプトインジェクション分類器のデプロイモデルの出力変更を意図した入力操作（システムプロンプトの上書きや変更など）を検出します。毒性毒性分類器のデプロイコンテンツの有害性を分類してモデレーション技術を適用し、有害なコンテンツの拡散を防ぎます。ROUGE-1ベクターデータベースRecall-Oriented Understudy for Gisting EvaluationLLMブループリントから生成された回答とベクターデータベースから取得されたドキュメントの間で類似度を計算します。引用ベクターデータベースベクターデータベースをプロンプトする際にLLMによって取得されたドキュメントを報告します。すべてのトークンN/ALLMへの入力、LLMからの出力、ベクターデータベースから取得したテキストに関連付けられたトークンの数を追跡します。プロンプトトークンN/ALLMへの入力に関連付けられたトークンの数を追跡します。回答トークンN/ALLMからの出力に関連付けられたトークンの数を追跡します。ドキュメントトークンN/Aベクターデータベースから取得したテキストに関連付けられたトークンの数を追跡します。待ち時間N/ALLMブループリントの回答のレイテンシーをレポートします。正確性LLM、評価データセット、ベクターデータベース集計された指標をリファレンスデータセットに対して評価するために、プロンプトのセットまたはプロンプトと回答のペアを提供するか、合成的に生成します。 正確性指標はLlamaIndexのCorrectness Evaluatorを使用します。忠実度LLM、ベクターデータベースLLMの回答がソースと一致するかどうかを測定して、考えられるハルシネーションを識別します。 忠実度指標はLlamaIndexのFaithfulness Evaluatorを使用します。トピック制御指標入力のトピックを維持llama-3.1-nemoguard-8b-topic-controlのNIMデプロイ、NVIDIA NeMo Guardrailsの設定NVIDIA NeMo Guardrailsを使用してトピックの境界を設定することで、プロンプトがトピックに関連し、禁止用語を使用しないようにします。出力のトピックを維持llama-3.1-nemoguard-8b-topic-controlのNIMデプロイ、NVIDIA NeMo Guardrailsの設定NVIDIA NeMo Guardrailsを使用してトピックの境界を設定することで、回答がトピックに関連し、禁止用語を使用しないようにします。 評価指標デプロイのグローバルモデルPII検出、プロンプトインジェクション検出、感情分類、毒性分類に必要なデプロイは、レジストリのグローバルモデルとして使用できます。 多クラスカスタムデプロイの指標の制限値多クラスカスタムデプロイの指標には、以下の制限があります。モデレーション基準の一致リストで定義できるクラスは最大で10個までです。ガードモデルで使用できるクラス名は最大で100個までです。 必須の設定オプションは、選択した評価指標（または評価指標タイプ）とLLM Gatewayを使用しているかどうかによって異なります。 設定説明全般的な設定名前評価指標の複数のインスタンスを追加する場合は、一意の名前を入力します。適用先評価指標に応じて、プロンプトと回答のどちらか、または両方を選択します。プロンプトを選択すると、指標の計算に使用されるのは、最後のLLMプロンプトではなく、ユーザープロンプトであることに注意してください。 このフィールドは、プロンプトと回答の両方に適用される指標に対してのみ設定可能です。カスタムデプロイ、PII検出、プロンプトインジェクション、感情分類器、毒性設定デプロイ名ガードモデルによって計算された評価指標の場合、カスタムモデルデプロイを選択します。カスタムデプロイの設定入力列名この名前は、カスタムモデルの作成者によって定義されます。DataRobotによって作成されたグローバルモデルの場合、デフォルトの入力列名はtextです。 カスタムデプロイのガードモデルにmoderations.input_column_nameのキー値が定義されている場合、このフィールドには自動的に値が設定されます。出力列名この名前はカスタムモデル作成者によって定義され、モデルのターゲット列を参照する必要があります。 ターゲット名は、デプロイの概要タブに表示されます（多くの場合、_PREDICTIONが付加されます）。カスタムデプロイからCSVデータをエクスポートして表示することで、列名を確認できます。 カスタムデプロイのガードモデルにmoderations.output_column_nameのキー値が定義されている場合、このフィールドには自動的に値が設定されます。正確性と忠実度の設定LLM評価するLLMを選択します。トピック制御指標の設定LLMタイプAzure OpenAI、OpenAI、またはNIMを選択します。 LLMのタイプがAzure OpenAIの場合、OpenAI APIのベースURLとOpenAI APIのデプロイを追加で入力します。NIMの場合は、NIMのデプロイ（llama-3.1-nemoguard-8b-topic-controlトピック制御モデル）を入力します。 LLM Gatewayを使用する場合、デフォルトでは、DataRobotが提供する資格情報が指定されます。 ただし、資格情報を変更をクリックして、自身の認証情報を入力できます。ファイルトピックの維持の評価については、ファイルの横にあるをクリックして、NeMoガードレール設定ファイルを変更します。 特に、prompts.ymlを許可されたトピックとブロックされたトピックで、blocked_terms.txtをブロックされた用語で更新し、NeMo Guardrailsに適用するルールを提供します。blocked_terms.txtファイルは、入力と出力のトピック制御指標間で共有されるため、入力指標のblocked_terms.txtを変更すると出力指標でも変更され、その逆も同様です。 プレイグラウンドには、トピック制御指標が2つしか存在できません。1つは入力用、もう1つは出力用です。モデレーション設定モデレーションの設定と適用この設定を有効にすると、モデレーションセクションが展開され、モデレーションロジックの適用タイミングを決定する条件を定義できます。 コスト指標の設定コスト指標の場合、各LLMタイプの行で、通貨、通貨額/トークン数での入力コスト、通貨額/トークン数での出力コストを定義し、追加をクリックします。コスト指標には、モデレーションを設定して適用するためのモデレーションセクションが含まれていません。
3. モデレーションセクションで、モデレーションの設定と適用を有効にして、評価指標ごとに以下を設定します。 設定説明モデレーションの基準該当する場合、モデレーションロジックをトリガーするために評価されるしきい値を設定します。 数値指標（整数または浮動小数）の場合、より小さい、より大きい、または等しいを任意の値と組み合わせて使用できます。 二値指標（例：入力のトピックを維持）の場合、0または1と等しいを使用します。感情分類器の場合、一致するまたは一致しないを選択し、モデレーションロジックをトリガーするクラス（感情）のリストを定義します。モデレーション方法レポートまたはレポートとブロックを選択します。モデレーションのメッセージレポートとブロックを選択すると、オプションでデフォルトのメッセージを変更できます。
4. 必須フィールドを設定した後、追加をクリックして評価を保存し、評価選択ページに戻ります。 選択した指標は、評価とモデレーションを設定パネルの設定のサマリーサイドバーに表示されます。
5. 別の指標を選択して設定するか、設定を保存をクリックします。 評価とモデレーションページに指標が表示されます。 指標の設定中に問題が発生した場合、指標の下にエラーメッセージが表示され、問題の修正方法に関するガイダンスが示されます。 指標設定の処理エラーメッセージの例

### 資格情報を変更

DataRobotは、LLM Gatewayを使用して、 [利用可能なLLM](https://docs.datarobot.com/ja/docs/reference/gen-ai-ref/llm-availability.html.md) の資格情報を提供します。 ただし、Azure OpenAIおよびOpenAI LLMタイプでは、認証に自身の資格情報を使用することが可能です。 続行する前に、 [資格情報管理](https://docs.datarobot.com/ja/docs/platform/acct-settings/stored-creds.html.md#credentials-management) ページでユーザー指定の資格情報を定義します。

入力のトピックを維持 または 出力のトピックを維持 の資格情報を変更するには、 LLMタイプ を選択し、 資格情報を変更 をクリックします。

**LLMのタイプ：Azure OpenAI:**
Azure OpenAI APIのデプロイとOpenAI APIのベースURLを指定します。 次に、ドロップダウンから、適用する資格情報のセットを選択します。

[https://docs.datarobot.com/ja/docs/images/change-metric-creds-azure.png](https://docs.datarobot.com/ja/docs/images/change-metric-creds-azure.png)

**LLMのタイプ：OpenAI:**
ドロップダウンから、適用する資格情報のセットを選択します。

[https://docs.datarobot.com/ja/docs/images/change-metric-creds-openai.png](https://docs.datarobot.com/ja/docs/images/change-metric-creds-openai.png)

**LLMのタイプ：NIM:**
NIMのデプロイ（例：トピック制御モデル）を選択します。 通常、資格情報はデプロイ設定を通じて指定されます。


DataRobotが提供する資格情報に戻すには、 資格情報を元に戻す をクリックします。

### 設定済み指標の管理

設定された評価指標をプレイグラウンドから編集または削除するには：

1. 評価とモデレーションページの右上隅で、指標の設定をクリックします。
2. 評価とモデレーションを設定パネルにある設定のサマリーサイドバーで、編集アイコンまたは削除アイコンをクリックします。
3. 編集をクリックすると、その指標を再度設定して更新をクリックすることができます。

### 指標設定のコピー

LLMプレイグラウンドとの間で評価指標の設定をコピーするには：

1. 評価とモデレーションページの右上隅で、指標の設定の隣にあるをクリックしてから、設定をコピーをクリックします。
2. 評価とモデレーション設定のコピーモーダルで、次のいずれかのオプションを選択します。 既存のプレイグラウンドから既存のプレイグラウンドへ新しいプレイグラウンドへ既存のプレイグラウンドからを選択した場合は、既存の設定に追加または既存の設定を置換を選択してから、コピー元のプレイグラウンドを選択します。既存のプレイグラウンドへを選択した場合は、既存の設定に追加または既存の設定を置換を選択してから、コピー先のプレイグラウンドを選択します。新しいプレイグラウンドへを選択した場合は、新しいプレイグラウンド名を入力します。
3. 評価データセットを含めるかどうかを選択し、設定をコピーをクリックします。

> [!NOTE] 評価指標の重複
> 既存の設定に追加 を選択すると、NeMoの 入力のトピックを維持 と 出力のトピックを維持 を除いて、指標が重複する可能性があります。 トピック制御指標は2つしか存在できません。1つは入力用、もう1つは出力用です。

### チャットでの指標の表示

設定してプレイグラウンドに追加する指標は、プレイグラウンドのLLMの回答に表示されます。 下向きの矢印 をクリックして、指標パネルを開いて、詳細を確認することができます。 このパネルで 引用 をクリックすると、 引用 ダイアログボックスにプロンプト、回答、引用のリストが表示されます。 回答に対して、肯定的なフィードバック または否定的なフィードバック を行うこともできます。

さらに、設定されたモデレーションの基準と戦略によってLLMからの回答がブロックされた場合、 回答を表示 をクリックすると、ブロックされた回答を表示できます。

> [!TIP] 複数のモデレーションメッセージ
> 設定された 複数の モデレーションによってLLMからの回答がブロックされた場合、LLMの回答に代わって、トリガーされた各モデレーションのメッセージがチャットに表示されます。 わかりやすいモデレーションメッセージを設定すると、LLMの回答をブロックした理由の詳細なリストを提供できます。

## 評価データセットの追加

評価データセットの指標と集計された指標を有効にするには、1つ以上の評価データセットをプレイグラウンドに追加します。 データセットは、データレジストリ内のCSVファイルであり、少なくとも1つのテキスト型またはカテゴリー型の列が含まれている必要があります。

> [!WARNING] ベクターデータベースを含むLLMで評価データセットを使用する場合
> 評価データセットとベクターデータベースで列名が重複していないことを確認します。 列名が重複している場合、それらの列はメタデータフィルターとして扱われ、評価データセットの集計を実行する際、ベクターデータベースの結果はプロンプトから除外されます。 この状況は、ベクターデータベースがCSV形式のソースドキュメントから作成された場合に最もよく見られます。

1. LLMプレイグラウンドで評価指標を選択および設定するには、次のいずれかを実行します。
2. 評価とモデレーションページで、評価データセットタブをクリックして既存のデータセットを表示してから、評価データセットを追加をクリックして、次のいずれかの方法を選択します。 データセットの追加方法説明評価データセットを追加評価データセットを追加パネルで、データレジストリテーブルから既存のデータセットを選択するか、新しいデータセットをアップロードします。アップロードをクリックして登録し、ローカルファイルシステムから新しいデータセットを選択します。URLからアップロードをクリックしてから、ホストされたデータセットのURLを入力し、追加をクリックします。データセットを選択した後、評価データセットの設定サイドバーで、プロンプト列名と回答（ターゲット）列名を定義し、評価データセットを追加をクリックします。合成データを生成データセット名を入力し、LLMを選択し、ベクターデータベース、ベクターデータベースのバージョン、および合成データを作成するときに使用する言語を設定します。 次に、データの生成をクリックします。 詳細については、合成データセットの生成を参照してください。
3. 評価データセットを追加すると、評価とモデレーションページの評価データセットタブに表示されます。ここで、データセットを開くをクリックして、データを表示することができます。アクションメニューをクリックして、評価データセットを編集したり、評価データセットを削除したりすることもできます。

**Q: 合成データセットはどのように生成されますか？**

評価データセット指標を追加すると、DataRobotは [ベクターデータベース](https://docs.datarobot.com/ja/docs/agentic-ai/vector-database/vector-dbs.html.md) を使用して、プロンプトと回答のペアで構成される 合成データセットを生成 し、LLMブループリントを評価することができます。 合成データセットは、選択されたベクターデータベースにアクセスして、ベクターをクラスタリングし、各クラスターから代表的なチャンクを抽出し、選択されたLLMに対して、ドキュメントに基づいて100の質問と回答のペアを生成するようプロンプトすることによって生成されます。 合成評価データセットを設定して 生成 をクリックすると、2つのイベントが連続して発生します。

1. プレースホルダーデータセットは、必須の列（questionおよびanswer）でデータレジストリに登録されます。これには65行と2列のプレースホルダーデータ（Record for synthetic prompt answer 0、Record for synthetic prompt answer 1など）が含まれます。
2. 選択したLLMとベクターデータベースのペアは質問と回答のペアを生成し、手順1で作成された合成評価データセットの2番目のバージョンとしてデータレジストリに追加されます。生成時間は、選択したLLMによって異なります。

高品質で多様な質問を生成するために、DataRobotはコサイン類似度ベースのクラスタリングを実行します。 類似するチャンクは同じクラスターにグループ化され、各クラスターは単一の質問と答えのペアを生成します。 したがって、ベクターデータベースに類似したチャンクが多く含まれる場合、それらのチャンクは、非常に少数のクラスターにグループ化されます。 その場合、生成されるペアの数は、ベクターデータベースのチャンクの数よりもはるかに少なくなります。

## 集計された指標の追加

プレイグラウンドに複数の指標が含まれる場合、集計指標の作成を開始できます。 集計は、多くのプロンプトや回答にわたる指標を組み合わせる処理で、ブループリントを高レベルで評価するのに役立ちます（単一のプロンプト/回答を評価することで多くの内容を学習できます）。 集計では、評価に対するより包括的なアプローチが可能になります。

集計では、元のスコアの平均化、ブール値のカウント、または多クラスモデル内のカテゴリー数の表示が行われます。 DataRobotでは、個々のプロンプト/回答の指標を生成し、指標に基づいてリストされているメソッドの1つを使用して集計することによってこれの処理を行います。

集計された指標を設定するには：

1. プレイグラウンドで、プロンプト入力の下にある集計の設定をクリックします。 集計ジョブの実行制限一度に実行できる集計指標ジョブは1つだけです。 集計ジョブが現在実行されている場合、集計の設定ボタンが無効になり、「集計ジョブが進行中です。処理が完了したら、もう一度試してください」というツールチップが表示されます。
2. 集計された指標を生成パネルで、集計して計算する指標を選択し、集計基準を設定します。 次に、新しいチャット名を入力し、（新しいチャットでプロンプトを生成するための）評価データセットを選択して、指標を生成するLLMブループリントを選択します。 これらのフィールドは、現在のプレイグラウンドに基づいて事前に入力されています。 評価データセットの選択評価データセット指標（正確性など）を選択した場合、その評価データセット指標の作成に使用した評価データセットを使用する必要があります。 指標の選択および設定セクションを完了した後、指標の生成をクリックします。 これにより、関連するすべてのプロンプトと回答を含む新しいチャットが作成されます。 集計された指標は、標準のチャットの個々のプロンプトではなく、評価データセットに対して実行されます。 したがって、集計された指標を表示できるのは、生成され、（LLMの設定ページの）LLMブループリントのすべてのチャットリストに追加された _集計指標チャット_だけです。 複数のブループリントの集計指標の計算指標集計リクエストに多くのLLMブループリントが含まれている場合、集計された指標はブループリントごとに順次計算されます。
3. 集計されたチャットが生成されたら、集計された指標タブで、結果としての集計指標、スコア、および関連アセットを調べることができます。集計方法、評価データセット、指標でフィルターすることができます。 また、現在の設定をクリックすると、設定サイドバーのLLMタブで現在定義されているブループリント設定に対して計算された指標のみを比較できます。 関連アセットの表示テーブル内の各指標について、評価データセットおよび集計されたチャットをクリックして、集計指標に貢献している対応アセットを表示できます。
4. LLMブループリントの比較ページに戻り、集計された指標タブを開くと、生成された集計指標でLLMブループリントのパフォーマンスを比較するリーダーボードが表示されます。

## コンプライアンステストの設定

評価指標と評価用データセットを組み合わせ、テスト用のプロンプトシナリオを通じて、コンプライアンスの問題を自動的に検出することができます。

### 評価タブからのコンプライアンステストの管理

評価 タブでコンプライアンステストを管理する場合、定義済みのコンプライアンステストを表示したり、カスタムテストの作成と管理を行ったり、組織のテスト要件に合わせて定義済みのテストを変更したりできます。

利用可能なすべてのコンプライアンステストを表示するには：

1. サイドナビゲーションバーで評価タイルをクリックします。
2. コンプライアンステストタブをクリックします。コンプライアンステストタブでは、DataRobotとカスタムの両方（存在する場合）で利用可能なすべてのコンプライアンステストを表示できます。 テーブルには、テスト名、プロバイダー、設定（評価および評価データセットの数）の列があります。

#### DataRobotコンプライアンステストの表示およびカスタマイズ

表示 オプションを使用して確認し、必要に応じて次の操作を行います。

- 特定のテストでのLLMの変更など、DataRobotで事前設定されたコンプライアンステストをカスタマイズします。
- カスタムコンプライアンステストを管理します。

コンプライアンステスト タブのテーブルで、 表示 をクリックして、 DataRobot が プロバイダー であるコンプライアンステストを開いて確認します。

| コンプライアンステスト | 説明 | 評価LLM | ベース |
| --- | --- | --- | --- |
| バイアスベンチマーク | 8つの社会的側面におけるバイアスを検証するため、LLMの質問/回答のセットを実行します。 | GPT-4o | AI Verify Foundation |
| ジェイルブレイク | テストシナリオを適用して、組み込みの安全策がLLMの脱獄コンプライアンス基準を遵守しているかどうかを評価します。 | カスタマイズ可能 | jailbreak_llms |
| 完全性 | LLMの回答が、質問に包括的に答えるのに十分な情報を提供しているかどうかを判定します。 | GPT-4o | 内部 |
| 個人を特定できる情報（PII） | LLMの回答にプロンプトに含まれるPIIが含まれているかどうかを判定します。 | カスタマイズ可能 | 内部 |
| 毒性 | テストシナリオを適用して、組み込みの安全策が有害性コンプライアンス基準を遵守しているかどうかを評価します。 詳細については、 不適切な内容に関する警告を参照してください。 | カスタマイズ可能 | Hugging Face |
| 日本語バイアスベンチマーク | 5つの社会的側面におけるバイアスを検証するため、日本語のLLM質問/回答セットを実行します。 | GPT-4o | AI Verify Foundation |

> [!WARNING] 不適切な内容に関する警告
> [毒性テスト用の公開評価データセット](https://huggingface.co/datasets/allenai/real-toxicity-prompts) には、 不適切な内容 が含まれています。 外部モデルやアプリケーションからそのようなコンテンツを排除することのみを目的として使用されることを想定しています。 その他の目的での使用は固く禁じられています。

**バイアステスト**

バイアステスト は、AI Verify Foundationが提供する以下のmoonshot-dataデータセットに基づいています。

- bbq-lite-age-disamb.json
- bbq-lite-disability-status-disamb.json
- bbq-lite-gender-disamb.json
- bbq-lite-nationality-disamb.json
- bbq-lite-race-ethnicity-disamb.json
- bbq-lite-religion-disamb.json
- bbq-lite-sexual-orientation-disamb.json
- bbq-lite-ses-disamb.json
- JBBQ: Japanese Bias Benchmark for Analyzing Social Biases in Large Language ModelsとJBBQ_data

リストからコンプライアンステストを表示すると、コンプライアンステストプロセスの一部として実行された個々の評価を確認できます。 すべてのテストについて、 名前 、 指標 、 LLM 、 評価データセット 、 合格のしきい値 、 プロンプト数 を確認できます。 LLMフィールドに `-` と表示されているテストでは、GPT-4oが使用されます。 以下のテストでは、LLMのデフォルトはGPT-4oですが、カスタマイズできます。

- ジェイルブレイク
- 毒性
- PII

以下のように、選択したDataRobotテストをカスタムテストのベースとして使用します。

1. 修正したいテストの表示を選択します。
2. テストをカスタマイズをクリックします。
3. カスタムテストを作成モーダルから、コンプライアンステスト設定の個々の評価を変更します。 備考デフォルトの指標と評価データセットに加えて、デプロイ済みの二値分類サイドカーモデルで実装されている評価指標と、ユースケースに追加された評価データセットを選択できます。 設定説明名前カスタムコンプライアンステストのわかりやすい名前。説明コンプライアンステストの目的の説明（これは、既存のDataRobotテストを変更すると事前入力されます）。テスト合格のしきい値テスト全体が合格となるために、最低限合格する必要がある個別評価の割合（0～100%）。評価*名前個々の指標の名前。指標照合する基準。LLM回答の評価に使用されるLLM。 このフィールドは、ジェイルブレイク、毒性、およびPIIのコンプライアンステストで有効です。 それ以外では、GPT-4oが使用されます。評価データセット指標の計算に使用されるデータセット。合格のしきい値評価に合格するために最低限必要な合格回答の割合。プロンプト数評価に使われたデータセットの行数。評価を追加さらに評価を作成します。既存のテストからコピー既存のコンプライアンステストから個々の評価をコピーします。 * 導入する指標でサイドカーモデルを検証するには、API専用プロセスであるexpected_response_columnを使用します。 これは、事前に提供されたexact_match指標と同様に、LLMの回答と期待される回答を比較します。
4. コンプライアンステストの設定をカスタマイズしたら、追加をクリックします。 新しいテストがコンプライアンステストタブのテーブルに表示されます。

#### カスタムコンプライアンステストを作成

カスタムコンプライアンステストを作成するには：

1. コンプライアンステストタブの上部または下部で、カスタムコンプライアンステストを作成をクリックします。 評価タブの任意の場所からのコンプライアンステストの作成評価タブが開いている状態で、コンプライアンステストタブだけでなく、任意の場所からカスタムコンプライアンステストを作成をクリックできます。
2. カスタムテストを作成パネルで、以下の設定を行います。 設定説明名前カスタムコンプライアンステストのわかりやすい名前。説明コンプライアンステストの目的の説明（これは、既存のDataRobotテストを変更すると事前入力されます）。テスト合格のしきい値テスト全体が合格となるために、最低限合格する必要がある個別評価の割合（0～100%）。評価*名前個々の指標の名前。指標照合する基準。LLM回答の評価に使用されるLLM。 このフィールドは、ジェイルブレイク、毒性、およびPIIのコンプライアンステストで有効です。 それ以外では、GPT-4oが使用されます。 このフィールドを設定する前に、指標を設定する必要があります。評価データセット指標の計算に使用されるデータセット。合格のしきい値評価に合格するために最低限必要な合格回答の割合。プロンプト数評価に使われたデータセットの行数。評価を追加さらに評価を作成します。既存のテストからコピー既存のコンプライアンステストから個々の評価をコピーします。
3. コンプライアンステストの設定を行った後、追加をクリックします。 新しいテストがコンプライアンステストタブのテーブルに表示されます。

#### カスタムのコンプライアンステストの管理

カスタムのコンプライアンステストを管理するには、プロバイダーが カスタム となっているテストを見つけて、管理操作を選択します。

- 編集アイコンをクリックしてから、カスタムテストを編集パネルでコンプライアンステストの設定を更新して、保存をクリックします。
- 削除アイコンをクリックし、はい、テストを削除をクリックし、ユースケースのすべてのプレイグラウンドからテストを削除します。

### プレイグラウンドからコンプライアンステストを実行する

プレイグラウンド タイルでコンプライアンステストを実行する場合、定義済みのコンプライアンステストを変更せずに実行したり、カスタムテストを作成したり、組織のテスト要件に合わせて定義済みのテストを変更したりできます。

プレイグラウンドテストからコンプライアンスにアクセスして、テストを実行、変更、または作成するには：

1. プレイグラウンドタイルのLLMブループリントリストで、テストするLLMブループリントをクリックするか、比較するブループリントを最大3つ選択します。 ブループリント比較ページからのコンプライアンステストへのアクセス2つ以上のLLMブループリントが選択されている場合、ブループリント比較ページからコンプライアンステストタブをクリックして、複数のLLMブループリントのコンプライアンステストを実行し、結果を比較できます。 詳細については、コンプライアンステスト結果の比較を参照してください。
2. LLMブループリントで、コンプライアンステストタブをクリックして、テストを作成または実行します。 以前にテストを実行したことがない場合は、コンプライアンステストの結果がないことを示すメッセージが表示されます。 以前にテストを実行したことがある場合は、テスト結果が表示されます。 いずれの場合も、テストを実行をクリックしてテストパネルを開きます。
3. テストを実行パネルが開き、DataRobotで事前に設定されたコンプライアンステストと、作成したカスタムテストのリストが表示されます。
4. すべてのテストリストからコンプライアンステストを選択すると、コンプライアンステストプロセスの一環として実行された個々の評価を表示できます。 各テストについて、名前、指標、評価データセット、合格しきい値、プロンプトの数を確認できます。
5. 次に、既存のテストの実行、カスタムテストの作成と実行、またはカスタムテストの管理を行います。

#### 既存のコンプライアンステストの実行

既存の設定済みコンプライアンステストを実行するには：

1. テストを実行パネルにあるすべてのテストリストから、使用可能なDataRobotまたはカスタムテストを選択します。
2. テストを選択した後、実行をクリックします。
3. テストがコンプライアンステストタブに実行中...ステータスで表示されます。 実行中のテストのキャンセル実行中...ステータスのテストをキャンセルする必要がある場合は、テスト結果を削除をクリックします。

#### カスタムコンプライアンステストの作成と実行

カスタムまたは一部変更したコンプライアンステストを作成して実行するには：

1. テストを実行パネルのすべてのテストリストから、以下の操作を実行します。
2. カスタムテストパネルで、以下の設定を行います。 設定説明名前カスタムコンプライアンステストのわかりやすい名前。説明コンプライアンステストの目的の説明（これは、既存のDataRobotテストを変更すると事前入力されます）。テスト合格のしきい値テスト全体が合格となるために、最低限合格する必要がある個別評価の割合（0～100%）。評価コンプライアンステストの個別評価。それぞれ、名前、指標、評価データセット、合格のしきい値、プロンプト数で構成されます。 デフォルトの指標と評価データセットに加えて、デプロイされた二値分類のサイドカーモデルによって実装された任意の評価指標と、ユースケースに追加された任意の評価データセットを選択できます。+ 評価を追加をクリックすると、追加の評価が作成されます。既存のテストからコピーをクリックして、既存のコンプライアンステストから個々の評価をコピーします。expected_response_columnを使用してサイドカーモデルを検証し、事前に提供されているexact_match指標と同様に、LLMの回答と期待される回答を比較する指標を導入するAPI専用のプロセスがあります。
3. カスタムテストを設定した後、保存して実行をクリックします。
4. テストがコンプライアンステストタブに実行中...ステータスで表示されます。 実行中のテストのキャンセル実行中...ステータスのテストをキャンセルする必要がある場合は、テスト結果を削除をクリックします。

#### コンプライアンステストの実行管理

コンプライアンステスト タブで実行中または完了したテストから：

- 完了したテストの実行を削除するか、実行中のテストをキャンセルして削除するには、 テスト結果を削除 をクリックします。
- 指標を計算しているチャットを表示するには、 対応するチャット 列のチャット名をクリックします。
- 指標の計算に使用された評価データセットを表示するには、 評価データセット 列のデータセット名をクリックします。

#### カスタムのコンプライアンステストの管理

カスタムコンプライアンステストを管理するには、 テストを実行 パネルで、 すべてのテスト リストからカスタムテストを選択し、 テストを削除 または テストを編集 をクリックします。 DataRobotで事前設定されているテストの編集や削除はできません。

テストを編集 を選択した場合は、 [コンプライアンステストの作成時に行った](https://docs.datarobot.com/ja/docs/agentic-ai/playground-tools/playground-eval-metrics.html.md#create-and-run-custom-compliance-tests) 設定を更新します。

### コンプライアンステスト結果の比較

コンプライアンステスト結果を比較するには、一度に最大3つのLLMブループリントに対してコンプライアンステストを実行できます。 プレイグラウンド タイルの LLMブループリント リストで、テストするLLMブループリントを最大3つ選択し、 コンプライアンステスト タブをクリックして、 テストを実行 をクリックします。

これにより、 テストを実行 パネルが開き、 [単一のブループリントの場合と同様に](https://docs.datarobot.com/ja/docs/agentic-ai/playground-tools/playground-eval-metrics.html.md#run-existing-compliance-tests) テストを選択して実行できますが、実行する LLMブループリント を定義することもできます。 デフォルトでは、比較タブで選択されたブループリントがここに一覧表示されます。

コンプライアンステストの実行後、 ブループリントの比較 ページでそれらを比較することができます。 完了したテスト実行を削除するか、進行中のテスト実行をキャンセルするには、 テスト結果を削除 をクリックします。

## トレーステーブルの表示

LLMブループリントの実行をトレースすることは、GenAIスタックの多くの部分がどのように機能するかを理解するための強力なツールです。 トレースタブには、プレイグラウンドでのLLMの回答の生成に使用されたすべてのコンポーネントとプロンプティングアクティビティのログが表示されます。 トレースからのインサイトは、プロンプト、ベクターデータベースチャンク、コンテキストウィンドウ内の過去のインタラクションなど、LLMが評価したすべての項目について完全なコンテキストを提供します。 例：

- DataRobotメタデータ：タイムスタンプ、ユースケース、プレイグラウンド、ベクターデータベース、ブループリントIDに加えて、作成者名とベースLLMをレポートします。 これらは、LLMブループリントとのインタラクションを行うDataRobotオブジェクトから追加情報を表示する必要がある場合に、トレースレコードのソースを特定するのに役立ちます。
- LLMパラメーター：LLMを呼び出すときに使用されるパラメーターを表示します。これは、温度やシステムプロンプトなどの設定の潜在的なデバッグに役立ちます。
- プロンプトと回答：チャットの履歴を指定します。トークン数とユーザーフィードバックは、追加の詳細を提供します。
- レイテンシー：LLMブループリントの各部分のオーケストレーションに関する問題を強調表示します。
- トークンの使用状況：LLMコストを正確に計算するためにトークンの使用状況の内訳を表示します。
- 評価とモデレーション（設定されている場合）：評価指標とモデレーション指標でのプロンプトまたは回答のスコアリング方法を示します。

トレース テーブルで特定の情報を見つけるには、 フィルター をクリックし、 ユーザー名 、 LLM 、 ベクターデータベース 、 LLMブループリント名 、 チャット名 、 評価データセット 、および 評価ステータス でフィルターします。

> [!TIP] データレジストリへのトレースデータの送信
> データレジストリにアップロード をクリックして、トレーステーブルからデータレジストリにデータをエクスポートします。 警告は、毒性テストの実行結果が含まれ、その毒性テストの結果がデータレジストリのアップロードから除外された場合に、トレーステーブルに表示されます。

## 指標とコンプライアンステストの設定をワークショップに送る

LLMブループリントを作成して、ブループリントの設定（評価指標やモデレーションを含む）を行い、回答をテストおよびチューニングしたら、LLMブループリントをワークショップに送ります。

1. ユースケースで、プレイグラウンドタイルから、ブループリントとして登録したいLLMを含むプレイグラウンドをクリックします。
2. プレイグラウンドでLLMを比較して、ワークショップに送信するLLMブループリントを決定し、次のいずれかを実行します。
3. ワークショップに送信モーダルで、最大12個の評価指標（および設定済みのモデレーション）を選択します。 ワークショップにすべての指標を送信できないのはなぜですか？一部の指標は、プレイグラウンドからワークショップに送信されたLLMを登録してデプロイすると、デフォルトでサポートされます。その他の指標は、カスタム指標を使用して設定可能です。 以下の表に、このプロセスでは選択できない評価指標と、コンソールで使用できる代わりの指標を示します。指標コンソールでの同等の指標引用引用は、データ探索 > トレースタブで提供されます。 プレイグラウンドで設定された引用は、デフォルトで転送に含まれます。ワークショップに送信モーダルでオプションを選択する必要はありません。 その結果、カスタムモデルにはENABLE_CITATION_COLUMNSランタイムパラメーターが設定されます。 そのカスタムモデルをデプロイした後、データ探索タブが有効で、関連付けIDが指定されている場合、ワークショップに送信されたモデルで引用を入手できます。コストコストは、デプロイのモニタリング > カスタム指標タブで計算できます。正確性正確性は、デプロイされたモデルでは利用できません。待ち時間レイテンシーは、モニタリング > サービスの正常性タブとモニタリング > カスタム指標タブで計算されます。すべてのトークンすべてのトークンはカスタム指標タブで計算できますが、プロンプトトークンと回答トークンの指標を個別に追加することもできます。ドキュメントトークンドキュメントトークンは、デプロイされたモデルでは利用できません。
4. 次に、送信するコンプライアンステストを選択します。 次に、ワークショップに送信をクリックします。 カスタムモデルを登録し、コンプライアンスドキュメントを生成すると、ワークショップに送られたコンプライアンステストが含まれます。 ワークショップでのコンプライアンステスト選択されたコンプライアンステストは、LLM_TEST_SUITE_IDランタイムパラメーターによってワークショップのカスタムモデルにリンクされます。 ワークショップでカスタムモデルのコードを大幅に変更した場合は、LLM_TEST_SUITE_IDランタイムパラメーターをNoneに設定して、元のモデル用のコンプライアンスドキュメントが変更後のモデルで実行されないようにします。
5. 評価指標の転送を完了するには、ワークショップでカスタムモデルを設定します。