エージェント型AI > モニタ > データ探索

データ探索¶

デプロイのモニタリング > データ探索タブでは、デプロイの保存データを操作して、モデルやエージェントのパフォーマンスに関するインサイトを得ることができます。また、デプロイデータをダウンロードして、カスタム指標の計算に使用することもできます。 データ探索のサマリーには、デプロイのタイプに応じて、以下の機能が含まれています。

機能性	説明
データのエクスポート	すべてのデプロイについて、トレーニングデータ、予測データ、実測値、カスタム指標データを含む、デプロイの保存データをダウンロードします。
データ品質	生成AIやエージェントワークフローのデプロイでは、ユーザーからのフィードバックとカスタム指標に基づいて、生成AIモデルの回答の品質を評価します。

データの要件

データ探索タブを使用するには、デプロイに予測データを保存する必要があります。データ探索（またはチャレンジャー）設定で、予測行ごとの履歴保存が有効になっていることを確認してください。 データ探索タブでは、予測と共にリクエストされた場合でも、予測の説明は保存またはエクスポートされません。

データ探索範囲の設定¶

保存済みのトレーニングデータ、予測データ、または実測値をエクスポートするデプロイで、モニタリング > データ探索タブをクリックし、以下の設定を行って、エクスポートする保存済みのトレーニングデータ、予測データ、または実測値を指定します。

	設定	説明
1	モデル	予測データをエクスポートするデプロイのモデル（現在または以前）を選択します。
2	範囲 (UTC)	予測データをエクスポートする期間の開始日と終了日を選択します。
3	単位	日付スライダーの時間単位を選択します。選択した時間範囲に基づき、単位を毎時、毎日、毎週、毎月から選択します。時間範囲が7日を超える場合、単位を毎時にすることはできません。
4	表示を更新	データ探索タブのデータを更新します。
5	リセット	データ探索の設定をデフォルトにリセットします。

デプロイデータのエクスポート¶

データ探索のサマリーページ（またはデータ探索のサマリーのデータのエクスポートタブ）では、デプロイの保存データをダウンロードできます。これには、トレーニングデータ、予測データ、実測値、およびカスタム指標データが含まれます。エクスポートされたデータを使用して、カスタム指標タブまたはDataRobotの外部で、カスタムビジネス指標またはパフォーマンス指標を計算して監視します。カスタム指標のためにデプロイデータをエクスポートするには、デプロイに予測データが保存されていることを確認し、指定された時間範囲のデータを生成して、そのデータを表示またはダウンロードします。

デプロイの運用データのエクスポート¶

予測データ、実測データ、またはカスタム指標データにおいて、デプロイデータのエクスポートにアクセスするには、データ探索のサマリーページで実運用データパネルを見つけます。 実運用データパネルの生成ボタンで下向きの矢印をクリックし、いずれかのデータ生成オプションを選択します。以下のオプションを使用できるかどうかは、選択されたモデルおよび時間範囲のデプロイに保存されているデータによって異なります。

オプション	説明
すべての実運用データ	生成AIデプロイの場合、指定したモデルと時間範囲で使用できるすべての運用データ（予測値、実測値、カスタム指標）を生成します。
カスタム指標	生成AIデプロイの場合、指定したモデルと時間範囲で使用できるカスタム指標データを生成します。

プレミアム機能

カスタム指標データのエクスポートは、デフォルトではオフになっています。この機能を有効にする方法については、DataRobotの担当者または管理者にお問い合わせください。

パネルの下にあるテーブルに、運用データが表示されます。 エクスポートされたデータ列でデータ型を識別できます。

予測データと実測値に関する注意事項

予測データまたは実測値を生成するときは、以下の点を考慮してください。

予測データの生成時にエクスポート可能な行数は、1回のエクスポートで最大20万行までです。設定した時間範囲で予測データが20万行を超える場合は、範囲を縮小してください。
データレジストリで持つことができる予測エクスポート項目は、最大で100個までです。エクスポート用の予測データを生成すると、データレジストリの予測エクスポート項目の数がその制限を超える場合は、データレジストリで古い予測エクスポート項目を削除してください。
実測値データの生成時にエクスポート可能な行数は、最大で20万行までです。設定した時間範囲で実測値が100万行を超える場合は、時間範囲を縮小してください。
データレジストリでは、実測値のエクスポート項目は最大100個まで可能です。エクスポートする実測値データを生成することで、データレジストリ内の実測値エクスポートアイテムの数がその制限を超えた場合、古い実測値を削除してデータレジストリアイテムをエクスポートします。
最大10,000,000の実測値がデプロイ用に保存されます。したがって、その期間に実測値が現在保存されていない場合、古い実測値をエクスポートするとエラーが発生する可能性があります。

デプロイのトレーニングデータのエクスポート¶

トレーニングデータ用のデプロイデータのエクスポートにアクセスするには、データ探索のサマリーページで、トレーニングデータパネルを見つけ、トレーニングデータを生成をクリックして、指定されたモデルと時間範囲のデータを生成します。

トレーニングデータを操作するためのオプションが、トレーニングデータパネルに表示されます。下向きの矢印をクリックして、 トレーニングデータを開くまたはトレーニングデータをダウンロード を選択します。

データのレビューとダウンロード¶

運用データまたはトレーニングデータを生成した後、データを表示またはダウンロードできます。パネルの下にあるテーブルに運用データが表示され、エクスポートされたデータ列でデータ型を識別できます。トレーニングデータはトレーニングデータパネルに表示されます。

オプション	説明
	エクスポートされたデータをデータレジストリで開きます。
	エクスポートされたデータをダウンロードします。

ノートブックにエクスポート

ノートブックにエクスポートをクリックして、トレーニングデータ、予測データ、実測値をエクスポートするためのセルを含む DataRobotのノートブックを開くこともできます。

デプロイデータトレースの探索¶

カスタムモデルのデプロイに関するトレースは、専用のトレースタブにあります。検索、フィルター、およびスパンの詳細については、トレースを参照してください。

デプロイデータ品質の探索¶

プレミアム機能

データ品質はプレミアム機能です。この機能を有効にする方法については、DataRobotの担当者または管理者にお問い合わせください。

生成AIデプロイのデータ探索タブで、データ品質をクリックすると、プロンプトと回答をユーザーの評価やカスタム指標（実装されている場合）と一緒に調べ、生成AIモデルの品質に関するインサイトを得ることができます。プロンプト、回答、および利用可能な指標は、関連付けIDによって対応付けられます。

データ品質テーブルに表示される行を設定するには、設定をクリックして列管理パネルを開きます。このパネルでは、列の選択、非表示、並べ替えを行うことができます。

プロンプトと回答の一致

データ品質テーブルを使用するには、同じ行にあるプロンプトと回答を一致させる関連付けIDを定義します。トレース分析は、同じ行で関連付けIDが一致するプロンプトと回答でのみ利用できます。集計カスタム指標データは除外されます。

データ品質テーブルの特定の行を検索で見つけます。 検索条件をクリックし、プロンプトの値、回答、実測値のいずれかを選択します。次に検索をクリックします。

さらに、現在のデプロイ用に作成されたカスタム指標のいずれかから、1つのカスタム指標値でデータ品質テーブルをフィルターできます。テーブルをフィルターするには、 フィルターをクリックし、指標を選択して、指標値を入力してから、フィルターを適用をクリックします。

データ品質テーブルの並べ替え

データ品質テーブルは、プロンプト作成日、関連付けID、または現在のデプロイ用に作成されたカスタム指標のいずれかの列をクリックすることで並べ替えが可能です。

開くアイコンをクリックして、詳細パネルを展開します。行の完全なプロンプトと、関連付けIDによってそのプロンプトと一致した回答が表示されます。また、（設定されていれば）カスタム指標値と引用も表示されます。

外部で使用するために列をエクスポートするには、選択範囲のすべてをエクスポートをクリックして、データ品質ビューの上部に定義された期間内のすべての行をエクスポートするか、テーブル内で1つ以上の行を選択している場合は、選択した行をエクスポートをクリックします。