データ探索¶

デプロイのモニタリング > データ探索タブでは、デプロイの保存データを操作して、モデルやエージェントのパフォーマンスに関するインサイトを得ることができます。 また、デプロイデータをダウンロードして、カスタム指標の計算に使用することもできます。 データ探索のサマリーには、デプロイのタイプに応じて、以下の機能が含まれています。

データ探索範囲の設定¶

保存済みのトレーニングデータ、予測データ、または実測値をエクスポートするデプロイで、モニタリング > データ探索タブをクリックし、以下の設定を行って、エクスポートする保存済みのトレーニングデータ、予測データ、または実測値を指定します。

デプロイデータのエクスポート¶

データ探索のサマリーページ（またはデータ探索のサマリーのデータのエクスポートタブ）では、デプロイの保存データをダウンロードできます。 これには、トレーニングデータ、予測データ、実測値、およびカスタム指標データが含まれます。 エクスポートされたデータを使用して、カスタム指標タブまたはDataRobotの外部で、カスタムビジネス指標またはパフォーマンス指標を計算して監視します。 カスタム指標のためにデプロイデータをエクスポートするには、デプロイに予測データが保存されていることを確認し、指定された時間範囲のデータを生成して、そのデータを表示またはダウンロードします。

デプロイの運用データのエクスポート¶

予測データ、実測データ、またはカスタム指標データにおいて、デプロイデータのエクスポートにアクセスするには、データ探索のサマリーページで実運用データパネルを見つけます。 実運用データパネルの生成ボタンで下向きの矢印 をクリックし、いずれかのデータ生成オプションを選択します。 以下のオプションを使用できるかどうかは、選択されたモデルおよび時間範囲のデプロイに保存されているデータによって異なります。

パネルの下にあるテーブルに、運用データが表示されます。 エクスポートされたデータ列でデータ型を識別できます。

デプロイのトレーニングデータのエクスポート¶

トレーニングデータ用のデプロイデータのエクスポートにアクセスするには、データ探索のサマリーページで、トレーニングデータパネルを見つけ、トレーニングデータを生成をクリックして、指定されたモデルと時間範囲のデータを生成します。

トレーニングデータを操作するためのオプションが、トレーニングデータパネルに表示されます。 下向きの矢印 をクリックして、 トレーニングデータを開くまたはトレーニングデータをダウンロード を選択します。

データのレビューとダウンロード¶

運用データまたはトレーニングデータを生成した後、データを表示またはダウンロードできます。 パネルの下にあるテーブルに運用データが表示され、エクスポートされたデータ列でデータ型を識別できます。 トレーニングデータはトレーニングデータパネルに表示されます。

エクスポートされたデプロイデータをカスタム指標に使用¶

エクスポートされたデプロイデータを使用して独自のカスタム指標を作成するには、エクスポートされたデータを含むCSVファイルから読み取り、エクスポートプロセスで自動的に生成された列を含む結果の値を使用して指標を計算するスクリプトを実行します。

この例では、エクスポートされた予測データを使い、DataRobotの予測タイムスタンプ（DR_RESERVED_PREDICTION_TIMESTAMP）をDateFrameインデックス（または行ラベル）として、30日間のtime_in_hospital特徴量の変化を計算およびプロットしています。 また、エクスポートされたトレーニングデータをプロットのベースラインとして使用します。

import pandas as pd
feature_name = "<numeric_feature_name>"
training_df = pd.read_csv("<path_to_training_data_csv>")
baseline = training_df[feature_name].mean()
prediction_df = pd.read_csv("<path_to_prediction_data_csv>")
prediction_df["DR_RESERVED_PREDICTION_TIMESTAMP"] = pd.to_datetime(
    prediction_df["DR_RESERVED_PREDICTION_TIMESTAMP"]
)
predictions = prediction_df.set_index("DR_RESERVED_PREDICTION_TIMESTAMP")["time_in_hospital"]
ax = predictions.rolling('30D').mean().plot()
ax.axhline(y=baseline - 2, color="C1", label="training data baseline")
ax.legend()
ax.figure.savefig("feature_over_time.png") 

DataRobotの列参照¶

DataRobot は、エクスポート用に生成された予測データに、以下の列を自動的に追加します。

デプロイデータトレースの探索¶

Tracing for custom and external model deployments is on the dedicated Tracing tab. For search, filter, and span details, see Tracing.

デプロイデータ品質の探索¶

生成AIデプロイのデータ探索タブで、データ品質をクリックすると、プロンプトと回答をユーザーの評価やカスタム指標（実装されている場合）と一緒に調べ、生成AIモデルの品質に関するインサイトを得ることができます。 プロンプト、回答、および利用可能な指標は、関連付けIDによって対応付けられます。

データ品質テーブルに表示される行を設定するには、 設定をクリックして列管理パネルを開きます。このパネルでは、列の選択、非表示、並べ替えを行うことができます。

データ品質テーブルの特定の行を検索で見つけます。 検索条件をクリックし、プロンプトの値、回答、実測値のいずれかを選択します。 次に検索 をクリックします。

さらに、現在のデプロイ用に作成されたカスタム指標のいずれかから、1つのカスタム指標値でデータ品質テーブルをフィルターできます。 テーブルをフィルターするには、 フィルターをクリックし、指標を選択して、指標値を入力してから、フィルターを適用をクリックします。

開くアイコン をクリックして、詳細パネルを展開します。 行の完全なプロンプトと、関連付けIDによってそのプロンプトと一致した回答が表示されます。 また、（設定されていれば）カスタム指標値と引用も表示されます。

外部で使用するために列をエクスポートするには、選択範囲のすべてをエクスポートをクリックして、データ品質ビューの上部に定義された期間内のすべての行をエクスポートするか、テーブル内で1つ以上の行を選択している場合は、選択した行をエクスポートをクリックします。

次のステップ¶

Once you've exported or explored a deployment's data, enable additional data collection or put the exported data to use in custom metrics.

• Configure data exploration: Enable prediction row storage so the Data exploration tab has data to display and export.
• Custom metrics: Use the data you exported to compute and monitor custom business or performance metrics for the deployment.
• Generative model monitoring: Learn how DataRobot monitors service, usage, and data drift statistics for deployed generative models whose data you can explore here.