データ探索¶

デプロイのモニタリング > データ探索タブでは、デプロイの保存済みデータを操作してモデルのパフォーマンスに関するインサイトを取得し、そのデータを使用してカスタム指標を計算できます。 データ探索のサマリーには、デプロイタイプに応じて以下の機能が含まれています。

データ探索範囲の設定¶

保存済みのトレーニングデータ、予測データ、または実測値をエクスポートするデプロイで、モニタリング > データ探索タブをクリックし、以下の設定を行って、エクスポートする保存済みのトレーニングデータ、予測データ、または実測値を指定します。

デプロイデータのエクスポート¶

データ探索のサマリー（生成AIデプロイの場合はデータ探索のサマリーのデータエクスポートタブ）で、デプロイの保存済みデータをダウンロードすることができます。 これには、トレーニングデータ、予測データ、実測値、およびカスタム指標データが含まれます。 エクスポートされたデータを使用して、 カスタム指標タブまたはDataRobotの外部で、カスタムビジネス指標またはパフォーマンス指標を計算して監視できます。 カスタム指標のためにデプロイデータをエクスポートするには、デプロイに予測データが保存されていることを確認し、指定された時間範囲のデータを生成して、そのデータを表示またはダウンロードします。

デプロイの運用データのエクスポート¶

予測データ、実測値、またはカスタム指標データのデプロイデータのエクスポートにアクセスするには、データ探索のサマリーページで実運用データパネルを見つけます。 実運用データパネルの生成ボタンで下向きの矢印 をクリックし、いずれかのデータ生成オプションを選択します。 以下のオプションが使用可能かどうかは、選択したモデルのデプロイに保存されたデータおよび選択した時間範囲に応じて異なります。

パネルの下にあるテーブルに、運用データが表示されます。 エクスポートされたデータ列でデータ型を識別できます。

デプロイのトレーニングデータのエクスポート¶

トレーニングデータのデプロイデータのエクスポートにアクセスするには、データ探索のサマリーページで、トレーニングデータパネルを見つけ、トレーニングデータを生成をクリックして、指定されたモデルと時間範囲のデータを生成します。

トレーニングデータがトレーニングデータパネルに表示されます。 下向きの矢印 をクリックして、 トレーニングデータを開くまたはトレーニングデータをダウンロード を選択します。

データのレビューとダウンロード¶

運用データまたはトレーニングデータを生成した後、データを表示またはダウンロードできます。 パネルの下にあるテーブルに運用データが表示され、エクスポートされたデータ列でデータ型を識別できます。 トレーニングデータはトレーニングデータパネルに表示されます。

エクスポートされたデプロイデータをカスタム指標に使用¶

エクスポートされたデプロイデータを使用して独自のカスタム指標を作成するには、エクスポートされたデータを含むCSVファイルから読み取り、エクスポートプロセスで自動的に生成された列を含む結果の値を使用して指標を計算するスクリプトを実行します。

この例では、エクスポートされた予測データを使い、DataRobotの予測タイムスタンプ（DR_RESERVED_PREDICTION_TIMESTAMP）をDateFrameインデックス（または行ラベル）として、30日間のtime_in_hospital特徴量の変化を計算およびプロットしています。 また、エクスポートされたトレーニングデータをプロットのベースラインとして使用します。

import pandas as pd
feature_name = "<numeric_feature_name>"
training_df = pd.read_csv("<path_to_training_data_csv>")
baseline = training_df[feature_name].mean()
prediction_df = pd.read_csv("<path_to_prediction_data_csv>")
prediction_df["DR_RESERVED_PREDICTION_TIMESTAMP"] = pd.to_datetime(
    prediction_df["DR_RESERVED_PREDICTION_TIMESTAMP"]
)
predictions = prediction_df.set_index("DR_RESERVED_PREDICTION_TIMESTAMP")["time_in_hospital"]
ax = predictions.rolling('30D').mean().plot()
ax.axhline(y=baseline - 2, color="C1", label="training data baseline")
ax.legend()
ax.figure.savefig("feature_over_time.png") 

DataRobotの列参照¶

DataRobot は、エクスポート用に生成された予測データに、以下の列を自動的に追加します。

デプロイデータトレースの探索¶

生成AIデプロイのデータ探索タブで、トレース をクリックすると、プロンプトと回答をユーザーの評価やカスタム指標（実装されている場合）と一緒に調べ、生成AIモデルの品質に関するインサイトを得ることができます。 プロンプト、回答、および利用可能な指標は、関連付けIDによって対応付けられます。

トレーステーブルに表示される行を設定するには、 設定をクリックして列管理パネルを開きます。このパネルでは、列の選択、非表示、並べ替えを行うことができます。

トレーステーブルの特定の行を検索で見つけます。 検索条件をクリックし、プロンプトの値、回答、実測値のいずれかを選択します。 次に検索 をクリックします。

In addition, you can filter the Tracing table on a single custom metric value from one of the custom metrics created for the current deployment. To filter the table, click Filter, select a Metric, enter a Metric value, and then click Apply filters:

開くアイコン をクリックすると、詳細パネルが展開され、行の完全なプロンプトおよび関連付けIDでプロンプトに一致する回答が表示されます。

外部で使用するために列をエクスポートするには、選択された範囲のすべてをエクスポートをクリックして、カスタム指標の上部で定義されている時間範囲のすべての行をエクスポートするか、テーブルで1つ以上の行を選択している場合は、選択された行をエクスポートをクリックします。