データ探索¶

デプロイのモニタリング > データ探索タブでは、デプロイの保存済みデータを操作してモデルのパフォーマンスに関するインサイトを取得し、そのデータを使用してカスタム指標を計算できます。 データ探索のサマリーには、デプロイタイプに応じて以下の機能が含まれています。

データ探索範囲の設定¶

保存済みのトレーニングデータ、予測データ、または実測値をエクスポートするデプロイで、モニタリング > データ探索タブをクリックし、以下の設定を行って、エクスポートする保存済みのトレーニングデータ、予測データ、または実測値を指定します。

デプロイデータのエクスポート¶

データ探索のサマリー（生成AIデプロイの場合はデータ探索のサマリーのデータエクスポートタブ）で、デプロイの保存済みデータをダウンロードすることができます。 これには、トレーニングデータ、予測データ、実測値、およびカスタム指標データが含まれます。 エクスポートされたデータを使用して、 カスタム指標タブまたはDataRobotの外部で、カスタムビジネス指標またはパフォーマンス指標を計算して監視できます。 カスタム指標のためにデプロイデータをエクスポートするには、デプロイに予測データが保存されていることを確認し、指定された時間範囲のデータを生成して、そのデータを表示またはダウンロードします。

デプロイの運用データのエクスポート¶

予測データ、実測値、またはカスタム指標データのデプロイデータのエクスポートにアクセスするには、データ探索のサマリーページで実運用データパネルを見つけます。 実運用データパネルの生成ボタンで下向きの矢印 をクリックし、いずれかのデータ生成オプションを選択します。 以下のオプションが使用可能かどうかは、選択したモデルのデプロイに保存されたデータおよび選択した時間範囲に応じて異なります。

パネルの下にあるテーブルに、運用データが表示されます。 エクスポートされたデータ列でデータ型を識別できます。

デプロイのトレーニングデータのエクスポート¶

トレーニングデータのデプロイデータのエクスポートにアクセスするには、データ探索のサマリーページで、トレーニングデータパネルを見つけ、トレーニングデータを生成をクリックして、指定されたモデルと時間範囲のデータを生成します。

トレーニングデータがトレーニングデータパネルに表示されます。 下向きの矢印 をクリックして、 トレーニングデータを開くまたはトレーニングデータをダウンロード を選択します。

データのレビューとダウンロード¶

運用データまたはトレーニングデータを生成した後、データを表示またはダウンロードできます。 パネルの下にあるテーブルに運用データが表示され、エクスポートされたデータ列でデータ型を識別できます。 トレーニングデータはトレーニングデータパネルに表示されます。

エクスポートされたデプロイデータをカスタム指標に使用¶

エクスポートされたデプロイデータを使用して独自のカスタム指標を作成するには、エクスポートされたデータを含むCSVファイルから読み取り、エクスポートプロセスで自動的に生成された列を含む結果の値を使用して指標を計算するスクリプトを実行します。

この例では、エクスポートされた予測データを使い、DataRobotの予測タイムスタンプ（DR_RESERVED_PREDICTION_TIMESTAMP）をDateFrameインデックス（または行ラベル）として、30日間のtime_in_hospital特徴量の変化を計算およびプロットしています。 また、エクスポートされたトレーニングデータをプロットのベースラインとして使用します。

import pandas as pd
feature_name = "<numeric_feature_name>"
training_df = pd.read_csv("<path_to_training_data_csv>")
baseline = training_df[feature_name].mean()
prediction_df = pd.read_csv("<path_to_prediction_data_csv>")
prediction_df["DR_RESERVED_PREDICTION_TIMESTAMP"] = pd.to_datetime(
    prediction_df["DR_RESERVED_PREDICTION_TIMESTAMP"]
)
predictions = prediction_df.set_index("DR_RESERVED_PREDICTION_TIMESTAMP")["time_in_hospital"]
ax = predictions.rolling('30D').mean().plot()
ax.axhline(y=baseline - 2, color="C1", label="training data baseline")
ax.legend()
ax.figure.savefig("feature_over_time.png") 

DataRobotの列参照¶

DataRobot は、エクスポート用に生成された予測データに、以下の列を自動的に追加します。

デプロイデータトレースの探索¶

生成AIデプロイのデータ探索タブで、トレースをクリックして、関連付けIDで一致するプロンプト、回答、ユーザー評価、およびカスタム指標を探索します。 このビューでは、生成AIモデルの回答の品質に関するインサイトが、ユーザーによる評価と、実装した生成AIのカスタム指標に基づいて提供されます。

テーブルをフィルター（）して、プロンプト値、回答値、または実測値を含む行のみを表示します。 検索をクリックして、プロンプトごとにトレース中テーブルで特定の行を見つけます。

開くアイコン をクリックすると、詳細パネルが展開され、行の完全なプロンプトおよび関連付けIDでプロンプトに一致する回答が表示されます。