データ探索¶

デプロイのモニタリング > データ探索タブでは、デプロイの保存データを操作して、モデルやエージェントのパフォーマンスに関するインサイトを得ることができます。 また、デプロイデータをダウンロードして、カスタム指標の計算に使用することもできます。 データ探索のサマリーには、デプロイのタイプに応じて、以下の機能が含まれています。

データ探索範囲の設定¶

保存済みのトレーニングデータ、予測データ、または実測値をエクスポートするデプロイで、モニタリング > データ探索タブをクリックし、以下の設定を行って、エクスポートする保存済みのトレーニングデータ、予測データ、または実測値を指定します。

デプロイデータのエクスポート¶

データ探索のサマリーページ（またはデータ探索のサマリーのデータのエクスポートタブ）では、デプロイの保存データをダウンロードできます。 これには、トレーニングデータ、予測データ、実測値、およびカスタム指標データが含まれます。 エクスポートされたデータを使用して、カスタム指標タブまたはDataRobotの外部で、カスタムビジネス指標またはパフォーマンス指標を計算して監視します。 カスタム指標のためにデプロイデータをエクスポートするには、デプロイに予測データが保存されていることを確認し、指定された時間範囲のデータを生成して、そのデータを表示またはダウンロードします。

デプロイの運用データのエクスポート¶

予測データ、実測データ、またはカスタム指標データにおいて、デプロイデータのエクスポートにアクセスするには、データ探索のサマリーページで実運用データパネルを見つけます。 実運用データパネルの生成ボタンで下向きの矢印 をクリックし、いずれかのデータ生成オプションを選択します。 以下のオプションが使用可能かどうかは、選択したモデルのデプロイに保存されたデータおよび選択した時間範囲に応じて異なります。

パネルの下にあるテーブルに、運用データが表示されます。 エクスポートされたデータ列でデータ型を識別できます。

デプロイのトレーニングデータのエクスポート¶

トレーニングデータ用のデプロイデータのエクスポートにアクセスするには、データ探索のサマリーページで、トレーニングデータパネルを見つけ、トレーニングデータを生成をクリックして、指定されたモデルと時間範囲のデータを生成します。

トレーニングデータを操作するためのオプションが、トレーニングデータパネルに表示されます。 下向きの矢印 をクリックして、 トレーニングデータを開くまたはトレーニングデータをダウンロード を選択します。

データのレビューとダウンロード¶

運用データまたはトレーニングデータを生成した後、データを表示またはダウンロードできます。 パネルの下にあるテーブルに運用データが表示され、エクスポートされたデータ列でデータ型を識別できます。 トレーニングデータはトレーニングデータパネルに表示されます。

エクスポートされたデプロイデータをカスタム指標に使用¶

エクスポートされたデプロイデータを使用して独自のカスタム指標を作成するには、エクスポートされたデータを含むCSVファイルから読み取り、エクスポートプロセスで自動的に生成された列を含む結果の値を使用して指標を計算するスクリプトを実行します。

この例では、エクスポートされた予測データを使い、DataRobotの予測タイムスタンプ（DR_RESERVED_PREDICTION_TIMESTAMP）をDateFrameインデックス（または行ラベル）として、30日間のtime_in_hospital特徴量の変化を計算およびプロットしています。 また、エクスポートされたトレーニングデータをプロットのベースラインとして使用します。

import pandas as pd
feature_name = "<numeric_feature_name>"
training_df = pd.read_csv("<path_to_training_data_csv>")
baseline = training_df[feature_name].mean()
prediction_df = pd.read_csv("<path_to_prediction_data_csv>")
prediction_df["DR_RESERVED_PREDICTION_TIMESTAMP"] = pd.to_datetime(
    prediction_df["DR_RESERVED_PREDICTION_TIMESTAMP"]
)
predictions = prediction_df.set_index("DR_RESERVED_PREDICTION_TIMESTAMP")["time_in_hospital"]
ax = predictions.rolling('30D').mean().plot()
ax.axhline(y=baseline - 2, color="C1", label="training data baseline")
ax.legend()
ax.figure.savefig("feature_over_time.png") 

DataRobotの列参照¶

DataRobot は、エクスポート用に生成された予測データに、以下の列を自動的に追加します。

デプロイデータトレースの探索¶

カスタムまたは外部モデルのデプロイのデータ探索タブで、トレースをクリックすると、モデルまたはエージェントワークフローのトレースを探索できます。 タイムスタンプとトレースIDによって識別される各トレースには、モデルまたはエージェントによって実行されたすべてのアクションを表し、これらのアクションの順序と期間を示す視覚的なタイムラインが含まれています。

トレースは、モデルまたはエージェントのワークフローに対するリクエストがたどった経路を表します。 DataRobotでは、トレースにOpenTelemetryフレームワークを使用しています。 トレースは、起点から解決まで、リクエストのエンドツーエンドの経路全体を追跡します。 各トレースには、ルートスパンから始まる1つ以上のスパンが含まれます。 ルートスパンはリクエストの経路全体を表し、プロセスの各ステップの子スパンが含まれます。 ルート（または親）スパンと各子スパンは、同じトレースIDを共有します。

トレーステーブルでは、各トレースに関連する以下のフィールドを確認できます。

：material-filter： フィルターをクリックして、最小スパン期間、最大スパン期間、最小トレースコスト、最大トレースコストでフィルターします。 スパンフィルターの単位はナノ秒（ns）です。チャートにはスパンがミリ秒（ms）で表示されます。

トレースに含まれるスパンとトレースの詳細を確認するには、トレーステーブルのトレース行をクリックします。 スパンの色は、スパンサービス（通常はデプロイ）に対応します。 スパンに関連付けられたデプロイまたはサービスへのアクセス権がない場合、制限されたスパンが表示されます。 スパンはチャート形式またはリスト形式で表示できます。

どちらのビューでも、スパンサービス名をクリックして、デプロイまたはリソースにアクセスします（アクセス権がある場合）。 生成AIモデルまたはエージェントワークフローの設定に応じた追加情報を、情報、リソース、イベント、エラーの各タブで入手できます。 エラータブは、トレースでエラーが発生した場合にのみ表示されます。

デプロイデータ品質の探索¶

生成AIデプロイのデータ探索タブで、データ品質をクリックすると、プロンプトと回答をユーザーの評価やカスタム指標（実装されている場合）と一緒に調べ、生成AIモデルの品質に関するインサイトを得ることができます。 プロンプト、回答、および利用可能な指標は、関連付けIDによって対応付けられます。

データ品質テーブルに表示される行を設定するには、 設定をクリックして列管理パネルを開きます。このパネルでは、列の選択、非表示、並べ替えを行うことができます。

データ品質テーブルの特定の行を検索で見つけます。 検索条件をクリックし、プロンプトの値、回答、実測値のいずれかを選択します。 次に検索 をクリックします。

さらに、現在のデプロイ用に作成されたカスタム指標のいずれかから、1つのカスタム指標値でデータ品質テーブルをフィルターできます。 テーブルをフィルターするには、 フィルターをクリックし、指標を選択して、指標値を入力してから、フィルターを適用をクリックします。

開くアイコン をクリックして、詳細パネルを展開します。 行の完全なプロンプトと、関連付けIDによってそのプロンプトと一致した回答が表示されます。 また、（設定されていれば）カスタム指標値と引用も表示されます。

外部で使用するために列をエクスポートするには、選択された範囲のすべてをエクスポートをクリックして、カスタム指標の上部で定義されている時間範囲のすべての行をエクスポートするか、テーブルで1つ以上の行を選択している場合は、選択された行をエクスポートをクリックします。