Skip to content

トレースを確認

エージェントワークフローの実行をトレースすることは、GenAIスタックの多くの部分がどのように機能するかを理解するための強力なツールです。 トレースタイルは、プレイグラウンドでエージェントの回答を生成する際に使用されたすべてのコンポーネントとプロンプティングアクティビティのログを提供します。 トレースからインサイトにより、プロンプト、ベクターデータベースのチャンク、コンテキストウィンドウ内の過去の対話など、エージェントが評価したすべてのものの完全なコンテキストが提供されます。 例:

  • DataRobotのメタデータ:タイムスタンプ、ステータス、ユースケース、プレイグラウンド、エージェントのワークフロー、開発者名を報告します。 これらは、エージェントのワークフローと対話するDataRobotオブジェクトから追加情報を表示する必要がある場合に、トレースレコードのソースを特定するのに役立ちます。
  • プロンプトと回答:ユーザープロンプト、エージェントワークフローの回答、ユーザーからのフィードバックの履歴を提供します。
  • 評価(設定されている場合):評価指標によるプロンプトや回答のスコアリング方法を示します。

トレーステーブルで特定の情報を見つけるには、 フィルターをクリックし、タイムスタンプ、ユーザー名、LLMブループリント名、LLM、ベクターデータベース、チャット名、評価データセットの任意の組み合わせでフィルターします。

データレジストリへのトレースデータの送信

データレジストリにアップロードをクリックして、トレーステーブルからデータレジストリにデータをエクスポートします。 警告は、毒性テストの実行結果が含まれ、その毒性テストの結果がデータレジストリのアップロードから除外された場合に、トレーステーブルに表示されます。

個々のチャットリクエストのトレース

すべてのプロンプトと回答について トレースタイルに記録された情報に加えて、1つのチャットリクエストがエージェントのワークフローを通る経路についてのトレースの詳細にもアクセスできます。 これは、単一のエージェントワークフローのチャットタブから実行します。 シングルエージェントのチャットでは、エージェント名の横にあるトレースを確認をクリックします。

トレースは、モデルまたはエージェントのワークフローに対するリクエストがたどった経路を表します。 DataRobotでは、トレースにOpenTelemetryフレームワークを使用しています。 トレースは、起点から解決まで、リクエストのエンドツーエンドの経路全体を追跡します。 各トレースには、ルートスパンから始まる1つ以上のスパンが含まれます。 ルートスパンはリクエストの経路全体を表し、プロセスの各ステップの子スパンが含まれます。 ルート(または親)スパンと各子スパンは、同じトレースIDを共有します。

トレースの詳細パネルのヘッダーで、リクエストのトレースID、実行時間(ミリ秒単位)、および関連するスパンサービスを確認します。 リストタブとチャートタブで、トレースに含まれるスパンとトレースの詳細を確認します。 スパンの色は、スパンサービスに対応します。 最初のスパンサービスはエクスペリメントコンテナで、その後に1つ以上のデプロイが続くこともあります。 スパンに関連付けられたデプロイまたはサービスへのアクセス権がない場合、制限されたスパンが表示されます。 スパンはチャート形式またはリスト形式で表示できます。

スパンの詳細をコントロール

どちらのビューからも、 詳細パネルを表示しないをクリックして、シングルエージェントチャットに戻ることができます。

トレースの詳細

リストビューでトレースの詳細をクリックすると、現在のスパンに関連付けられているトレースに関する入力/出力プロンプト補完)および評価の詳細を表示できます。

どちらのビューでも、スパンサービス名をクリックして、デプロイまたはリソースにアクセスします(アクセス権がある場合)。 生成AIモデルまたはエージェントワークフローの設定に応じた追加情報を、情報リソースイベントエラーの各タブで入手できます。 エラータブは、トレースでエラーが発生した場合にのみ表示されます。