Explore monitoring data and traces¶
On the Monitoring > Data exploration tab, you can explore traces from the Workload. トレースは、ルートスパン名、タイムスタンプ、ステータス別にリストに表示されます。 トレースを選択すると、ワークロードによって実行されたアクションのスパンリストとタイムラインをまとめて確認できます。 最新のタイムスタンプ、ステータス、タイプでトレースを絞り込むには、検索行を使用します。
タブの上部にあるアーティファクトドロップダウンを使用して、アーティファクトのバージョンごとにトレースをフィルターできます。 これにより、トレーステーブルが当該アーティファクトによって処理されたリクエストに絞り込まれます。これは、アーティファクトの置き換え前後のトレースの挙動を比較する際に役立ちます。 また、このドロップダウンでは、このページから直接アーティファクトの置き換えを開始することもできます。
ワークロードでDataRobot Moderationsライブラリが使用されている場合、モデレーションのスパンは、アプリケーションのトレースとともにトレーステーブルに表示されます。 コストガードが設定されると、datarobot.moderation.costというスパン属性の値が、トレース内のすべてのスパンについて集計され、コスト列に表示されます。
トレースは、モデルまたはエージェントのワークフローに対するリクエストがたどった経路を表します。 DataRobotでは、トレースにOpenTelemetryフレームワークを使用しています。 トレースは、起点から解決まで、リクエストのエンドツーエンドの経路全体を追跡します。 各トレースには、ルートスパンから始まる1つ以上のスパンが含まれます。 ルートスパンはリクエストの経路全体を表し、プロセスの各ステップの子スパンが含まれます。 ルート(または親)スパンと各子スパンは、同じトレースIDを共有します。
アクセスと保持
トレースは、カスタムアプリケーション、カスタムおよび外部モデルのデプロイ、ワークロードで利用可能です。 アプリケーション、デプロイ、およびワークロードは、同じトレースインターフェイスを共有しています。
保持期間は、システム管理者が組織レベルで設定し、その組織内のすべてのユーザーに適用されます。 ポリシーが明示的に設定されていない場合、トライアル版利用の組織には14日間のポリシーが、有料版利用の組織には30日間のポリシーが適用されます。 管理者は、シグナルタイプ(トレース、ログ、メトリクス)ごとに、保持期間を14、30、60、90、180、または360日に設定できます。
組織の保持期間設定を確認または変更するには、OTelの保持期間の設定を参照してください。
トレースは、ルートスパン名ごとにリストに表示されます。 各エントリーには、トレースのステータスとタイムスタンプが表示されます。 トレースを選択すると、詳細ペインが開き、リクエストの概要メタデータ、および統合されたスパンリストとタイムラインが表示されます。
リクエストに応じて、リストおよび詳細ペインには以下のフィールドが含まれる場合があります。
| フィールド | 説明 |
|---|---|
| ルートスパン名 | トレースのルートスパンの名前。 |
| タイムスタンプ | トレースの日付と時刻。 |
| ステータス | すべてのスパンを含む、トレースの全体的なステータス(例:成功)。 依存タスクが失敗した場合、ステータスはエラーになります。 |
| トレースID | トレースの一意の識別子。 |
| ユーザーID | リクエストに関連付けられたユーザー(存在する場合)。 |
| 待ち時間 | トレースが完了するまでにかかった時間。 この値はルートスパンの継続時間と等しく、子スパンによって表されるすべてのアクションが含まれます。 |
| トークン | トレースにおけるトークンの使用量。 |
| スパン | トレースに含まれる完了したスパン(アクション)の数。 |
| エラー | エラーが記録されたトレース内のスパン数。 |
| コスト | コストデータが指定されている場合は、トレースの総コスト。 |
| プロンプト | トレースに関連するユーザープロンプト。 |
| 補完 | トレースのプロンプトに関連付けられているエージェントまたはモデルの回答(補完)。 |
| ツール | トレースで表されたリクエスト中に呼び出されるツールまたはツール群。 |
トレースの検索とフィルター¶
トレースを検索するには、トレースリストの上にある検索行を使用します。
| フィルター | 説明 |
|---|---|
| 最新のタイムスタンプ | トレース内の最新のアクティビティの時刻に基づいてトレースを絞り込みます。 |
| ステータス | 成功またはアラートのステータスに基づいてトレースを絞り込みます。 |
| タイプ | 生成タイプを含むタイプに基づいてトレースを絞り込み、運用スパンと生成固有のスパンを区別します。 |
スパンの確認¶
トレースを選択すると、そのスパンを確認できます。 スパンリストとタイムラインが一緒に表示されます。各行にはスパン名、継続時間、トークンの使用量が表示され、タイムラインチャートでは、トレース全体の中でそのスパンがいつ実行されたかが示されます。 親スパンを展開すると、その子スパンが表示されます。 スパンに関連付けられたデプロイまたはサービスへのアクセス権がない場合、制限付きスパンと表示されます。
スパンビューでは、継続時間、トークン、名前、ステータスコードでスパンをフィルターしたり、同一のスパンを抽出したりできます。
スパンを選択すると、概要メタデータ、ログ、入力、出力、およびその他のメタデータが同じページで確認できます。 スパン内のフォーマット済みテキストは、属性と並んで表示されます。 スパンサービスまたはモデル名をクリックすると、デプロイまたはリソースにアクセスできます(アクセス権がある場合)。
スパンを展開すると、スパン属性、入力、出力とともにログが表示されます。 表示される結果は、完全なデプロイログの一部です。
属性分布の分析¶
スパン属性については、同じスパン名を持つすべてのスパンにおける値の分布を確認したり、選択したスパンの値に対する異常スコアを確認したりすることができます。 この分布を利用して、レイテンシー、トークン数、ルーティング決定などの値が、エージェントのそのステップにおいて標準的であるかどうかを確認してください。
分布を表示するには、スパンを選択し、属性タブで属性にカーソルを合わせ、ヒストグラムアイコンをクリックします。 このアイコンは数値属性およびテキスト属性で利用できますが、ネストされたオブジェクトでは利用できません。
属性の分布は、その属性名が付けられたモーダルで開きます。
| フィールド | 説明 |
|---|---|
| 現在の値 | 選択したスパンにおける属性の値。 |
| 異常スコア | 現在の値に対する0から1までのスコア。スコアリング方法が括弧で囲んで示されます。 スコアを算出できない場合はN/Aと表示されます。 |
| 時間間隔 | 分布に含まれるスパンの日付範囲(UTC)。トレースリストの時間フィルターから取得されます。 時間フィルターが設定されていない場合は、すべてと表示されます。 |
| チャート | 値ごと(テキスト属性)または値の範囲ごと(数値属性)のスパン数。 破線は現在の値を示しています。 |
スコアリング方法は属性のタイプによって異なります。
| 方法 | 属性のタイプ | 解釈 |
|---|---|---|
| DMAD | 数値 | 二重中央値絶対偏差(DMAD)。 その値を、中央値に対してその値と同じ側の値のばらつきと比較するため、レイテンシーのような偏りのある属性でも公平にスコアリングされます。 スコアが高いほど異常値であり、中央値の場合、スコアは0になります。ほぼ一定な属性については計算されません。 |
| 相対頻度 | テキスト | 同じ値を持つスパンの割合。 スコアが低いほど出現頻度が低く、たとえばスコアが0.1429の場合、約14%のスパンがこの値を持っていることを意味します。 |
ブール型属性(trueまたはfalse)には、分布や異常スコアはありません。 この属性を持つ一致するスパンがない場合は、データがありませんと表示されます。トレースリストの時間フィルターの範囲を広げて、再度お試しください。
異常スコアの算出方法¶
スコアは、チャートに表示されているのと同じヒストグラムから算出されます。 対象となる母集団は、指定された時間間隔および保持期間内に、同じデプロイ、アプリケーション、またはワークロード内で、その属性と同一のスパン名を持つすべてのスパンです。 選択されたスパンもこれに含まれます。 中央値はヒストグラムのビンから推定されるため、スコアは概算値となります。
DMAD(数値属性)¶
DMADは、値が典型値からどれほど離れているかを、分布のその側における典型的なばらつきの単位を用いて測定する指標です。 その計算方法は以下のとおりです。
- ヒストグラム内のすべての値の中央値(\(m\))を求めます。
- その値が分布のどちら側に属するかを決定します。 値\(x\)が\(m\)以上である場合は、\(m\)以上の値を用い、そうでない場合は\(m\)以下の値を用います。
- その側の中央値(\(m_{side}\))を求めます。 ばらつきは、2つの中央値間の距離(\(d = |m_{side} - m|\))となります。
- 中央値からの距離をばらつき(スプレッド)単位で求め(\(k = \frac{|x - m|}{d}\))、これをスコアに変換します。
各側にはそれぞれ独自のばらつきがあるため、一方の側にロングテール(たとえば、時折発生する処理の遅いリクエストなど)があっても、もう一方の側の異常値が隠れてしまうことはありません。 ほぼ一定な属性の場合のように、値の側のばらつきが0である場合、スコアは計算されず、N/Aと表示されます。
スコアは、その値が中央値から何スプレッド離れているかによってのみ決まります。
| 中央値からの距離 | スコア |
|---|---|
| 0(中央値そのもの) | 0 |
| 1スプレッド | 0.5 |
| 3スプレッド | 0.75 |
| 9スプレッド | 0.9 |
| 19スプレッド | 0.95 |
たとえば、あるスパンのレイテンシーの中央値が2秒で、2秒を超えるレイテンシーの中央値が3秒の場合、スプレッドは1秒となります。 5秒のレイテンシーは中央値から3スプレッド離れており、スコアは0.75となります。
相対頻度(テキスト属性)¶
相対頻度とは、同じ値を持つスパンの数を、ヒストグラム内のスパンの総数で割った値のことです。
DMADとは異なり、相対頻度のスコアが低いほど、その値はより珍しいことを示します。 他のどのスパンにも見られない値の場合、そのスコアは\(1/N\)となります。ここで、\(N\)はその属性を持つスパンの数です。
トレーステーブルのOTel属性¶
コスト、プロンプト、補完、およびツールについては、DataRobotはトレースに属するすべてのスパンにわたる特定のスパン属性を読み取ります。 その他のフィールド(タイムスタンプ、レイテンシー、トークンなど)は、これらの属性ではなく、トレースおよびスパンのメタデータから取得されます。
| 列 | OpenTelemetryのマッピング |
|---|---|
| コスト | トレース内のスパンにある datarobot.moderation.cost属性の数値を合計します(その属性が存在する場合)。 |
| プロンプト | gen_ai.prompt属性を使用します。 複数のスパンにgen_ai.promptが含まれている場合、トレース順で最初に検出された値が表示されます。 |
| 補完 | gen_ai.completion属性を使用します。 複数のスパンにgen_ai.completionが含まれている場合、トレース順で最後に検出された値が表示されます。 |
| ツール | トレース内のスパンで検出されたtool_name属性の一意の値をすべて収集し、それらのツール名を列に一覧表示します。 |
属性キーは完全に一致する必要があります(gen_ai内のアンダースコアも含みます)。 genai.promptやGenAI.promptといった名前は、プロンプトおよび補完列では読み込まれません。
自動計装(DataRobotのエージェントテンプレートを含む)では、多くの場合、gen_ai.prompt、gen_ai.completion、そして場合によってはtool_nameが設定されます。 カスタムモデルや外部モデルの場合、フレームワークが異なります。ツールが実行されても(たとえば、一部のLangGraphコールバックフロー)、実行時にtool_nameが出力されない場合があります。 その場合、プロンプトと補完には値を設定できますが、ツールについては、ツール内で実行されるスパンにtool_nameが設定されるまでは空のままになります。トレースの実装を参照してください。




