Skip to content

アプリケーションの監視

アプリケーションを継続的に監視することで、問題の事前検知、パフォーマンスのボトルネックのトラブルシューティング、サービス中断への迅速な対応が可能になります。これにより、ダウンタイムを最小限に抑え、ユーザーエクスペリエンス全体を向上させることができます。 監視情報にアクセスするには、アプリケーションページに移動し、表示したいアプリをクリックします。

ここから、以下の監視オプションにアクセスできます。

  • サービスの正常性:メモリー、CPU、およびネットワークの使用状況を表示するダッシュボードを提供します。
  • アクティビティログ:アクセス、ランタイム、ビルド、およびバージョン履歴のログを表示します。
  • トレース:モデルまたはエージェントワークフローからのトレースが表示されます。 トレースの検索やフィルター、所要時間やトークン使用量の確認、スパンの展開による属性、ログ、入力、出力の表示ができます。

リソースの使用状況

サービスの正常性を確認する権限

アプリケーションのオーナー権限を持つユーザーとDataRobot管理者のみがサービスの正常性にアクセスできます。

サービスの正常性タブでは、個々のアプリケーションの使用状況、サービスの正常性、およびリソースの消費量を監視できます。 リソース消費の監視は、コスト管理に不可欠であり、リソースが効率的に使用されるため、コストの最適化に役立ちます。

アプリケーションの監視機能にアクセスするには、アプリケーションページで、表示したいアプリをクリックし、サービスの正常性を選択します。 ここから、次のことができます。

  要素 説明
1 時間の範囲/単位 チャートに表示する時間の範囲と単位を調整します。 単位ドロップダウンのオプションは、選択した範囲に基づいています。
2 表示を更新 使用状況に関する情報を即座に更新します。この情報は1分ごとに自動的に更新されます。
3 リソースの使用状況 指定された時間範囲におけるCPU使用率、メモリー使用量、ネットワーク使用量の各平均値と、リアルタイムの使用状況を表示します。 タイルをクリックすると、下のグラフで使用状況に関する情報を視覚的に確認できます。
4 使用状況チャート 選択された使用状況タイルおよび指定された時間範囲について、時間経過に伴う使用情報を視覚的に表示します。 CPU使用率については、平均使用率を表す線を表示することもできます。

アクティビティログ

ログの閲覧権限

アプリケーションのアクティビティログにアクセスするには、アプリケーションのオーナーまたはエディター権限が必要です。 アプリケーションソースを共有しても、アクティビティログへのアクセス権は付与されません。

DataRobotでは、カスタムアプリケーションに対して以下のアクティビティログを記録します。

アクティビティログ 説明
アクセスログ どのユーザーがいつアプリケーションにアクセスしたかを表示します。
ランタイムログ 実行中のアプリケーションのタスクのリアルタイムの記録を表示します。
ビルドログ アプリケーションのデプロイプロセスの履歴を表示します。
バージョン履歴ログ タイムスタンプが付与された、アプリケーションのバージョンの時系列の記録を表示します。

これらのアクティビティログにアクセスするには、アプリケーションページから、表示したいアプリをクリックし、アクティビティログを選択します。

ビルドログとランタイムログ

ビルドログおよびランタイムログタブでは、カスタムアプリケーションのコンパイル、構築、および実行の履歴を詳細に示すログを閲覧できます。 これには、依存関係のチェック、パッケージ化、および発生した警告やエラーが含まれます。

アクセスログ

アクセスログタブから、カスタムアプリケーションを開いたり操作したりしたユーザーの履歴を監視できます。

また、アプリケーションソースから直接アクセスログを表示することもできます。 レジストリ > アプリケーションのソースに移動して、カスタムアプリケーションのアプリケーションソースを見つけ、ドロップダウンを展開して、ソースから構築されたアプリケーションを表示します。 次に、アクセスログを表示したいカスタムアプリケーションをクリックし、詳細表示にアクセスします。

概要タブで、アクセスログセクションまでスクロールダウンします。

アクセスログには、メールアドレス、ユーザーID、アクセス日時、アプリケーションに対するユーザーのロールなど、ユーザーによるアプリケーションへのアクセスの詳細が記録されます。

利用状況のロギング間隔

最初のアクセスイベントに加えて、アプリケーションへのアクセスまたは使用が、24時間ごとに個別のアクセスとして記録されます。 たとえば、ユーザーがアプリケーションを開くとアクセスイベントがログに記録され、そのユーザーセッションが24時間を超えて継続的にアクセスまたは使用されると、別のアクセスイベントがログに記録されます。 これにより、カスタムアプリケーションを24時間1分アクセスすると、2つのアクセスイベントが記録されます。 セルフマネージドAIプラットフォーム環境では、この間隔はアプリケーション設定のCUSTOM_APP_USAGE_METRIC_PUBLISH_MAX_FREQによって変更可能です。

トレース

トレースを表示するために必要な権限

トレースタブへのアクセスには、アプリケーションのオーナーまたはエディター権限が必要です。 アプリケーションソースを共有しても、アプリケーショントレースへのアクセス権は付与されません。

アプリケーションのトレースタブには、モデルまたはエージェントワークフローからのトレースが表示されます。 各トレースには、スパンリストとタイムラインが組み合わされたものが含まれ、モデルまたはエージェントによって実行されたアクションの順序と所要時間が示されます。 検索行を使用して、最新のタイムスタンプ、ステータス(成功またはアラート)、および生成タイプ(オペレーションスパンまたは生成固有のスパン)を含むタイプでトレースを絞り込むことができます。 アプリケーションのトレースでは、デプロイのトレースと同じインターフェイスが使用されます。

ローカルでエージェントを開発している間、カスタムのOpenTelemetryスパンと属性(たとえば、ランタイム設定値)を追加できます。これにより、デプロイ後にトレースに表示されるようになります。 セットアップ手順とコード例については、エージェントにカスタムトレースを追加するを参照してください。

トレースは、モデルまたはエージェントのワークフローに対するリクエストがたどった経路を表します。 DataRobotでは、トレースにOpenTelemetryフレームワークを使用しています。 トレースは、起点から解決まで、リクエストのエンドツーエンドの経路全体を追跡します。 各トレースには、ルートスパンから始まる1つ以上のスパンが含まれます。 ルートスパンはリクエストの経路全体を表し、プロセスの各ステップの子スパンが含まれます。 ルート(または親)スパンと各子スパンは、同じトレースIDを共有します。

アクセスと保持

トレースは、カスタムアプリケーション、カスタムおよび外部モデルのデプロイ、ワークロードで利用可能です。 アプリケーション、デプロイ、およびワークロードは、同じトレースインターフェイスを共有しています。

保持期間は、システム管理者が組織レベルで設定し、その組織内のすべてのユーザーに適用されます。 ポリシーが明示的に設定されていない場合、トライアル版利用の組織には14日間のポリシーが、有料版利用の組織には30日間のポリシーが適用されます。 管理者は、シグナルタイプ(トレース、ログ、メトリクス)ごとに、保持期間を14、30、60、90、180、または360日に設定できます。

組織の保持期間設定を確認または変更するには、OTelの保持期間の設定を参照してください。

トレースは、ルートスパン名ごとにリストに表示されます。 各エントリーには、トレースのステータスとタイムスタンプが表示されます。 トレースを選択すると、詳細ペインが開き、リクエストの概要メタデータ、および統合されたスパンリストとタイムラインが表示されます。

リクエストに応じて、リストおよび詳細ペインには以下のフィールドが含まれる場合があります。

フィールド 説明
ルートスパン名 トレースのルートスパンの名前。
タイムスタンプ トレースの日付と時刻。
ステータス すべてのスパンを含む、トレースの全体的なステータス(例:成功)。 依存タスクが失敗した場合、ステータスはエラーになります。
トレースID トレースの一意の識別子。
ユーザーID リクエストに関連付けられたユーザー(存在する場合)。
待ち時間 トレースが完了するまでにかかった時間。 この値はルートスパンの継続時間と等しく、子スパンによって表されるすべてのアクションが含まれます。
トークン トレースにおけるトークンの使用量。
スパン トレースに含まれる完了したスパン(アクション)の数。
エラー エラーが記録されたトレース内のスパン数。
コスト コストデータが指定されている場合は、トレースの総コスト。
プロンプト トレースに関連するユーザープロンプト。
補完 トレースのプロンプトに関連付けられているエージェントまたはモデルの回答(補完)。
ツール トレースで表されたリクエスト中に呼び出されるツールまたはツール群。

トレースの検索とフィルター

トレースを検索するには、トレースリストの上にある検索行を使用します。

フィルター 説明
最新のタイムスタンプ トレース内の最新のアクティビティの時刻に基づいてトレースを絞り込みます。
ステータス 成功またはアラートのステータスに基づいてトレースを絞り込みます。
タイプ 生成タイプを含むタイプに基づいてトレースを絞り込み、運用スパンと生成固有のスパンを区別します。

スパンの確認

トレースを選択すると、そのスパンを確認できます。 スパンリストとタイムラインが一緒に表示されます。各行にはスパン名、継続時間、トークンの使用量が表示され、タイムラインチャートでは、トレース全体の中でそのスパンがいつ実行されたかが示されます。 親スパンを展開すると、その子スパンが表示されます。 スパンに関連付けられたデプロイまたはサービスへのアクセス権がない場合、制限付きスパンと表示されます。

スパンビューでは、継続時間、トークン、名前、ステータスコードでスパンをフィルターしたり、同一のスパンを抽出したりできます。

スパンを選択すると、概要メタデータ、ログ、入力、出力、およびその他のメタデータが同じページで確認できます。 スパン内のフォーマット済みテキストは、属性と並んで表示されます。 スパンサービスまたはモデル名をクリックすると、デプロイまたはリソースにアクセスできます(アクセス権がある場合)。

スパンを展開すると、スパン属性、入力、出力とともにログが表示されます。 表示される結果は、完全なデプロイログの一部です。

属性分布の分析

スパン属性については、同じスパン名を持つすべてのスパンにおける値の分布を確認したり、選択したスパンの値に対する異常スコアを確認したりすることができます。 この分布を利用して、レイテンシー、トークン数、ルーティング決定などの値が、エージェントのそのステップにおいて標準的であるかどうかを確認してください。

分布を表示するには、スパンを選択し、属性タブで属性にカーソルを合わせ、ヒストグラムアイコンをクリックします。 このアイコンは数値属性およびテキスト属性で利用できますが、ネストされたオブジェクトでは利用できません。

属性の分布は、その属性名が付けられたモーダルで開きます。

フィールド 説明
現在の値 選択したスパンにおける属性の値。
異常スコア 現在の値に対する0から1までのスコア。スコアリング方法が括弧で囲んで示されます。 スコアを算出できない場合はN/Aと表示されます。
時間間隔 分布に含まれるスパンの日付範囲(UTC)。トレースリストの時間フィルターから取得されます。 時間フィルターが設定されていない場合は、すべてと表示されます。
チャート 値ごと(テキスト属性)または値の範囲ごと(数値属性)のスパン数。 破線は現在の値を示しています。

スコアリング方法は属性のタイプによって異なります。

方法 属性のタイプ 解釈
DMAD 数値 二重中央値絶対偏差(DMAD)。 その値を、中央値に対してその値と同じ側の値のばらつきと比較するため、レイテンシーのような偏りのある属性でも公平にスコアリングされます。 スコアが高いほど異常値であり、中央値の場合、スコアは0になります。ほぼ一定な属性については計算されません。
相対頻度 テキスト 同じ値を持つスパンの割合。 スコアが低いほど出現頻度が低く、たとえばスコアが0.1429の場合、約14%のスパンがこの値を持っていることを意味します。

ブール型属性(trueまたはfalse)には、分布や異常スコアはありません。 この属性を持つ一致するスパンがない場合は、データがありませんと表示されます。トレースリストの時間フィルターの範囲を広げて、再度お試しください。

異常スコアの算出方法

スコアは、チャートに表示されているのと同じヒストグラムから算出されます。 対象となる母集団は、指定された時間間隔および保持期間内に、同じデプロイ、アプリケーション、またはワークロード内で、その属性と同一のスパン名を持つすべてのスパンです。 選択されたスパンもこれに含まれます。 中央値はヒストグラムのビンから推定されるため、スコアは概算値となります。

DMAD(数値属性)

DMADは、値が典型値からどれほど離れているかを、分布のその側における典型的なばらつきの単位を用いて測定する指標です。 その計算方法は以下のとおりです。

  1. ヒストグラム内のすべての値の中央値(\(m\))を求めます。
  2. その値が分布のどちら側に属するかを決定します。 値\(x\)が\(m\)以上である場合は、\(m\)以上の値を用い、そうでない場合は\(m\)以下の値を用います。
  3. その側の中央値(\(m_{side}\))を求めます。 ばらつきは、2つの中央値間の距離(\(d = |m_{side} - m|\))となります。
  4. 中央値からの距離をばらつき(スプレッド)単位で求め(\(k = \frac{|x - m|}{d}\))、これをスコアに変換します。
\[ \text{score} = \frac{k}{1 + k} \]

各側にはそれぞれ独自のばらつきがあるため、一方の側にロングテール(たとえば、時折発生する処理の遅いリクエストなど)があっても、もう一方の側の異常値が隠れてしまうことはありません。 ほぼ一定な属性の場合のように、値の側のばらつきが0である場合、スコアは計算されず、N/Aと表示されます。

スコアは、その値が中央値から何スプレッド離れているかによってのみ決まります。

中央値からの距離 スコア
0(中央値そのもの) 0
1スプレッド 0.5
3スプレッド 0.75
9スプレッド 0.9
19スプレッド 0.95

たとえば、あるスパンのレイテンシーの中央値が2秒で、2秒を超えるレイテンシーの中央値が3秒の場合、スプレッドは1秒となります。 5秒のレイテンシーは中央値から3スプレッド離れており、スコアは0.75となります。

相対頻度(テキスト属性)

相対頻度とは、同じ値を持つスパンの数を、ヒストグラム内のスパンの総数で割った値のことです。

\[ \text{score} = \frac{\text{spans with this value}}{\text{all spans with the attribute}} \]

DMADとは異なり、相対頻度のスコアが低いほど、その値はより珍しいことを示します。 他のどのスパンにも見られない値の場合、そのスコアは\(1/N\)となります。ここで、\(N\)はその属性を持つスパンの数です。

トレーステーブルのOTel属性

コスト、プロンプト、補完、およびツールについては、DataRobotはトレースに属するすべてのスパンにわたる特定のスパン属性を読み取ります。 その他のフィールド(タイムスタンプ、レイテンシー、トークンなど)は、これらの属性ではなく、トレースおよびスパンのメタデータから取得されます。

列 OpenTelemetryのマッピング
コスト トレース内のスパンにある datarobot.moderation.cost属性の数値を合計します(その属性が存在する場合)。
プロンプト gen_ai.prompt属性を使用します。 複数のスパンにgen_ai.promptが含まれている場合、トレース順で最初に検出された値が表示されます。
補完 gen_ai.completion属性を使用します。 複数のスパンにgen_ai.completionが含まれている場合、トレース順で最後に検出された値が表示されます。
ツール トレース内のスパンで検出されたtool_name属性の一意の値をすべて収集し、それらのツール名を列に一覧表示します。

属性キーは完全に一致する必要があります(gen_ai内のアンダースコアも含みます)。 genai.promptやGenAI.promptといった名前は、プロンプトおよび補完列では読み込まれません。

自動計装(DataRobotのエージェントテンプレートを含む)では、多くの場合、gen_ai.prompt、gen_ai.completion、そして場合によってはtool_nameが設定されます。 カスタムモデルや外部モデルの場合、フレームワークが異なります。ツールが実行されても(たとえば、一部のLangGraphコールバックフロー)、実行時にtool_nameが出力されない場合があります。 その場合、プロンプトと補完には値を設定できますが、ツールについては、ツール内で実行されるスパンにtool_nameが設定されるまでは空のままになります。トレースの実装を参照してください。