カスタム指標¶

デプロイのモニタリング > カスタム指標タブでは、 データ探索タブから収集するデータ（または他のカスタム指標を介して計算されたデータ）を使用して、カスタムビジネス指標またはパフォーマンス指標を計算して監視できます。 When you configure evaluation and moderation guardrails (including NeMo Evaluator metrics) for a text generation or agentic workflow deployment, the guards also report metrics to this tab—for example, guard latency, average score for prompt or response, and blocked count per guard—so you can monitor and debug guard behavior over time. これらの指標は、変更可能なカスタム指標のサマリーダッシュボードに記録され、そこで各指標の経時変化を監視、視覚化、およびエクスポートします。 この機能により、組織固有の指標を実装して、DataRobotに組み込まれているサービスの正常性、データドリフト、精度の各指標によって提供されるインサイトを拡張できます。

カスタム指標を表示して追加するには、コンソールでカスタム指標を作成するデプロイを開き、モニタリング > カスタム指標タブをクリックします。

カスタム指標を追加¶

指標を追加するには、予測モデルデプロイまたは生成モデルデプロイで、モニタリング > カスタム指標タブをクリックします。 次に、カスタム指標タブで、+ カスタム指標を追加をクリックし、次のカスタム指標タイプのいずれかを選択して、テーブルでリンクされている設定ステップに進みます。

外部カスタム指標の追加¶

外部カスタム指標を使用すると、DataRobotの外部で計算が行われる指標を作成できます。 外部指標を使用すると、DataRobotに保存および視覚化する指標値を送信できます。 外部指標は、ノートブック、ジョブ、カスタムモデルなどのDataRobotの他のツール、Airflowなどの外部ツール、またはクラウドプロバイダーと組み合わせて、特定の指標に必要なホスティングと計算を提供できます。

外部カスタム指標を追加するには、カスタム指標を追加ダイアログボックスで指標の設定を行い、カスタム指標を追加をクリックします。

ホストされたカスタム指標の追加¶

ホストされたカスタム指標を使用すると、デプロイに組織の特殊な指標を最大5つ実装し、 DataRobot Notebooksを使用してカスタム指標コードをアップロードし、カスタムジョブインフラストラクチャで指標計算をホストできます。 作成後、これらのカスタム指標は、他のデプロイで再利用できます。

カスタム指標を追加ダイアログボックスで、ホストされたカスタム指標を追加するには、指標を設定し、ノートブックからカスタム指標を追加をクリックします。

カスタム指標を設定すると、そのコードを含むノートブックがロードされます。 ノートブックには、1つのカスタム指標セルが含まれています。 カスタム指標セルは独自のノートブックセルで、指標のエクスポートと計算の方法を定義するPythonコード、スコアリングのコード、および指標を設定するコードが含まれます。 必要に応じて、カスタム指標セルのコードを変更します。 次に、セルの下部にあるカスタム指標コードをテストをクリックして、コードをテストします。 テストではカスタムジョブが作成されます。 テストが正常に実行された場合、カスタム指標コードをデプロイをクリックして、カスタム指標をデプロイに追加します。

コードが正しく実行されない場合、テスト完了後に、カスタム指標コードのテストに失敗しましたという警告が表示されます。 カスタム指標ジョブを開くをクリックしてジョブにアクセスし、ログを確認して問題のトラブルシューティングを行います。

カスタム指標のコードをトラブルシューティングするには、失敗したテストのログなどのジョブの実行タブに移動します。 失敗した実行で、 ログを表示をクリックします。

ギャラリーからホストされたカスタム指標を追加¶

カスタム指標ギャラリーは、事前に作成され、再利用と共有が可能なコードを含む一元化されたライブラリを提供します。このコードは、予測モデルや生成モデル向けに、ホストされた各種カスタム指標を実装します。 これらの指標は、変更可能なカスタム指標のサマリーダッシュボードで、外部のカスタム指標とともに記録されます。 このダッシュボードから、各指標の時間経過に伴う変化を監視、視覚化、およびエクスポートできます。 この機能により、組織固有の指標を実装して、DataRobotに組み込まれているサービスの正常性、データドリフト、精度の各指標によって提供されるインサイトを拡張できます。

事前に作成されたカスタム指標をデプロイに追加するには：

1. カスタム指標を追加パネルで、ユースケースに適したカスタム指標テンプレートを選択します。

   

   DataRobotは、3つの異なるカテゴリーの指標タイプを提供しています。

   二値分類連続値LLM（生成）エージェントのワークフロー / LLM

   カスタム指標のテンプレート	説明
   上位x%のリコール	並べ替えられた予測確率の特定の上位部分に限定して、モデルのパフォーマンスを測定します。 リコールは、モデルによって正しく識別される実際の陽性の割合を計算するモデルのパフォーマンス指標です。
   上位x%の陽性的中率	並べ替えられた予測確率の特定の上位部分に限定して、モデルのパフォーマンスを測定します。 陽性的中率は、予測された陽性の合計から正しく予測された陽性の観測値の割合を計算するモデルのパフォーマンス指標です。
   上位x%のF1	並べ替えられた予測確率の特定の上位部分に限定して、モデルのパフォーマンスを測定します。 F1スコアは、陽性的中率とリコールの両方を考慮するモデルのパフォーマンス指標です。
   上位x%のAUC（ROC曲線下の領域）	並べ替えられた予測確率の特定の上位部分に限定して、モデルのパフォーマンスを測定します。

   カスタム指標のテンプレート	説明
   平均二乗対数誤差（MSLE）	予測値と実測値の対数の平方差の平均を計算します。 これは、ターゲット値が人口数、期間内の商品の平均売上高などの指数関数的に増加すると予想される場合に、連続値問題で使用される損失関数です。
   中央絶対誤差（MedAE）	ターゲット値と予測値の間の絶対差の中央値を計算します。 これは、予測の精度を測定するために連続値問題で使用される堅牢な指標です。

   カスタム指標のテンプレート	説明
   読み終わるまでの時間	LLMが生成したテキストを人が読むのにかかる平均時間を推定します。
   出力トークン数の平均	リクエストされた期間の完了時のトークンの平均数を計算します。 使用されるcl100k_baseエンコーディングは、OpenAIモデル（gpt-4、gpt-3.5-turbo、text-embedding-ada-002）のみをサポートします。別のモデルを使用する場合は、エンコーディングを変更してください。
   コサイン類似度の平均	各プロンプトベクターと対応するコンテキストベクター間の平均コサイン類似度を計算します。
   コサイン類似度の最大値	各プロンプトベクターと対応するコンテキストベクター間の最大のコサイン類似度を計算します。
   コサイン類似度の最小値	各プロンプトベクターと対応するコンテキストベクター間の最小のコサイン類似度を計算します。
   コスト	入力、出力、および検索されたテキストのトークン数を計算してから、トークンの価格設定を適用することで、LLMを使用する際の財務コストを推定します。 使用されるcl100k_baseエンコーディングは、OpenAIモデル（gpt-4、gpt-3.5-turbo、text-embedding-ada-002）のみをサポートします。別のモデルを使用する場合は、エンコーディングを変更してください。
   Dale-Chall 読みやすさ	難解な単語の割合と平均的な文章の長さに基づいて、テキストを理解するのに必要な米国の学年レベルを測定します。
   ユークリッド平均	各プロンプトベクターと対応するコンテキストベクター間の平均ユークリッド距離を計算します。
   ユークリッド最大値	各プロンプトベクターと対応するコンテキストベクター間の最大ユークリッド距離を計算します。
   ユークリッド最小値	各プロンプトベクターと対応するコンテキストベクター間の最小ユークリッド距離を計算します。
   フレッシュ読解容易性	テキストの読みやすさを、平均の文章長さと単語あたりの平均音節数に基づいて測定します。
   プロンプトインジェクション[サイドカー指標]	システムプロンプトの上書きや変更など、モデルの出力を変えることを目的とした入力操作を検出します。 この指標には、プロンプトインジェクション分類器の グローバルモデルを追加でデプロイする必要があります。
   プロンプトトークンの平均	リクエストされた期間のプロンプトでの平均トークン数を計算します。 使用されるcl100k_baseエンコーディングは、OpenAIモデル（gpt-4、gpt-3.5-turbo、text-embedding-ada-002）のみをサポートします。別のモデルを使用する場合は、エンコーディングを変更してください。
   文章数	LLMによって生成されたユーザープロンプトとテキスト内の文章の総数を計算します。
   センチメント	テキストのセンチメントを肯定的か否定的に分類します
   センチメント[サイドカー指標]	事前に学習された感情分類モデルを使用して、テキストの感情を肯定的または否定的に分類します。 この指標には、感情分類器の グローバルモデルを追加でデプロイする必要があります。
   音節数	ユーザープロンプトとLLMが生成したテキストに含まれる単語の音節数の合計を計算します。
   トークンの平均	プロンプトと補完のトークンの平均を計算します。 使用されるcl100k_baseエンコーディングは、OpenAIモデル（gpt-4、gpt-3.5-turbo、text-embedding-ada-002）のみをサポートします。別のモデルを使用する場合は、エンコーディングを変更してください。
   毒性[サイドカー指標]	事前に訓練された差別的発言の分類モデルを使用してテキストの毒性を測定し、有害なコンテンツを防止します。 この指標には、毒性分類器の グローバルモデルを追加でデプロイする必要があります。
   ワードカウント	ユーザープロンプトとLLMが生成したテキストに含まれる単語数の合計を計算します。
   日本語テキストの指標
   [日本語] 文字数	LLMでの作業中に生成された文字数の合計を計算します。
   [日本語] PII出現数	LLMでの作業中に発生したPIIの総数を計算します。

   カスタム指標のテンプレート	説明
   エージェントの出力トークン	エージェントベースのLLM呼び出しの総出力トークン数を計算します。
   エージェントのコスト	エージェントベースのLLM呼び出しの総コストを計算します。 指標がトレースからコストを計算できるように、各LLMスパンがトークンの使用状況を報告する必要があります。
   エージェントのプロンプトトークン	エージェントベースのLLM呼び出しの総プロンプトトークン数を計算します。

2. リストから指標を選択したら、カスタム指標設定サイドバーで、指標計算スケジュールを設定するか、指標計算を直ちに実行し、必要に応じて指標ベースライン値を設定します。

   

   サイドカー指標

   [sidecar metric]を選択した場合は、アセンブルタブを開いたときに、ランタイムパラメーターセクションに移動してSIDECAR_DEPLOYMENT_IDを設定します。サイドカー指標を、その指標の計算に必要な接続されたデプロイに関連付けます。 指標を計算するモデルをデプロイしていない場合、これらの指標には、 グローバルモデルとして事前に定義されたモデルがあります。

3. 指標を作成をクリックします。 新しい指標が、カスタム指標ダッシュボードに表示されます。

   

4. カスタム指標を作成すると、その指標に関連付けられたカスタムジョブを表示できます。 このジョブは定義されたスケジュールで実行され、ギャラリーからではない ホストされたカスタム指標と同様にカスタム指標を計算します。 関連付けられたカスタムジョブへのアクセスと管理を行うには、アクションメニュー をクリックして、 カスタムジョブを開くをクリックします。

   

カスタム指標にデータをアップロード¶

カスタム指標を作成した後、データを提供して指標を計算できます。

1. カスタム指標タブで、データをアップロードするカスタム指標を見つけ、 データをアップロードするアイコンをクリックします。

   

2. データをアップロードダイアログボックスで、アップロード方法を選択してから、次へをクリックします：

   

   アップロード方法	説明
   データレジストリを使用	データセットを選択パネルで、データセットをアップロードするか、またはリストからデータセットをクリックして、その後確認をクリックします。 データレジストリには、 データ探索タブのデータセットが含まれます。
   APIを使用	APIクライアントを使用ダイアログボックスで、クリップボードにコピーをクリックしてから、APIスニペットを変更し、それを使用してデータセットをアップロードします。 1回のAPI呼び出しで最大10,000個の値をアップロードできます。

3. データセット列を選択ダイアログボックスで、以下を設定します。

   

   フィールド	説明
   タイムスタンプ列	（必須）タイムスタンプを含むデータセット内の列。
   値列	（必須）カスタム指標の計算に使用される値を含むデータセット内の列。
   関連付けID	予測値を実測値にリンクするためにカスタム指標で必要とする関連付けIDを含む行。
   日付形式	タイムスタンプ列で使用される日付形式。

4. データをアップロードするをクリックします。

チャットリクエストによるカスタム指標の報告¶

DataRobotにデプロイされたテキスト生成およびエージェントワークフローのカスタムモデルで、chat()フックを実装する場合、extra_bodyフィールドによって、チャット補完リクエスト内で直接カスタム指標値を報告できます。 これにより、チャットリクエストを行うと同時にカスタム指標を報告することができ、データを別々にアップロードする必要はありません。

チャットリクエストでカスタム指標を報告するには：

1. デプロイに関連付けID列が定義され、モデレーションが設定されていることを確認します。 これらは、カスタム指標を処理するために必要です。

2. 外部カスタム指標の追加の説明に従って、カスタム指標タブでカスタム指標を定義します。

3. OpenAIクライアントを使用してチャット補完リクエストを行う場合、extra_bodyフィールドにdatarobot_metricsを含め、報告する指標の名前と値を入力します。

from openai import OpenAI

openai_client = OpenAI(
    base_url="https://<your-datarobot-instance>/api/v2/deployments/{deployment_id}/",
    api_key="<your_api_key>",
)

extra_body = {
    # These values pass through to the LLM
    "llm_id": "azure-gpt-6",
    # If set here, replaces the auto-generated association ID
    "datarobot_association_id": "my_association_id_0001",
    # DataRobot captures these for custom metrics
    "datarobot_metrics": {
        "field1": 24,
        "field2": 25
    }
}

completion = openai_client.chat.completions.create(
    model="datarobot-deployed-llm",
    messages=[
        {"role": "system", "content": "Explain your thoughts using at least 100 words."},
        {"role": "user", "content": "What would it take to colonize Mars?"},
    ],
    max_tokens=512,
    extra_body=extra_body
)

print(completion.choices[0].message.content) 

関連付けIDの指定方法など、チャットリクエストでのextra_bodyの使用の詳細については、chat()フックのドキュメントを参照してください。

カスタム指標の管理¶

カスタム指標ダッシュボードでは、カスタム指標を追加した後、それらを編集または削除できます。

カスタム指標タブで、管理したいカスタム指標を見つけてから、アクションメニュー  をクリックします。

• 指標を編集するには、 編集をクリックし、変更可能な設定を更新して、カスタム指標を更新をクリックします。

• 指標を削除するには、 削除をクリックします。

カスタム指標ダッシュボードの表示設定¶

以下の設定を行い、ダッシュボードに表示するカスタム指標の計算を指定します。

ダッシュボード上の指標の配置または非表示¶

カスタム指標のサマリーダッシュボードで指標を並べ替えたり非表示にしたりするには、移動または非表示にするカスタム指標を見つけます。

• 指標を移動するには、指標タイルの左側にあるグリッドアイコン をクリックしてから、指標を新しい場所にドラッグします。

• 指標のチャートを非表示にするには、指標名の横にあるチェックボックスをオフにします。

カテゴリー指標のチャートタイプの選択¶

カテゴリーの外部カスタム指標を追加した場合、カスタム指標サマリーダッシュボードの指標チャートは、折れ線グラフまたは棒グラフとして表示できます。 チャートビューを変更するには、プロット領域の右上隅にある設定アイコンをクリックしてから、折れ線グラフとして表示チェックボックスをオン（またはオフ）します。

地理空間指標のチャートタイプを選択¶

地理空間指標を追加した場合、カスタム指標のサマリーダッシュボード上の指標チャートは、標準のチャートまたは地理空間チャート（地図に重ねて表示）として表示できます。 表示を変更するには、プロット領域の右上隅にある地理空間チャートを表示をクリックします。

デプロイデータトレースの探索¶

カスタムまたは外部モデルのデプロイのカスタム指標タブで、カスタム指標チャートのヘッダーのトレースを表示をクリックして、デプロイのトレースデータを表示します。

トレースは、モデルまたはエージェントのワークフローに対するリクエストがたどった経路を表します。 DataRobotでは、トレースにOpenTelemetryフレームワークを使用しています。 トレースは、起点から解決まで、リクエストのエンドツーエンドの経路全体を追跡します。 各トレースには、ルートスパンから始まる1つ以上のスパンが含まれます。 ルートスパンはリクエストの経路全体を表し、プロセスの各ステップの子スパンが含まれます。 ルート（または親）スパンと各子スパンは、同じトレースIDを共有します。

トレーステーブルでは、各トレースに関連する以下のフィールドを確認できます。

フィルターをクリックして、最小スパン期間、最大スパン期間、最小トレースコスト、最大トレースコストでフィルターします。 スパンフィルターの単位はナノ秒（ns）です。チャートにはスパンがミリ秒（ms）で表示されます。

トレースに含まれるスパンとトレースの詳細を確認するには、トレーステーブルのトレース行をクリックします。 スパンの色は、スパンサービス（通常はデプロイ）に対応します。 スパンに関連付けられたデプロイまたはサービスへのアクセス権がない場合、制限されたスパンが表示されます。 スパンはチャート形式またはリスト形式で表示できます。

どちらのビューでも、スパンサービス名をクリックして、デプロイまたはリソースにアクセスします（アクセス権がある場合）。 生成AIモデルまたはエージェントワークフローの設定に応じた追加情報を、情報、リソース、イベント、入力/出力、エラー、ログの各タブで入手できます。 エラータブは、トレースでエラーが発生した場合にのみ表示されます。

トレースログをフィルター¶

リストビューから、スパンのOTelログを表示できます。 表示される結果は完全なデプロイログのサブセットであり、以下のようにアクセスされます。

1. リストビューを開き、トレースの詳細でスパンを選択します。

2. ログタブをクリックします。

3. ログを表示をクリックします。