Skip to content

アプリケーション内で をクリックすると、お使いのDataRobotバージョンに関する全プラットフォームドキュメントにアクセスできます。

カスタム指標

On a deployment's Monitoring > Custom metrics tab, you can use the data you collect from the Data exploration tab (or data calculated through other custom metrics) to compute and monitor custom business or performance metrics. これらの指標は、設定可能なカスタム指標サマリーダッシュボードに記録され、そこで各指標の経時変化を監視、視覚化、およびエクスポートします。 この機能により、組織固有の指標を実装して、DataRobotに組み込まれているサービスの正常性データドリフト精度の各指標によって提供されるインサイトを拡張できます。

カスタム指標数の上限

デプロイごとに最大50個のカスタム指標を設定できます。

カスタム指標を表示して追加するには、コンソールでカスタム指標を作成するデプロイを開き、モニタリング > カスタム指標タブをクリックします。

カスタム指標を追加{ #add-custom-metrics }

カスタム指標タブは、デプロイごとに最大25の指標を追跡でき、これには、外部でホストされる指標、カスタムジョブインフラストラクチャでホストされる指標が含まれます。 指標を追加するには、予測モデルデプロイまたは生成モデルデプロイで、モニタリング > カスタム指標タブをクリックします。 次に、カスタム指標タブで、+ カスタム指標を追加をクリックし、次のカスタム指標タイプのいずれかを選択して、テーブルでリンクされている設定ステップに進みます。

カスタム指標の種類 説明
新しい外部指標 指標の計算がDataRobotによって直接ホストされないカスタム指標を追加します。 外部指標は、DataRobotが保存および視覚化するための指標値を送信するために使用されるシンプルなAPIです。 指標の計算は、ユーザーが外部で処理します。 外部指標は、ノートブック、ジョブ、カスタムモデルなどのDataRobotの他のツール、Airflowなどの外部ツール、またはクラウドプロバイダーと組み合わせて、特定の指標に必要なホスティングと計算を提供できます。

外部カスタム指標は、DataRobotで追跡および視覚化するためにAIソリューションから値を保存するシンプルなオプションを提供します。 たとえば、LLMプロバイダーによって計算されたLLMコストの経時変化を追跡できます。
新しいホストされた指標 指標計算がDataRobot内のカスタムジョブでホストされるカスタム指標を追加します。 ホストされた指標の場合、DataRobotはデータのプル、指標値の計算、値をストレージに保存、およびデータの視覚化を調整します。 外部ツールまたはインフラストラクチャは必要ありません。

ホストされたカスタム指標は、DataRobotでビジネス固有の指標とダッシュボードを構築するための完全なエンドツーエンドワークフローを提供します。
テンプレートから新規作成 テンプレートからカスタム指標、またはDataRobotがコードを提供し作成プロセスを自動化するホストされたカスタム指標のすぐに使用できる例を追加します。 指標テンプレートを使用すると、最初から開始することなく、ホストされた指標が生成されます。 テンプレートはDataRobotによって提供され、そのまま使用したり、変更して新しい指標を計算したりできます。

ホストされたカスタム指標テンプレートは、DataRobotが実装例と完全なエンドツーエンドワークフローを提供するカスタム指標を開始する最も簡単な方法を提供します。 数回のクリックで使用できます。

外部カスタム指標を追加

外部カスタム指標を使用すると、DataRobotの外部で計算が行われる指標を作成できます。 外部指標を使用すると、DataRobotに保存および視覚化する指標値を送信できます。 外部指標は、ノートブック、ジョブ、カスタムモデルなどのDataRobotの他のツール、Airflowなどの外部ツール、またはクラウドプロバイダーと組み合わせて、特定の指標に必要なホスティングと計算を提供できます。

カスタム指標を追加ダイアログボックスで、外部カスタム指標を追加するには、カスタム指標を追加をクリックします。

フィールド 説明
名前 (必須)指標の説明的な名前。 この名前は、カスタム指標サマリーダッシュボードに表示されます。
説明 カスタム指標の説明。たとえば、目的、計算方法などを説明することができます。
Y軸の名前(ラベル) (必須)従属変数の説明的な名前。 この名前は、カスタム指標サマリーダッシュボードのカスタム指標のチャートに表示されます。
デフォルトの間隔 選択した集計タイプで使用されるデフォルトの間隔。 HOURのみサポートされています。
ベースライン x%良い値またはx%悪い値を計算するときに比較の基準として使用する値。
集計タイプ 指標計算のタイプ。 単一の時点で測定された個別の値を持つ指標を、合計平均、またはゲージから選択します。
指標の方向 指標の方向性:指標の変化をどのように視覚化するかを制御します。 大きいほど良いまたは低いほど良いを選択できます。 たとえば、低いほど良いを選択すると、カスタム指標の計算値が10%減少することが、10%改善とみなされ、緑色で表示されます。
モデル固有のものです この設定を有効にすると、データセットで提供されたモデルパッケージID(登録されているモデルバージョンID)を使用して、指標をモデルにリンクします。 この設定は、値が集計(またはアップロード)される場合に影響します。 例:
  • モデル固有(有効):モデルの精度指標はモデル固有であるため、値は完全に個別に集計されます。 モデルを置換すると、カスタム精度指標のチャートには、置換後の日についてのデータだけが表示されます。
  • モデル固有ではありません(無効):収益指標はモデル固有ではないため、値は一緒に集計されます。 モデルを置換しても、カスタム収益指標のチャートは変更されません。
このフィールドは、指標を作成した後は編集できません。
列名の定義
タイムスタンプ列 (必須)タイムスタンプを含むデータセット内の列。
値列 (必須)カスタム指標の計算に使用される値を含むデータセット内の列。
日付形式 タイムスタンプ列で使用される日付形式。

備考

カスタム指標にデータをアップロードするときに、列名の定義設定をオーバーライドできます。

ホストされたカスタム指標の追加

本機能の提供について

ホストされたカスタム指標はデフォルトではオフになっており、同じくデフォルトではオフのカスタムジョブと環境が必要です。 この機能を有効にする方法については、DataRobotの担当者または管理者にお問い合わせください。

機能フラグ:ホストされたカスタム指標を有効にする、カスタムジョブを有効にする、Notebooksでカスタム環境を有効にする

ホストされたカスタム指標を使用すると、デプロイに最大25の組織の特殊な指標を実装し、 DataRobot Notebooksを使用してカスタム指標コードをアップロードし、カスタムジョブインフラストラクチャで指標計算をホストできます。 作成後、これらのカスタム指標は、他のデプロイで再利用できます。

カスタム指標を追加ダイアログボックスで、ホストされたカスタム指標を追加するには、指標を設定し、ノートブックからカスタム指標を追加をクリックします。

フィールド 説明
名前 (必須)指標の説明的な名前。 この名前は、カスタム指標サマリーダッシュボードに表示されます。
説明 カスタム指標の説明。たとえば、目的、計算方法などを説明することができます。
Y軸の名前(ラベル) (必須)従属変数の説明的な名前。 この名前は、カスタム指標サマリーダッシュボードのカスタム指標のチャートに表示されます。
デフォルトの間隔 選択した集計タイプで使用されるデフォルトの間隔を決定します。 HOURのみサポートされています。
ベースライン x%良い値またはx%悪い値を計算するときに比較の基準として使用する値を決定します。
集計タイプ 指標を合計平均、またはゲージ(単一時点で測定された明確な値を持つ指標)として計算するかどうかを決定します。
指標の方向 指標の方向性を決定し、指標の変更を視覚化する方法を変更します。 大きいほど良いまたは低いほど良いを選択できます。 たとえば、低いほど良いを選択すると、カスタム指標の計算値が10%減少することが、10%改善とみなされ、緑色で表示されます。
モデル固有 この設定を有効にすると、データセットで提供されたモデルパッケージID(登録されているモデルバージョンID)を使用して、指標をモデルにリンクします。 この設定は、値が集計(またはアップロード)される場合に影響します。 例:
  • モデル固有(有効):モデルの精度指標はモデル固有であるため、値は完全に個別に集計されます。 モデルを置換すると、カスタム精度指標のチャートには、置換後の日についてのデータだけが表示されます。
  • モデル固有ではありません(無効):収益指標はモデル固有ではないため、値は一緒に集計されます。 モデルを置換しても、カスタム収益指標のチャートは変更されません。
このフィールドは、指標を作成した後は編集できません。
スケジュール カスタム指標に値が入力されるタイミングを定義します。 頻度(1時間ごと、1日ごと、1か月ごとなど)と時間を選択します。 詳細なスケジューリングオプションを使用するには、高度なスケジューラーを使用するを選択します。

カスタム指標を設定すると、そのコードを含むノートブックがロードされます。 ノートブックには、1つのカスタム指標セルが含まれています。 カスタム指標セルは独自のノートブックセルで、指標のエクスポートと計算の方法を定義するPythonコード、スコアリングのコード、および指標を設定するコードが含まれます。 必要に応じて、カスタム指標セルのコードを変更します。 次に、セルの下部にあるカスタム指標コードをテストをクリックして、コードをテストします。 テストではカスタムジョブが作成されます。 テストが正常に実行された場合、カスタム指標コードをデプロイをクリックして、カスタム指標をデプロイに追加します。

コードが正しく実行されない場合、テスト完了後に、カスタム指標コードのテストに失敗しましたという警告が表示されます。 カスタム指標ジョブを開くをクリックしてジョブにアクセスし、ログを確認して問題のトラブルシューティングを行います。

カスタム指標のコードをトラブルシューティングするには、失敗したテストのログなどのジョブの実行タブに移動します。 失敗した実行で、 ログを表示をクリックします。

本機能の提供について

カスタム指標ギャラリーには、ホストされたカスタム指標およびカスタムジョブと環境が必要ですが、デフォルトではオフになっています。 この機能を有効にする方法については、DataRobotの担当者または管理者にお問い合わせください。

機能フラグ:ホストされたカスタム指標を有効にする、カスタムジョブを有効にする、Notebooksでカスタム環境を有効にする

カスタム指標ギャラリーは、事前に作成され、再利用と共有が可能なコードを含む一元化されたライブラリを提供します。このコードは、予測モデルや生成モデル向けに、ホストされた各種カスタム指標を実装します。 これらの指標は、変更可能なカスタム指標サマリーダッシュボードで、外部のカスタム指標とともに記録されます。 このダッシュボードから、各指標の時間経過に伴う変化を監視、視覚化、およびエクスポートできます。 この機能により、組織固有の指標を実装して、DataRobotに組み込まれているサービスの正常性、データドリフト、精度の各指標によって提供されるインサイトを拡張できます。

事前に作成されたカスタム指標をデプロイに追加するには:

  1. カスタム指標を追加パネルで、ユースケースに適したカスタム指標テンプレートを選択します。

    デプロイで使用可能な指標は、指標アイコンが強調表示された状態でリストの先頭に表示されます。 たとえば、生成モデルデプロイでは、次のように表示されます。

  2. リストから指標を選択したら、カスタム指標設定サイドバーで、指標計算スケジュールを設定するか、指標計算を直ちに実行し、必要に応じて指標ベースライン値を設定します。

  3. 指標を作成をクリックします。 新しい指標が、カスタム指標ダッシュボードに表示されます。

  4. カスタム指標を作成すると、その指標に関連付けられたカスタムジョブを表示できます。 このジョブは定義されたスケジュールで実行され、ギャラリーからではない ホストされたカスタム指標と同様にカスタム指標を計算します。 関連付けられたカスタムジョブにアクセスして管理するには、オプションアイコン()をクリックし、 カスタムジョブを開くをクリックします。

    サイドカー指標

    [sidecar metric]を選択した場合は、アセンブルタブを開いたときに、ランタイムパラメーターセクションに移動してSIDECAR_DEPLOYMENT_IDを設定します。サイドカー指標を、その指標の計算に必要な接続されたデプロイに関連付けます。 指標を計算するモデルをデプロイしていない場合、これらの指標には、 グローバルモデルとして事前に定義されたモデルがあります。

カスタム指標にデータをアップロード

カスタム指標を作成した後、データを提供して指標を計算できます。

  1. カスタム指標タブで、データをアップロードするカスタム指標を見つけ、 データをアップロードするアイコンをクリックします。

  2. データをアップロードダイアログボックスで、アップロード方法を選択してから、次へをクリックします:

    アップロード方法 説明
    データレジストリを使用 データセットを選択パネルで、データセットをアップロードするか、またはリストからデータセットをクリックして、その後確認をクリックします。 The Data Registry includes datasets from the Data exploration tab.
    APIを使用 APIクライアントを使用ダイアログボックスで、クリップボードにコピーをクリックしてから、APIスニペットを変更し、それを使用してデータセットをアップロードします。 1回のAPI呼び出しで最大10,000個の値をアップロードできます。
  3. データセット列を選択ダイアログボックスで、以下を設定します。

    フィールド 説明
    タイムスタンプ列 (必須)タイムスタンプを含むデータセット内の列。
    値列 (必須)カスタム指標の計算に使用される値を含むデータセット内の列。
    関連付けID 予測値を実測値にリンクするためにカスタム指標で必要とする関連付けIDを含む行。
    日付形式 タイムスタンプ列で使用される日付形式。
  4. データをアップロードするをクリックします。

カスタム指標を管理

カスタム指標ダッシュボードでは、カスタム指標を追加した後、それらを編集、配置、または削除できます。

指標を編集または削除するには、カスタム指標タブで、管理するカスタム指標を見つけてから、その他のオプションアイコンをクリックします。

  • 指標を編集するには、 編集をクリックし、変更可能な設定を更新して、カスタム指標を更新をクリックします。

  • 指標を削除するには、 削除をクリックします。

カスタム指標サマリーダッシュボードで指標を並べ替えたり非表示にしたりするには、移動または非表示にするカスタム指標を見つけます。

  • 指標を移動するには、指標タイルの左側にあるグリッドアイコン をクリックしてから、指標を新しい場所にドラッグします。

  • 指標のチャートを非表示にするには、指標名の横にあるチェックボックスをオフにします。

カスタム指標ダッシュボードの表示設定を設定

以下の設定を行い、ダッシュボードに表示するカスタム指標の計算を指定します。

設定 説明
1 モデル カスタム指標を表示するデプロイのモデル(現在または以前)を選択します。
2 範囲(UTC)/ 日付スライダー カスタム指標を表示する期間の開始日と終了日を選択します。
3 単位 日付スライダーの時間単位を選択します。 選択した時間範囲に基づき、単位を毎時、毎日、毎週、毎月から選択します。 時間範囲が7日を超える場合、単位を毎時にすることはできません。
4 表示を更新 カスタム指標ダッシュボードを更新します。
5 リセット カスタム指標ダッシュボードの表示設定をデフォルトに戻します。

Explore metric data

本機能の提供について

Data exploration is off by default. この機能を有効にする方法については、DataRobotの担当者または管理者にお問い合わせください。

Feature flag: Enable Data Quality Table for Text Generation Target Types, Enable Actuals Storage for Generative Models (Premium feature)

On the Custom metrics tab of a Generative AI deployment, in a custom metric chart's header, click Explore data to view prompts, responses, user ratings, and other custom metric scores per row, matched by association ID. このビューでは、生成AIモデルの回答の品質に関するインサイトが、ユーザーによる評価と、実装した生成AIのカスタム指標に基づいて提供されます。 You can also click to download the data for the custom metric:

Prompt and response matching

To use the data quality table, define an association ID to match prompts with responses in the same row. データ品質分析は、同じ行で関連付けIDが一致するプロンプトと回答でのみ利用できます。集計カスタム指標データは除外されます。

After you open the data quality table for data exploration, you can view prompts, responses, user ratings, and other custom metric scores per row, matched by association ID. The custom metric currently presented in the table is highlighted. Locate specific rows by filtering the table to only display rows containing Prompt values, Response values, or Actual values. Click Search to locate a specific row in the Data quality table by prompt. Click the open icon to expand the details panel, displaying a row's full Prompt and the Response matched with the prompt by association ID:


更新しました May 16, 2024