Skip to content

アプリケーション内で をクリックすると、お使いのDataRobotバージョンに関する全プラットフォームドキュメントにアクセスできます。

「カスタム指標」タブ

デプロイのカスタム指標タブでは、 データ探索タブから収集するデータ(または他のカスタム指標を介して計算されたデータ)を使用して、カスタムビジネスまたはパフォーマンス指標を計算および監視できます。 これらの指標は、設定可能なカスタム指標サマリーダッシュボードに記録され、そこで各指標の経時変化を監視、視覚化、およびエクスポートします。 この機能により、組織固有の指標を実装して、DataRobotに組み込まれている[サービスの正常性] (service-health)、データドリフト精度の各指標によって提供されるインサイトを拡張できます。

カスタム指標数の上限

デプロイごとに最大50個のカスタム指標を設定できます。

どのようなカスタム指標がサポートされていますか?

3つのタイプのカスタム指標を使用できます。 外部指標はClassicとNextGenで一般提供機能です。ホストされたカスタム指標はClassicとNextGenでプレビュー機能です。ホストされたカスタム指標のテンプレートはNextGenでプレビュー機能です。

カスタム指標の種類 完成度 説明
外部カスタム指標 一般提供
  • What:指標の計算がDataRobotによって直接ホストされていないカスタム指標です。 外部指標は、DataRobotが保存および視覚化するための指標値を送信するために使用されるシンプルなAPIです。 指標の計算は、ユーザーが外部で処理します。 外部指標は、ノートブック、ジョブ、カスタムモデルなどのDataRobotの他のツール、Airflowなどの外部ツール、またはクラウドプロバイダーと組み合わせて、特定の指標に必要なホスティングと計算を提供できます。
  • Where:任意のデプロイのカスタム指標タブで、カスタム指標を追加 > 新しい外部指標(Classicの場合は新しい外部指標を作成)をクリックします。
  • Why:DataRobotで追跡および視覚化するために必要な数値をAIソリューションから保存する簡単なオプションを提供します。 たとえば、LLMプロバイダーによって計算されたLLMコストの変化を長期にわたって追跡できます。
ホストされたカスタム指標 プレビュー
  • What:指標の計算がDataRobot内のカスタムジョブでホストされているカスタム指標です。 ホストされた指標の場合、DataRobotはデータのプル、指標値の計算、値をストレージに保存、およびデータの視覚化を調整します。 外部のツールやインフラストラクチャは必要ありません。
  • Where:任意のデプロイのカスタム指標タブで、カスタム指標を追加 > 新しいホストされた指標(Classicの場合はホストされた指標を新規作成)をクリックします。
  • Why:DataRobotでビジネス固有の指標とダッシュボードを構築するための完全なエンドツーエンドのワークフローを提供します。
ホストされたカスタム指標テンプレート プレビュー
  • What:ホストされたカスタム指標のテンプレート、つまりすぐに使える例です。DataRobotは、ユーザーにコードを提供し、ホストされたカスタム指標の作成プロセスを自動化します。 指標テンプレートの場合、ゼロから始めることなく、結果はホストされた指標になります。 テンプレートはDataRobotによって提供され、そのまま使用することも、新しい指標を計算するために変更することもできます。
  • Where:(NextGen_のみ_)任意のデプロイのカスタム指標タブで、カスタム指標を追加 > テンプレートから新規作成をクリックします。
  • Why:最も簡単にカスタム指標を使い始める方法を提供します。DataRobotは、実装例と完全なエンドツーエンドのワークフローを提供します。 数回クリックするだけですぐに使用できます。

カスタム指標にアクセスするには、上部のナビゲーションバーでデプロイをクリックし、デプロイタブでカスタム指標を作成するデプロイをクリックします。 次に、デプロイで、カスタム指標タブをクリックします。 サマリータブが開きます。

カスタム指標を追加

カスタム指標タブでは、最大25の指標を追跡できます。 カスタム指標を追加するには:

  1. カスタム指標 > サマリータブで、+ カスタム指標を追加をクリックします。

  2. カスタム指標を追加ダイアログボックスで、新しい外部指標を作成をクリックし、次へをクリックしてから、指標設定を設定します。

    フィールド 説明
    名前 指標の説明的な名前。 この名前は、カスタム指標サマリーダッシュボードに表示されます。
    説明 カスタム指標の説明。たとえば、目的、計算方法などを説明することができます。
    Y軸の名前(ラベル) 従属変数の説明的な名前。 この名前は、カスタム指標サマリーダッシュボードのカスタム指標のチャートに表示されます。
    デフォルトの間隔 選択した集計タイプで使用されるデフォルトの間隔。 HOURのみサポートされています。
    ベースライン x%良い値またはx%悪い値を計算するときに比較の基準として使用する値。
    集計タイプ If the metric is calculated as a Sum, Average, or Gauge—a metric with a distinct value measured at single point in time.
    指標の方向 指標の方向性および指標の変更を視覚化する方法を変更します。 大きいほど良いまたは低いほど良いを選択できます。 たとえば、低いほど良いを選択すると、カスタム指標の計算値が10%減少することが、10%改善とみなされ、緑色で表示されます。
    モデル固有 この設定を有効にすると、データセットで提供されたモデルパッケージID(登録されているモデルバージョンID)を使用して、指標をモデルにリンクします。 この設定は、値が集計(またはアップロード)される場合に影響します。 例:
    • モデル固有(有効):モデルの精度指標はモデル固有であるため、値は完全に個別に集計されます。 モデルを置換すると、カスタム精度指標のチャートには、置換後の日についてのデータだけが表示されます。
    • モデル固有ではありません(無効):収益指標はモデル固有ではないため、値は一緒に集計されます。 モデルを置換しても、カスタム収益指標のチャートは変更されません。
    このフィールドは、指標を作成した後は編集できません。
    列名の定義
    タイムスタンプ列 タイムスタンプを含むデータセット内の列。
    値列 カスタム指標の計算に使用される値を含むデータセット内の列。
    日付形式 タイムスタンプ列で使用される日付形式。

    備考

    カスタム指標にデータをアップロードするときに、列名の定義設定をオーバーライドできます。

  3. カスタム指標を追加をクリックします。

カスタム指標にデータをアップロード

カスタム指標を作成した後、データを提供して指標を計算できます。

  1. カスタム指標タブで、データをアップロードするカスタム指標を見つけ、データをアップロードするアイコンをクリックします。

  2. データをアップロードダイアログボックスで、アップロード方法を選択してから、次へをクリックします:

    アップロード方法 説明
    データをファイルとしてアップロード ファイルを選択ダイアログボックスで、アップロードするファイルをドラッグアンドドロップするか、ファイルを選択 > ローカルファイルをクリックしてローカルファイルシステムを参照し、データを送信をクリックします。 1つのファイルでアップロードできるアップロードサイズは最大10GBです。
    AIカタログを使用 AIカタログからデータセットを選択ダイアログボックスで、リストからデータセットをクリックしてから、データセットを選択をクリックします。 The AI Catalog includes datasets from the Data Exploration After you create and configure a deployment, you can use the settings tabs for individual features to add or update deployment functionality: .
    APIを使用 APIクライアントを使用ダイアログボックスで、クリップボードにコピーをクリックしてから、APIスニペットを変更し、それを使用してデータセットをアップロードします。 1回のAPI呼び出しで最大10,000個の値をアップロードできます。
  3. データセット列を選択ダイアログボックスで、以下を設定します。

    フィールド 説明
    タイムスタンプ列 タイムスタンプを含むデータセット内の列。
    値列 カスタム指標の計算に使用される値を含むデータセット内の列。
    関連付けID 予測値を実測値にリンクするためにカスタム指標で必要とする関連付けIDを含む行。
    日付形式 タイムスタンプ列で使用される日付形式。
  4. データをアップロードするをクリックします。

カスタム指標を管理

カスタム指標ダッシュボードでは、カスタム指標を追加した後、それらを編集、配置、または削除できます。

指標を編集または削除するには、カスタム指標タブで、管理するカスタム指標を見つけてから、その他のオプションアイコンをクリックします。

  • 指標を編集するには、編集をクリックし、変更可能な設定を更新して、カスタム指標を更新をクリックします。

  • 指標を削除するには、削除をクリックします。

カスタム指標サマリーダッシュボードで指標を並べ替えたり非表示にしたりするには、移動または非表示にするカスタム指標を見つけます。

  • 指標を移動するには、指標タイルの左側にあるグリッドアイコン()をクリックしてから、指標を新しい場所にドラッグします。

  • 指標のチャートを非表示にするには、指標名の横にあるチェックボックスをオフにします。

カスタム指標ダッシュボードの表示設定を設定

以下の設定を行い、ダッシュボードに表示するカスタム指標の計算を指定します。

設定 説明
1 モデル カスタム指標を表示するデプロイのモデル(現在または以前)を選択します。
2 範囲 (UTC) カスタム指標を表示する期間の開始日と終了日を選択します。
3 単位 日付スライダーの時間単位を選択します。 選択した時間範囲に基づき、単位を毎時、毎日、毎週、毎月から選択します。 時間範囲が7日を超える場合、単位を毎時にすることはできません。
4 表示を更新 カスタム指標ダッシュボードを更新します。
5 リセット カスタム指標ダッシュボードの表示設定をデフォルトに戻します。

更新しました May 14, 2024