Skip to content

アプリケーション内で をクリックすると、お使いのDataRobotバージョンに関する全プラットフォームドキュメントにアクセスできます。

ホストされたカスタム指標

本機能の提供について

ホストされたカスタム指標は、デフォルトではオフになっています。 この機能を有効にする方法については、DataRobotの担当者または管理者にお問い合わせください。

機能フラグ:ホストされたカスタム指標を有効にする、カスタムジョブを有効にする、Notebooksでカスタム環境を有効にする

DataRobotはデプロイに カスタム指標を提供し、カスタムビジネスまたはパフォーマンス指標を計算および監視します。 ホストされたカスタム指標を使用すると、組織専用の指標を最大5つデプロイに実装できるだけでなく、DataRobot Notebooksを使用してコードをアップロードしてホストし、他のデプロイに簡単にカスタム指標を追加できます。

カスタム指標数の上限

最大50個のカスタム指標を設定でき、そのうちの5個をホストすることができます。

どのようなカスタム指標がサポートされていますか?

3つのタイプのカスタム指標を使用できます。 外部指標はClassicとNextGenで一般提供機能です。ホストされたカスタム指標はClassicとNextGenでプレビュー機能です。ホストされたカスタム指標のテンプレートはNextGenでプレビュー機能です。

カスタム指標の種類 完成度 説明
外部カスタム指標 一般提供
  • What:指標の計算がDataRobotによって直接ホストされていないカスタム指標です。 外部指標は、DataRobotが保存および視覚化するための指標値を送信するために使用されるシンプルなAPIです。 指標の計算は、ユーザーが外部で処理します。 外部指標は、ノートブック、ジョブ、カスタムモデルなどのDataRobotの他のツール、Airflowなどの外部ツール、またはクラウドプロバイダーと組み合わせて、特定の指標に必要なホスティングと計算を提供できます。
  • Where:任意のデプロイのカスタム指標タブで、カスタム指標を追加 > 新しい外部指標(Classicの場合は新しい外部指標を作成)をクリックします。
  • Why:DataRobotで追跡および視覚化するために必要な数値をAIソリューションから保存する簡単なオプションを提供します。 たとえば、LLMプロバイダーによって計算されたLLMコストの変化を長期にわたって追跡できます。
ホストされたカスタム指標 プレビュー
  • What:指標の計算がDataRobot内のカスタムジョブでホストされているカスタム指標です。 ホストされた指標の場合、DataRobotはデータのプル、指標値の計算、値をストレージに保存、およびデータの視覚化を調整します。 外部のツールやインフラストラクチャは必要ありません。
  • Where:任意のデプロイのカスタム指標タブで、カスタム指標を追加 > 新しいホストされた指標(Classicの場合はホストされた指標を新規作成)をクリックします。
  • Why:DataRobotでビジネス固有の指標とダッシュボードを構築するための完全なエンドツーエンドのワークフローを提供します。
ホストされたカスタム指標テンプレート プレビュー
  • What:ホストされたカスタム指標のテンプレート、つまりすぐに使える例です。DataRobotは、ユーザーにコードを提供し、ホストされたカスタム指標の作成プロセスを自動化します。 指標テンプレートの場合、ゼロから始めることなく、結果はホストされた指標になります。 テンプレートはDataRobotによって提供され、そのまま使用することも、新しい指標を計算するために変更することもできます。
  • Where:(NextGen_のみ_)任意のデプロイのカスタム指標タブで、カスタム指標を追加 > テンプレートから新規作成をクリックします。
  • Why:最も簡単にカスタム指標を使い始める方法を提供します。DataRobotは、実装例と完全なエンドツーエンドのワークフローを提供します。 数回クリックするだけですぐに使用できます。

ホストされたカスタム指標の設定

カスタム指標のホストを開始するには:

  1. 上部のナビゲーションバーで、デプロイをクリックします。

  2. デプロイタブで、カスタム指標を作成するデプロイをクリックします。

  3. デプロイで、カスタム指標タブをクリックします。

  4. カスタム指標タブで、+ カスタム指標を追加をクリックします。 デプロイごとに最大50個のカスタム指標を設定できます。

  5. カスタム指標を追加ダイアログボックスで、新しいホストされた指標を作成をクリックし、次へをクリックしてから、指標設定を設定します。

    フィールド 説明
    名前 (必須)指標の説明的な名前。 この名前は、カスタム指標サマリーダッシュボードに表示されます。
    説明 カスタム指標の説明。たとえば、目的、計算方法などを説明することができます。
    Y軸の名前(ラベル) (必須)従属変数の説明的な名前。 この名前は、カスタム指標サマリーダッシュボードのカスタム指標のチャートに表示されます。
    デフォルトの間隔 選択した集計タイプで使用されるデフォルトの間隔を決定します。 HOURのみサポートされています。
    ベースライン x%良い値またはx%悪い値を計算するときに比較の基準として使用する値を決定します。
    集計タイプ 指標を合計平均、またはゲージ(単一時点で測定された明確な値を持つ指標)として計算するかどうかを決定します。
    指標の方向 指標の方向性を決定し、指標の変更を視覚化する方法を変更します。 大きいほど良いまたは低いほど良いを選択できます。 たとえば、低いほど良いを選択すると、カスタム指標の計算値が10%減少することが、10%改善とみなされ、緑色で表示されます。
    モデル固有 この設定を有効にすると、データセットで提供されたモデルパッケージID(登録されているモデルバージョンID)を使用して、指標をモデルにリンクします。 この設定は、値が集計(またはアップロード)される場合に影響します。 例:
    • モデル固有(有効):モデルの精度指標はモデル固有であるため、値は完全に個別に集計されます。 モデルを置換すると、カスタム精度指標のチャートには、置換後の日についてのデータだけが表示されます。
    • モデル固有ではありません(無効):収益指標はモデル固有ではないため、値は一緒に集計されます。 モデルを置換しても、カスタム収益指標のチャートは変更されません。
    このフィールドは、指標を作成した後は編集できません。
    スケジュール カスタム指標に値が入力されるタイミングを定義します。 頻度(1時間ごと、1日ごと、1か月ごとなど)と時間を選択します。 詳細なスケジューリングオプションを使用するには、高度なスケジューラーを使用するを選択します。
  6. ノートブックからカスタム指標を追加をクリックします。

カスタムジョブによるカスタム指標のテスト

カスタム指標を設定すると、そのコードを含むノートブックがロードされます。 ノートブックには、1つのカスタム指標セル、指標のエクスポートと計算方法を定義するPythonコード、スコアリング用のコード、指標を入力するコードを含む。一意のタイプのノートブックセルが含まれています。

必要に応じて、カスタム指標セルのコードを変更します。 次に、セルの下部にあるカスタム指標コードをテストをクリックして、コードをテストします。 テストではカスタムジョブが作成されます。 テストが正常に実行された場合、カスタム指標コードをデプロイをクリックして、カスタム指標をデプロイに追加します。

コードが正しく実行されない場合、テスト完了後に、カスタム指標コードのテストに失敗しましたという警告が表示されます。

カスタム指標コードのトラブルシューティング

カスタム指標のコードをトラブルシューティングするには、モデルレジストリに移動して、カスタムジョブタブを選択し、テストのために実行されたカスタムジョブにアクセスします。

ジョブの実行タブには、失敗したテストのログが含まれています。このログは、完全なログを表示を選択して参照できます。

失敗したテストのログを参照して、失敗したテストのトラブルシューティングを行うことをお勧めします。

さらに、カスタムジョブのインターフェイスでは、ワークショップタブから実行をスケジュールするを選択して、カスタム指標のスケジュールを変更できます。


更新しました June 7, 2024