Skip to content

アプリケーション内で をクリックすると、お使いのDataRobotバージョンに関する全プラットフォームドキュメントにアクセスできます。

ホストされたカスタム指標

本機能の提供について

ホストされたカスタム指標は、デフォルトではオフになっています。 この機能を有効にする方法については、DataRobotの担当者または管理者にお問い合わせください。

機能フラグ:ホストされたカスタム指標を有効にする、カスタムジョブを有効にする、Notebooksでカスタム環境を有効にする

DataRobotはデプロイに カスタム指標を提供し、最大25個のカスタムビジネスまたはパフォーマンス指標を計算および監視します。 ホストされたカスタム指標を使用すると、組織専用の指標を最大5つデプロイに実装できるだけでなく、DataRobot Notebooksを使用してコードをアップロードしてホストし、他のデプロイに簡単にカスタム指標を追加できます。

ホストされたカスタム指標の設定

カスタム指標のホストを開始するには:

  1. 上部のナビゲーションバーで、デプロイをクリックします。

  2. デプロイタブで、カスタム指標を作成するデプロイをクリックします。

  3. デプロイで、カスタム指標タブをクリックします。

  4. カスタム指標タブで、+ カスタム指標を追加をクリックします。 最大25個のカスタム指標を設定でき、そのうちの5個をホストすることができます。

  5. カスタム指標を追加ダイアログボックスで、ノートブックを使用をクリックし、次へをクリックしてから、指標の設定を行います。

    フィールド 説明
    名前 A descriptive name for the metric. この名前は、カスタム指標サマリーダッシュボードに表示されます。
    説明 カスタム指標の説明。たとえば、目的、計算方法などを説明することができます。
    Y軸の名前(ラベル) A descriptive name for the dependent variable. この名前は、カスタム指標サマリーダッシュボードのカスタム指標のチャートに表示されます。
    デフォルトの間隔 選択した集計タイプで使用されるデフォルトの間隔を決定します。 HOURのみサポートされています。
    ベースライン x%良い値またはx%悪い値を計算するときに比較の基準として使用する値を決定します。
    集計タイプ 指標が合計平均、またはゲージとして計算されるかどうかを決定します。
    指標の方向 指標の方向性を決定し、指標の変更を視覚化する方法を変更します。 大きいほど良いまたは低いほど良いを選択できます。 たとえば、低いほど良いを選択すると、カスタム指標の計算値が10%減少することが、10%改善とみなされ、緑色で表示されます。
    タイムスタンプ列 The column in the dataset containing a timestamp. このフィールドは、指標を作成した後は編集できません。
    値列 The column in the dataset containing the values used for custom metric calculation. このフィールドは、指標を作成した後は編集できません。
    日付形式 タイムスタンプ列で使用される日付形式。 このフィールドは、指標を作成した後は編集できません。
    モデル固有 この設定を有効にすると、データセットで提供されたモデルパッケージID(登録されているモデルバージョンID)を使用して、指標をモデルにリンクします。 この設定は、値が集計(またはアップロード)される場合に影響します。 例:
    • モデル固有(有効):モデルの精度指標はモデル固有であるため、値は完全に個別に集計されます。 モデルを置換すると、カスタム精度指標のチャートには、置換後の日についてのデータだけが表示されます。
    • モデル固有ではありません(無効):収益指標はモデル固有ではないため、値は一緒に集計されます。 モデルを置換しても、カスタム収益指標のチャートは変更されません。
    このフィールドは、指標を作成した後は編集できません。
    スケジュール Defines when the custom metrics are populated. 頻度(1時間ごと、1日ごと、1か月ごとなど)と時間を選択します。 詳細なスケジューリングオプションを使用するには、高度なスケジューラーを使用するを選択します。
  6. カスタム指標の追加と最初のノートブックの作成をクリックします。

カスタムジョブによるカスタム指標のテスト

カスタム指標を設定すると、そのコードを含むノートブックがロードされます。 ノートブックには、1つのカスタム指標セル、指標のエクスポートと計算方法を定義するPythonコード、スコアリング用のコード、指標を入力するコードを含む。一意のタイプのノートブックセルが含まれています。

必要に応じて、カスタム指標セルのコードを変更します。 次に、セルの下部にあるカスタム指標コードをテストをクリックして、コードをテストします。 テストではカスタムジョブが作成されます。 テストが正常に実行された場合、カスタム指標コードをデプロイをクリックして、カスタム指標をデプロイに追加します。

コードが正しく実行されない場合、テスト完了後に、カスタム指標コードのテストに失敗しましたという警告が表示されます。

カスタム指標コードのトラブルシューティング

カスタム指標のコードをトラブルシューティングするには、モデルレジストリに移動して、カスタムジョブタブを選択し、テストのために実行されたカスタムジョブにアクセスします。

ジョブの実行タブには、失敗したテストのログが含まれています。このログは、完全なログを表示を選択して参照できます。

失敗したテストのログを参照して、失敗したテストのトラブルシューティングを行うことをお勧めします。

さらに、カスタムジョブのインターフェイスでは、ワークショップタブから実行をスケジュールするを選択して、カスタム指標のスケジュールを変更できます。


更新しました February 20, 2024
Back to top