カスタム指標¶

デプロイのモニタリング > カスタム指標タブでは、 データのエクスポートタブから収集するデータ（または他のカスタム指標を介して計算されたデータ）を使用して、最大25のカスタムビジネスまたはパフォーマンス指標を計算および監視できます。 これらの指標は、設定可能なカスタム指標サマリーダッシュボードに記録され、そこで各指標の経時変化を監視、視覚化、およびエクスポートします。 この機能により、組織固有の指標を実装して、DataRobotに組み込まれているサービスの正常性、データドリフト、精度の各指標によって提供されるインサイトを拡張できます。

To view and add custom metrics, in the Console, open the deployment for which you want to create custom metrics and click the Monitoring > Custom metrics tab:

Add custom metrics¶

The Custom metrics tab can track up to 25 metrics per deployment, including metrics hosted externally, and metrics hosted on custom jobs infrastructure. To add a metric, in a predictive or generative modeling deployment, click the Monitoring > Custom metrics tab. Then, on the Custom metrics tab, click + Add custom metric, select one of the following custom metric types, and proceed to the configuration steps linked in the table:

外部カスタム指標を追加¶

External custom metrics allow you to create metrics with calculations occurring outside of DataRobot. With an external metric, you can submit a metric value for DataRobot to save and visualize. External metrics can be combined with other tools in DataRobot like notebooks, jobs, or custom models, or external tools like Airflow or cloud providers to provide the hosting and calculation needed for a particular metric.

To add an external custom metric, in the Add Custom Metric dialog box, configure the metric settings, and then click Add custom metric:

Add hosted custom metrics¶

Hosted custom metrics allow you to implement up to 25 of your organization's specialized metrics in a deployment, uploading the custom metric code using DataRobot Notebooks and hosting the metric calculation on custom jobs infrastructure. After creation, these custom metrics can be reused for other deployments.

To add a hosted custom metric, in the Add Custom Metric dialog box configure the metric settings, and then click Add custom metric from notebook:

カスタム指標を設定すると、そのコードを含むノートブックがロードされます。 The notebook contains one custom metric cell. A custom metric cell is a unique notebook cell, containing Python code defining how the metric is exported and calculated, code for scoring, and code to populate the metric. 必要に応じて、カスタム指標セルのコードを変更します。 次に、セルの下部にあるカスタム指標コードをテストをクリックして、コードをテストします。 テストではカスタムジョブが作成されます。 テストが正常に実行された場合、カスタム指標コードをデプロイをクリックして、カスタム指標をデプロイに追加します。

コードが正しく実行されない場合、テスト完了後に、カスタム指標コードのテストに失敗しましたという警告が表示されます。 Click Open custom metric job to access the job and check the logs to troubleshoot the issue:

To troubleshoot a custom metric's code, navigate to the job's Runs tab, containing a log of the failed test. In the failed run, click View log.

Add hosted custom metrics from the gallery¶

The custom metrics gallery provides a centralized library containing pre-made, reusable, and shareable code implementing a variety of hosted custom metrics for predictive and generative models. これらの指標は、変更可能なカスタム指標サマリーダッシュボードで、外部のカスタム指標とともに記録されます。 このダッシュボードから、各指標の時間経過に伴う変化を監視、視覚化、およびエクスポートできます。 この機能により、組織固有の指標を実装して、DataRobotに組み込まれているサービスの正常性、データドリフト、精度の各指標によって提供されるインサイトを拡張できます。

事前に作成されたカスタム指標をデプロイに追加するには：

1. カスタム指標を追加パネルで、ユースケースに適したカスタム指標テンプレートを選択します。

   

   デプロイで使用可能な指標は、指標アイコンが強調表示された状態でリストの先頭に表示されます。 たとえば、生成モデルデプロイでは、次のように表示されます。

   

2. リストから指標を選択したら、カスタム指標設定サイドバーで、指標計算スケジュールを設定するか、指標計算を直ちに実行し、必要に応じて指標ベースライン値を設定します。

   

3. 指標を作成をクリックします。 The new metric appears on the Custom metrics dashboard.

   

4. カスタム指標を作成すると、その指標に関連付けられたカスタムジョブを表示できます。 このジョブは定義されたスケジュールで実行され、ギャラリーからではない ホストされたカスタム指標と同様にカスタム指標を計算します。 関連付けられたカスタムジョブにアクセスして管理するには、オプションアイコン（）をクリックし、 カスタムジョブを開くをクリックします。

   

   Sidecar metrics

   If you selected a [sidecar metric], when you open the Assemble tab, navigate to the Runtime Parameters section to set the SIDECAR_DEPLOYMENT_ID, associating the sidecar metric with the connected deployment required to calculate that metric. If you haven't deployed a model to calculate the metric, you can find pre-defined models for these metrics as global models.

カスタム指標にデータをアップロード¶

カスタム指標を作成した後、データを提供して指標を計算できます。

1. カスタム指標タブで、データをアップロードするカスタム指標を見つけ、 データをアップロードするアイコンをクリックします。

   

2. データをアップロードダイアログボックスで、アップロード方法を選択してから、次へをクリックします：

   

   アップロード方法	説明
   データレジストリを使用	In the Select a dataset panel, upload a dataset or click a dataset from the list, and then click Confirm. データレジストリには、 データのエクスポートタブからのデータセットが含まれています。
   APIを使用	APIクライアントを使用ダイアログボックスで、クリップボードにコピーをクリックしてから、APIスニペットを変更し、それを使用してデータセットをアップロードします。 1回のAPI呼び出しで最大10,000個の値をアップロードできます。

3. データセット列を選択ダイアログボックスで、以下を設定します。

   

   フィールド	説明
   タイムスタンプ列	（必須）タイムスタンプを含むデータセット内の列。
   値列	（必須）カスタム指標の計算に使用される値を含むデータセット内の列。
   関連付けID	The row containing the association ID required by the custom metric to link predicted values to actuals.
   日付形式	タイムスタンプ列で使用される日付形式。

4. データをアップロードするをクリックします。

カスタム指標を管理¶

カスタム指標ダッシュボードでは、カスタム指標を追加した後、それらを編集、配置、または削除できます。

カスタム指標ダッシュボードの表示設定を設定¶

以下の設定を行い、ダッシュボードに表示するカスタム指標の計算を指定します。