「カスタム指標」タブ¶

デプロイのカスタム指標タブでは、 データ探索タブから収集するデータ（または他のカスタム指標を介して計算されたデータ）を使用して、カスタムビジネスまたはパフォーマンス指標を計算および監視できます。 これらの指標は、設定可能なカスタム指標サマリーダッシュボードに記録され、そこで各指標の経時変化を監視、視覚化、およびエクスポートします。 この機能により、組織固有の指標を実装して、DataRobotに組み込まれている[サービスの正常性] (service-health)、データドリフト、精度の各指標によって提供されるインサイトを拡張できます。

カスタム指標にアクセスするには、上部のナビゲーションバーでデプロイをクリックし、デプロイタブでカスタム指標を作成するデプロイをクリックします。 次に、デプロイで、カスタム指標タブをクリックします。 サマリータブが開きます。

外部カスタム指標を追加¶

カスタム指標タブでは、最大50の指標を追跡できます。 カスタム指標を追加するには：

1. カスタム指標 > サマリータブで、+ カスタム指標を追加をクリックします。

2. カスタム指標を追加ダイアログボックスで、新しい外部指標を作成をクリックして、次へをクリックします。

   

3. カスタム指標を追加ダイアログボックスで、指標の設定を行います。

   

   フィールド	説明
   名前	指標の説明的な名前。 この名前は、カスタム指標サマリーダッシュボードに表示されます。
   説明	カスタム指標の説明。たとえば、目的、計算方法などを説明することができます。
   Y軸の名前（ラベル）	従属変数の説明的な名前。 この名前は、カスタム指標サマリーダッシュボードのカスタム指標のチャートに表示されます。
   デフォルトの間隔	選択した集計タイプで使用されるデフォルトの間隔。 HOURのみサポートされています。
   ベースライン	x%良い値またはx%悪い値を計算するときに比較の基準として使用する値。
   集計タイプ	指標は、合計、平均、またはゲージ（ある時点で測定された明確な値を持つ指標）として計算されます。
   指標の方向	指標の方向性および指標の変更を視覚化する方法を変更します。 大きいほど良いまたは低いほど良いを選択できます。 たとえば、低いほど良いを選択すると、カスタム指標の計算値が10%減少することが、10%改善とみなされ、緑色で表示されます。
   モデル固有	この設定を有効にすると、データセットで提供されたモデルパッケージID（登録されているモデルバージョンID）を使用して、指標をモデルにリンクします。 この設定は、値が集計（またはアップロード）される場合に影響します。 例： モデル固有（有効）：モデルの精度指標はモデル固有であるため、値は完全に個別に集計されます。 モデルを置換すると、カスタム精度指標のチャートには、置換後の日についてのデータだけが表示されます。 モデル固有ではありません（無効）：収益指標はモデル固有ではないため、値は一緒に集計されます。 モデルを置換しても、カスタム収益指標のチャートは変更されません。 このフィールドは、指標を作成した後は編集できません。
   列名の定義
   タイムスタンプ列	タイムスタンプを含むデータセット内の列。
   値列	カスタム指標の計算に使用される値を含むデータセット内の列。
   日付形式	タイムスタンプ列で使用される日付形式。

   備考

   カスタム指標にデータをアップロードするときに、列名の定義設定をオーバーライドできます。

4. カスタム指標を追加をクリックします。

カスタム指標にデータをアップロード¶

カスタム指標を作成した後、データを提供して指標を計算できます。

1. カスタム指標タブで、データをアップロードするカスタム指標を見つけ、データをアップロードするアイコンをクリックします。

   

2. データをアップロードダイアログボックスで、アップロード方法を選択してから、次へをクリックします：

   

   アップロード方法	説明
   データをファイルとしてアップロード	ファイルを選択ダイアログボックスで、アップロードするファイルをドラッグアンドドロップするか、ファイルを選択 > ローカルファイルをクリックしてローカルファイルシステムを参照し、データを送信をクリックします。 1つのファイルでアップロードできるアップロードサイズは最大10GBです。
   AIカタログを使用	AIカタログからデータセットを選択ダイアログボックスで、リストからデータセットをクリックしてから、データセットを選択をクリックします。 AIカタログには、データ探索のデータセットが含まれています。デプロイを作成して設定したら、個々の機能の設定タブを使用して、デプロイ機能を追加または更新することができます。
   APIを使用	APIクライアントを使用ダイアログボックスで、クリップボードにコピーをクリックしてから、APIスニペットを変更し、それを使用してデータセットをアップロードします。 1回のAPI呼び出しで最大10,000個の値をアップロードできます。

3. データセット列を選択ダイアログボックスで、以下を設定します。

   

   フィールド	説明
   タイムスタンプ列	タイムスタンプを含むデータセット内の列。
   値列	カスタム指標の計算に使用される値を含むデータセット内の列。
   関連付けID	予測値を実測値にリンクするためにカスタム指標で必要とする関連付けIDを含む行。
   日付形式	タイムスタンプ列で使用される日付形式。

4. データをアップロードするをクリックします。

ホストされたカスタム指標の追加¶

DataRobotはデプロイに カスタム指標を提供し、カスタムビジネスまたはパフォーマンス指標を計算および監視します。 ホストされたカスタム指標を使用すると、組織専用の指標を最大5つデプロイに実装できるだけでなく、DataRobot Notebooksを使用してコードをアップロードしてホストし、他のデプロイに簡単にカスタム指標を追加できます。

カスタム指標のホストを開始するには：

1. カスタム指標タブで、+ カスタム指標を追加をクリックします。

2. カスタム指標を追加ダイアログボックスで、ホストされた指標を新規作成をクリックして、次へをクリックします。

   

3. カスタム指標を追加ダイアログボックスで、指標の設定を行います。

   

   フィールド	説明
   名前	（必須）指標の説明的な名前。 この名前は、カスタム指標サマリーダッシュボードに表示されます。
   説明	カスタム指標の説明。たとえば、目的、計算方法などを説明することができます。
   Y軸の名前（ラベル）	（必須）従属変数の説明的な名前。 この名前は、カスタム指標サマリーダッシュボードのカスタム指標のチャートに表示されます。
   デフォルトの間隔	選択した集計タイプで使用されるデフォルトの間隔を決定します。 HOURのみサポートされています。
   ベースライン	x%良い値またはx%悪い値を計算するときに比較の基準として使用する値を決定します。
   集計タイプ	指標を合計、平均、またはゲージ（単一時点で測定された明確な値を持つ指標）として計算するかどうかを決定します。
   指標の方向	指標の方向性を決定し、指標の変更を視覚化する方法を変更します。 大きいほど良いまたは低いほど良いを選択できます。 たとえば、低いほど良いを選択すると、カスタム指標の計算値が10%減少することが、10%改善とみなされ、緑色で表示されます。
   モデル固有	この設定を有効にすると、データセットで提供されたモデルパッケージID（登録されているモデルバージョンID）を使用して、指標をモデルにリンクします。 この設定は、値が集計（またはアップロード）される場合に影響します。 例： モデル固有（有効）：モデルの精度指標はモデル固有であるため、値は完全に個別に集計されます。 モデルを置換すると、カスタム精度指標のチャートには、置換後の日についてのデータだけが表示されます。 モデル固有ではありません（無効）：収益指標はモデル固有ではないため、値は一緒に集計されます。 モデルを置換しても、カスタム収益指標のチャートは変更されません。 このフィールドは、指標を作成した後は編集できません。
   スケジュール	カスタム指標に値が入力されるタイミングを定義します。 頻度（1時間ごと、1日ごと、1か月ごとなど）と時間を選択します。 詳細なスケジューリングオプションを使用するには、高度なスケジューラーを使用するを選択します。

4. ノートブックからカスタム指標を追加をクリックします。

カスタムジョブによるカスタム指標のテスト¶

カスタム指標を設定すると、そのコードを含むノートブックがロードされます。 ノートブックには、1つのカスタム指標セル、指標のエクスポートと計算方法を定義するPythonコード、スコアリング用のコード、指標を入力するコードを含む。一意のタイプのノートブックセルが含まれています。

必要に応じて、カスタム指標セルのコードを変更します。 次に、セルの下部にあるカスタム指標コードをテストをクリックして、コードをテストします。 テストではカスタムジョブが作成されます。

• テストが正常に実行された場合、カスタム指標コードをデプロイをクリックして、カスタム指標をデプロイに追加します。
• コードが正しく実行されない場合、テスト完了後に、カスタム指標コードのテストに失敗しましたという警告が表示されます。

カスタム指標コードのトラブルシューティング¶

カスタム指標のコードをトラブルシューティングするには、モデルレジストリに移動して、カスタムジョブタブを選択し、テストのために実行されたカスタムジョブにアクセスします。 ジョブの実行タブには、失敗したテストのログが含まれています。このログは、完全なログを表示を選択して参照できます。

失敗したテストのトラブルシューティングを行うには、失敗した各テストのログを参照することをお勧めします。 さらに、カスタムジョブのインターフェイスでは、ワークショップタブから実行をスケジュールするを選択して、カスタム指標のスケジュールを変更できます。

カスタム指標を管理¶

カスタム指標ダッシュボードでは、カスタム指標を追加した後、それらを編集、配置、または削除できます。

指標の編集または削除¶

指標を編集または削除するには、カスタム指標タブで、管理したいカスタム指標を探し、アクションメニュー をクリックします。

• 指標を編集するには、編集をクリックし、変更可能な設定を更新して、カスタム指標を更新をクリックします。

• 指標を削除するには、削除をクリックします。

指標の配置または非表示¶

カスタム指標サマリーダッシュボードで指標を並べ替えたり非表示にしたりするには、移動または非表示にするカスタム指標を見つけます。

• 指標を移動するには、指標タイルの左側にあるグリッドアイコン（）をクリックしてから、指標を新しい場所にドラッグします。

• 指標のチャートを非表示にするには、指標名の横にあるチェックボックスをオフにします。

カスタム指標ダッシュボードの表示設定を設定¶

以下の設定を行い、ダッシュボードに表示するカスタム指標の計算を指定します。