カスタム指標¶

デプロイのモニタリング > カスタム指標タブでは、 データ探索タブから収集するデータ（または他のカスタム指標を介して計算されたデータ）を使用して、カスタムビジネス指標またはパフォーマンス指標を計算して監視できます。 これらの指標は、設定可能なカスタム指標サマリーダッシュボードに記録され、そこで各指標の経時変化を監視、視覚化、およびエクスポートします。 この機能により、組織固有の指標を実装して、DataRobotに組み込まれているサービスの正常性、データドリフト、精度の各指標によって提供されるインサイトを拡張できます。

カスタム指標を表示して追加するには、コンソールでカスタム指標を作成するデプロイを開き、モニタリング > カスタム指標タブをクリックします。

カスタム指標を追加¶

指標を追加するには、予測モデルデプロイまたは生成モデルデプロイで、モニタリング > カスタム指標タブをクリックします。 次に、カスタム指標タブで、+ カスタム指標を追加をクリックし、次のカスタム指標タイプのいずれかを選択して、テーブルでリンクされている設定ステップに進みます。

外部カスタム指標を追加¶

外部カスタム指標を使用すると、DataRobotの外部で計算が行われる指標を作成できます。 外部指標を使用すると、DataRobotに保存および視覚化する指標値を送信できます。 外部指標は、ノートブック、ジョブ、カスタムモデルなどのDataRobotの他のツール、Airflowなどの外部ツール、またはクラウドプロバイダーと組み合わせて、特定の指標に必要なホスティングと計算を提供できます。

外部カスタム指標を追加するには、カスタム指標を追加ダイアログボックスで指標の設定を行い、カスタム指標を追加をクリックします。

ホストされたカスタム指標の追加¶

ホストされたカスタム指標を使用すると、デプロイに組織の特殊な指標を最大5つ実装し、 DataRobot Notebooksを使用してカスタム指標コードをアップロードし、カスタムジョブインフラストラクチャで指標計算をホストできます。 作成後、これらのカスタム指標は、他のデプロイで再利用できます。

カスタム指標を追加ダイアログボックスで、ホストされたカスタム指標を追加するには、指標を設定し、ノートブックからカスタム指標を追加をクリックします。

カスタム指標を設定すると、そのコードを含むノートブックがロードされます。 ノートブックには、1つのカスタム指標セルが含まれています。 カスタム指標セルは独自のノートブックセルで、指標のエクスポートと計算の方法を定義するPythonコード、スコアリングのコード、および指標を設定するコードが含まれます。 必要に応じて、カスタム指標セルのコードを変更します。 次に、セルの下部にあるカスタム指標コードをテストをクリックして、コードをテストします。 テストではカスタムジョブが作成されます。 テストが正常に実行された場合、カスタム指標コードをデプロイをクリックして、カスタム指標をデプロイに追加します。

コードが正しく実行されない場合、テスト完了後に、カスタム指標コードのテストに失敗しましたという警告が表示されます。 カスタム指標ジョブを開くをクリックしてジョブにアクセスし、ログを確認して問題のトラブルシューティングを行います。

カスタム指標のコードをトラブルシューティングするには、失敗したテストのログなどのジョブの実行タブに移動します。 失敗した実行で、 ログを表示をクリックします。

ギャラリーからホストされたカスタム指標を追加¶

カスタム指標ギャラリーは、事前に作成され、再利用と共有が可能なコードを含む一元化されたライブラリを提供します。このコードは、予測モデルや生成モデル向けに、ホストされた各種カスタム指標を実装します。 これらの指標は、変更可能なカスタム指標サマリーダッシュボードで、外部のカスタム指標とともに記録されます。 このダッシュボードから、各指標の時間経過に伴う変化を監視、視覚化、およびエクスポートできます。 この機能により、組織固有の指標を実装して、DataRobotに組み込まれているサービスの正常性、データドリフト、精度の各指標によって提供されるインサイトを拡張できます。

事前に作成されたカスタム指標をデプロイに追加するには：

1. カスタム指標を追加パネルで、ユースケースに適したカスタム指標テンプレートを選択します。

   

   デプロイで使用可能な指標は、指標アイコンが強調表示された状態でリストの先頭に表示されます。 たとえば、生成モデルデプロイでは、次のように表示されます。

   

2. リストから指標を選択したら、カスタム指標設定サイドバーで、指標計算スケジュールを設定するか、指標計算を直ちに実行し、必要に応じて指標ベースライン値を設定します。

   

3. 指標を作成をクリックします。 新しい指標が、カスタム指標ダッシュボードに表示されます。

   

4. カスタム指標を作成すると、その指標に関連付けられたカスタムジョブを表示できます。 このジョブは定義されたスケジュールで実行され、ギャラリーからではない ホストされたカスタム指標と同様にカスタム指標を計算します。 関連付けられたカスタムジョブへのアクセスと管理を行うには、アクションメニュー をクリックして、 カスタムジョブを開くをクリックします。

   

   サイドカー指標

   [sidecar metric]を選択した場合は、アセンブルタブを開いたときに、ランタイムパラメーターセクションに移動してSIDECAR_DEPLOYMENT_IDを設定します。サイドカー指標を、その指標の計算に必要な接続されたデプロイに関連付けます。 指標を計算するモデルをデプロイしていない場合、これらの指標には、 グローバルモデルとして事前に定義されたモデルがあります。

カスタム指標にデータをアップロード¶

カスタム指標を作成した後、データを提供して指標を計算できます。

1. カスタム指標タブで、データをアップロードするカスタム指標を見つけ、 データをアップロードするアイコンをクリックします。

   

2. データをアップロードダイアログボックスで、アップロード方法を選択してから、次へをクリックします：

   

   アップロード方法	説明
   データレジストリを使用	データセットを選択パネルで、データセットをアップロードするか、またはリストからデータセットをクリックして、その後確認をクリックします。 データレジストリには、 データ探索タブのデータセットが含まれます。
   APIを使用	APIクライアントを使用ダイアログボックスで、クリップボードにコピーをクリックしてから、APIスニペットを変更し、それを使用してデータセットをアップロードします。 1回のAPI呼び出しで最大10,000個の値をアップロードできます。

3. データセット列を選択ダイアログボックスで、以下を設定します。

   

   フィールド	説明
   タイムスタンプ列	（必須）タイムスタンプを含むデータセット内の列。
   値列	（必須）カスタム指標の計算に使用される値を含むデータセット内の列。
   関連付けID	予測値を実測値にリンクするためにカスタム指標で必要とする関連付けIDを含む行。
   日付形式	タイムスタンプ列で使用される日付形式。

4. データをアップロードするをクリックします。

カスタム指標を管理¶

カスタム指標ダッシュボードでは、カスタム指標を追加した後、それらを編集、配置、または削除できます。

カスタム指標ダッシュボードの表示設定を設定¶

以下の設定を行い、ダッシュボードに表示するカスタム指標の計算を指定します。

指標データの探索¶

生成AIデプロイのカスタム指標タブのカスタム指標チャートのヘッダーで、トレースを表示をクリックして、関連付けIDで一致した行ごとのプロンプト、回答、ユーザー評価、およびその他のカスタム指標スコアを表示します。 このビューでは、生成AIモデルの回答の品質に関するインサイトが、ユーザーによる評価と、実装した生成AIのカスタム指標に基づいて提供されます。 をクリックしてカスタム指標のデータをダウンロードすることもできます。

After you open the tracing table for data exploration, you can view prompts, responses, user ratings, and other custom metric scores per row, matched by association ID. 現在、テーブルに表示されているカスタム指標がハイライトされます。 テーブルをフィルター（）して、プロンプト値、回答値、または実測値を含む行のみを表示します。 検索をクリックして、プロンプトごとにトレース中テーブルで特定の行を見つけます。 開くアイコン をクリックすると、詳細パネルが展開され、行の完全なプロンプトおよび関連付けIDでプロンプトに一致する回答が表示されます。