カスタム指標¶

デプロイのモニタリング > カスタム指標タブでは、 データ探索タブから収集するデータ（または他のカスタム指標を介して計算されたデータ）を使用して、カスタムビジネス指標またはパフォーマンス指標を計算して監視できます。 これらの指標は、変更可能なカスタム指標のサマリーダッシュボードに記録され、そこで各指標の経時変化を監視、視覚化、およびエクスポートします。 この機能により、組織固有の指標を実装して、DataRobotに組み込まれているサービスの正常性、データドリフト、精度の各指標によって提供されるインサイトを拡張できます。

カスタム指標を表示して追加するには、コンソールでカスタム指標を作成するデプロイを開き、モニタリング > カスタム指標タブをクリックします。

カスタム指標を追加¶

指標を追加するには、予測モデルデプロイまたは生成モデルデプロイで、モニタリング > カスタム指標タブをクリックします。 次に、カスタム指標タブで、+ カスタム指標を追加をクリックし、次のカスタム指標タイプのいずれかを選択して、テーブルでリンクされている設定ステップに進みます。

既存の指標あり既存の指標なし

外部カスタム指標の追加¶

外部カスタム指標を使用すると、DataRobotの外部で計算が行われる指標を作成できます。 外部指標を使用すると、DataRobotに保存および視覚化する指標値を送信できます。 外部指標は、ノートブック、ジョブ、カスタムモデルなどのDataRobotの他のツール、Airflowなどの外部ツール、またはクラウドプロバイダーと組み合わせて、特定の指標に必要なホスティングと計算を提供できます。

外部カスタム指標を追加するには、カスタム指標を追加ダイアログボックスで指標の設定を行い、カスタム指標を追加をクリックします。

数値カテゴリー

ホストされたカスタム指標の追加¶

ホストされたカスタム指標を使用すると、デプロイに組織の特殊な指標を最大5つ実装し、 DataRobot Notebooksを使用してカスタム指標コードをアップロードし、カスタムジョブインフラストラクチャで指標計算をホストできます。 作成後、これらのカスタム指標は、他のデプロイで再利用できます。

カスタム指標を追加ダイアログボックスで、ホストされたカスタム指標を追加するには、指標を設定し、ノートブックからカスタム指標を追加をクリックします。

カスタム指標を設定すると、そのコードを含むノートブックがロードされます。 ノートブックには、1つのカスタム指標セルが含まれています。 カスタム指標セルは独自のノートブックセルで、指標のエクスポートと計算の方法を定義するPythonコード、スコアリングのコード、および指標を設定するコードが含まれます。 必要に応じて、カスタム指標セルのコードを変更します。 次に、セルの下部にあるカスタム指標コードをテストをクリックして、コードをテストします。 テストではカスタムジョブが作成されます。 テストが正常に実行された場合、カスタム指標コードをデプロイをクリックして、カスタム指標をデプロイに追加します。

コードが正しく実行されない場合、テスト完了後に、カスタム指標コードのテストに失敗しましたという警告が表示されます。 カスタム指標ジョブを開くをクリックしてジョブにアクセスし、ログを確認して問題のトラブルシューティングを行います。

カスタム指標のコードをトラブルシューティングするには、失敗したテストのログなどのジョブの実行タブに移動します。 失敗した実行で、 ログを表示をクリックします。

ギャラリーからホストされたカスタム指標を追加¶

カスタム指標ギャラリーは、事前に作成され、再利用と共有が可能なコードを含む一元化されたライブラリを提供します。このコードは、予測モデルや生成モデル向けに、ホストされた各種カスタム指標を実装します。 これらの指標は、変更可能なカスタム指標のサマリーダッシュボードで、外部のカスタム指標とともに記録されます。 このダッシュボードから、各指標の時間経過に伴う変化を監視、視覚化、およびエクスポートできます。 この機能により、組織固有の指標を実装して、DataRobotに組み込まれているサービスの正常性、データドリフト、精度の各指標によって提供されるインサイトを拡張できます。

事前に作成されたカスタム指標をデプロイに追加するには：

1. カスタム指標を追加パネルで、ユースケースに適したカスタム指標テンプレートを選択します。

   

   DataRobotは、3つの異なるカテゴリーの指標タイプを提供しています。

   二値分類連続値LLM（生成）

   カスタム指標のテンプレート	説明
   上位x%のリコール	並べ替えられた予測確率の特定の上位部分に限定して、モデルのパフォーマンスを測定します。 リコールは、モデルによって正しく識別される実際の陽性の割合を計算するモデルのパフォーマンス指標です。
   上位x%の陽性的中率	並べ替えられた予測確率の特定の上位部分に限定して、モデルのパフォーマンスを測定します。 陽性的中率は、予測された陽性の合計から正しく予測された陽性の観測値の割合を計算するモデルのパフォーマンス指標です。
   上位x%のF1	並べ替えられた予測確率の特定の上位部分に限定して、モデルのパフォーマンスを測定します。 F1スコアは、陽性的中率とリコールの両方を考慮するモデルのパフォーマンス指標です。
   上位x%のAUC（ROC曲線下の領域）	並べ替えられた予測確率の特定の上位部分に限定して、モデルのパフォーマンスを測定します。

   カスタム指標のテンプレート	説明
   平均二乗対数誤差（MSLE）	予測値と実測値の対数の平方差の平均を計算します。 これは、ターゲット値が人口数、期間内の商品の平均売上高などの指数関数的に増加すると予想される場合に、連続値問題で使用される損失関数です。
   中央絶対誤差（MedAE）	ターゲット値と予測値の間の絶対差の中央値を計算します。 これは、予測の精度を測定するために連続値問題で使用される堅牢な指標です。

   カスタム指標のテンプレート	説明
   読み終わるまでの時間	LLMが生成したテキストを人が読むのにかかる平均時間を推定します。
   完了トークンの平均	リクエストされた期間の完了時のトークンの平均数を計算します。 使用されるcl100k_baseエンコーディングは、OpenAIモデル（gpt-4、gpt-3.5-turbo、text-embedding-ada-002）にのみ対応しています。別のモデルを使用する場合は、エンコーディングを変更してください。
   コサイン類似度の平均	各プロンプトベクターと対応するコンテキストベクター間の平均コサイン類似度を計算します。
   コサイン類似度の最大値	各プロンプトベクターと対応するコンテキストベクター間の最大のコサイン類似度を計算します。
   コサイン類似度の最小値	各プロンプトベクターと対応するコンテキストベクター間の最小のコサイン類似度を計算します。
   コスト	入力、出力、および検索されたテキストのトークン数を計算してから、トークンの価格設定を適用することで、LLMを使用する際の財務コストを推定します。 使用されるcl100k_baseエンコーディングは、OpenAIモデル（gpt-4、gpt-3.5-turbo、text-embedding-ada-002）にのみ対応しています。別のモデルを使用する場合は、エンコーディングを変更してください。
   Dale-Chall 読みやすさ	難解な単語の割合と平均的な文章の長さに基づいて、テキストを理解するのに必要な米国の学年レベルを測定します。
   ユークリッド平均	各プロンプトベクターと対応するコンテキストベクター間の平均ユークリッド距離を計算します。
   ユークリッド最大値	各プロンプトベクターと対応するコンテキストベクター間の最大ユークリッド距離を計算します。
   ユークリッド最小値	各プロンプトベクターと対応するコンテキストベクター間の最小ユークリッド距離を計算します。
   フレッシュ読解容易性	テキストの読みやすさを、平均の文章長さと単語あたりの平均音節数に基づいて測定します。
   プロンプトインジェクション[サイドカー指標]	システムプロンプトの上書きや変更など、モデルの出力を変えることを目的とした入力操作を検出します。 この指標には、プロンプトインジェクション分類器の グローバルモデルを追加でデプロイする必要があります。
   プロンプトトークンの平均	リクエストされた期間のプロンプトでの平均トークン数を計算します。 使用されるcl100k_baseエンコーディングは、OpenAIモデル（gpt-4、gpt-3.5-turbo、text-embedding-ada-002）にのみ対応しています。別のモデルを使用する場合は、エンコーディングを変更してください。
   文章数	LLMによって生成されたユーザープロンプトとテキスト内の文章の総数を計算します。
   センチメント	テキストのセンチメントを肯定的か否定的に分類します
   センチメント[サイドカー指標]	事前に学習された感情分類モデルを使用して、テキストの感情を肯定的または否定的に分類します。 この指標には、感情分類器の グローバルモデルを追加でデプロイする必要があります。
   音節数	ユーザープロンプトとLLMが生成したテキストに含まれる単語の音節数の合計を計算します。
   トークンの平均	プロンプトと補完のトークンの平均を計算します。 使用されるcl100k_baseエンコーディングは、OpenAIモデル（gpt-4、gpt-3.5-turbo、text-embedding-ada-002）にのみ対応しています。別のモデルを使用する場合は、エンコーディングを変更してください。
   毒性[サイドカー指標]	事前に訓練された差別的発言の分類モデルを使用してテキストの毒性を測定し、有害なコンテンツを防止します。 この指標には、毒性分類器の グローバルモデルを追加でデプロイする必要があります。
   ワードカウント	ユーザープロンプトとLLMが生成したテキストに含まれる単語数の合計を計算します。
   日本語テキストの指標
   [日本語] 文字数	LLMでの作業中に生成された文字数の合計を計算します。
   [日本語] PII出現数	LLMでの作業中に発生したPIIの総数を計算します。

2. リストから指標を選択したら、カスタム指標設定サイドバーで、指標計算スケジュールを設定するか、指標計算を直ちに実行し、必要に応じて指標ベースライン値を設定します。

   

   サイドカー指標

   [sidecar metric]を選択した場合は、アセンブルタブを開いたときに、ランタイムパラメーターセクションに移動してSIDECAR_DEPLOYMENT_IDを設定します。サイドカー指標を、その指標の計算に必要な接続されたデプロイに関連付けます。 指標を計算するモデルをデプロイしていない場合、これらの指標には、 グローバルモデルとして事前に定義されたモデルがあります。

3. 指標を作成をクリックします。 新しい指標が、カスタム指標ダッシュボードに表示されます。

   

4. カスタム指標を作成すると、その指標に関連付けられたカスタムジョブを表示できます。 このジョブは定義されたスケジュールで実行され、ギャラリーからではない ホストされたカスタム指標と同様にカスタム指標を計算します。 関連付けられたカスタムジョブへのアクセスと管理を行うには、アクションメニュー をクリックして、 カスタムジョブを開くをクリックします。

   

カスタム指標にデータをアップロード¶

カスタム指標を作成した後、データを提供して指標を計算できます。

1. カスタム指標タブで、データをアップロードするカスタム指標を見つけ、 データをアップロードするアイコンをクリックします。

   

2. データをアップロードダイアログボックスで、アップロード方法を選択してから、次へをクリックします：

   

   アップロード方法	説明
   データレジストリを使用	データセットを選択パネルで、データセットをアップロードするか、またはリストからデータセットをクリックして、その後確認をクリックします。 データレジストリには、 データ探索タブのデータセットが含まれます。
   APIを使用	APIクライアントを使用ダイアログボックスで、クリップボードにコピーをクリックしてから、APIスニペットを変更し、それを使用してデータセットをアップロードします。 1回のAPI呼び出しで最大10,000個の値をアップロードできます。

3. データセット列を選択ダイアログボックスで、以下を設定します。

   

   フィールド	説明
   タイムスタンプ列	（必須）タイムスタンプを含むデータセット内の列。
   値列	（必須）カスタム指標の計算に使用される値を含むデータセット内の列。
   関連付けID	予測値を実測値にリンクするためにカスタム指標で必要とする関連付けIDを含む行。
   日付形式	タイムスタンプ列で使用される日付形式。

4. データをアップロードするをクリックします。

カスタム指標の管理¶

カスタム指標ダッシュボードでは、カスタム指標を追加した後、それらを編集または削除できます。

カスタム指標タブで、管理したいカスタム指標を見つけてから、アクションメニュー  をクリックします。

• 指標を編集するには、 編集をクリックし、変更可能な設定を更新して、カスタム指標を更新をクリックします。

• 指標を削除するには、 削除をクリックします。

カスタム指標ダッシュボードの表示設定¶

以下の設定を行い、ダッシュボードに表示するカスタム指標の計算を指定します。

ダッシュボード上の指標の配置または非表示¶

カスタム指標のサマリーダッシュボードで指標を並べ替えたり非表示にしたりするには、移動または非表示にするカスタム指標を見つけます。

• 指標を移動するには、指標タイルの左側にあるグリッドアイコン をクリックしてから、指標を新しい場所にドラッグします。

• 指標のチャートを非表示にするには、指標名の横にあるチェックボックスをオフにします。

カテゴリー指標のチャートタイプの選択¶

カテゴリーの外部カスタム指標を追加した場合、カスタム指標サマリーダッシュボードの指標チャートは、折れ線グラフまたは棒グラフとして表示できます。 チャートビューを変更するには、プロット領域の右上隅にある設定アイコンをクリックしてから、折れ線グラフとして表示チェックボックスをオン（またはオフ）します。

折れ線グラフ棒グラフ

地理空間指標のチャートタイプを選択¶

地理空間指標を追加した場合、カスタム指標のサマリーダッシュボード上の指標チャートは、標準のチャートまたは地理空間チャート（地図に重ねて表示）として表示できます。 表示を変更するには、プロット領域の右上隅にある地理空間チャートを表示をクリックします。

指標データの探索¶

生成AIデプロイのカスタム指標タブのカスタム指標チャートのヘッダーで、トレースを表示をクリックして、関連付けIDで一致した行ごとのプロンプト、回答、ユーザー評価、およびその他のカスタム指標スコアを表示します。 このビューでは、生成AIモデルの回答の品質に関するインサイトが、ユーザーによる評価と、実装した生成AIのカスタム指標に基づいて提供されます。 をクリックしてカスタム指標のデータをダウンロードすることもできます。

データ探索のためのトレーステーブルを開くと、関連付けIDが一致するプロンプト、回答、ユーザー評価などのカスタム指標スコアを行ごとに確認できます。 現在、テーブルに表示されているカスタム指標がハイライトされます。 トレーステーブルの特定の行を検索で見つけます。 検索条件をクリックし、プロンプトの値、回答、実測値のいずれかを選択します。 次に検索 をクリックします。 開くアイコン をクリックすると、詳細パネルが展開され、行の完全なプロンプトおよび関連付けIDでプロンプトに一致する回答が表示されます。

さらに、トレーステーブルに表示される行を設定するには、 設定をクリックして列管理パネルを開きます。このパネルでは、列の選択、非表示、並べ替えを行うことができます。 外部で使用するために列をエクスポートするには、選択された範囲のすべてをエクスポートをクリックして、カスタム指標の上部で現在選択されている時間範囲のすべての行をエクスポートするか、テーブルで1つ以上の行を選択している場合は、選択された行をエクスポートをクリックします。