監視ジョブ¶
外部データソースとより密接に連携させるために、監視ジョブを定義することで、DataRobotの外部で特徴量データ、予測値、実測値、カスタム指標を実行および保存するデプロイを監視できます。 たとえば、Snowflakeに接続して、関連するSnowflakeテーブルから元データを取得し、監視目的でDataRobotにデータを送信する監視ジョブを作成することができます。 その後、他のジョブ定義と同様に、監視ジョブの定義を確認および管理できます。
外部モデルと監視ジョブのサービス正常性に関する情報
Service health information is unavailable for external agent-monitored deployments and deployments with predictions uploaded through a prediction monitoring job.
時系列モデルに関する注意事項
時系列モデルによる予測の監視は、監視ジョブではサポートされていません。
監視ジョブを作成するには、ジョブを作成するデプロイで、モニタリング > 監視ジョブをクリックし、ジョブ定義ページでジョブ定義を追加をクリックします。 新しいモニタリングジョブ定義ページで、次のオプションを設定します。
| フィールド名 | 説明 | |
|---|---|---|
| 1 | 監視ジョブの定義名 | デプロイのために作成する監視ジョブの名前を入力します。 |
| 2 | 監視データの送信元 | スコアリング対象のデータのソースタイプを設定し、接続を定義します。 |
| 3 | 監視オプション | 予測値と実測値またはカスタム指標（プレビュー機能）の監視オプションを設定します。 |
| 4 | データ送信先 | （オプション）出力監視を有効にする場合は、 データの送信先オプションを設定します。 |
| 5 | ジョブスケジュール | ジョブをすぐに実行するかどうか、および ジョブをスケジュールするかどうかを設定します。 |
監視データソースを設定¶
入力アダプターと呼ばれる監視ソースを選択し、ソースのタイプに適した認証ワークフローを完了します。 以下の接続タイプを選択すると、フィールドの説明が表示されます。
備考
接続の参照時に無効なアダプターは表示されません。
データベース接続
クラウドストレージ接続
データウェアハウス接続
その他
監視ソースを設定すると、DataRobotはそのデータがデプロイ済みモデルに適用可能であるかを検証します。
備考
DataRobotは、データソースがモデルと互換性があるかどうかをできる限り検証しますが、すべてのケースで検証できるわけではありません。 DataRobotは、データレジストリ、ほとんどのJDBC接続、Snowflake、Synapseで検証を行います。
監視オプションを設定¶
監視オプションセクションでは、予測値と実測値の監視ジョブまたはカスタム指標の監視ジョブを設定できます。
予測値と実測値のオプションを設定する¶
監視ジョブを定義することで、DataRobotの外部で特徴量データ、予測値、実測値を実行および保存するデプロイを監視できます。
監視オプションセクションの予測値と実測値タブでは、利用可能なオプションはモデルタイプ（連続値または分類）によって異なります。
重要：監視エージェントと監視ジョブの関連付けID
予測を精度追跡に含めるには、予測を行う前に関連付けIDを設定する必要があります。 エージェントによって監視され、チャレンジャー（およびチャレンジャーの監視ジョブ）を含む外部モデルのデプロイの場合、モデル_と_そのチャレンジャーの精度を報告するには、関連付けIDを__DataRobot_Internal_Association_ID__にする必要があります。
| オプション | 説明 |
|---|---|
| 関連付けID列 | 予測のための関連付けIDを含むデータソースの列を識別します。 |
| 予測列 | 予測値を含むデータソースの列を識別します。 このフィールドおよび/または実測値列を提供する必要があります。 |
| 実測値列 | 実測値を含むデータソースの列を識別します。 このフィールドおよび/または予測列を提供する必要があります。 |
| 実測値のタイムスタンプ列 | 実測値のタイムスタンプを含むデータソースの列を識別します。 |
| オプション | 説明 |
|---|---|
| 関連付けID列 | 予測のための関連付けIDを含むデータソースの列を識別します。 |
| 予測列 | 各予測クラスを含むデータソースの列を識別します。 このフィールドおよび/または実測値列を提供する必要があります。 |
| 実測値列 | 実測値を含むデータソースの列を識別します。 このフィールドおよび/または予測列を提供する必要があります。 |
| 実測値のタイムスタンプ列 | 実測値のタイムスタンプを含むデータソースの列を識別します。 |
集約オプションの設定¶
大規模監視が有効な外部モデル（つまり、元のデータはDataRobotプラットフォームに保存されていません）でチャレンジャーモデルをサポートするには、元の特徴量データと予測データの小さなサンプルをレポートし、残りのデータを集計形式で送信します。 集計を使用するを有効にし、保持設定を行って、元データがMLOpsライブラリによって集計されることを示し、チャレンジャーモデルのために保持すべき元データの量を定義します。
大規模監視の自動サンプリング
チャレンジャー分析や精度監視で元データの小さなサンプルを自動的にレポートするには、外部モデルの大規模監視を有効にするときに MLOPS_STATS_AGGREGATION_AUTO_SAMPLING_PERCENTAGEを定義します。
| プロパティ | 説明 |
|---|---|
| 保持ポリシー | ポリシーの定義では、保持値がデータセットのサンプル数を表すのか、パーセンテージを表すのかを決定します。 |
| 保持値 | データの割合またはサンプル数のいずれかで保持するデータ量 |
これらのプロパティを定義した場合、元のデータは、MLOpsライブラリによって集計されます。 これは、データが、DataRobotプラットフォームに保存されないことを意味します。 精度監視では、統計情報の集計は、特徴量データと予測データのみをサポートし、実測データはサポートしません。 関連付けID列、実測値列、または実測値タイムスタンプ列の1つ以上を定義した場合、DataRobotは、データを集計できません。 集計を使用オプションを有効化すると、関連付けIDおよび実測値関連フィールドが無効になります。
プレビュー機能：集計による精度の監視
プレビュー版の機能です。集計を有効にした外部モデルの監視ジョブは、精度の追跡に対応できます。 この機能を有効にすると、集計を使用するを有効にして保持設定を行う際に、精度監視のための実測値列も定義できます。ただし、予測列と関連付けID列も定義する必要があります。
デフォルトではオフの機能フラグ：精度の集計を有効にする
出力監視およびデータの宛先オプションを設定¶
予測および実測値の監視オプションを設定した後、出力監視ステータスを有効にして、次のオプションを設定することの選択ができます。
| オプション | 説明 |
|---|---|
| 監視ステータス列 | 各行の監視ステータスを含むデータの送信先の列を識別します。 |
| 一意な行識別子列 | 各行について一意の識別子として機能するデータソースの列を識別します。 これらの列は、各監視ステータスと対応するソース行を関連付けるために、データ送信先にコピーされます。 |
出力監視ステータスが有効な場合、監視済みのデータ結果の保存先を指定するデータの送信先オプションも設定する必要があります。 出力アダプターと呼ばれる監視データの送信先を選択し、送信先のタイプに適した認証ワークフローを完了します。 以下の接続タイプを選択すると、フィールドの説明が表示されます。
備考
接続の参照時に無効なアダプターは表示されません。
データベース接続
クラウドストレージ接続
データウェアハウス接続
カスタム指標のオプションを設定する¶
プレビュー
カスタム指標の監視ジョブは、デフォルトではオフになっています。 この機能を有効にする方法については、DataRobotの担当者または管理者にお問い合わせください。
機能フラグ：カスタム指標のジョブ定義を有効にする
監視ジョブを定義することで、計算されたカスタム指標値をDataRobotの外部からカスタム指標タブで定義されたカスタム指標にプルでき、外部データソースを使用したカスタム指標をサポートします。
監視オプションセクションで、カスタム指標をクリックし、以下のオプションを設定します。
| フィールド | 説明 |
|---|---|
| カスタム指標 | 現在のデプロイから監視対象のカスタム指標を選択します。 |
| 値列 | カスタム指標の計算に使用される値を含むデータセット内の列を選択します。 |
| タイムスタンプ列 | タイムスタンプを含むデータセット内の列を選択します。 |
| 日付形式 | タイムスタンプ列で使用される日付形式を選択します。 |
監視ジョブのスケジュール¶
監視ジョブは、スケジュールに従って自動的に実行されるように設定することができます。 監視ジョブ定義を実行する際、このジョブをスケジュールで自動的に実行を有効にしてから、頻度（日次、時間、月など）と時刻を指定して、ジョブを実行するスケジュールを定義します。
さらに詳細な指定をする場合は、高度なスケジューラーを使用するを選択します。 監視ジョブを実行する正確な時間（分単位）を設定できます。
監視ジョブの定義を保存¶
適切なオプションをすべて設定したら、監視ジョブ定義を保存をクリックします。 このジョブをすぐに実行が有効になっている場合、ボタンのテキストが監視ジョブの定義を保存および実行に変わります。
検定エラー
検定エラーがある場合、このボタンは無効になります。