UIによる監視ジョブの作成¶
外部データソースとより密接に連携させるために、監視ジョブを定義することで、DataRobotの外部で特徴量データ、予測値、実測値、カスタム指標を実行および保存するデプロイを監視できます。 たとえば、Snowflakeに接続して、関連するSnowflakeテーブルから元データを取得し、監視目的でDataRobotにデータを送信する監視ジョブを作成することができます。 You can then view and manage monitoring job definitions as you would any other job definition.
外部モデルと監視ジョブのサービス正常性に関する情報
サービス正常性の情報は、エージェントによって監視される外部のデプロイでは入手できません。また、予測監視ジョブを介して予測がアップロードされるデプロイでも入手できません。
時系列モデルに関する注意事項
時系列モデルによる予測の監視は、監視ジョブではサポートされていません。
DataRobotで監視ジョブを作成するには：
-
デプロイをクリックして、インベントリからデプロイを選択します。
-
選択したデプロイの概要で、ジョブ定義をクリックします。
-
ジョブ定義ページで、ジョブの監視をクリックしてから、ジョブ定義を追加をクリックします。
-
新しいモニタリングジョブ定義ページで、次のオプションを設定します。
フィールド名 説明 1 監視ジョブの定義名 デプロイのために作成する監視ジョブの名前を入力します。 2 監視データの送信元 Set the source type and define the connection for the data to be scored. 3 監視オプション Configure predictions and actuals or custom metrics (preview feature) monitoring options. 4 データ送信先 (Optional) Configure the data destination options if you enable output monitoring. 5 ジョブスケジュール Configure whether to run the job immediately and whether to schedule the job.
監視データソースを設定¶
入力アダプターと呼ばれる監視ソースを選択し、ソースのタイプに適した認証ワークフローを完了します。 以下の接続タイプを選択すると、フィールドの説明が表示されます。
備考
接続の参照時に無効なアダプターは表示されません。
データベース接続
クラウドストレージ接続
データウェアハウス接続
その他
監視ソースを設定すると、DataRobotはそのデータがデプロイ済みモデルに適用可能であるかを検証します。
備考
DataRobotは、データソースがモデルと互換性があるかどうかをできる限り検証しますが、すべてのケースで検証できるわけではありません。 DataRobotは、AIカタログ、ほとんどのJDBC接続、Snowflake、Synapseで検証を行います。
監視オプションを設定¶
監視オプションセクションでは、予測値と実測値の監視ジョブまたはカスタム指標の監視ジョブを設定できます。
予測値と実測値のオプションを設定する¶
監視ジョブを定義することで、DataRobotの外部で特徴量データ、予測値、実測値を実行および保存するデプロイを監視できます。
監視オプションセクションの予測値と実測値タブでは、利用可能なオプションはモデルタイプ（連続値または分類）によって異なります。
重要：監視エージェントと監視ジョブの関連付けID
予測を精度追跡に含めるには、予測を行う前に関連付けIDを設定する必要があります。 For agent-monitored external model deployments with challengers (and monitoring jobs for challengers), the association ID should be __DataRobot_Internal_Association_ID__ to report accuracy for the model and its challengers.
| オプション | 説明 |
|---|---|
| 関連付けID列 | 予測のための関連付けIDを含むデータソースの列を識別します。 |
| 予測列 | |
| 実測値列 | |
| 実測値のタイムスタンプ列 | 実測値のタイムスタンプを含むデータソースの列を識別します。 |
| オプション | 説明 |
|---|---|
| 関連付けID列 | 予測のための関連付けIDを含むデータソースの列を識別します。 |
| 予測列 | |
| 実測値列 | |
| 実測値のタイムスタンプ列 | 実測値のタイムスタンプを含むデータソースの列を識別します。 |
集約オプションの設定¶
大規模監視が有効な外部モデル（つまり、元のデータはDataRobotプラットフォームに保存されていません）でチャレンジャーモデルをサポートするには、元の特徴量データと予測データの小さなサンプルをレポートし、残りのデータを集計形式で送信します。 集計を使用するを有効にし、保持設定を行って、元データがMLOpsライブラリによって集計されることを示し、チャレンジャーモデルのために保持すべき元データの量を定義します。
大規模監視の自動サンプリング
チャレンジャー分析や精度監視で元データの小さなサンプルを自動的にレポートするには、外部モデルの大規模監視を有効にするときに MLOPS_STATS_AGGREGATION_AUTO_SAMPLING_PERCENTAGEを定義します。
| プロパティ | 説明 |
|---|---|
| 保持ポリシー | ポリシーの定義では、保持値がデータセットのサンプル数を表すのか、パーセンテージを表すのかを決定します。 |
| 保持値 | データの割合またはサンプル数のいずれかで保持するデータ量 |
これらのプロパティを定義した場合、元のデータは、MLOpsライブラリによって集計されます。 これは、データが、DataRobotプラットフォームに保存されないことを意味します。 精度監視では、統計情報の集計は、特徴量データと予測データのみをサポートし、実測データはサポートしません。 関連付けID列、実測値列、または実測値タイムスタンプ列の1つ以上を定義した場合、DataRobotは、データを集計できません。 集計を使用オプションを有効化すると、関連付けIDおよび実測値関連フィールドが無効になります。
プレビュー：集計を有効にした精度監視
プレビュー版の機能です。集計を有効にした外部モデルの監視ジョブは、精度の追跡に対応できます。 この機能を有効にすると、集計を使用するを有効にして保持設定を行う際に、精度監視のための実測値列も定義できます。ただし、予測列と関連付けID列も定義する必要があります。
デフォルトではオフの機能フラグ：精度の集計を有効にする
出力監視およびデータの宛先オプションを設定¶
予測および実測値の監視オプションを設定した後、出力監視ステータスを有効にして、次のオプションを設定することの選択ができます。
| オプション | 説明 |
|---|---|
| 監視ステータス列 | 各行の監視ステータスを含むデータの送信先の列を識別します。 |
| 一意な行識別子列 |
出力監視ステータスが有効な場合、監視済みのデータ結果の保存先を指定するデータの送信先オプションも設定する必要があります。 Select a monitoring data destination, called an output adapter, and complete the appropriate authentication workflow for the destination type. 以下の接続タイプを選択すると、フィールドの説明が表示されます。
備考
接続の参照時に無効なアダプターは表示されません。
データベース接続
クラウドストレージ接続
データウェアハウス接続
カスタム指標のオプションを設定する¶
プレビュー
カスタム指標の監視ジョブは、デフォルトではオフになっています。 この機能を有効にする方法については、DataRobotの担当者または管理者にお問い合わせください。
機能フラグ：カスタム指標のジョブ定義を有効にする
監視ジョブを定義することで、計算されたカスタム指標値をDataRobotの外部からカスタム指標タブで定義されたカスタム指標にプルでき、外部データソースを使用したカスタム指標をサポートします。
監視オプションセクションで、カスタム指標をクリックし、以下のオプションを設定します。
| フィールド | 説明 |
|---|---|
| カスタム指標 | 現在のデプロイから監視対象のカスタム指標を選択します。 |
| 値列 | カスタム指標の計算に使用される値を含むデータセット内の列を選択します。 |
| タイムスタンプ列 | タイムスタンプを含むデータセット内の列を選択します。 |
| 日付形式 | タイムスタンプ列で使用される日付形式を選択します。 |
監視ジョブのスケジュール¶
監視ジョブは、スケジュールに従って自動的に実行されるように設定することができます。 監視ジョブ定義を実行する際、このジョブをスケジュールで自動的に実行を有効にしてから、頻度（日次、時間、月など）と時刻を指定して、ジョブを実行するスケジュールを定義します。
さらに詳細な指定をする場合は、高度なスケジューラーを使用するを選択します。 監視ジョブを実行する正確な時間（分単位）を設定できます。
監視ジョブの定義を保存¶
適切なオプションをすべて設定したら、監視ジョブ定義を保存をクリックします。 このジョブをすぐに実行が有効になっている場合、ボタンのテキストが監視ジョブの定義を保存および実行に変わります。
検定エラー
検定エラーがある場合、このボタンは無効になります。