UIによる監視ジョブの作成¶
予測APIに加え、DataRobot UIを通じて、監視ジョブの定義を作成することができます。 その後、他のジョブ定義と同様に監視ジョブ定義を 表示および管理できます。
DataRobotで監視ジョブを作成するには：
-
デプロイをクリックして、インベントリからデプロイを選択します。
-
選択したデプロイの概要で、ジョブ定義をクリックします。
-
ジョブ定義ページで、ジョブの監視をクリックしてから、ジョブ定義を追加をクリックします。
-
新しいモニタリングジョブ定義ページで、次のオプションを設定します。
フィールド名 説明 
監視ジョブの定義名 デプロイのために作成する監視ジョブの名前を入力します。 
監視データの送信元 ソースのタイプを設定し、スコアリングするデータの接続を定義します。 
監視オプション 監視オプションと 集計オプションを設定します。 
データ送信先 （オプション）出力監視を有効にする場合は、 データの送信先オプションを設定します。 
ジョブスケジュール ジョブをすぐに実行するかどうか、および ジョブをスケジュールするかどうかを設定します。 
監視ジョブの定義を保存 このボタンをクリックして、ジョブ定義を保存します。 このジョブをすぐに実行トグルがオンになっている場合、このボタンは予測ジョブ定義を保存して実行に変わります。 検定エラーがある場合、このボタンは無効になっています。
監視データソースを設定¶
監視ソース（ 入力アダプターと呼ばれる）を選択し、ソースタイプに応じた適切な認証ワークフローを完了します。 以下の接続タイプを選択すると、フィールドの説明が表示されます。
備考
接続の参照時に無効なアダプターは表示されません。
データベース接続
クラウドストレージ接続
データウェアハウス接続
その他
監視ソースを設定すると、DataRobotはそのデータがデプロイ済みモデルに適用可能であるかを検証します。
備考
DataRobotは、データソースがモデルと互換性があるかどうかをできる限り検証しますが、すべてのケースで検証できるわけではありません。 DataRobotは、AIカタログ、ほとんどのJDBC接続、Snowflake、Synapseで検証を行います。
監視オプションを設定¶
監視オプションを設定する場合、使用可能なオプションは、モデルタイプ（連続値または分類）によって異なります。
| オプション | 説明 |
|---|---|
| 関連付けID列 | 予測のための関連付けIDを含むデータソースの列を識別します。 |
| 予測列 | 予測値を含むデータソースの列を識別します。 このフィールドおよび/または実測値列を提供する必要があります。 |
| 実測値列 | 実測値を含むデータソースの列を識別します。 このフィールドおよび/または予測列を提供する必要があります。 |
| 実測値のタイムスタンプ列 | 実測値のタイムスタンプを含むデータソースの列を識別します。 |
| オプション | 説明 |
|---|---|
| 関連付けID列 | 予測のための関連付けIDを含むデータソースの列を識別します。 |
| 予測列 | 各予測クラスを含むデータソースの列を識別します。 このフィールドおよび/または実測値列を提供する必要があります。 |
| 実測値列 | 実測値を含むデータソースの列を識別します。 このフィールドおよび/または予測列を提供する必要があります。 |
| 実測値のタイムスタンプ列 | 実測値のタイムスタンプを含むデータソースの列を識別します。 |
集約オプションの設定¶
大規模監視が有効な外部モデル（つまり、元のデータはDataRobotプラットフォームに保存されていません）でチャレンジャーモデルをサポートするには、元の特徴量データと予測データの小さなサンプルをレポートし、残りのデータを集計形式で送信します。 Enable Use aggregation and configure the retention settings to indicate that raw data is aggregated by the MLOps library and define how much raw data should be retained for challengers.
大規模監視の自動サンプリング
チャレンジャー分析や精度監視で元データの小さなサンプルを自動的にレポートするには、外部モデルの大規模監視を有効にするときに MLOPS_STATS_AGGREGATION_AUTO_SAMPLING_PERCENTAGEを定義します。
| プロパティ | 説明 |
|---|---|
| 保持ポリシー | ポリシーの定義では、保持値がデータセットのサンプル数を表すのか、パーセンテージを表すのかを決定します。 |
| 保持値 | データの割合またはサンプル数のいずれかで保持するデータ量 |
これらのプロパティを定義した場合、元のデータは、MLOpsライブラリによって集計されます。 これは、データが、DataRobotプラットフォームに保存されないことを意味します。 精度監視では、統計情報の集計は、特徴量データと予測データのみをサポートし、実測データはサポートしません。 関連付けID列、実測値列、または実測値タイムスタンプ列の1つ以上を定義した場合、DataRobotは、データを集計できません。 集計を使用オプションを有効化すると、関連付けIDおよび実測値関連フィールドが無効になります。
パブリックプレビュー：集計を有効にした精度監視
パブリックプレビュー版の機能です。集計を有効にした外部モデルの監視ジョブは、精度の追跡に対応できます。 With this feature enabled, when you enable Use aggregation and configure the retention settings, you can also define the Actuals value column for accuracy monitoring; however, you must also define the Predictions column and Association ID column.
Feature flag OFF by default: Enable Accuracy Aggregation
出力監視およびデータの宛先オプションを設定¶
予測および実測値の監視オプションを設定した後、出力監視ステータスを有効にして、次のオプションを設定することの選択ができます。
| オプション | 説明 |
|---|---|
| 監視ステータス列 | 各行の監視ステータスを含むデータの送信先の列を識別します。 |
| 一意な行識別子列 | 各行について一意の識別子として機能するデータソースの列を識別します。 これらの列は、各監視ステータスと対応するソース行を関連付けるために、データ送信先にコピーされます。 |
出力監視ステータスが有効な場合、監視済みのデータ結果の保存先を指定するデータの送信先オプションも設定する必要があります。 監視データの宛先（ 出力アダプターと呼ばれる）を選択し、宛先タイプに適した認証ワークフローを完了します。 以下の接続タイプを選択すると、フィールドの説明が表示されます。
備考
接続の参照時に無効なアダプターは表示されません。
データベース接続
クラウドストレージ接続
データウェアハウス接続
その他
監視ジョブのスケジュール¶
監視ジョブは、スケジュールに従って自動的に実行されるように設定することができます。 監視ジョブ定義を実行する際、このジョブをスケジュールで自動的に実行を有効にしてから、頻度（日次、時間、月など）と時刻を指定して、ジョブを実行するスケジュールを定義します。
さらに詳細な指定をする場合は、高度なスケジューラーを使用するを選択します。 監視ジョブを実行する正確な時間（分単位）を設定できます。
適切なオプションをすべて設定したら、監視ジョブ定義を保存をクリックします。