UIによる監視ジョブの作成¶
予測APIに加え、DataRobot UIを通じて、監視ジョブの定義を作成することができます。 その後、他のジョブ定義と同様に監視ジョブ定義を 表示および管理できます。
DataRobotで監視ジョブを作成するには：
-
デプロイをクリックして、インベントリからデプロイを選択します。
-
選択したデプロイの概要で、ジョブ定義をクリックします。
-
ジョブ定義ページで、ジョブの監視をクリックしてから、ジョブ定義を追加をクリックします。
-
新しいモニタリングジョブ定義ページで、次のオプションを設定します。
フィールド名 説明 1 監視ジョブの定義名 デプロイのために作成する監視ジョブの名前を入力します。 2 監視データの送信元 ソースのタイプを設定し、スコアリングするデータの接続を定義します。 3 監視オプション 監視オプションと 集計オプションを設定します。 4 データ送信先 （オプション）出力監視を有効にする場合は、 データの送信先オプションを設定します。 5 ジョブスケジュール ジョブをすぐに実行するかどうか、および ジョブをスケジュールするかどうかを設定します。 6 監視ジョブの定義を保存 このボタンをクリックして、ジョブ定義を保存します。 このジョブをすぐに実行トグルがオンになっている場合、このボタンは予測ジョブ定義を保存して実行に変わります。 検定エラーがある場合、このボタンは無効になっています。
監視データソースを設定¶
監視ソース（ 入力アダプターと呼ばれる）を選択し、ソースタイプに応じた適切な認証ワークフローを完了します。 以下の接続タイプを選択すると、フィールドの説明が表示されます。
備考
接続の参照時に無効なアダプターは表示されません。
データベース接続
クラウドストレージ接続
データウェアハウス接続
その他
監視ソースを設定すると、DataRobotはそのデータがデプロイ済みモデルに適用可能であるかを検証します。
備考
DataRobotは、データソースがモデルと互換性があるかどうかをできる限り検証しますが、すべてのケースで検証できるわけではありません。 DataRobotは、AIカタログ、ほとんどのJDBC接続、Snowflake、Synapseで検証を行います。
監視オプションを設定¶
監視オプションを設定する場合、使用可能なオプションは、モデルタイプ（連続値または分類）によって異なります。
| オプション | 説明 |
|---|---|
| 関連付けID列 | 予測のための関連付けIDを含むデータソースの列を識別します。 |
| 予測列 | 予測値を含むデータソースの列を識別します。 このフィールドおよび/または実測値列を提供する必要があります。 |
| 実測値列 | 実測値を含むデータソースの列を識別します。 このフィールドおよび/または予測列を提供する必要があります。 |
| 実測値のタイムスタンプ列 | 実測値のタイムスタンプを含むデータソースの列を識別します。 |
| オプション | 説明 |
|---|---|
| 関連付けID列 | 予測のための関連付けIDを含むデータソースの列を識別します。 |
| 予測列 | 各予測クラスを含むデータソースの列を識別します。 このフィールドおよび/または実測値列を提供する必要があります。 |
| 実測値列 | 実測値を含むデータソースの列を識別します。 このフィールドおよび/または予測列を提供する必要があります。 |
| 実測値のタイムスタンプ列 | 実測値のタイムスタンプを含むデータソースの列を識別します。 |
集約オプションの設定¶
大規模監視が有効な外部モデル（つまり、元のデータはDataRobotプラットフォームに保存されていません）でチャレンジャーモデルをサポートするには、元の特徴量データと予測データの小さなサンプルをレポートし、残りのデータを集計形式で送信します。 集計を使用するを有効にし、保持設定を行って、元データがMLOpsライブラリによって集計されることを示し、チャレンジャーモデルのために保持すべき元データの量を定義します。
大規模監視の自動サンプリング
チャレンジャー分析や精度監視で元データの小さなサンプルを自動的にレポートするには、外部モデルの大規模監視を有効にするときに MLOPS_STATS_AGGREGATION_AUTO_SAMPLING_PERCENTAGEを定義します。
| プロパティ | 説明 |
|---|---|
| 保持ポリシー | ポリシーの定義では、保持値がデータセットのサンプル数を表すのか、パーセンテージを表すのかを決定します。 |
| 保持値 | データの割合またはサンプル数のいずれかで保持するデータ量 |
これらのプロパティを定義した場合、元のデータは、MLOpsライブラリによって集計されます。 これは、データが、DataRobotプラットフォームに保存されないことを意味します。 精度監視では、統計情報の集計は、特徴量データと予測データのみをサポートし、実測データはサポートしません。 関連付けID列、実測値列、または実測値タイムスタンプ列の1つ以上を定義した場合、DataRobotは、データを集計できません。 集計を使用オプションを有効化すると、関連付けIDおよび実測値関連フィールドが無効になります。
プレビュー：集計を有効にした精度監視
プレビュー版の機能です。集計を有効にした外部モデルの監視ジョブは、精度の追跡に対応できます。 この機能を有効にすると、集計を使用するを有効にして保持設定を行う際に、精度監視のための実測値列も定義できます。ただし、予測列と関連付けID列も定義する必要があります。
デフォルトではオフの機能フラグ：精度の集計を有効にする
出力監視およびデータの宛先オプションを設定¶
予測および実測値の監視オプションを設定した後、出力監視ステータスを有効にして、次のオプションを設定することの選択ができます。
| オプション | 説明 |
|---|---|
| 監視ステータス列 | 各行の監視ステータスを含むデータの送信先の列を識別します。 |
| 一意な行識別子列 | 各行について一意の識別子として機能するデータソースの列を識別します。 これらの列は、各監視ステータスと対応するソース行を関連付けるために、データ送信先にコピーされます。 |
出力監視ステータスが有効な場合、監視済みのデータ結果の保存先を指定するデータの送信先オプションも設定する必要があります。 監視データの宛先（ 出力アダプターと呼ばれる）を選択し、宛先タイプに適した認証ワークフローを完了します。 以下の接続タイプを選択すると、フィールドの説明が表示されます。
備考
接続の参照時に無効なアダプターは表示されません。
データベース接続
クラウドストレージ接続
データウェアハウス接続
その他
監視ジョブのスケジュール¶
監視ジョブは、スケジュールに従って自動的に実行されるように設定することができます。 監視ジョブ定義を実行する際、このジョブをスケジュールで自動的に実行を有効にしてから、頻度（日次、時間、月など）と時刻を指定して、ジョブを実行するスケジュールを定義します。
さらに詳細な指定をする場合は、高度なスケジューラーを使用するを選択します。 監視ジョブを実行する正確な時間（分単位）を設定できます。
適切なオプションをすべて設定したら、監視ジョブ定義を保存をクリックします。