監視ジョブ¶
外部データソースとより密接に統合するために、DataRobotは、監視ジョブ定義により、DataRobotの外部で特徴量データと予測を実行および保存しているデプロイを監視できます。 たとえば、Snowflakeに接続して、関連するSnowflakeテーブルから元データを取得し、監視目的でDataRobotにデータを送信する監視ジョブを作成することができます。 その後、他のジョブ定義と同様に監視ジョブ定義を 表示および管理できます。
外部モデルと監視ジョブのサービス正常性に関する情報
レイテンシー、スループット、エラー率などのサービス正常性情報は、エージェントによって監視される外部のデプロイでは入手できません。また、予測監視ジョブを介して予測がアップロードされる場合も入手できません。
時系列モデルに関する注意事項
時系列モデルによる予測の監視は、監視ジョブではサポートされていません。
監視ジョブを作成するには、ジョブを作成するデプロイで、モニタリング > 監視ジョブをクリックし、ジョブ定義ページでジョブ定義を追加をクリックします。 新しいモニタリングジョブ定義ページで、次のオプションを設定します。
| フィールド名 | 説明 | |
|---|---|---|
| 1 | 監視ジョブの定義名 | デプロイのために作成する監視ジョブの名前を入力します。 |
| 2 | 監視データの送信元 | ソースのタイプを設定し、スコアリングするデータの接続を定義します。 |
| 3 | 監視オプション | 監視オプションと 集計オプションを設定します。 |
| 4 | データ送信先 | （オプション）出力監視を有効にする場合は、 データの送信先オプションを設定します。 |
| 5 | ジョブスケジュール | ジョブをすぐに実行するかどうか、および ジョブをスケジュールするかどうかを設定します。 |
| 6 | 監視ジョブの定義を保存 | このボタンをクリックして、ジョブ定義を保存します。 このジョブをすぐに実行トグルがオンになっている場合、このボタンは予測ジョブ定義を保存して実行に変わります。 検定エラーがある場合、このボタンは無効になっています。 |
監視データソースを設定¶
監視ソース（ 入力アダプターと呼ばれる）を選択し、ソースタイプに応じた適切な認証ワークフローを完了します。 以下の接続タイプを選択すると、フィールドの説明が表示されます。
備考
接続の参照時に無効なアダプターは表示されません。
データベース接続
クラウドストレージ接続
データウェアハウス接続
その他
監視ソースを設定すると、DataRobotはそのデータがデプロイ済みモデルに適用可能であるかを検証します。
備考
DataRobotは、データソースがモデルと互換性があるかどうかをできる限り検証しますが、すべてのケースで検証できるわけではありません。 DataRobotは、データレジストリ、ほとんどのJDBC接続、Snowflake、Synapseで検証を行います。
監視オプションを設定¶
監視オプションを設定する場合、使用可能なオプションは、モデルタイプ（連続値または分類）によって異なります。
重要：監視エージェントと監視ジョブの関連付けID
予測を精度追跡に含めるには、予測を行う前に関連付けIDを設定する必要があります。 エージェントによって監視され、チャレンジャー（およびチャレンジャーの監視ジョブ）を含む外部モデルのデプロイの場合、モデル_と_そのチャレンジャーの精度を報告するには、関連付けIDを__DataRobot_Internal_Association_ID__にする必要があります。
| オプション | 説明 |
|---|---|
| 関連付けID列 | 予測のための関連付けIDを含むデータソースの列を識別します。 |
| 予測列 | 予測値を含むデータソースの列を識別します。 このフィールドおよび/または実測値列を提供する必要があります。 |
| 実測値列 | 実測値を含むデータソースの列を識別します。 このフィールドおよび/または予測列を提供する必要があります。 |
| 実測値のタイムスタンプ列 | 実測値のタイムスタンプを含むデータソースの列を識別します。 |
| オプション | 説明 |
|---|---|
| 関連付けID列 | 予測のための関連付けIDを含むデータソースの列を識別します。 |
| 予測列 | 各予測クラスを含むデータソースの列を識別します。 このフィールドおよび/または実測値列を提供する必要があります。 |
| 実測値列 | 実測値を含むデータソースの列を識別します。 このフィールドおよび/または予測列を提供する必要があります。 |
| 実測値のタイムスタンプ列 | 実測値のタイムスタンプを含むデータソースの列を識別します。 |
集約オプションの設定¶
大規模監視が有効な外部モデル（つまり、元のデータはDataRobotプラットフォームに保存されていません）でチャレンジャーモデルをサポートするには、元の特徴量データと予測データの小さなサンプルをレポートし、残りのデータを集計形式で送信します。 集計を使用するを有効にし、保持設定を行って、元データがMLOpsライブラリによって集計されることを示し、チャレンジャーモデルのために保持すべき元データの量を定義します。
大規模監視の自動サンプリング
チャレンジャー分析や精度監視で元データの小さなサンプルを自動的にレポートするには、外部モデルの大規模監視を有効にするときに MLOPS_STATS_AGGREGATION_AUTO_SAMPLING_PERCENTAGEを定義します。
| プロパティ | 説明 |
|---|---|
| 保持ポリシー | ポリシーの定義では、保持値がデータセットのサンプル数を表すのか、パーセンテージを表すのかを決定します。 |
| 保持値 | データの割合またはサンプル数のいずれかで保持するデータ量 |
これらのプロパティを定義した場合、元のデータは、MLOpsライブラリによって集計されます。 これは、データが、DataRobotプラットフォームに保存されないことを意味します。 精度監視では、統計情報の集計は、特徴量データと予測データのみをサポートし、実測データはサポートしません。 関連付けID列、実測値列、または実測値タイムスタンプ列の1つ以上を定義した場合、DataRobotは、データを集計できません。 集計を使用オプションを有効化すると、関連付けIDおよび実測値関連フィールドが無効になります。
プレビュー機能：集計による精度の監視
プレビュー版の機能です。集計を有効にした外部モデルの監視ジョブは、精度の追跡に対応できます。 この機能を有効にすると、集計を使用するを有効にして保持設定を行う際に、精度監視のための実測値列も定義できます。ただし、予測列と関連付けID列も定義する必要があります。
デフォルトではオフの機能フラグ：精度の集計を有効にする
出力監視およびデータの宛先オプションを設定¶
予測および実測値の監視オプションを設定した後、出力監視ステータスを有効にして、次のオプションを設定することの選択ができます。
| オプション | 説明 |
|---|---|
| 監視ステータス列 | 各行の監視ステータスを含むデータの送信先の列を識別します。 |
| 一意な行識別子列 | 各行について一意の識別子として機能するデータソースの列を識別します。 これらの列は、各監視ステータスと対応するソース行を関連付けるために、データ送信先にコピーされます。 |
出力監視ステータスが有効な場合、監視済みのデータ結果の保存先を指定するデータの送信先オプションも設定する必要があります。 監視データの宛先（ 出力アダプターと呼ばれる）を選択し、宛先タイプに適した認証ワークフローを完了します。 以下の接続タイプを選択すると、フィールドの説明が表示されます。
備考
接続の参照時に無効なアダプターは表示されません。
データベース接続
クラウドストレージ接続
データウェアハウス接続
監視ジョブのスケジュール¶
監視ジョブは、スケジュールに従って自動的に実行されるように設定することができます。 監視ジョブ定義を実行する際、このジョブをスケジュールで自動的に実行を有効にしてから、頻度（日次、時間、月など）と時刻を指定して、ジョブを実行するスケジュールを定義します。
さらに詳細な指定をする場合は、高度なスケジューラーを使用するを選択します。 監視ジョブを実行する正確な時間（分単位）を設定できます。