監視ジョブAPI¶
この連携により、batchMonitoringJobDefinitions
およびbatchJobs
エンドポイントを持つバッチ監視APIが作成され、監視ジョブを作成できるようになります。 監視ジョブの 取り込みおよび 出力設定は、バッチ予測ジョブと同じオプションを使用して設定されます。 次のルート、プロパティ、および例を使用して、監視ジョブを作成します。
外部モデルと監視ジョブのサービス正常性に関する情報
レイテンシー、スループット、エラー率などのサービス正常性情報は、エージェントによって監視される外部のデプロイでは入手できません。また、予測監視ジョブを介して予測がアップロードされる場合も入手できません。
時系列モデルに関する注意事項
時系列モデルによる予測の監視は、監視ジョブではサポートされていません。
ジョブ定義とバッチジョブルートの監視¶
batchMonitoringJobDefinitions
エンドポイント¶
以下のバッチ監視ジョブ定義で操作を実行するためのエンドポイントにアクセスします。
操作とエンドポイント | 説明 |
---|---|
POST /api/v2/batchMonitoringJobDefinitions/ |
ペイロードがある場合の監視ジョブ定義を作成します。 |
GET /api/v2/batchMonitoringJobDefinitions/ |
すべての監視ジョブ定義を一覧表示します。 |
GET /api/v2/batchMonitoringJobDefinitions/{monitoringJobDefinitionId}/ |
指定された監視ジョブ定義を取得します。 |
DELETE /api/v2/batchMonitoringJobDefinitions/{monitoringJobDefinitionId}/ |
指定された監視ジョブ定義を削除します。 |
PATCH /api/v2/batchMonitoringJobDefinitions/{monitoringJobDefinitionId}/ |
ペイロードがある場合の指定された監視ジョブ定義を更新します。 |
batchJobs
エンドポイント¶
以下のバッチジョブで操作を実行するためのエンドポイントにアクセスします。
操作とエンドポイント | 説明 |
---|---|
POST /api/v2/batchJobs/fromJobDefinition/ |
monitoringJobDefinition から監視ジョブを起動(今すぐ実行)します。 ペイロードにはmonitoringJobDefinitionId が含まれています。 |
GET /api/v2/batchJobs/ |
実行中のジョブ、中止されたジョブ、実行されたジョブなど、監視ジョブの完全な履歴を一覧表示します。 |
GET /api/v2/batchJobs/{monitoringJobId}/ |
特定の監視ジョブを取得します。 |
DELETE /api/v2/batchJobs/{monitoringJobId}/ |
実行中の監視ジョブを中止します。 |
監視ジョブプロパティ¶
monitoringColumns
プロパティ¶
以下のバッチ監視に使用する列を定義します。
プロパティ | タイプ | 説明 |
---|---|---|
predictionsColumns |
文字列 | (連続値)予測値を含むデータソースの列。 このフィールドおよび/またはactualsValueColumn を指定する必要があります。 |
predictionsColumns |
array | (分類)各予測クラスを含むデータソース内の列。 このフィールドおよび/またはactualsValueColumn を指定する必要があります。 (最大1000項目までサポート) |
associationIdColumn |
文字列 | 予測のための関連付けIDを含むデータソースの列。 |
actualsValueColumn |
文字列 | 実測値を含むデータソース内の列。 このフィールドおよび/またはpredictionsColumns を指定する必要があります。 |
actualsTimestampColumn |
文字列 | 実測値のタイムスタンプを含むデータソース内の列。 |
monitoringOutputSettings
プロパティ¶
監視ジョブに特異な、以下の出力設定を設定します。
プロパティ | タイプ | 説明 |
---|---|---|
uniqueRowIdentifierColumns |
array | 各行の一意の識別子として機能するデータソースの列。 これらの列は、各監視ステータスと対応するソース行を関連付けるために、データ送信先にコピーされます。 (最大100項目までサポート) |
monitoredStatusColumn |
文字列 | 各行の監視ステータスを含むデータの送信先の列。 |
備考
一般的なバッチジョブの出力設定については、 予測の出力設定のドキュメントを参照してください。
monitoringAggregation
プロパティ¶
大規模監視が有効な外部モデル(つまり、元のデータはDataRobotプラットフォームに保存されていません)でチャレンジャーモデルをサポートするには、元の特徴量データと予測データの小さなサンプルをレポートし、残りのデータを集計形式で送信します。 保持設定を行って、元データがMLOpsライブラリによって集計されることを示し、チャレンジャーモデルのために保持すべき元データの量を定義します。
大規模監視の自動サンプリング
チャレンジャー分析や精度監視で元データの小さなサンプルを自動的にレポートするには、外部モデルの大規模監視を有効にするときに MLOPS_STATS_AGGREGATION_AUTO_SAMPLING_PERCENTAGE
を定義します。
プロパティ | タイプ | 説明 |
---|---|---|
retentionPolicy |
文字列 | ポリシーの定義では、retentionValue がデータセットのサンプル数を表すのか、パーセンテージを表すのかを決定します。 enum: ['samples', 'percentage'] |
retentionValue |
整数 | データの割合またはサンプル数のいずれかで保持するデータ量 |
これらのプロパティを定義した場合、元のデータは、MLOpsライブラリによって集計されます。 これは、データが、DataRobotプラットフォームに保存されないことを意味します。 精度監視では、統計情報の集計は、特徴量データと予測データのみをサポートし、実測データはサポートしません。 actualsValueColumn
またはassociationIdColumn
(つまり、実測値が後で提供される)を定義した場合、DataRobotは、データを集計できません。
プレビュー:集計を有効にした精度監視
プレビュー版の機能です。集計を有効にした外部モデルの監視ジョブは、精度の追跡に対応できます。 この機能を有効にすると、保持設定を行い、_かつ_集計を有効にした精度監視のためにactualsValueColumn
を定義する際に、predictionsColumns
とassociationIdColumn
も定義する必要があります。
デフォルトではオフの機能フラグ:精度の集計を有効にする
ジョブサンプルの監視¶
{
"batchJobType": "monitoring",
"deploymentId": "<deployment_id>",
"intakeSettings": {
"type": "jdbc",
"dataStoreId": "<data_store_id>",
"credentialId": "<credential_id>",
"table": "lending_club_regression",
"schema": "SCORING_CODE_UDF_SCHEMA",
"catalog": "SANDBOX"
},
"outputSettings": {
"type": "jdbc",
"dataStoreId": "<data_store_id>",
"table": "lending_club_regression_out",
"catalog": "SANDBOX",
"schema": "SCORING_CODE_UDF_SCHEMA",
"statementType": "insert",
"createTableIfNotExists": true,
"credentialId": "<credential_id>",
"commitInterval": 10,
"whereColumns": [],
"updateColumns": []
},
"passthroughColumns": [],
"monitoringColumns": {
"predictionsColumns": "PREDICTION",
"associationIdColumn": "id",
"actualsValueColumn": "loan_amnt"
},
"monitoringOutputSettings": {
"monitoredStatusColumn": "monitored",
"uniqueRowIdentifierColumns": ["id"]
}
"schedule": {
"minute": [ 0 ],
"hour": [ 17 ],
"dayOfWeek": ["*" ],
"dayOfMonth": ["*" ],
"month": [ "*” ]
},
"enabled": true
}
{
"batchJobType": "monitoring",
"deploymentId": "<deployment_id>",
"intakeSettings": {
"type": "jdbc",
"dataStoreId": "<data_store_id>",
"credentialId": "<credential_id>",
"table": "lending_club_regression",
"schema": "SCORING_CODE_UDF_SCHEMA",
"catalog": "SANDBOX"
},
"outputSettings": {
"type": "jdbc",
"dataStoreId": "<data_store_id>",
"table": "lending_club_regression_out",
"catalog": "SANDBOX",
"schema": "SCORING_CODE_UDF_SCHEMA",
"statementType": "insert",
"createTableIfNotExists": true,
"credentialId": "<credential_id>",
"commitInterval": 10,
"whereColumns": [],
"updateColumns": []
},
"monitoringColumns": {
"predictionsColumns": [
{
"className": "True",
"columnName": "readmitted_True_PREDICTION"
},
{
"className": "False",
"columnName": "readmitted_False_PREDICTION"
}
],
"associationIdColumn": "id",
"actualsValueColumn": "loan_amnt"
},
"monitoringOutputSettings": {
"uniqueRowIdentifierColumns": ["id"],
"monitoredStatusColumn": "monitored"
}
"schedule": {
"minute": [ 0 ],
"hour": [ 17 ],
"dayOfWeek": ["*" ],
"dayOfMonth": ["*" ],
"month": [ "*” ]
},
"enabled": true
}