Skip to content

アプリケーション内で をクリックすると、お使いのDataRobotバージョンに関する全プラットフォームドキュメントにアクセスできます。

使用状況

モデルをデプロイし、本番環境で予測を行った後、モデルの品質とパフォーマンスを長期にわたって監視することは、モデルの有効性を維持するうえで非常に重要です。 この監視は、データドリフトタブと精度タブで行われ、大量の予測データを処理する必要があります。 予測データの処理には、遅延やレート制限が発生することがあります。 使用状況タブで予測処理の進捗状況を追跡します。

予測追跡チャート

モニタリング > 使用状況タブの左側に、予測追跡チャートが表示されます。これは、過去24時間または7日間の予測処理状況を示す棒グラフであり、処理済みの予測行、関連付けIDがない予測行、およびレート制限された予測行の数を追跡します。 選択したビュー(24時間または7日間)に応じて、ヒストグラムのビンは1時間または1日単位になります。

チャートの要素 説明
1 期間の選択 過去24時間または過去7日間のビューを選択します。
2 ログスケーリングを使用 250,000行を超える予測を含むデプロイで、予測追跡チャートにログスケーリングを適用します。
3 予測データの受信日時
(X軸)
ビンで表される時間範囲(日または時間単位)を表示し、その範囲内で受信した予測データの行を追跡します。 システムが処理用に予測を受信すると、予測値にタイムスタンプが付けられます。 この「受信日時」の値は、サービスの正常性、データドリフト、および精度のタイムスタンプとは異なります。 DataRobotの予測環境では、このタイムスタンプ値は予測タイムスタンプより若干遅れる場合があります。 エージェントのデプロイでは、タイムスタンプは、DataRobot APIがエージェントから予測データを受信した日時を表します。
4 行数
(Y軸)
ビンの時間範囲内(日または時間単位)でタイムスタンプが付けられた予測行の数を表示します。
5 予測処理のカテゴリー 予測行のステータスを追跡する棒グラフを表示します。
  • 処理済み ドリフトと精度の分析用に追跡されます。
  • レートが制限されています 予測処理が1時間あたりのレート制限を超えたため、追跡されません。
  • 関連付けIDがありません 予測行に関連付けIDが含まれておらず、ドリフト追跡が有効になっていないため、追跡されません。

予測レート制限はどのように機能しますか?

使用状況タブには、1時間あたり100MBの監視レート制限の対象となる予測行の数が表示されます。 ただし、レート制限は予測 監視_にのみ適用されます。レート制限に達した後でも、すべての行が予測 _結果 に含まれます。

大規模監視での予測追跡

監視エージェントのデプロイでは、 大規模な監視を実施すると、予測行はこの棒グラフに表示されません。ただし、予測処理(チャンピオン)の遅延では、事前に集計されたデータが追跡されます。

予測追跡チャートで追加情報を表示するには、列にカーソルを合わせると、予測データを受信した時間範囲と、処理済みの行、レート制限された行、または関連付けIDがない行の数が表示されます。

予測値と実測値の処理遅延

使用状況タブの右側には、予測値の処理(チャンピオン)実測値の処理の遅延情報が表示されます(実測値の処理の遅延は、デプロイのすべてのモデルが対象です)。

使用状況タブでは、ページを再読み込みすることなく、処理遅延が再計算されます。 更新された情報では、遅延情報が最後に更新された日時を確認できます。

Predictions and actuals upload limits

本機能の提供について

Predictions and actuals upload limits are off by default. このプレビュー機能を有効にする方法については、DataRobotの担当者または管理者にお問い合わせください。

Feature flag: Enable Configurable Prediction and Actuals Limits

From the Usage tab, you can monitor the hourly, daily, and weekly upload limits configured for your organization's deployments. 処理された予測値と実測値の数を視覚化するチャートと、返された予測結果のテーブルサイズの上限値を示すタイルが表示されます。

The Totals tile shows how many predictions and actuals have been processed relative to the configured interval limit (displayed at the bottom of the tile). Additionally, you can view the table size limit for returned prediction results. The table size limits the number of prediction rows stored in DataRobot's database for a deployment. DataRobot stores one row per prediction (or two, for binary classification deployments). For multiclass deployments, information for all classes is stored in one row. Note that the table limit does not change when you change the time interval limit (hourly, daily, weekly). Any request that exceeds the table limit will be rejected, regardless of the time.

If you reach the exact processing limit value (for example, uploading 50,000 actuals in an hour with 50,000 as the limit), and you make an additional request (uploading 10,000 more actuals), then DataRobot processes the additional request and none of the actuals are rate limited. However, DataRobot treats predictions differently because they are processed in smaller chunks. A small chunk is processed, while the remaining predictions are rate limited. For example, if you reached a 50,000 prediction limit and uploaded 50,000 more, a chunk of 1,000 predictions may be processed as part of the small chunk.

You can view the prediction limits configured for a deployment by navigating to the Settings > Service Health tab to know when you can make predictions next if you have already reached the processing limit.


更新しました May 16, 2024