Skip to content

アプリケーション内で をクリックすると、お使いのDataRobotバージョンに関する全プラットフォームドキュメントにアクセスできます。

使用状況タブ

モデルをデプロイし、本番環境で予測を行った後、モデルの品質とパフォーマンスを長期にわたって監視することは、モデルの有効性を維持するうえで非常に重要です。 この監視は、データドリフトタブと精度タブで行われ、大量の予測データを処理する必要があります。 予測データの処理には、遅延やレート制限が発生することがあります。

予測追跡チャート

使用状況タブの左側に、予測追跡チャートが表示されます。これは、過去24時間または7日間の予測処理状況を示す棒グラフであり、処理済みの予測行、関連付けIDがない予測行、およびレート制限された予測行の数を追跡します。 選択したビュー(24時間または7日間)に応じて、ヒストグラムのビンは1時間または1日単位になります。

チャートの要素 説明
1 期間の選択 過去24時間または過去7日間のビューを選択します。
2 ログスケーリングを使用 250,000行を超える予測を含むデプロイで、予測追跡チャートにログスケーリングを適用します。
3 予測データの受信日時
(X軸)
ビンで表される時間範囲(日または時間単位)を表示し、その範囲内で受信した予測データの行を追跡します。 システムが処理用に予測を受信すると、予測値にタイムスタンプが付けられます。 この「受信日時」の値は、サービスの正常性、データドリフト、および精度のタイムスタンプとは異なります。 DataRobotの予測環境では、このタイムスタンプ値は予測タイムスタンプより若干遅れる場合があります。 エージェントのデプロイでは、タイムスタンプは、DataRobot APIがエージェントから予測データを受信した日時を表します。
4 行数
(Y軸)
ビンの時間範囲内(日または時間単位)でタイムスタンプが付けられた予測行の数を表示します。
5 予測処理のカテゴリー 予測行のステータスを追跡する棒グラフを表示します。
  • 処理済み ドリフトと精度の分析用に追跡されます。
  • レートが制限されています 予測処理が1時間あたりのレート制限を超えたため、追跡されません。
  • 関連付けIDがありません 予測行に関連付けIDが含まれておらず、ドリフト追跡が有効になっていないため、追跡されません。

予測レート制限はどのように機能しますか?

使用状況タブには、1時間あたり100MBの監視レート制限の対象となる予測行数が表示されます。ただし、レート制限は予測監視に_のみ_適用され、レートの上限に達した後でもすべての行が予測結果に含まれます。

大規模監視での予測追跡

監視エージェントのデプロイでは、 大規模な監視を実施すると、予測行はこの棒グラフに表示されません。ただし、予測処理(チャンピオン)の遅延では、事前に集計されたデータが追跡されます。

予測追跡チャートで追加情報を表示するには、列にカーソルを合わせると、予測データを受信した時間範囲と、処理済みの行、レート制限された行、または関連付けIDがない行の数が表示されます。

予測値と実測値の処理遅延

使用状況タブの右側には、予測値の処理(チャンピオン)実測値の処理の遅延情報が表示されます(実測値の処理の遅延は、デプロイのすべてのモデルが対象です)。

使用状況タブでは、ページを再読み込みすることなく、処理遅延が再計算されます。 更新された情報では、遅延情報が最後に更新された日時を確認できます。

予測値と実測値の適時性インジケーター

Timeliness indicators can reveal if the prediction or actuals upload frequency meets the standards set by your organization. デプロイには、 サービスの正常性データドリフト精度など、デプロイの全般的な正常性を定義するいくつかのステータスがあります。 これらのステータスは、最新の使用可能なデータに基づいて計算されます。 24時間以上の間隔で行われたバッチ予測に依存するデプロイの場合、この方法では、 デプロイインベントリの予測正常性インジケーターのステータスがグレー/不明になることがあります。 If timeliness is enabled for a deployment, the health indicators retain the most recently calculated health status, presented along with timeliness status indicators to reveal when they are based on old data. 状況に応じて、デプロイに適した適時性の間隔を決定できます。

Enable timeliness tracking

You can configure timeliness tracking on the Usage > Settings tab for predictions and actuals. 追跡を有効にした後、組織のニーズに応じて、予測値のタイムスタンプと実測値のアップロード時間に基づいて、適時性の間隔・頻度を個別に定義できます。

To enable and define timeliness tracking, from the Deployments page, do either of the following:

  • 適時性設定を定義するデプロイをクリックしてから、使用状況 > 設定をクリックします。

  • 予測値の適時性または実測値の適時性列のグレー/追跡なしアイコンをクリックして、そのデプロイの使用設定ページを開きます。

From the Usage Settings tab, configure the timeliness settings.

適時性インジケーターの表示

使用状況 > 設定タブで適時性の追跡を有効にすると、 使用状況タブと デプロイインベントリで適時性インジケーターを表示できます。

備考

使用状況タブとデプロイインベントリのインジケーターに加えて、適時性のステータスが赤/失敗に変わると、メールまたは 通知ポリシーで設定されたチャネルを通じて通知が送信されます。

予測値の適時性実測値の適時性の列を表示します。

予測値の適時性実測値の適時性のタイルを表示します。

ステータスに加えて、適時性タイルの更新時間を確認できます。

適時性のステータスイベントの表示

サービスの正常性タブの最近のアクティビティでは、エージェントアクティビティログでの適時性ステータスイベントを表示できます。

デプロイインベントリを適時性でフィルター

デプロイインベントリで、フィルターをクリックすると、ステータス値別に予測値の適時性ステータスフィルターと実測値の適時性ステータスフィルターを適用できます。


更新しました February 20, 2024