使用状況¶
モデルをデプロイし、本番環境で予測を行った後、モデルの品質とパフォーマンスを長期にわたって監視することは、モデルの有効性を維持するうえで非常に重要です。 この監視は、データドリフトタブと精度タブで行われ、大量の予測データを処理する必要があります。 予測データの処理には、遅延やレート制限が発生することがあります。 使用状況タブで予測処理の進捗状況を追跡します。
予測追跡チャート¶
モニタリング > 使用状況タブの左側に、予測追跡チャートが表示されます。これは、過去24時間または7日間の予測処理状況を示す棒グラフであり、処理済みの予測行、関連付けIDがない予測行、およびレート制限された予測行の数を追跡します。 選択したビュー（24時間または7日間）に応じて、ヒストグラムのビンは1時間または1日単位になります。
| チャートの要素 | 説明 | |
|---|---|---|
| 1 | 期間の選択 | 過去24時間または過去7日間のビューを選択します。 |
| 2 | ログスケーリングを使用 | 250,000行を超える予測を含むデプロイで、予測追跡チャートにログスケーリングを適用します。 |
| 3 | 予測データの受信日時 （X軸） |
ビンで表される時間範囲（日または時間単位）を表示し、その範囲内で受信した予測データの行を追跡します。 システムが処理用に予測を受信すると、予測値にタイムスタンプが付けられます。 この「受信日時」の値は、サービスの正常性、データドリフト、および精度のタイムスタンプとは異なります。 DataRobotの予測環境では、このタイムスタンプ値は予測タイムスタンプより若干遅れる場合があります。 エージェントのデプロイでは、タイムスタンプは、DataRobot APIがエージェントから予測データを受信した日時を表します。 |
| 4 | 行数 （Y軸） |
ビンの時間範囲内（日または時間単位）でタイムスタンプが付けられた予測行の数を表示します。 |
| 5 | 予測処理のカテゴリー | 予測行のステータスを追跡する棒グラフを表示します。
|
予測レート制限はどのように機能しますか？
使用状況タブには、1時間あたり100MBの監視レート制限の対象となる予測行の数が表示されます。 ただし、レート制限は予測 監視_にのみ適用されます。レート制限に達した後でも、すべての行が予測 _結果 に含まれます。
大規模監視での予測追跡
監視エージェントのデプロイでは、 大規模な監視を実施すると、予測行はこの棒グラフに表示されません。ただし、予測処理（チャンピオン）の遅延では、事前に集計されたデータが追跡されます。
予測追跡チャートで追加情報を表示するには、列にカーソルを合わせると、予測データを受信した時間範囲と、処理済みの行、レート制限された行、または関連付けIDがない行の数が表示されます。
予測値と実測値の処理遅延¶
使用状況タブの右側には、予測値の処理（チャンピオン）と実測値の処理の遅延情報が表示されます（実測値の処理の遅延は、デプロイのすべてのモデルが対象です）。
使用状況タブでは、ページを再読み込みすることなく、処理遅延が再計算されます。 更新された情報では、遅延情報が最後に更新された日時を確認できます。
予測値と実測値のアップロード制限¶
本機能の提供について
予測値と実測値のアップロードの制限は、デフォルトではオフになっています。 このプレビュー機能を有効にする方法については、DataRobotの担当者または管理者にお問い合わせください。
機能フラグ：設定可能な予測値と実測値の制限を有効にする
使用状況タブから、組織のデプロイに設定されている時間単位、日単位、週単位のアップロード上限値を監視できます。 処理された予測値と実測値の数を視覚化するチャートと、返された予測結果のテーブルサイズの上限値を示すタイルが表示されます。
合計タイルには、設定済みの間隔制限（タイルの下部に表示）で相対的に処理された予測値と実測値が表示されます。 さらに、返される予測結果のテーブルサイズ制限を表示できます。 テーブルサイズは、デプロイ用にDataRobotのデータベースに保存される予測行の数を制限します。 DataRobotは、予測ごとに1つの行（二値分類デプロイの場合は2つの行）を保存します。 多クラスデプロイの場合、すべてのクラスの情報は1つの行に保存されます。 時間間隔の制限（毎時、毎日、毎週）を変更しても、テーブルの制限は変更されません。 テーブル制限を超えるリクエストは、時間に関係なく拒否されます。
処理制限値に達した場合（50,000を上限として1時間で50,000件の実測値をアップロードする場合など）、追加のリクエスト（さらに10,000件の実測値をアップロード）を行うと、DataRobotは追加のリクエストを処理し、どの実測値もレート制限されません。 しかし、予測は小さいチャンクで処理されるため、DataRobotでは異なる方法で予測が処理されます。 小さいチャンクが処理されますが、残りの予測ではレートが制限されます。 たとえば、50,000件の予測制限に達し、さらに50,000件の予測をアップロードすると、小さいチャンクの一部として1,000件の予測のチャンクが処理されることがあります。
設定 > サービスの正常性タブに移動してデプロイ向けに設定された予測制限を表示することによって、すでに処理制限に達している場合に、次に予測を作成できるタイミングを把握できます。
