使用状況タブ¶
モデルをデプロイし、本番環境で予測を行った後、モデルの品質とパフォーマンスを長期にわたって監視することは、モデルの有効性を維持するうえで非常に重要です。 この監視は、データドリフトタブと精度タブで行われ、大量の予測データを処理する必要があります。 予測データの処理には、遅延やレート制限が発生することがあります。
予測追跡チャート¶
使用状況タブの左側に、予測追跡チャートが表示されます。これは、過去24時間または7日間の予測処理状況を示す棒グラフであり、処理済みの予測行、関連付けIDがない予測行、およびレート制限された予測行の数を追跡します。 選択したビュー（24時間または7日間）に応じて、ヒストグラムのビンは1時間または1日単位になります。
| チャートの要素 | 説明 | |
|---|---|---|
| 1 | 期間の選択 | 過去24時間または過去7日間のビューを選択します。 |
| 2 | ログスケーリングを使用 | 250,000行を超える予測を含むデプロイで、予測追跡チャートにログスケーリングを適用します。 |
| 3 | 予測データの受信日時 （X軸） |
ビンで表される時間範囲（日または時間単位）を表示し、その範囲内で受信した予測データの行を追跡します。 システムが処理用に予測を受信すると、予測値にタイムスタンプが付けられます。 この「受信日時」の値は、サービスの正常性、データドリフト、および精度のタイムスタンプとは異なります。 DataRobotの予測環境では、このタイムスタンプ値は予測タイムスタンプより若干遅れる場合があります。 エージェントのデプロイでは、タイムスタンプは、DataRobot APIがエージェントから予測データを受信した日時を表します。 |
| 4 | 行数 （Y軸） |
ビンの時間範囲内（日または時間単位）でタイムスタンプが付けられた予測行の数を表示します。 |
| 5 | 予測処理のカテゴリー | 予測行のステータスを追跡する棒グラフを表示します。
|
予測レート制限はどのように機能しますか？
使用状況タブには、組織の監視レート制限の対象となる予測行数が表示されます。 ただし、レート制限は予測_監視_にのみ適用され、レートの上限に達した後でも、すべての行が予測_結果_に含まれます。 Processing limits can be hourly, daily, or weekly—depending on the configuration for your organization. In addition, a megabyte-per-hour limit (typically 100MB/hr) is defined at the system level. To work within these limits, you should span requests over multiple hours or days.
大規模監視での予測追跡
監視エージェントのデプロイでは、大規模な監視を実装した場合、予測行はこの棒グラフに表示されません。ただし、予測値の処理（チャンピオン）の遅延では、事前に集計されたデータが追跡されます。
予測追跡チャートで追加情報を表示するには、列にカーソルを合わせると、予測データを受信した時間範囲と、処理済みの行、レート制限された行、または関連付けIDがない行の数が表示されます。
予測値と実測値の処理遅延¶
使用状況タブの右側には、予測値の処理（チャンピオン）と実測値の処理の遅延情報が表示されます（実測値の処理の遅延は、デプロイのすべてのモデルが対象です）。
使用状況タブでは、ページを再読み込みすることなく、処理遅延が再計算されます。 更新された情報では、遅延情報が最後に更新された日時を確認できます。
予測値と実測値の適時性インジケーター¶
適時性インジケーターは、予測または実測値のアップロード頻度が、組織で設定された基準を満たしているかどうかを明らかにできます。 デプロイには、 サービスの正常性、 データドリフト、 精度など、デプロイの全般的な正常性を定義するいくつかのステータスがあります。 これらのステータスは、最新の使用可能なデータに基づいて計算されます。 24時間以上の間隔で行われたバッチ予測に依存するデプロイの場合、この方法では、 デプロイインベントリの予測正常性インジケーターのステータスがグレー/不明になることがあります。 デプロイに対して適時性が有効になっている場合、正常性インジケーターは、最後に計算された正常性の状態を保持し、古いデータに基づいているときはそれを明示する 適時性 ステータスインジケーターとともに表示されます。 状況に応じて、デプロイに適した適時性の間隔を決定できます。
適時性追跡の有効化¶
予測値と実測値について、 使用状況 > 設定タブで適時性の追跡を設定できます。 追跡を有効にした後、組織のニーズに応じて、予測値のタイムスタンプと実測値のアップロード時間に基づいて、適時性の間隔・頻度を個別に定義できます。
デプロイページから適時性追跡を有効にして定義するには、次のいずれかを実行します。
-
適時性設定を定義するデプロイをクリックしてから、使用状況 > 設定をクリックします。
-
予測値の適時性または実測値の適時性列のグレー/追跡なしアイコンをクリックして、そのデプロイの使用設定ページを開きます。
使用設定タブで、 適時性の設定を行います。
適時性インジケーターの表示¶
使用状況 > 設定タブで適時性の追跡を有効にすると、 使用状況タブと デプロイインベントリで適時性インジケーターを表示できます。
備考
使用状況タブとデプロイインベントリのインジケーターに加えて、適時性のステータスが赤/失敗に変わると、メールまたは 通知ポリシーで設定されたチャネルを通じて通知が送信されます。
予測値の適時性と実測値の適時性の列を表示します。
予測値の適時性と実測値の適時性のタイルを表示します。
ステータスに加えて、適時性タイルの更新時間を確認できます。
適時性のステータスイベントの表示¶
サービスの正常性タブの最近のアクティビティでは、エージェントアクティビティログでの適時性ステータスイベントを表示できます。
デプロイインベントリを適時性でフィルター¶
デプロイインベントリで、フィルターをクリックすると、ステータス値別に予測値の適時性ステータスフィルターと実測値の適時性ステータスフィルターを適用できます。
