Service Health and Accuracy history¶

When analyzing a deployment, Service Health and Accuracy can provide critical information about the performance of current and previously deployed models. However, comparing these models can be a challenge as the charts are displayed separately, and the scale adjusts to the data. To improve the usability of the service health and accuracy comparisons, the Service Health > History and Accuracy > History tabs (now available for public preview) allow you to compare the current model with previously deployed models in one place, on the same scale.

サービス正常性の履歴¶

サービスの正常性タブは、予測リクエストに対するデプロイのレスポンス速度と信頼性に関する指標を追跡します。 In addition, on the History tab, you can access visualizations representing the service health history of up to five of the most recently deployed models, including the currently deployed model. この履歴は、モデルのサービス正常性で追跡される各指標で利用でき、適切なプロビジョニングに不可欠なボトルネックの特定と容量の評価に役立ちます。 たとえば、デプロイのレスポンス時間が遅くなったように見える場合、そのモデルのデプロイの サービスの正常性 ページが問題の診断に役に立ちます。 If the service health metrics show that median latency increases with an increase in prediction requests, you can then check the History tab to compare the currently deployed model with previous models. 前のモデルから切り替えた後にレイテンシーが大きくなった場合は、よりパフォーマンスの高いモデルをデプロイするかどうかを検討できます。

To access the Service Health > History tab:

1. Click Deployments and select a deployment from the inventory.

2. On the selected deployment's Overview, click Service Health.

3. On the Service Health > Summary page, click History.

   The History tab tracks the following metrics:

   

   指標	Reports
   予測の合計数	デプロイで作成された予測の数。
   _x_ミリ秒以上のリクエスト	指定されたミリ秒よりもレスポンス時間が長かったリクエストの数。 デフォルトは2000msです。ボックスをクリックして10～100,000msの時間を入力するか、コントロールを使用して値を調整します。
   レスポンス時間 (ms)	DataRobotが予測リクエストの受信、リクエストの計算、およびユーザーへの応答に要した時間（ミリ秒）。 レポートにはネットワークレイテンシーの時間は含まれません。 予測リクエスト時間の中央値、あるいは90番目、95番目、または99番目のパーセンタイルを選択します。 リクエストがなかったデプロイや外部デプロイの場合は、ダッシュ（-）が表示されます。
   実行時間（ミリ秒）	DataRobotが予測リクエストの計算に要した時間（ミリ秒）。 予測リクエスト時間の中央値、あるいは90番目、95番目、または99番目のパーセンタイルを選択します。
   データエラーの割合（％）	4xxエラーが発生したリクエストの割合（予測リクエスト送信の問題）。 これは、デプロイページのトップバナーのサービスの正常性サマリーとしてレポートされる値の要素です。
   システムエラーの割合（％）	5xxエラーが発生した適切な形式のリクエストのパーセンテージ（DataRobot予測サーバーの問題）。 これは、デプロイページのトップバナーのサービスの正常性サマリーとしてレポートされる値の要素です。

4. To view the details for a data point in a service health history chart, you can hover over the related bin on the chart:

   

精度の履歴¶

精度タブでは、標準的な統計手法と可視化によって、時間の経過に伴うモデルデプロイのパフォーマンスを分析します。 Use this tool to analyze a model's prediction quality to determine if it is decaying and if you should consider replacing it. In addition, on the History page, you can access visualizations representing the accuracy history of up to five of the most recently deployed models, including the currently deployed model, allowing you to compare model accuracy directly. これらの精度のインサイトは、問題のタイプとそれに関連する最適化指標に基づいてレンダリングされます。

To access the Accuracy > History tab:

1. Click Deployments and select a deployment from the inventory.

2. On the selected deployment's Overview, click Accuracy.

3. On the Accuracy > Summary page, click History.

   The History tab tracks the following:

   

   指標	Reports
   時系列の精度	A line graph visualizing the change in the selected accuracy metric over time for up to five of the most recently deployed models, including the currently deployed model. The available accuracy metrics depend on the project type.
   時系列の予測値対実測値	A line graph visualizing the difference between the average predicted values and average actual values over time for up to five of the most recently deployed models, including the currently deployed model. For classification projects, you can display results per-class.

   時系列の精度時系列の予測値対実測値

   The accuracy over time chart plots the selected accuracy metric for each prediction range along a timeline. The accuracy metrics available depend on the type of modeling project used for the deployment:

   プロジェクトタイプ	利用可能な指標
   連続値	RMSE、MAE、Gamma Deviance、Tweedie Deviance、R Squared、FVE Gamma、FVE Poisson、FVE Tweedie、Poisson Deviance、MAD、MAPE、RMSLE
   二値分類	LogLoss、AUC、Kolmogorov-Smirnov、Gini-Norm、Rate@Top10%、Rate@Top5%、TNR、TPR、FPR、PPV、NPV、F1、MCC、Accuracy、Balanced Accuracy、FVE Binomial

   You can select an accuracy metric from the Metric drop-down list.

   The Predictions vs Actuals Over Time chart plots the average predicted value next to the average actual value for each prediction range along a timeline. In addition, the volume chart below the graph displays the number of predicted and actual values corresponding to the predictions made within each plotted time range. 影付きの領域はアップロードされた実測値の数を表し、縞模様の領域は対応する実測値が欠損している予測の数を表します。

   The timeline and bucketing work the same for classification and regression projects; however, for classification projects, you can use the Class dropdown to display results for that class.

4. To view the details for a data point in an accuracy history chart, you can hover over the related bin on the chart: