デプロイダッシュボード¶
モデルがデプロイされると、デプロイダッシュボードはデプロイ管理アクティビティの中心的なハブになります。 これは、モデルの運用に関与するすべての利害関係者の調整ポイントとして機能します。 インベントリはアクティブにデプロイされたすべてのモデルへのインターフェースを提供するので、デプロイされたモデルのパフォーマンスを監視し、必要に応じてアクションを実行できます。
Dashboard update frequency
The Dashboard automatically refreshes every 30 seconds, updating the deployment indicators and prediction information.
In the top row of the Dashboard, you can review a summary of your entire inventory of deployments at a glance. The tiles in this row summarize the following information:
| タイル | 説明 |
|---|---|
| アクティブなデプロイ | Indicates the number of deployments currently in use. In the progress bar, active deployments are displayed in blue, all other active deployments are displayed in white, and available new deployments are displayed in gray. Inactive deployments are displayed below the progress bar and do not count toward the allocated limit. |
| 予測 | Indicates the number of predictions made since the last refresh. |
| サービスの正常性 | Indicates the total number of deployments with each type of health status (passing, at risk, and failing) for service health monitoring. |
| ドリフト | Indicates the total number of deployments with each type of health status (passing, at risk, and failing) for data drift monitoring. |
| 精度 | Indicates the total number of deployments with each type of health status (passing, at risk, and failing) for accuracy monitoring. |
Hover on the Active Deployments tile to get more information about the deployments in your Dashboard. 以下の例では、ユーザーの組織に100のデプロイが割り当てられています。 ユーザーには63のアクティブなデプロイがあり、組織全体で7のアクティブなデプロイがあります。 組織内のユーザーは、制限に達するまで、さらに30のアクティブなデプロイを作成できます。 This organization has four inactive deployments not counted towards the deployment limit:
Deployments in other organizations
複数の組織でアクティブな場合、アクティブなデプロイで、この組織または他の組織にあるアクティブなデプロイ数を確認できます。 他の組織でのデプロイは、現在の組織で割り当てられた制限にはカウントされません。
Deployment columns¶
The deployment inventory contains a variety of deployment information in the table below the summary tiles. This table is initially sorted by the most recent creation date (reported in the Created column). 別の列のタイトルをクリックすると、代わりにその指標で並べ替えることができます。 並べ替え列タイトルの横に昇順または降順を示す青い矢印が表示されます。
Sort order persistence
デプロイインベントリを並べ替えると、ブラウザーのローカルストレージデータをクリアするまで、最後に選択した並べ替えがローカル設定に保持されます。 そのため、通常、デプロイインベントリは最後に選択した列で並べ替えられます。
次の順序で昇順または降順でソートできます。
| 列 | ソート方法 |
|---|---|
| 名前 | アルファベット順 |
| サービスの正常性、データドリフト、精度 | In order of severity by status (for example, descending order proceeds from failing, to at risk, to passing). |
| アクティビティ | In numerical order by the average number of predictions per day. |
| 作成 | In chronological order by the deployment creation date. |
セカンダリーソート
デプロイの作成時に2番目にリストがソートされます（作成日によるプライマリーソートを除く）。 たとえば、ドリフトステータスでソートした場合、ステータスが合格であるすべてのデプロイは、最近作成されたものから最も古いものの順で表示され、続いて、最近作成されたものから最も古い不合格のデプロイの順で表示されます。
Health indicators¶
ディスプレイ上部に表示されるサービスの正常性、データドリフト、および精度精度のサマリーから、デプロイされた全てのモデルの正常性と精度を一目で把握できます。 個々のモデルの詳細な情報を表示するには、インベントリリスト内のモデルをクリックします。
What does the Service Health tile report?
The Service Health tile measures the following error types recorded over the last 24 hours for an individual model on the Monitoring > Service health tab:
- 4xxエラーは、予測リクエスト送信の問題を示します。
- 5xxエラーは、DataRobot予測サーバーの問題を示します。
If you've enabled timeliness tracking on the Settings > Usage tab, you can view timeliness indicators in the inventory. 適時性インジケーターは、予測または実測値のアップロード頻度が、組織で設定された基準を満たしているかどうかを示します。
次の表を使用して、各デプロイの健康カテゴリーのカラーインジケーターを解釈します。
| 色 | サービスの正常性 | データドリフト | 精度 | 適時性 | アクション |
|---|---|---|---|---|---|
| 緑 / 合格 | 4xxおよび5xxエラーなし。 | モデルがデプロイされてから、すべての属性の分布はほとんど変化していません。 | 精度はモデルがデプロイされたときとほぼ同じです。 | 予測や実測値の適時性基準を満たしていること。 | 必要なアクションはありません。 |
| 黄色 / リスクあり | 少なくとも1つの4xxエラーがあります。5xxエラーはありません。 | モデルがデプロイされてから、少なくとも1つの低有用性属性の分布がシフトしています。 | 精度はモデルが展開されたときから低下しています。 | N/A | 懸念がありますが、早急のアクションは必要ありません。監視を継続してください。 |
| 赤 / 失敗 | 少なくとも1つの5xxエラーがあります。 | モデルがデプロイされてから、少なくとも1つの高有用性属性の分布がシフトしています。 | 精度はモデルが展開されたときから大幅に低下しています。 | 予測や実測値の適時性基準を満たしていないこと。 | 早急なアクションが必要です。 |
| グレー / 無効 | 監視されていないデプロイ。 | データドリフト追跡無効。 | 精度追跡無効。 | 適時性追跡無効。 | Enable monitoring and make predictions. |
| グレー / 開始されていない | サービス正常性に関するイベントは記録されていません。 | データドリフト追跡が開始されていません。 | 精度追跡はまだ開始されていません。 | 適時性追跡が開始されていません。 | 予測の作成。 |
| グレー/不明 | 予測なし。 | 予測が不十分（最低100が必要）。 | 予測が不十分（最低100が必要）。 | N/A | 予測の作成。 |
デプロイのフィルタリング¶
デプロイインベントリをフィルタリングするには、ダッシュボードページの上部のデプロイをフィルターを選択します。 [フィルター]メニューが開き、デプロイをフィルタリングする条件を選択できます。
| フィルター | 説明 |
|---|---|
| 所有権 | デプロイの所有者でフィルタリングします。 [自分が所有]を選択すると、所有者の役割を持つデプロイのみが表示されます。 |
| アクティベーションステータス | デプロイのアクティブ化ステータス別でフィルタリングします。 アクティブなデプロイは、新しい予測を監視して返すことができます。 非アクティブなデプロイでは、過去の予測に関するインサイトと統計のみを表示できます。 |
| 公平性のステータス | デプロイの公平性ステータス別でフィルタリングします。 Choose to filter by passing , at risk , and failing . |
| サービスステータス | デプロイのサービスの正常性ステータス別でフィルタリングします。 Choose to filter by passing , at risk , and failing . デプロイでサービスの正常性を有効にしたことがない場合は、このフィルターを適用しても含まれません。 |
| ドリフトステータス | デプロイのデータドリフトステータス別でフィルタリングします。 Choose to filter by passing , at risk , and failing . 以前にデプロイでデータドリフトが有効化され、ステータスが報告されていた場合は、そのデプロイでデータドリフトを後で無効にしても、最後に報告されたステータスがフィルタリングに使用されます。 デプロイでドリフトを有効にしたことがない場合は、このフィルターを適用してもそのデプロイは含まれません。 |
| 精度ステータス | デプロイの精度ステータス別でフィルタリングします。 Choose to filter by passing , at risk , and failing . デプロイに使用可能な精度情報がない場合、フィルターを適用しても結果から除外されます。 |
| 有用性 | 予測量、規制要件へのエクスポージャー、財務的インパクトに基づいて、デプロイの重要度に応じてフィルタリングを行います。 選択肢は重要、高、中、または低です。 |
| 構築環境 | モデルが構築された環境でフィルタします。 |
| 予測環境プラットフォーム | Filters by the platform the prediction environment runs on. |
目的のフィルターを選択したら、フィルターの適用をクリックしてデプロイインベントリを更新します。 デプロイをフィルターリンクが更新され、適用されているフィルター数が示されます。 To remove your filters, click the Clear all button, or click x next to the badge for each filter you want to remove:
