デプロイインベントリ¶
モデルがデプロイされると、デプロイインベントリはデプロイ管理アクティビティの中心的なハブになります。これは、モデルの運用に関与するすべての利害関係者の調整ポイントとして機能します。インベントリはアクティブにデプロイされたすべてのモデルへのインターフェースを提供するので、デプロイされたモデルのパフォーマンスを監視し、必要に応じてアクションを実行できます。
デプロイレンズ¶
インベントリに表示される情報を変更する2つの固有のデプロイレンズがあります。
-
予測正常性レンズ:すべてのアクティブなデプロイについて予測の使用とモデルのステータスのサマリーを要約します。
-
ガバナンスレンズ:すべてのアクティブなデプロイの運用およびソーシャルに関する要素をレポートします。
デプロイレンズを変更するには、右上隅のアクティブなレンズをクリックしてドロップダウンからレンズを選択します。
予測正常性レンズ¶
予測正常性レンズは、デプロイインベントリのデフォルトビューであり、各デプロイの予測アクティビティとモデル正常性の詳細を示します。インベントリの上部全体に、このページでは、色分けされた正常性インジケーターを含むすべてのアクティブなデプロイの使用状況とステータスが要約されます。
サマリーの下には、各デプロイのレポートが表示されます。
予測正常性レンズに表示される情報およびアクションを以下の表に示します。
カテゴリ | 説明 |
---|---|
デプロイ名 | 作成時にデプロイに割り当てた名前、使用される予測サーバーのタイプ、およびプロジェクト名(DataRobotモデルのみ)。 |
サービス | 個々のデプロイのサービスの正常性。色分けされたステータスは、過去24時間におけるエラーの有無を示します。 |
ドリフト | デプロイで発生しているデータドリフト。 |
精度 | 時間の経過に伴って評価されたモデル精度。 |
アクティビティ | 過去7日間の予測のパターンを示す棒グラフ。開始ポイントは、インベントリの各デプロイで同じです。例えば、新しいデプロイでは、その日のアクティビティおよび6日前のアクティビティ(空白)がプロットされます。 |
平均 リクエスト/日 | 過去7日間における1日あたりの予測の平均数。 |
最新の予測 | モデルに対して最後の予測を行ってからの時間。 |
アクション | 追加のモデル管理アクティビティメニュー(データの追加、モデルの置換、データドリフトの設定、およびデプロイの共有と削除を含む)。 |
テーブルの任意のモデルエントリをクリックすると、そのデプロイに関する詳細を表示することができます。モデル固有の各ページでは、ステータスバナーに上記の情報が表示されます。
色分けされた正常性インジケーター¶
ディスプレイ上部に表示されるサービスの正常性、データドリフト、および精度のサマリーから、デプロイされたすべてのモデルの正常性と精度を一目で把握できます。個々のモデルの詳細な情報を表示するには、インベントリリスト内のモデルをクリックします。
サービスの正常性サマリーでは、過去24時間に発生した以下のエラータイプが測定されます。これらは、サービスの正常性タブで個々のモデルで記録されたデータ誤差率およびシステム誤差率エラーです。
- 4xxエラーは、予測リクエスト送信の問題を示します
- 5xxエラーは、DataRobot予測サーバーの問題を示します
色インジケーターの意味を以下に示します。
色 | サービスの正常性 | データドリフト | 精度 | アクション |
---|---|---|---|---|
![]() |
4xxおよび5xxエラーなし | モデルがデプロイされてから、すべての属性の分布はほとんど変化していません | 精度はモデルがデプロイされたときとほぼ同じです。 | 必要なアクションはありません。 |
![]() |
少なくとも1つの4xxエラーがあります。5xxエラーはありません | モデルがデプロイされてから、少なくとも1つの低有用性属性の分布がシフトしています。 | 精度はモデルが展開されたときから低下しています。 | 懸念がありますが、早急のアクションは必要ありません。監視を継続してください。 |
![]() |
少なくとも1つの5xxエラーがあります | モデルがデプロイされてから、少なくとも1つの高有用性属性の分布がシフトしています。 | 精度はモデルが展開されたときから大幅に低下しています。 | 早急なアクションが必要です。 |
![]() |
予測なし | 予測が不十分(最低100が必要) | 予測が不十分(最低100が必要) | 予測を作成します。 |
ライブインベントリ更新¶
インベントリは30秒ごとに自動的に最新の情報に更新され、以下の情報を更新します。
アクティブなデプロイ¶
アクティブなデプロイタイルは、現在使用中のデプロイの数を示します。凡例は、アクティブデプロイカウントの下のバーを解釈します。
- あなたが所有するデプロイ(青)
- 他人が所有するデプロイ(白)
- その他の許可されたデプロイ(グレー)
非アクティブなデプロイは、割り当てられた制限にカウントされません。
上記の例では、ユーザーの組織に1000のデプロイが割り当てられています。ユーザーには54のアクティブなデプロイがあり、組織全体で705のアクティブなデプロイがあります。組織内のユーザーは、制限に達するまで、さらに289のアクティブなデプロイを作成できます。1つの非アクティブデプロイがあります。
本機能の提供について
アクティブなデプロイタイルに表示される可用性情報は、組織の料金プランによって異なります。
予測¶
予測タイルは、最後の画面更新以降に行われた予測の数を示します。
個々のデプロイは、過去30秒間に行われた予測の数を示します。
デプロイのサービスの正常性、ドリフト、または精度のステータスが失敗に変わった場合、ユーザーの注意を促すために、そのデプロイが赤く表示されます。
デプロイのソート¶
デフォルトでは、デプロイインベントリは最近使用した予測(最新の予測列)を基準に並べ替えられます。列タイトルをクリックすると、その列を基準に並べ替えることができます。列タイトルの横に昇順または降順を示す青い矢印が表示されます。
以下の並べ替えが可能です。
- アルファベット順でのデプロイ名
- サービス、ドリフト、および精度のステータス(成功から失敗の順)
- 平均 予測/日(最も多い予測から最も少ない予測の順)
- 最新の予想(最新の予想から最も古い予想の順)
- 構築環境(アルファベット順)
- モデルの年齢(デプロイされてからの時間)
第2の基準として、リストはデプロイが作成された時間で並べ替えられます。たとえば、ドリフトステータスでソートした場合、ステータスが成功であるすべてのデプロイは、最近作成されたものから最も古いものの順で表示され、続いて、最近作成されたものから最も古いステータスが失敗であるデプロイの順で表示されます。
デプロイのフィルタリング¶
デプロイインベントリをフィルタリングするには、インベントリページの上部にあるフィルターを選択します。
[フィルター]メニューが開き、デプロイをフィルタリングする条件を選択できます。
フィルター | 説明 |
---|---|
所有権 | デプロイの所有者別でフィルタリングします。自分が所有を選択すると、所有者の役割を持つデプロイのみが表示されます。 |
アクティベーションステータス | デプロイのアクティビティステータス別でフィルタリングします。アクティブなデプロイは、新しい予測を監視して返すことができます。非アクティブなデプロイでは、過去の予測に関するインサイトと統計のみを表示できます。 |
サービスステータス | デプロイのサービスの正常性ステータス別でフィルタリングします。成功(![]() ![]() ![]() |
ドリフトステータス | デプロイのデータドリフトステータス別でフィルタリングします。成功(![]() ![]() ![]() |
精度ステータス | デプロイの精度ステータス別でフィルタリングします。成功(![]() ![]() ![]() |
有用性 | 予測量、規制要件へのエクスポージャー、財務的インパクトに基づいて、デプロイの重要度に応じてフィルタリングを行います。選択肢は重要、高、中、または低です。 |
構築環境 | モデルが構築された環境でフィルタします。 |
本機能の提供について
デプロイインベントリのフィルタリングオプションは、組織の料金プランによって異なります。
目的のフィルターを選択したら、フィルターの適用をクリックしてデプロイインベントリを更新します。フィルターリンクが更新され、適用されているフィルター数が示されます。
フィルターに一致するデプロイがない場合は通知されます。フィルターを削除するには、3つのフィルターをすべてクリアのショートカットをクリック、または、フィルターダイアログを再度開き、手動で削除します。