デプロイダッシュボード¶
モデルがデプロイされると、デプロイダッシュボードはデプロイ管理アクティビティの中心的なハブになります。 これは、モデルの運用に関与するすべての利害関係者の調整ポイントとして機能します。 インベントリはアクティブにデプロイされたすべてのモデルへのインターフェースを提供するので、デプロイされたモデルのパフォーマンスを監視し、必要に応じてアクションを実行できます。
ダッシュボードの更新頻度
ダッシュボードは30秒ごとに自動的に更新され、デプロイインジケーターと予測情報を更新します。
ダッシュボードの一番上の行で、デプロイインベントリ全体のサマリーを一目で確認できます。 この行のタイルには、以下の情報が要約されています。
タイル | 説明 |
---|---|
アクティブなデプロイ | 現在使用中のデプロイの数を示します。 進行状況バーでは、 アクティブなデプロイ は青で表示され、すべての 他のアクティブなデプロイ は白で表示され、 使用可能な新しいデプロイ はグレーで表示されます。 非アクティブなデプロイは進捗バーの下に表示され、割り当てられた制限にはカウントされません。 |
予測 | 最後の画面更新以降に行われた予測の数を示します。 |
サービスの正常性 | サービス正常性の監視において、正常性ステータスのタイプ(成功、注意、失敗)ごとにデプロイの総数を示します。 |
ドリフト | データドリフト監視において、正常性ステータスのタイプ(成功、注意、失敗)ごとにデプロイの総数を示します。 |
精度 | 精度監視において、正常性ステータスのタイプ(成功、注意、失敗)ごとにデプロイの総数を示します。 |
アクティブなデプロイタイルにカーソルを合わせると、ダッシュボードのデプロイに関する詳細情報が表示されます。 以下の例では、ユーザーの組織に100のデプロイが割り当てられています。 ユーザーには63のアクティブなデプロイがあり、組織全体で7のアクティブなデプロイがあります。 組織内のユーザーは、制限に達するまで、さらに30のアクティブなデプロイを作成できます。 この組織には、デプロイ制限にカウントされない4つの非アクティブなデプロイがあります。
非アクティブなデプロイ
非アクティブなデプロイはデプロイ制限に カウントされず 、予測、再トレーニング、チャレンジャー、またはモデル置換をサポートしません。 デプロイの割り当てに達した場合、デプロイは非アクティブとして作成されます。
他の組織でのデプロイ
複数の組織でアクティブな場合、アクティブなデプロイで、この組織または他の組織にあるアクティブなデプロイ数を確認できます。 他の組織でのデプロイは、現在の組織で割り当てられた制限にはカウントされません。
デプロイ列¶
デプロイインベントリには、サマリータイルの下の表にさまざまなデプロイ情報が含まれています。 最初に、この表は最新の作成日で並べ替えられます(作成済み列で報告されます)。 別の列のタイトルをクリックすると、代わりにその指標で並べ替えることができます。 並べ替え列タイトルの横に昇順または降順を示す青い矢印が表示されます。
ソート順の永続性
デプロイインベントリを並べ替えると、ブラウザーのローカルストレージデータをクリアするまで、最後に選択した並べ替えがローカル設定に保持されます。 そのため、通常、デプロイインベントリは最後に選択した列で並べ替えられます。
次の順序で昇順または降順でソートできます。
列 | ソート方法 |
---|---|
名前 | アルファベット順 |
サービスの正常性、データドリフト、精度 | ステータスによる重大度順(たとえば、降順では失敗から注意、成功へと進みます)。 |
アクティビティ | 1日あたりの平均予測回数が多い順。 |
作成 | デプロイの作成日による時系列順。 |
セカンダリーソート
デプロイの作成時に2番目にリストがソートされます(作成日によるプライマリーソートを除く)。 たとえば、ドリフトステータスでソートした場合、ステータスが合格であるすべてのデプロイは、最近作成されたものから最も古いものの順で表示され、続いて、最近作成されたものから最も古い不合格のデプロイの順で表示されます。
正常性インジケーター¶
ディスプレイ上部のサービスの正常性、データドリフト、精度の各サマリーから、デプロイされたすべてのモデルの正常性と精度を一目で把握できます。 個々のモデルの詳細な情報を表示するには、インベントリリスト内のモデルをクリックします。
サービスの正常性タイルは何をレポートしますか?
サービスの正常性タイルは、モニタリング > サービスの正常性タブで個々のモデルに対して過去24時間にわたって記録された以下のエラータイプを測定します。
- 4xxエラーは、予測リクエスト送信の問題を示します。
- 5xxエラーは、DataRobot予測サーバーの問題を示します。
適時性の追跡を設定 > 使用状況タブで有効にすると、インベントリで適時性インジケーターを表示できます。 適時性インジケーターは、予測または実測値のアップロード頻度が、組織で設定された基準を満たしているかどうかを示します。
次の表を使用して、各デプロイの健康カテゴリーのカラーインジケーターを解釈します。
色 | サービスの正常性 | データドリフト | 精度 | 適時性 | アクション |
---|---|---|---|---|---|
緑 / 合格 | 4xxおよび5xxエラーなし。 | モデルがデプロイされてから、すべての属性の分布はほとんど変化していません。 | 精度はモデルがデプロイされたときとほぼ同じです。 | 予測や実測値の適時性基準を満たしていること。 | 必要なアクションはありません。 |
黄色 / リスクあり | 少なくとも1つの4xxエラーがあります。5xxエラーはありません。 | モデルがデプロイされてから、少なくとも1つの低有用性属性の分布がシフトしています。 | 精度はモデルが展開されたときから低下しています。 | N/A | 懸念がありますが、早急のアクションは必要ありません。監視を継続してください。 |
赤 / 失敗 | 少なくとも1つの5xxエラーがあります。 | モデルがデプロイされてから、少なくとも1つの高有用性属性の分布がシフトしています。 | 精度はモデルが展開されたときから大幅に低下しています。 | 予測や実測値の適時性基準を満たしていないこと。 | 早急なアクションが必要です。 |
グレー / 無効 | 監視されていないデプロイ。 | データドリフト追跡無効。 | 精度追跡無効。 | 適時性追跡無効。 | 監視を有効にして、予測を行います。 |
グレー / 開始されていない | サービス正常性に関するイベントは記録されていません。 | データドリフト追跡が開始されていません。 | 精度追跡はまだ開始されていません。 | 適時性追跡が開始されていません。 | 予測の作成。 |
グレー/不明 | 予測なし。 | 予測が不十分(最低100が必要)。 | 予測が不十分(最低100が必要)。 | N/A | 予測の作成。 |
デプロイのフィルタリング¶
デプロイインベントリをフィルタリングするには、ダッシュボードページの上部のデプロイをフィルターを選択します。 [フィルター]メニューが開き、デプロイをフィルタリングする条件を選択できます。
フィルター | 説明 |
---|---|
所有権 | デプロイの所有者でフィルタリングします。 [自分が所有]を選択すると、所有者の役割を持つデプロイのみが表示されます。 |
アクティベーションステータス | デプロイのアクティブ化ステータス別でフィルタリングします。 アクティブなデプロイは、新しい予測を監視して返すことができます。 非アクティブなデプロイでは、過去の予測に関するインサイトと統計のみを表示できます。 |
公平性のステータス | デプロイの公平性ステータス別でフィルタリングします。 成功 、注意 、失敗 、不明 、起動していません のフィルターを選択します。 |
サービスステータス | デプロイのサービスの正常性ステータス別でフィルタリングします。 成功 、注意 、失敗 、不明 、起動していません のフィルターを選択します。 デプロイでサービスの正常性を有効にしたことがない場合は、このフィルターを適用しても含まれません。 |
ドリフトステータス | デプロイのデータドリフトステータス別でフィルタリングします。 成功 、注意 、失敗 、不明 、起動していません のフィルターを選択します。 以前にデプロイでデータドリフトが有効化され、ステータスが報告されていた場合は、そのデプロイでデータドリフトを後で無効にしても、最後に報告されたステータスがフィルタリングに使用されます。 デプロイでドリフトを有効にしたことがない場合は、このフィルターを適用してもそのデプロイは含まれません。 |
精度ステータス | デプロイの精度ステータス別でフィルタリングします。 成功 、注意 、失敗 、不明 、起動していません のフィルターを選択します。 デプロイに使用可能な精度情報がない場合、フィルターを適用しても結果から除外されます。 |
予測の適時性に関するステータス | 予測値の適時性ステータスでフィルターします。 成功 、失敗 、無効 、起動していません のフィルターを選択します。 |
実測値の適時性のステータス | 実測値の適時性ステータスでフィルターします。 成功 、失敗 、無効 、起動していません のフィルターを選択します。 |
有用性 | 予測量、規制要件へのエクスポージャー、財務的インパクトに基づいて、デプロイの重要度に応じてフィルタリングを行います。 選択肢は重要、高、中、または低です。 |
構築環境 | モデルが構築された環境でフィルタします。 |
予測環境プラットフォーム | 予測環境を実行するプラットフォームでフィルターします。 |
目的のフィルターを選択したら、フィルターの適用をクリックしてデプロイインベントリを更新します。 デプロイをフィルターリンクが更新され、適用されているフィルター数が示されます。 フィルターを削除するには、すべてクリアボタンをクリックするか、または、削除する各フィルターのバッジの横にあるxをクリックします。