Skip to content

アプリケーション内で をクリックすると、お使いのDataRobotバージョンに関する全プラットフォームドキュメントにアクセスできます。

デプロイインベントリ

モデルがデプロイされると、デプロイインベントリはデプロイ管理アクティビティの中心的なハブになります。 これは、モデルの運用に関与するすべての利害関係者の調整ポイントとして機能します。 インベントリはアクティブにデプロイされたすべてのモデルへのインターフェースを提供するので、デプロイされたモデルのパフォーマンスを監視し、必要に応じてアクションを実行できます。

デプロイレンズ

インベントリに表示される情報を変更する2つの固有のデプロイレンズがあります。

  • 予測正常性レンズ:すべてのアクティブなデプロイの予測の使用法とモデルのステータスのサマリーを表示します。

  • ガバナンスレンズ:すべてのアクティブなデプロイの運用およびソーシャルに関する要素をレポートします。

デプロイレンズを変更するには、右上隅のアクティブなレンズをクリックしてドロップダウンからレンズを選択します。

予測正常性レンズ

予測正常性レンズは、デプロイインベントリのデフォルトビューであり、各デプロイの予測アクティビティとモデル正常性の詳細を示します。 インベントリの上部には、色分けされた正常性インジケーターが表示され、全てのアクティブなデプロイの使用状況とステータスが要約されています。

サマリーの下には、各デプロイのレポートが表示されます。

予測正常性レンズに表示される情報およびアクションを以下の表に示します。

カテゴリー 説明
デプロイ名 作成時にデプロイに割り当てた名前、使用される予測サーバーのタイプ、およびプロジェクト名(DataRobotモデルのみ)。
サービス 個々のデプロイのサービスの正常性色分けされたステータスは、過去24時間におけるエラーの有無を示します。
ドリフト デプロイで発生しているデータドリフト
精度 時間の経過に伴って評価されたモデル精度
アクティビティ 過去7日間の予測のパターンを示す棒グラフ。 開始ポイントは、インベントリの各デプロイで同じです。 たとえば、新しいデプロイでは、その日のアクティビティおよび6日前のアクティビティ(空白)がプロットされます。
平均 予測/日 過去7日間における1日あたりの予測の平均数。
最新の予測 モデルに対して最後の予測を行ってからの時間。
作成日 デプロイが作成されてからの時間。
アクション 追加のモデル管理アクティビティメニュー(データの追加、モデルの置換、データドリフトの設定、およびデプロイの共有と削除を含む)。

テーブルの任意のモデルエントリをクリックすると、デプロイに関する詳細を表示することができます。 モデル固有の各ページには、ステータスバナーに上記の情報が表示されます。

色分けされた正常性インジケーター

ディスプレイ上部に表示されるサービスの正常性****データドリフト、および精度精度のサマリーから、デプロイされた全てのモデルの正常性と精度を一目で把握できます。 個々のモデルの詳細な情報を表示するには、インベントリリスト内のモデルをクリックします。 サービスの正常性サマリーでは、過去24時間に発生した以下のエラータイプが測定されます。 これらは、サービスの正常性タブで個々のモデルで記録されたデータ誤差率およびシステム誤差率エラーです。

What are 4xx and 5xx errors?
  • 4xxエラーは、予測リクエスト送信の問題を示します。
  • 5xxエラーは、DataRobot予測サーバーの問題を示します。

If you've enabled timeliness tracking on the Usage > Settings tab, you can view timeliness indicators in the inventory. Timeliness indicators show if the prediction or actuals upload frequency meets the standards set by your organization.

Use the table below to interpret the color indicators for each deployment health category:

サービスの正常性 データドリフト 精度 Timeliness アクション
緑 / 合格 4xxおよび5xxエラーなし。 モデルがデプロイされてから、すべての属性の分布はほとんど変化していません。 精度はモデルがデプロイされたときとほぼ同じです。 Prediction and/or actuals timeliness standards met. 必要なアクションはありません。
黄色 / リスクあり 少なくとも1つの4xxエラーがあります。5xxエラーはありません。 モデルがデプロイされてから、少なくとも1つの低有用性属性の分布がシフトしています。 精度はモデルが展開されたときから低下しています。 N/A 懸念がありますが、早急のアクションは必要ありません。監視を継続してください。
赤 / 失敗 少なくとも1つの5xxエラーがあります。 モデルがデプロイされてから、少なくとも1つの高有用性属性の分布がシフトしています。 精度はモデルが展開されたときから大幅に低下しています。 Prediction and/or actuals timeliness standards not met. 早急なアクションが必要です。
Gray / Disabled Unmonitored deployment. Data drift tracking disabled. Accuracy tracking disabled. Timeliness tracking disabled. Enable monitoring and make predictions.
Gray / Not started サービス正常性に関するイベントは記録されていません。 Data drift tracking not started. 精度追跡はまだ開始されていません。 Timeliness tracking not started. 予測を作成します
Gray / Unknown 予測なし 予測が不十分(最低100が必要)。 予測が不十分(最低100が必要)。 N/A 予測を作成します

ライブインベントリ更新

インベントリは30秒ごとに自動的に最新の情報に更新され、以下の情報を更新します。

アクティブなデプロイ

アクティブなデプロイタイルは、現在使用中のデプロイの数を示します。 凡例は、アクティブデプロイカウントの下のバーを解釈します。

  • アクティブなデプロイ(青)
  • その他のアクティブなデプロイ(ホワイト)
  • 利用可能な新しいデプロイ(灰色)

備考

非アクティブなデプロイは、割り当てられた制限にカウントされません

上記の例では、ユーザーの組織に10のデプロイが割り当てられています。 ユーザーには7のアクティブなデプロイがあり、組織全体で1のアクティブなデプロイがあります。 組織内のユーザーは、制限に達するまで、さらに2のアクティブなデプロイを作成できます。 デプロイ制限にカウントされない2つの非アクティブなデプロイがあります。

複数の組織でアクティブな場合、アクティブなデプロイで、この組織または他の組織にあるアクティブなデプロイ数を確認できます。

備考

他の組織でのデプロイは、現在の組織で割り当てられた制限にはカウントされません

本機能の提供について

アクティブなデプロイタイルに表示される可用性情報は、組織のMLOps設定によって異なります。

予測

予測タイルは、最後の画面更新以降に行われた予測の数を示します。

個々のデプロイは、過去30秒間に行われた予測の数を示します。

デプロイのサービスの正常性、ドリフト、または精度のステータスが失敗に変わった場合、ユーザーの注意を促すために、そのデプロイが赤く表示されます。

デプロイのソート

デプロイインベントリは、最初は最新の作成日で並べ替えられます(作成日列で報告されます)。 別の列のタイトルをクリックすると、代わりにその指標で並べ替えることができます。 並べ替え列タイトルの横に昇順または降順を示す青い矢印が表示されます。

備考

デプロイインベントリを並べ替えると、ブラウザーのローカルストレージデータをクリアするまで、最後に選択した並べ替えがローカル設定に保持されます。 そのため、通常、デプロイインベントリは最後に選択した列で並べ替えられます。

次の順序で昇順または降順でソートできます。

  • デプロイ名(アルファベット順)
  • サービスドリフト、および精度(ステータス別)
  • 平均 予測/日(数値)
  • 最後の予測(日付別)
  • 構築環境(アルファベット順)
  • 作成日(日付別)

備考

デプロイの作成時に2番目にリストがソートされます(作成日によるプライマリーソートを除く)。 たとえば、ドリフトステータスでソートした場合、ステータスが合格であるすべてのデプロイは、最近作成されたものから最も古いものの順で表示され、続いて、最近作成されたものから最も古い不合格のデプロイの順で表示されます。

デプロイのフィルタリング

デプロイインベントリをフィルタリングするには、インベントリページの上部の[フィルター]を選択します。

[フィルター]メニューが開き、デプロイをフィルタリングする条件を選択できます。

フィルター 説明
所有権 デプロイの所有者でフィルタリングします。 [自分が所有]を選択すると、所有者の役割を持つデプロイのみが表示されます。
アクティベーションステータス デプロイによるフィルター活動ステータス。 アクティブなデプロイは、新しい予測を監視して返すことができます。 非アクティブなデプロイでは、過去の予測に関するインサイトと統計のみを表示できます。
サービスステータス デプロイのサービスの正常性ステータス別でフィルタリングします。 Passing()、At risk()、またはFailing()ステータス別でフィルタリングを選択します。 デプロイでサービスの正常性を有効にしたことがない場合は、このフィルターを適用しても含まれません。
ドリフトステータス デプロイのデータドリフトステータス別でフィルタリングします。 Passing()、At risk()、またはFailing()ステータス別でフィルタリングを選択します。 以前にデプロイでデータドリフトが有効化され、ステータスが報告されていた場合は、そのデプロイでデータドリフトを後で無効にしても、最後に報告されたステータスがフィルタリングに使用されます。 デプロイでドリフトを有効にしたことがない場合は、このフィルターを適用してもそのデプロイは含まれません。
精度ステータス デプロイの精度ステータス別でフィルタリングします。 Passing()、At risk()、またはFailing()ステータス別でフィルタリングを選択します。 デプロイに使用可能な精度情報がない場合、フィルターを適用しても結果から除外されます。
有用性 予測量、規制要件へのエクスポージャー、財務的インパクトに基づいて、デプロイの重要度に応じてフィルタリングを行います。 選択肢は重要、高、中、または低です。
構築環境 モデルが構築された環境でフィルタします。

本機能の提供について

デプロイインベントリのフィルタリングオプションは、組織のMLOps設定によって異なります。

If you've enabled timeliness tracking on the Usage > Settings tab, you can also filter by Predictions Timeliness Status and Actuals Timeliness Status:

目的のフィルターを選択したら、フィルターの適用をクリックしてデプロイインベントリを更新します。 フィルターリンクが更新され、適用されているフィルター数が示されます。

フィルターに一致するデプロイがない場合は通知されます。 フィルターを削除するには、[3つのフィルターをすべてクリア]のショートカットをクリック、または、[フィルターダイアログ]を再度開き、手動で削除します。

セルフマネージドAIプラットフォームで監視を無効にしたデプロイ

本機能の提供について

このセクションは、セルフマネージドAIプラットフォームのみ対象です。 セルフマネージドAIプラットフォームの管理者の方で、必要なハードウェアを導入して、デプロイのモデル監視を有効にすることに興味をお持ちであれば、DataRobotのサポートにご連絡ください。

DataRobotのモニタリング機能を使用するには、PostgreSQLおよびrsyslogがインストールされているハードウェアが必要です。 これらのサービスがない場合でもデプロイに対して予測を作成および管理できますが、モニタリング関連のすべての機能は自動的に無効化されます。

デプロイ監視を無効にしても、デプロイインベントリにはアクセスできますが、監視ツールと統計は無効になります。 ページ上部の通知にモニタリングのステータスが表示されます。

アクションメニューデプロイインベントリページ)を使用してデプロイを共有または削除すること、およびモデルを置換することができます。

デプロイを選択すると、予測タブから予測コードスニペットにアクセスできます。


更新しました February 6, 2024