MLOpsエージェントを使用した外部モデル監視¶
DataRobot MLOpsを使用すると、外部モデルを登録し、外部予測環境を作成して、登録した外部予測環境にモデルをデプロイできます。 次に、外部モデルとともに監視エージェントをインストールして設定し、その外部モデルのデプロイシナリオを作成できます。 監視エージェントをインストールして設定すると、MLOpsデプロイとして外部で実行されているモデルをモニタリングできるようになるため、DataRobotの強力なMLOpsモデル管理ツールを利用して、精度とデータ ドリフト、予測分布、レイテンシーなどを監視できます。
MLOpsエージェントをインストールして、DataRobotの外部予測環境で実行されている外部モデルを監視するには、以下に概説するワークフローに従います。
graph TB
A[既存の外部モデル監視の決定] --> B[外部モデルパッケージの登録]
B --> C{外部予測環境を作成?}
C -->|いいえ|E[モデルを外部予測環境にデプロイ]
C --> |はい|D[外部予測環境を追加]
D --> E
E --> F[MLOpsエージェントのtarballとAPIキーの取得]
F --> G[監視エージェントのインストールと設定]
G --> H[監視エージェントとMLOpsライブラリの通信を設定] 既存の外部モデル監視の決定¶
監視エージェントは、統計情報をDataRobot MLOpsに報告する一方で、インフラストラクチャ上の外部モデルをモニタリングするためのソリューションです。 監視エージェントが使用するAPIでは、DataRobotで作成したデプロイへのレポート対象データを特定できます。 詳細については、MLOpsエージェントの概要を参照してください。
外部モデルパッケージの登録¶
予測の指標をDataRobotのMLOpsデプロイに報告するには、まず外部モデルの詳細をモデルパッケージとしてDataRobotモデルレジストリに登録する必要があります。その後、外部MLOpsデプロイを作成できます。
外部予測環境を追加¶
外部デプロイを作成するには、外部予測環境が必要です。 DataRobotに外部予測環境がない場合は、外部予測環境を作成します。
モデルを外部予測環境にデプロイ¶
外部で実行されているモデルをモデルレジストリに登録済みの外部モデルパッケージに関連付けるには、モデルレジストリから外部予測環境にモデルをデプロイする必要があります。 After deploying this model externally, you can obtain the Model ID and Deployment ID from the external deployment's Overview tab. 監視エージェントは、モデルIDとデプロイIDを使用して、外部モデルのデータをDataRobot MLOpsのデプロイに報告します。
MLOpsエージェントのtarballとAPIキーの取得¶
監視エージェントは、統計情報をDataRobot MLOpsに報告する一方で、インフラストラクチャ上の外部モデルをモニタリングするためのソリューションです。 監視エージェントの設定ファイルで、MLOps URLとAPIキーを指定する必要があります。 APIキーは、DataRobot APIへのリクエストの認証で推奨される方法です。これらは、従来のAPIトークンメソッドに取って代わるものです。
監視エージェントを使用するには、 DataRobotの開発者ツールからMLOpsエージェントのtarballとAPIキーを取得する必要があります。
MLOpsエージェントをインストールして設定します。¶
外部にデプロイされたモデルを監視するには、MLOpsエージェントのtarballダウンロードに含まれている、次のソフトウェアコンポーネントを実装する必要があります。
-
MLOpsライブラリ：外部モデルの予測データをDataRobot内の関連するデプロイ（以前に作成した 外部モデルの 外部デプロイ）に伝えるためのAPIを提供します。 MLOpsライブラリが提供する関数呼び出しを使用すると、予測時間、予測数、その他の指標やデプロイ統計など、レポート対象データを特定できます。 MLOpsライブラリは、このデータをスプーラー（バッファー）チャネルに書き込みます。このチャネルから、監視エージェントまたは他のMLOpsライブラリメソッド呼び出しのいずれかを使用して、データをDataRobot MLOpsに送信できます。 ライブラリは、Python 2、Python 3、Javaで利用できます。
-
MLOpsエージェント： MLOpsエージェントとライブラリ通信の設定時に定義した場所で、スプーラー（バッファー）チャネルを監視します。 The MLOps agent reads data from the spooler and reports to the the associated deployment in DataRobot (the external deployment of an external model you created earlier). 設定に応じて、エージェントはこのデータを手動または自動で読み取り報告できます。
MLOpsエージェントとライブラリスプーラーの設定¶
MLOpsライブラリはスプーラーを介して監視エージェントと通信します。そのため、ライブラリとエージェントのスプーラーの設定が一致していることが重要です。 スプーラー設定には必須な設定と、オプションの設定があります。 プログラムでこれらの設定を行います。環境変数を使用して行われた設定は、設定ファイルで定義された設定よりも優先されます。