MLOpsエージェントを使用した外部モデル監視¶
DataRobot MLOpsを使用すると、外部モデルを登録し、外部予測環境を作成して、登録した外部予測環境にモデルをデプロイできます。 次に、外部モデルとともに監視エージェントをインストールして設定し、その外部モデルのデプロイシナリオを作成できます。 監視エージェントをインストールして設定すると、MLOpsデプロイとして外部で実行されているモデルをモニタリングできるようになるため、DataRobotの強力なMLOpsモデル管理ツールを利用して、精度とデータ ドリフト、予測分布、レイテンシーなどを監視できます。
MLOpsエージェントをインストールして、DataRobotの外部予測環境で実行されている外部モデルを監視するには、以下に概説するワークフローに従います。
graph TB
A[Decide to monitor an existing external model] --> B[Register an external model package]
B --> C{Create an external prediction environment?}
C -->|No|E[Deploy the model to an external prediction environment]
C --> |Yes|D[Add an external prediction environment]
D --> E
E --> F[Obtain the MLOps agent tarball and your API key]
F --> G[Install and configure the monitoring agent]
G --> H[Configure monitoring agent and MLOps library communication] 既存の外部モデル監視の決定¶
監視エージェントは、統計情報をDataRobot MLOpsに報告する一方で、インフラストラクチャ上の外部モデルをモニタリングするためのソリューションです。 監視エージェントが使用するAPIでは、DataRobotで作成したデプロイへのレポート対象データを特定できます。 詳細については、MLOpsエージェントの概要を参照してください。
外部モデルパッケージの登録¶
予測の指標をDataRobotのMLOpsデプロイに報告するには、まず外部モデルの詳細をモデルパッケージとしてDataRobotモデルレジストリに登録する必要があります。その後、外部MLOpsデプロイを作成できます。
外部予測環境を追加¶
外部デプロイを作成するには、外部予測環境が必要です。 DataRobotに外部予測環境がない場合は、外部予測環境を作成します。
モデルを外部予測環境にデプロイ¶
外部で実行されているモデルをモデルレジストリに登録済みの外部モデルパッケージに関連付けるには、モデルレジストリから外部予測環境にモデルをデプロイする必要があります。 このモデルを外部にデプロイした後、外部デプロイの 概要タブからモデルIDとデプロイIDを取得できます。 監視エージェントは、モデルIDとデプロイIDを使用して、外部モデルのデータをDataRobot MLOpsのデプロイに報告します。
MLOpsエージェントのtarballとAPIキーの取得¶
監視エージェントは、統計情報をDataRobot MLOpsに報告する一方で、インフラストラクチャ上の外部モデルをモニタリングするためのソリューションです。 監視エージェントの設定ファイルで、MLOps URLとAPIキーを指定する必要があります。 APIキーは、DataRobot APIへのリクエストの認証で推奨される方法です。これらは、レガシーAPIトークンを使用する方法を置き換えます。
監視エージェントを使用するには、 DataRobotの開発者ツールからMLOpsエージェントのtarballとAPIキーを取得する必要があります。
MLOpsエージェントをインストールして設定します。¶
外部にデプロイされたモデルを監視するには、MLOpsエージェントのtarballダウンロードに含まれている、次のソフトウェアコンポーネントを実装する必要があります。
-
MLOpsライブラリ：外部モデルの予測データをDataRobot内の関連するデプロイ（以前に作成した 外部モデルの 外部デプロイ）に伝えるためのAPIを提供します。 MLOpsライブラリが提供する関数呼び出しを使用すると、予測時間、予測数、その他の指標やデプロイ統計など、レポート対象データを特定できます。 MLOpsライブラリは、このデータをスプーラー（バッファー）チャネルに書き込みます。このチャネルから、監視エージェントまたは他のMLOpsライブラリメソッド呼び出しのいずれかを使用して、データをDataRobot MLOpsに送信できます。 ライブラリは、Python 2、Python 3、Javaで利用できます。
-
MLOpsエージェント： MLOpsエージェントとライブラリ通信の設定時に定義した場所で、スプーラー（バッファー）チャネルを監視します。 MLOpsエージェントは、スプーラーからデータを読み取り、DataRobot内の関連するデプロイ（以前に作成した 外部モデルの 外部デプロイ）に報告します。 設定に応じて、エージェントはこのデータを手動または自動で読み取り報告できます。
MLOpsエージェントとライブラリスプーラーの設定¶
MLOpsライブラリはスプーラーを介して監視エージェントと通信します。そのため、ライブラリとエージェントのスプーラーの設定が一致していることが重要です。 スプーラー設定には必須な設定と、オプションの設定があります。 プログラムでこれらの設定を行います。環境変数を使用して行われた設定は、設定ファイルで定義された設定よりも優先されます。