MLOpsに関するFAQ¶

DataRobot MLOpsでは3つのタイプのデプロイモデルをサポートしています。

• AutoMLで構築され、インベントリに直接デプロイされたDataRobotのモデル
• カスタムモデルワークショップで構築されたカスタム推論モデル
• モデルパッケージとして登録され、MLOpsエージェントにより監視される外部モデル。

デプロイで予測を行うには、予測タブに移動します。 From there, you can use the predictions interface to drag and drop prediction data and return prediction results. Supported models can download and configure Scoring Code from a deployment. External models can score datasets in batches on a remote environment with the Portable Prediction Server. For a code-centric experience, use the provided Python Scoring Code, which contains the commands and identifiers needed to submit a CSV or JSON file for scoring with the Prediction API.

（DataRobot外の）独自のインフラストラクチャで実行されるモデルは、異なる環境で実行される可能性があり、デプロイ権限と承認プロセスが異なる場合があります。 たとえば、テスト環境にモデルをデプロイする権限はどのユーザーにもありますが、本番環境へのデプロイには厳格な承認ワークフローが必要となり、承認された人にしか許可されない場合があります。 Prediction environments support this deployment governance by grouping deployment environments and supporting grouped deployment permissions and approval workflows. 予測環境は、外部インフラストラクチャで使用されているプラットフォーム（AWS、Azure、Snowflakeなど）と、そのプラットフォームがサポートするモデル形式を指します。

デプロイの精度タブをアクティブ化するには、最初に関連付けIDを選択する必要があります。これは、予測を将来の結果（実測値や結果データと呼ばれます）にリンクする外部キーです。 デプロイの設定 > データタブの推論セクションには、関連付けIDを含む列名を入力するフィールドがあります。 Enter the column name here, and then, after making predictions, add actuals to the deployment to generate accuracy statistics.

データドリフトとは、予測データとトレーニングデータの分布の変化のことです。 データドリフトのアラートは、予測に用いているデータが、モデルのトレーニングに使用したデータと異なって見えることを示します。 DataRobot uses PSI or "Population Stability Index" to measure this. モデルそのものがドリフトすることはありません。つまり一度学習されれば、モデルは固定されます。 予測値の変動に対して「モデルドリフト」という用語が使われることがありますが、これは単に平均予測値が時間の経過とともに変化していることを示します。

デプロイインベントリのサービスの正常性、データドリフト、精度の各サマリーから、デプロイされたすべてのモデルの正常性と精度を一目で把握できます。 個々のモデルの詳細な情報を表示するには、インベントリリスト内のモデルをクリックします。 For more information about interpreting the color indicators, reference the documentation.

予測データはCSVまたはJSONファイルで提供する必要があります。 For more information, reference the documentation for the DataRobot Prediction API.

モデルを置き換えるには、デプロイのアクションメニューにあるモデルの置換機能を使用します。 なお、置換後のモデルが次のいずれかの点で現在のモデルと異なる場合、DataRobotは警告を発します。

• 特徴量名が一致しない。
• 置換後のモデルでは、特徴量名が一致しても、データ型が異なる。

信頼性の監視は、デプロイの信頼性タブからできます。モデルが不確実な予測を行ったり、以前に見たことのないデータを受け取ったりしたときに、リアルタイムで認識できるようにするルールの設定を行うことができます。 データドリフトとは異なり、モデルの信頼性は時間の経過に伴う幅広い統計プロパティを処理しません。代わりに、個々の予測に対してトリガーされ、さまざまなトリガーに依存するルールを使用して目的の動作を設定できます。 信頼性ルールは、監視中にデータの整合性の問題を特定して処理し、不安定な予測の根本原因をより適切に特定するのに役立ちます。

デプロイされたモデルと比較するためにチャレンジャーモデルを追加するには、MLOpsユーザーであることと、チャレンジャータブを有効化することが必要です。 これを行うには、デプロイで設定 > データを選択します。 右ペインのデータドリフトの下で、予測行ごとの履歴保存を有効化に切り替え、変更を保存をクリックします。 チャレンジャーモデルとチャンピオンモデルを比較するには、この設定が必要です。 デプロイを選択すれば、チャレンジャータブを選択できるようになります。

ポータブル予測サーバー（PPS）は、自己完結型のDockerイメージとして配布されるDataRobotモデルパッケージ（.mlpkgファイル）用のDataRobot実行環境です。 PPSは、メインのインストール環境から切り離して実行できます。 開始すると、イメージは:8080ポートを介してHTTP APIを提供します。 In order to use it, you create an external deployment, create an external prediction environment for your infrastructure, download the PPS Docker image, and download the model package. この設定により、DataRobotの外部でPPSを実行できますが、アプリケーションでは引き続きデプロイからインサイトや統計にアクセスすることができます。

この2つは目的が異なり、どちらもDataRobotからモデルを取り出すことができますが、モデルとのインターフェイスの取り方やサポートするモデルの数が異なります。

• ポータブル予測サーバー：1つまたは複数のDataRobotモデルパッケージ（MLPKGファイル）用のリモートのDataRobot実行環境をホストする自己完結型のDockerイメージをエクスポートすることにより、 ほぼ すべてのリーダーボードモデルをサポートします。 The PPS exposes a REST API for real-time predictions, batch predictions, and prediction explanations; therefore, you must ensure your use case supports calling that API.

• スコアリングコード：Javaアーカイブ（JAR）ファイルの形式でエクスポートすることで、 対象となる リーダーボードモデルをサポートし、推論モデルをJava（およびPython）アプリケーションに直接統合できます。 スコアリングコードは、スタンドアロンの方法でCLIから呼び出すこともできます。 For more information on which models don't support Scoring Code export, see the feature considerations.