MLOpsに関するFAQ¶
デプロイでサポートされているモデルタイプは何ですか?
DataRobot MLOpsでは3つのタイプのデプロイモデルをサポートしています。
- AutoMLで構築され、インベントリに直接デプロイされたDataRobotのモデル
- カスタムモデルワークショップでアセンブルされたカスタム推論モデル
- モデルパッケージとして登録され、MLOpsエージェントにより監視される外部モデル。
デプロイしたモデルで予測を行うにはどうすればよいですか?
デプロイで予測を行うには、予測タブに移動します。 そこから、予測インターフェイスを使って予測データをドラッグ&ドロップし、予測結果を返すことができます。 サポートされているモデルは、デプロイからスコアリングコードをダウンロードして設定することができます。 外部モデルは、ポータブル予測サーバーを使用することで、リモート環境でデータセットをバッチでスコアリングできます。 コード中心のエクスペリエンスを実現するには、提供されているPythonスコアリングコードを使用します。このコードには、予測APIでのスコアリングを目的としてCSVまたはJSONファイルを送信する際に必要なコマンドと識別子が含まれています。
予測環境とは何ですか?
(DataRobot外の)独自のインフラストラクチャで実行されるモデルは、異なる環境で実行される可能性があり、デプロイ権限と承認プロセスが異なる場合があります。 たとえば、テスト環境にモデルをデプロイする権限はどのユーザーにもありますが、本番環境へのデプロイには厳格な承認ワークフローが必要となり、承認された人にしか許可されない場合があります。 予測環境は、デプロイ環境をグループ化し、グループ化されたデプロイ権限と承認ワークフローをサポートすることで、デプロイガバナンスをサポートします。 予測環境は、外部インフラストラクチャで使用されているプラットフォーム(AWS、Azure、Snowflakeなど)と、そのプラットフォームがサポートするモデル形式を指します。
精度監視を有効にするにはどうすればよいですか?
デプロイの精度タブをアクティブ化するには、最初に関連付けIDを選択する必要があります。これは、予測を将来の結果(実測値や結果データと呼ばれます)にリンクする外部キーです。 デプロイの設定 > データタブの推論セクションには、関連付けIDを含む列名を入力するフィールドがあります。 ここに列名を入力します。予測を行った後、デプロイに実測値を追加して精度統計を生成します。
データドリフトとは何ですか? モデルドリフトとどう違うのですか?
データドリフトとは、予測データとトレーニングデータの分布の変化のことです。 データドリフトのアラートは、予測に用いているデータが、モデルのトレーニングに使用したデータと異なって見えることを示します。 DataRobotは、PSIつまり「母集団安定性指標」を使ってこれを測定します。 モデルそのものがドリフトすることはありません。つまり一度学習されれば、モデルは固定されます。 予測値の変動に対して「モデルドリフト」という用語が使われることがありますが、これは単に平均予測値が時間の経過とともに変化していることを示します。
(デプロイタブの)デプロイインベントリでの緑、黄、赤のステータスアイコンの意味は何ですか?
デプロイインベントリのサービスの正常性、データドリフト、精度の各サマリーから、デプロイされたすべてのモデルの正常性と精度を一目で把握できます。 個々のモデルの詳細な情報を表示するには、インベントリリスト内のモデルをクリックします。 カラーインジケーターの解釈の詳細については、ドキュメントを参照してください。
予測APIでスコアリングに対応しているデータ形式は何ですか?
予測データはCSVまたはJSONファイルで提供する必要があります。 詳細については、DataRobotの予測APIのドキュメントを参照してください。
デプロイで別のモデルを使用するにはどうすればよいですか?
モデルを置き換えるには、デプロイのアクションメニューにあるモデルの置換機能を使用します。 なお、置換後のモデルが次のいずれかの点で現在のモデルと異なる場合、DataRobotは警告を発します。
- 特徴量名が一致しない。
- 置換後のモデルでは、特徴量名が一致しても、データ型が異なる。
信頼性の監視とは何ですか?
信頼性の監視は、デプロイの信頼性タブからできます。モデルが不確実な予測を行ったり、以前に見たことのないデータを受け取ったりしたときに、リアルタイムで認識できるようにするルールの設定を行うことができます。 データドリフトとは異なり、モデルの信頼性は時間の経過に伴う幅広い統計プロパティを処理しません。代わりに、個々の予測に対してトリガーされ、さまざまなトリガーに依存するルールを使用して目的の動作を設定できます。 信頼性ルールは、監視中にデータの整合性の問題を特定して処理し、不安定な予測の根本原因をより適切に特定するのに役立ちます。
チャレンジャータブがグレーアウトしています。 チャレンジャーを追加できないのはなぜですか?
デプロイされたモデルと比較するためにチャレンジャーモデルを追加するには、MLOpsユーザーであることと、チャレンジャータブを有効化することが必要です。 これを行うには、デプロイで設定 > データを選択します。 右ペインのデータドリフトの下で、予測行ごとの履歴保存を有効化に切り替え、変更を保存をクリックします。 チャレンジャーモデルとチャンピオンモデルを比較するには、この設定が必要です。 デプロイを選択すれば、チャレンジャータブを選択できるようになります。
ポータブル予測サーバーとは何ですか? 使用方法を教えてください。
ポータブル予測サーバー(PPS)は、自己完結型のDockerイメージとして配布されるDataRobotモデルパッケージ(.mlpkg
ファイル)用のDataRobot実行環境です。 The PPS can be run disconnected from the main installation environments. 開始すると、イメージは:8080
ポートを介してHTTP APIを提供します。 これを使うには、外部デプロイを作成し、インフラストラクチャに外部予測環境を作成して、PPS Dockerイメージとモデルパッケージをダウンロードします。 この設定により、DataRobotの外部でPPSを実行できますが、アプリケーションでは引き続きデプロイからインサイトや統計にアクセスすることができます。
What are the differences between the Portable Prediction Server (PPS) and Scoring Code?
They serve different purposes and, while they both allow you to take your models out of DataRobot, they differ in how you interface with the model and in the number of models they support:
-
Portable Prediction Server: Supports almost every Leaderboard model by exporting a self-contained Docker image to host a remote DataRobot execution environment for one or more DataRobot model packages (MLPKG files). The PPS exposes a REST API for real-time predictions, batch predictions, and prediction explanations; therefore, you must ensure your use case supports calling that API.
-
Scoring Code: Supports qualifying Leaderboard models by exporting the model as a Java Archive (JAR) file, allowing you to integrate your inference model directly into your Java (and Python) applications. Scoring code can also be called from a CLI in a standalone manner. For more information on which models don't support Scoring Code export, see the feature considerations.