非構造化モデルに関するMLOpsレポート¶

本機能の提供について

MLOpsでの非構造化モデルからのレポートは、デフォルトではオフになっています。この機能を有効にする方法については、DataRobotの担当者または管理者にお問い合わせください。

機能フラグ：非構造化モデルからのMLOpsレポートを有効にする

パブリックプレビュー版の機能です。カスタムモデルワークショップで作成し、ターゲットタイプが非構造化（連続値）、非構造化（二値）、または非構造化（多クラス）であるPythonカスタム推論モデルから、MLOpsによる統計を報告できます。

この機能を有効にすると、Pythonで非構造化カスタム推論モデルをアセンブルする際に、kwargsから入力引数mlopsを次のように読み込むことができます。

mlops = kwargs.get('mlops')

MLOpsのレポートを使用した非構造化Pythonカスタムモデルの例については、DataRobotユーザーモデルリポジトリを参照してください。

非構造化カスタムモデルのレポートメソッド¶

mlopsの値がNoneでない場合は、以下のメソッドにアクセスして使用することができます。

予測数と実行時間をDataRobot MLOpsに報告します。

report_deployment_stats(num_predictions: int, execution_time: float)

引数	説明
`num_predictions`	予測の数
`execution_time`	すべての予測を計算するのにかかった時間（ミリ秒）。

特徴量を、その予測値および関連付けIDとともにDataRobot MLOpsに報告します。

report_predictions_data(features_df: pandas.DataFrame, predictions: list, association_ids: list, class_names: list)

引数	説明
`features_df`	追跡および監視するすべての特徴量を含むデータフレーム。データフレームから報告したくない特徴量を除外します。
`predictions`	予測値のリスト。連続値デプロイの場合、これは予測値を含む1次元のリストです（例：`[1, 2, 4, 3, 2]`）。分類デプロイの場合、これは2次元のリストで、内側のリストは各クラスタイプの確率です（例：`[[0.2, 0.8], [0.3, 0.7]]`）。
`association_ids`	（オプション）各予測に対応する関連付けIDのリスト。関連付けIDは精度の計算に使用され、報告される予測ごとに一意である必要があります。 `predictions`の数はリスト内の`association_ids` の数と同じである必要があります。
`class_names`	（分類のみ）予測クラスの名前のリスト（例：`["class1", "class2", "class3"]`）。分類のデプロイでは、クラス名は報告された予測確率と同じ順序である必要があります。順序が指定されていない場合、予測順序のデフォルトはデプロイでのクラス名の順序になります。この引数は連続値デプロイでは無視されます。

MLOpsがローカルにレポートする非構造化カスタムモデルをテストするには、以下の入力引数（または対応する環境変数）でdrumユーティリティを使用する必要があります。

入力引数	環境変数	説明
`--target-type`	`TARGET_TYPE`	`unstructured`である必要があります。
`--webserver`	`EXTERNAL_WEB_SERVER_URL`	DataRobotの外部ウェブサーバーのURL。
`--api-token`	`API_TOKEN`	DataRobot APIトークン。
`--monitor-embedded`	`MLOPS_REPORTING_FROM_UNSTRUCTURED_MODELS`	モデルがMLOpsライブラリを使用して統計情報を報告できるようにします。
`--deployment-id`	`DEPLOYMENT_ID`	モデルの予測を監視するデプロイのID。
`--model-id`	`MODEL_ID`	予測を監視するデプロイ済みモデルのID。

更新しました August 16, 2023

アンケートにご協力いただき、ありがとうございました。