カスタムモデルのポータブル予測サーバー¶

カスタムモデルのポータブル予測サーバー（PPS）は、カスタムモデルを外部予測環境にデプロイするためのソリューションです。 PPSは、メインのインストール環境に接続せずに構築および実行できます。 PPSは、デプロイされたカスタムモデル、カスタム環境、および監視エージェントを含むダウンロード可能なバンドルとして利用できます。 起動すると、カスタムモデルPPSインストールは、DataRobot REST APIを使用して予測を提供します。

カスタムモデルPPSバンドルのダウンロードと設定¶

カスタムモデルPPSバンドルは、デプロイインベントリ内に外部予測環境があることを示すタグが付けられたカスタムモデルがある場合に提供されます。

使用するカスタムモデルを選択し、デプロイの予測 > ポータブル 予測タブに移動して、ポータブル予測パッケージをダウンロードを選択します。

または、コンテンツを1つのバンドルでダウンロードする代わりに、カスタムモデル、カスタム環境、または監視エージェントを個別のコンポーネントとしてダウンロードすることもできます。

.zipファイルをダウンロードした後、解凍コマンドを使用してローカルに抽出します。

unzip <cm_pps_installer_*>.zip 

次に、インストールスクリプト（バンドルから解凍）にアクセスして、監視エージェントをサポートするカスタムモデルPPSを構築します。 このためには、手順2で表示されたコマンドを実行します。

監視エージェントのDockerイメージのインストールをスキップする機能など、その他の構築オプションについては、次を実行します。

bash ./cm_pps_installer.sh --help 

構築がエラーなしで合格すると、ローカルのDockerレジストリに2つの新しいDockerイメージが追加されます。

• cm_pps_XYZはカスタムモデルとカスタム環境を組み合わせたイメージです。

• datarobot/mlops-tracking-agentは監視エージェントのDockerイメージであり、予測統計をDataRobotに報告するために使用されます。

PPSを使用した予測の実施¶

カスタムモデルPPSの使用を開始できるよう、DataRobotにはバンドル内に2つのDocker構成設定の例が用意されています。

• docker-compose-fs.yml：モデルコンテナと監視エージェントコンテナの間でファイルシステムベースのスプーラーを使用します。 単一モデルに推奨されます。

• docker-compose-rabbit.yml：モデルコンテナと監視エージェントコンテナの間でRabbitMQベースのスプーラーを使用します。 この設定を使用して、単一の監視エージェントインスタンスで複数のモデルを実行できます。

使用する設定を選択したら、Docker構成ファイルを編集して、対応するフィールドにデプロイIDとAPIキーを含めます。

ランタイムパラメーターファイルを定義するには、使用しているDocker Compose設定ファイルの例を変更して、以下にハイライトされている2行のコメントを外します。

volumes:
  - shared-volume:/opt/mlops_spool
  # - <path_to_runtime_params_file_on_host>:/opt/runtime.yaml
environment:
  ADDRESS: "0.0.0.0:6788"
  MODEL_ID: "{{ model_id }}"
  DEPLOYMENT_ID: "< provide deployment id to report to >"
  RUNTIME_PARAMS_FILE: "/opt/runtime.yaml"
  # RUNTIME_PARAMS_FILE: "/opt/runtime.yaml" 

volumesの下の行のコメントを外すときは、<path_to_runtime_params_on_host>プレースホルダーを適切なパスに置き換えます。 environmentの下の行は、DRUMベースの環境変数のセクションで説明されているDRUM環境変数です。 Docker Composeの設定例を使用しない場合は、これらの行を設定ファイルに追加してください。 どちらのシナリオでも、ランタイムパラメーターファイルが存在し、ファイルへのパスが正しいことを確認します。

Docker Composeファイルが適切に設定されたら、予測サーバーを起動します。

• ファイルシステムベースのスプーラーを使用する単一モデルの場合、次のコマンドを実行します。

  docker compose -f docker-compose-fs.yml up 
  

• 単一の監視エージェントインスタンスを持つ複数モデルの場合は、RabbitMQベースのスプーラーを使用します。

  docker compose -f docker-compose-rabbit.yml up 
  

PPSが実行している場合、Dockerイメージは3つのHTTPエンドポイントを公開します。

• POST /predictionsは、所定のデータセットをスコアリングします。
• GET /infoは、ロードされたモデルに関する情報を返します。
• GET /pingは、技術スタックが起動していることを確認します。

以下は、予測リクエストとJSON応答の例を示しています。

curl -X POST http://localhost:6788/predictions/ \
     -H "Content-Type: text/csv" \
     --data-binary @path/to/scoring.csv 

{
    "data": [{
            "prediction": 23.03329917456927,
            "predictionValues": [{
                "label": "MEDV",
                "value": 23.03329917456927
            }],
            "rowId": 0
        },
        {
            "prediction": 33.01475956455371,
            "predictionValues": [{
                "label": "MEDV",
                "value": 33.01475956455371
            }],
            "rowId": 1
        },
    ]
} 

MLOps環境特徴量¶

次の表に、PPSを使用するすべてのカスタムモデルでサポートされているMLOpsサービス環境特徴量を示します。 使用する実行環境に基づいて、これらの設定を調整することをお勧めします。

DRUMベースの環境特徴量¶

次の表に、DRUMベースのカスタム環境でサポートされている環境特徴量を示します。

RabbitMQサービスの環境特徴量¶