Portable Prediction Server running modes¶

サーバーでサポートされているモデルモードには、単一モデル（SM）と複数モデル（MM）の2つがあります。 /opt/ml/modelディレクトリ内のDockerコンテナに単一のモデルパッケージのみがマウントされている場合は、SMモードを使用します。 これ以外の場合はすべてMMモードを使用します。 互換性のある予測にもかかわらず、SMモードはディスク上でモデルパッケージを識別する必要のない簡略化されたHTTP APIを作成し、起動時にモデルをメモリーにプリロードします。

Dockerコンテナのファイルシステムディレクトリは、次のレイアウトと一致する必要があります。

SMモードの場合：

/opt/ml/model/
└── model_5fae9a023ba73530157ebdae.mlpkg 

MMモードの場合：

/opt/ml/model/
├── fraud
|   └── model_5fae9a023ba73530157ebdae.mlpkg
└── revenue
    ├── config.yml
    └── revenue-estimate.mlpkg 

HTTP API（単一モデル）¶

単一モデルモードで実行している場合、Dockerイメージは3つのHTTPエンドポイントを公開します。

• POST /predictionsは、所定のデータセットをスコアリングします。
• GET /infoは、ロードされたモデルに関する情報を返します。
• GET /pingは、技術スタックが起動していることを確認します。

curl -X POST http://<ip>:8080/predictions \
    -H "Content-Type: text/csv" \
    --data-binary @path/to/scoring.csv
{
  "data": [
    {
      "predictionValues": [
        {"value": 0.250833758, "label": "yes"},
        {"value": 0.749166242, "label": "no"},
      ],
      "predictionThreshold": 0.5,
      "prediction": 0.0,
      "rowId": 0
    }
  ]
} 

CSVが望ましい出力である場合は、Accept: text/csvHTTPヘッダーを使用してリクエストします。

curl -X POST http://<ip>:8080/predictions \
    -H "Accept: text/csv" \
    -H "Content-Type: text/csv" \
    --data-binary @path/to/scoring.csv
<target>_yes_PREDICTION,<target>_no_PREDICTION,<target>_PREDICTION,THRESHOLD,POSITIVE_CLASS
0.250833758,0.749166242,0,0.5,yes 

HTTP API（複数モデル）¶

複数モデルモードでは、Dockerイメージは以下のエンドポイントを公開します。

• POST /deployments/:id/predictionsは、所定のデータセットをスコアリングします。
• GET /deployments/:id/infoは、ロードされたモデルに関する情報を返します。
• POST /deployments/:idは、モデルパッケージをコンテナーにアップロードします。
• DELETE /deployments/:idは、コンテナからモデルパッケージを削除します。
• GET /deploymentsは、コンテナ内のモデルパッケージのリストを返します。
• GET /pingは、技術スタックが起動していることを確認します。

:id（上記の/deploymentsルートに含まれる）はディスク上のモデルパッケージの一意の識別子を指します。 IDはモデルパッケージを含むディレクトリ名です。 したがって、次の/opt/ml/modelレイアウトの場合は次のようになります。

/opt/ml/model/
├── fraud
|   └── model_5fae9a023ba73530157ebdae.mlpkg
└── revenue
    ├── config.yml
    └── revenue-estimate.mlpkg 

fraudおよびrevenueを:idのルートの/deploymentsセットの代わりに使用することを検討してください。

curl -X POST http://<ip>:8080/deployments/revenue/predictions \
    -H "Content-Type: text/csv" \
    --data-binary @path/to/scoring.csv
{
  "data": [
    {
      "predictionValues": [
        {"value": 0.250833758, "label": "yes"},
        {"value": 0.749166242, "label": "no"},
      ],
      "predictionThreshold": 0.5,
      "prediction": 0.0,
      "rowId": 0
    }
  ]
} 

モニタリング¶

データドリフトや精度などの予測統計を監視できます。その場合は、DataRobotのデプロイインベントリに外部デプロイを作成する必要があります。

モデルパッケージを特定のデプロイに接続するには、予測統計をホストするデプロイのデプロイIDを指定します。

単一モデル（SM）モードの場合、デプロイIDはMLOPS_DEPLOYMENT_ID環境変数で提供する必要があります。 複数モデル（MM）モードでは、特別なconfig.ymlを準備して目的のdeployment_id値を持つモデルパッケージの横にドロップする必要があります。

deployment_id: 5fc92906ad764dde6c3264fa 

精度を追跡する場合は、デプロイ用に設定してから、実行中のモデルに追加の設定を提供します。

SMモードの場合、次の環境変数を設定します。

• MLOPS_ASSOCIATION_ID_COLUMN=transaction_country（必須）
• MLOPS_ASSOCIATION_ID_ALLOW_MISSING_VALUES=false （オプション、デフォルト=false）

MMモードの場合、config.ymlで次のプロパティを設定します。

association_id_settings:
  column_name: transaction_country
  allow_missing_values: false 

HTTPSサポート¶

デフォルトでは、PPSは8080ポート上のセキュアでないリスナー（クリアテキストHTTP over TCP）を介して予測を提供します。 また、8443ポート上のセキュアなリスナー（HTTP over TLS/SSL、または単にHTTPS）を介して予測を提供することもできます。 セキュアなリスナーを有効にした場合、セキュアでないリスナーは使用できなくなります。

設定は、以下の通り環境変数を使用して実行できます。

• PREDICTION_API_TLS_ENABLED：ポート8443でHTTPSリスナーを有効にし、ポート8080でHTTPSリスナーを無効にするマスターフラグ。

  • デフォルト：false（HTTPS無効）

  • 有効な値（大文字と小文字は区別されません）：

    パラメーター値	解釈
    true, t, yes, y, 1	true
    false、f、no、n、0	false

  備考

  TLSを有効にするには、フラグの値をtrueとして解釈する必要があります。 この設定を有効にしていない場合、その他のすべてのPREDICTION_API_TLS_*環境変数（渡された場合）は無視されます。

• PREDICTION_API_TLS_CERTIFICATE：TLS/SSL証明書のPEM形式のコンテンツ。

  • 必須：PREDICTION_API_TLS_ENABLEDがtrueの場合はYes、それ以外の場合はNo。
  • 以下も参照してください。：NGINX SSL証明書ドキュメント

• PREDICTION_API_TLS_CERTIFICATE_KEY：TLS/SSL証明書キーの秘密証明書キーのPEM形式のコンテンツ。

  • 必須：PREDICTION_API_TLS_ENABLEDがtrueの場合はYes、それ以外の場合はNo。
  • 以下も参照してください。：NGINX SSL証明書キードキュメント

• PREDICTION_API_TLS_CERTIFICATE_KEY_PASSWORD：PREDICTION_API_TLS_CERTIFICATE_KEYに渡された秘密証明書キーのパスフレーズ。

  • 必須：パスフレーズで証明書キーを作成した場合のみ必須です。

• PREDICTION_API_TLS_PROTOCOLS：使用する暗号化プロトコルの実装。

  • デフォルト：TLSv1.2 TLSv1.3 | * 有効な値：SSLv2 | SSLv3 | TLSv1 | TLSv1.1 | TLSv1.2 | TLSv1.3、またはこれらの値のスペースで区切られた組み合わせ。 |

  注意

  2021年8月時点で、TLSv1.2およびTLSv1.3を除くすべての実装は使用非推奨および/またはセキュアではないとみなされます。 DataRobotは、これらの実装のみを使用することを強く推奨します。 新しいインストールは、最新のセキュアなTLSバージョンであるため、TLSv1.3のみ使用することを検討できます。

• PREDICTION_API_TLS_CIPHERS：使用する暗号スイートのリスト。

  • デフォルト：必須TLSv1.3暗号および推奨TLSv1.2暗号
  • 必須：なし。
  • 有効な値：暗号スイートについては、OpenSSL構文を参照してください。

  注意

  TLSサポートは高度な機能です。 暗号スイートリストは、最新の推奨および現在のベストプラクティスに準じて慎重に選択されています。 DataRobotはそれをオーバーライドすることを推奨しません。

環境変数¶

リクエストパラメーター¶

ヘッダー¶

PPSは承認をサポートしていないため、 Datarobot-keyとAuthorizationは必要ありません。

引数のクエリ¶

The predictions routes (POST /predictions (single-model mode) and POST /deployments/:id/predictions) have the same query arguments and HTTP headers as their standard route counterparts, with a few exceptions. As with regular Dedicated Predictions API, the exact list of supported arguments depends on the deployed model. 以下は、すべてのデプロイでサポートされている一般的なクエリ引数のリストです。

以下の点に注意してください。

• passthroughColumnsおよびpassthroughColumnsSetパラメーターの両方を同じリクエストで渡すことはできません。
• passthroughColumnsクエリーパラメーターで渡すことのできる列名の数に制限はありませんが、HTTPリクエストラインの制限があります（現在の制限は8192バイト）。

予測の説明パラメーター¶

次のクエリーパラメーターを使用して、予測の説明の予測リクエストをパラメーター化することができます。

時系列パラメーター¶

次のクエリーパラメーターを使用して、時系列予測リクエストをパラメーター化することができます。

外部設定¶

Dockerイメージを使用して構成オプションを読み取り、上記の表に示されている設定オプションを設定することもできます（/opt/ml/configから）。 ファイルには、<key>=<value>ペアが含まれている必要があります。各キー名は対応する環境変数です。

例¶

1. 2つのワーカーで実行：

      docker run \
          -v /path/to/mlpkgdir:/opt/ml/model \
          -e PREDICTION_API_WORKERS=2 \
          -e PREDICTION_API_SCORING_MODEL_CACHE_MAXSIZE=32 \
          -e PREDICTION_API_PRELOAD_MODELS_ENABLED='true' \
          -e PREDICTION_API_DEPLOYED_MODEL_RESOLVER_CACHE_TTL_SEC=0 \
          datarobot/datarobot-portable-prediction-api:<version> 
   

2. 外部監視を設定して実行：

      docker run \
          -v /path/to/mlpkgdir:/opt/ml/model \
          -e PREDICTION_API_MONITORING_ENABLED='true' \
          -e PREDICTION_API_MONITORING_SETTINGS='<settings>' \
          datarobot/datarobot-portable-prediction-api:<version> 
   

3. 内部監視を構成して実行：

      docker run \
          -v /path/to/mlpkgdir:/opt/ml/model \
          -e PREDICTION_API_MONITORING_ENABLED='true' \
          -e PREDICTION_API_MONITORING_SETTINGS='<settings>' \
          -e MONITORING_AGENT='true' \
          -e MONITORING_AGENT_DATAROBOT_APP_URL='https://app.datarobot.com/' \
          -e MONITORING_AGENT_DATAROBOT_APP_TOKEN='<token>' \
          datarobot/datarobot-portable-prediction-api:<version> 
   

4. デフォルトプロトコルと暗号を使用してHTTPSサポートで実行：

      docker run \
          -v /path/to/mlpkgdir:/opt/ml/model \
          -p 8443:8443 \
          -e PREDICTION_API_TLS_ENABLED='true' \
          -e PREDICTION_API_TLS_CERTIFICATE="$(cat /path/to/cert.pem)" \
          -e PREDICTION_API_TLS_CERTIFICATE_KEY="$(cat /path/to/key.pem)" \
          datarobot/datarobot-portable-prediction-api:<version> 
   

5. Run with Python3 interpreter only to minimize RAM footprint:

      docker run \
          -v /path/to/my_python3_model.mlpkg:/opt/ml/model \
          -e PREDICTION_API_RPC_DUAL_COMPUTE_ENABLED='false' \
          -e PYTHON3_SERVICES='true' \
          datarobot/datarobot-portable-prediction-api:<version> 
   

6. Run with Python2 interpreter only to minimize RAM footprint:

      docker run \
          -v /path/to/my_python2_model.mlpkg:/opt/ml/model \
          -e PREDICTION_API_RPC_DUAL_COMPUTE_ENABLED='false' \
          datarobot/datarobot-portable-prediction-api:<version>