バッチ予測API¶

バッチ予測APIは、既にデプロイ済みの予測サーバーを使って大規模なデータセットをスコアリングする際の入力と出力の柔軟なオプションを提供します。 このAPIはDataRobotパブリックAPIを介して公開されます。 APIはREST対応クライアント、またはDataRobot PythonパブリックAPIバインディングを使用して消費できます。

For more information about Batch Prediction REST API routes, view the DataRobot REST API reference documentation.

APIの主要な機能を以下に示します。

• 入力と出力の柔軟なオプション：
  • ローカルファイルをストリーミングし、アップロードと同時に結果のダウンロード行われる間にスコアリングを開始することができます。
  • S3間の大きなデータセットのスコアリング。
  • AIカタログからデータセットを読み取り。
  • スコアリングデータと結果の双方向ストリーミングでJDBCを用いて外部データソースに接続。
  • 入力と出力オプションの組み合わせ（ローカルファイルから S3ターゲットへのスコアリングなど）。
• 同時並行制御レベルオプションによる予測サーバーオーバーロードに対する保護。
• 予測の説明の追加（しきい値を追加するオプション）。
• スコアリングされたデータとソースデータを関連付けるパススルー列のサポート。
• 出力の予測注意の追加。
• APIを介して1GB以上のファイルで予測を作成する機能。

時系列のバッチ予測設定の詳細については、時系列ドキュメントをご参照ください。

制限¶

* Feature Discovery projects have a job runtime limit of 6 hours.

同時ジョブ数¶

予測サーバーでの過負荷を防止するために、DataRobotでは、予測インスタンスあたり1つのジョブだけが実行されます。 追加のジョブはキューに入れられ、前のジョブが完了するとすぐに開始されます。

データパイプライン¶

バッチ予測ジョブは、次で構成されるデータパイプラインです。

データ入力 > 同時スコアリング > データ出力

作成時に、ジョブのintakeSettingsおよびoutputSettingsによってパイプラインのデータ入力およびデータ出力の部分が定義されます。 入力および出力オプションの任意の組み合わせを設定できます。 どちらの場合でも、デフォルトはローカルファイルの入力および出力なので、スコアリングするデータと共に個別のPUTリクエストを発行して、スコアリングされたデータをダウンロードする必要があります。

バッチ予測用にサポートされるデータソース¶

次の表は、バッチ予測に対するデータソースのサポートを示しています。

*Prestoでは、書き込みを遅らせる可能性のある基盤となるコネクターのほとんどにauto commit: trueを使用する必要があります。

**For output to Teradata, DataRobot only supports ANSI mode.

詳細については、次を参照してください。

• サポートされている入力オプション
• サポートされている出力オプション
• 出力形式スキーマ

同時スコアリング¶

スコアリングを行う際、提供したデータはブロックに分割され、デプロイで指定された予測インスタンスで同時にスコアリングされます。 同時実行のレベルを制御するには、ジョブを作成するときにnumConcurrentパラメーターを変更します。

ジョブの状態¶

バッチ予測を行う場合、各予測ジョブは4つの状態のいずれかになります。

• INITIALIZING：ジョブが正常に作成され、かつ次のいずれかの場合：
  • プッシュするCSVデータを待機中（ローカルファイル入力の場合）。
  • 予測サーバー上でスロット処理を待機中。
• RUNNING：予測サーバーでデータセットのスコアリングが開始された。
• ABORTED：次のいずれかの理由でジョブが中断された。
  • 無効な設定があった。
  • DataRobotで20%または100MBの無効なスコアリングデータが発生し、その結果として予測エラーとなった。
• COMPLETED：データセットがスコアリングされ、かつ
  • スコアリング済みデータをダウンロードできる（ローカルファイル出力の場合）。
  • または、データが送付先に書き込まれている。

資格情報を安全に保存する¶

スコアリングの一部のソースまたはターゲットは、DataRobotがユーザーに代わって認証することをリクエストしています（たとえば、データベースがログイン時にユーザー名とパスワードに合格することをリクエストする場合）。 これらの資格情報が正しく保存されるようにするには、データ資格情報を有効にしておく必要があります。

DataRobotでは、以下の資格情報タイプおよびプロパティーが使用されます。

保存された資格情報を使用するには、各アダプターの以下の説明にあるようにintakeSettingsまたはoutputSettingsいずれかの該当するcredentialIdにパスする必要があります。

CSV形式¶

CSVファイルの読み取りまたは書き込みを処理する入出力オプションの場合は、csvSettingsに以下を指定することでカスタム形式を使用できます。

同じ形式が入力および出力の両方に使用されます。 完全な例を参照してください。

モデル監視¶

バッチ予測APIはDataRobotのモデル監視機能とうまく統合します。

• デプロイのデータドリフト追跡を有効にすると、バッチ予測APIで実行されるすべての予測が追跡されます。
• デプロイのターゲットドリフト追跡を有効にすると、出力には実績報告に使用する目的の関連IDが含まれます。

デプロイに対して本番以外のデータセットを実行する必要がある場合は、以下のパラメーターを指定して単一ジョブのドリフト追跡をオフにできます。

デフォルト予測インスタンスの上書き¶

通常の状況下では、スコアリングに使用される予測サーバーがモデルがデプロイされた先のデフォルト予測サーバーとなります。 ただし、上書きはできません、複数の予測サーバーへのアクセス権がある場合は、predictionInstanceオプションの以下のプロパティを使用してデフォルト動作を上書きできます。

以下は完全な例です。

job_details = {
    'deploymentId': deployment_id,
    'intakeSettings': {'type': 'localFile'},
    'outputSettings': {'type': 'localFile'},
    'predictionInstance': {
        'hostName': '192.0.2.4',
        'sslEnabled': False,
        'apiKey': 'NWUQ9w21UhGgerBtOC4ahN0aqjbjZ0NMhL1e5cSt4ZHIBn2w',
        'datarobotKey': '154a8abb-cbde-4e73-ab3b-a46c389c337b',
    },
} 

更新モデルと一致したスコアリング¶

ジョブがキューに入った後に新規モデルをデプロイすると、DataRobotは全ジョブのジョブ作成時にデプロイされたモデルを引き続き使用します。 すべての行が同じモデルでスコアリングされます。

テンプレート特徴量¶

ジョブ定義など、バッチジョブで動的パラメーターを指定すると便利な場合があります。 jinjaの特徴量構文（二重中括弧）を使用して、次のパラメーターの値を出力できます。

上記の特徴量は、次のフィールドで使用できます。

URLを次のように指定する必要があります。gs://bucket/output-<added-string-with-double-curly-braces>.csv

APIリファレンス¶

パブリックAPI¶

バッチ予測APIはDataRobotパブリックAPIの一部で、DataRobotの右上にあるクエスチョンマークをクリックしてAPI ドキュメントを選択することによりアクセスできます。

Python APIクライアント¶

PythonパブリックAPIクライアントを使用して、バッチ予測APIと連携できます。