バッチ予測API¶

バッチ予測APIは、既にデプロイ済みの予測サーバーを使って大規模なデータセットをスコアリングする際の入力と出力の柔軟なオプションを提供します。このAPIはDataRobotパブリックAPIを介して公開されます。APIはREST対応クライアント、またはDataRobot PythonパブリックAPIバインディングを使用して使用できます。

REST APIの詳細については、APIドキュメントを参照してください。<!-—private end-—>

APIの主要な機能を以下に示します。

• 入力と出力の柔軟なオプション:
  • ローカルファイルをストリーミングし、アップロードと同時に結果のダウンロード行われる間にスコアリングを開始することができます。
  • S3から/S3に入出力される大きなデータセットのスコアリング。
  • AIカタログからデータセットを読み取ります。
  • スコアリングデータと結果の双方向ストリーミングにJDBCを使用して、外部データソース に接続します。
    • 入力と出力オプションの組み合わせ（ローカルファイルから S3ターゲットへのスコアリングなど）。
• 同時実行制御レベルオプションによる予測サーバーオーバーロードに対する保護。
• 予測の説明の追加（しきい値を追加するオプション）。
• スコアリングされたデータとソースデータを関連付けるパススルー列のサポート。
• 出力の予測警告の追加。
• APIを介して1GB以上のファイルで予測を作成する機能。

制限¶

同時実行ジョブ¶

予測サーバーでの過負荷を防止するために、DataRobotでは、予測インスタンスあたり1つのジョブだけが実行されます。追加のジョブはキューに入れられ、前のジョブが完了するとすぐに開始されます。

データパイプライン¶

バッチ予測ジョブは、次で構成されるデータパイプラインです。

データ入力 > 同時実行スコアリング > データ出力

作成時に、ジョブのintakeSettingsおよびoutputSettingsによってパイプラインのデータ入力およびデータ出力の部分が定義されます。入力および出力オプションの任意の組み合わせを設定できます。どちらの場合でも、デフォルトはローカルファイルの入力および出力なので、スコアリングするデータと共に個別のPUTリクエストを発行して、スコアリングされたデータをダウンロードする必要があります。

バッチ予測用にサポートされるデータソース¶

次の表は、バッチ予測に対するデータソースのサポートを示しています。

詳細については、次を参照してください：

• サポートされている入力オプション
• サポートされている出力オプション
• 出力形式スキーマ

同時スコアリング¶

スコアリングを行う際、提供したデータはブロックに分割され、デプロイで指定された予測インスタンスで同時にスコアリングされます。同時実行のレベルを制御するには、ジョブを作成するときにnumConcurrentパラメーターを変更します。

ジョブの状態¶

バッチ予測を行う場合、各予測ジョブは4つの状態のいずれかになります。

• INITIALIZING: ジョブが正常に作成され、かつ次のいずれかの場合:
  • プッシュするCSVデータを待機中（ローカルファイル入力の場合）。
  • 予測サーバー上でスロット処理を待機中。
• RUNNING: 予測サーバーでデータセットのスコアリングが開始された。
• ABORTED: 次のいずれかの理由でジョブが中断された。
  • 無効な設定があった。
  • DataRobotで20%または100MBの無効なスコアリングデータが発生し、その結果として予測エラーとなりました。
• COMPLETED: データセットがスコアリングされ、かつ：
  • スコアリング済みデータをダウンロードできる（ローカルファイル出力の場合）。
  • または、データが出力先に書き込まれている。

資格情報を安全に保存する¶

スコアリングの一部のソースまたはターゲットは、DataRobotがユーザーに代わって認証することをリクエストしています（たとえば、データベースがログイン時にユーザー名とパスワードで認証することをリクエストする場合）。これらの資格情報が正しく保存されるようにするには、データ資格情報を有効にしておく必要があります。

DataRobotでは、以下の認証情報タイプおよびプロパティーが使用されます。

保存された認証情報を使用するには、各アダプターの以下の説明にあるようにintakeSettingsまたはoutputSettingsのいずれかで関連付けられたcredentialIdをパスする必要があります。

CSV形式¶

CSVファイルの読み取りまたは書き込みを処理する入出力オプションの場合は、に以下を指定することでカスタム形式を使用できますcsvSettings。

同じ形式が入力および出力の両方に使用されます。完全な例を参照してください。

モデル監視¶

バッチ予測APIはDataRobotのモデル監視機能とうまく統合します。

• デプロイのデータドリフト追跡を有効にすると、バッチ予測APIで実行されるすべての予測が追跡されます。
• デプロイのターゲットドリフト追跡を有効にすると、出力には実績報告に使用する目的の関連IDが含まれます。

デプロイに対して本番以外のデータセットを実行する必要がある場合は、以下のパラメーターを指定して単一ジョブのドリフト追跡をオフにできます。

デフォルト予測インスタンスの上書き¶

通常の状況下では、スコアリングに使用される予測サーバーがモデルがデプロイされた先のデフォルト予測サーバーとなります。ただし、上書きはできません。複数の予測サーバーへのアクセス権がある場合は、predictionInstanceオプションの以下のプロパティを使用してデフォルト動作を上書きできます。

以下は完全な例です。

job_details = {
    'deploymentId': deployment_id,
    'intakeSettings': {'type': 'localFile'},
    'outputSettings': {'type': 'localFile'},
    'predictionInstance': {
        'hostName': '192.0.2.4',
        'sslEnabled': False,
        'apiKey': 'NWUQ9w21UhGgerBtOC4ahN0aqjbjZ0NMhL1e5cSt4ZHIBn2w',
        'datarobotKey': '154a8abb-cbde-4e73-ab3b-a46c389c337b',
    },
}

更新モデルと一致したスコアリング¶

ジョブがキューに入った後に新規モデルをデプロイすると、DataRobotはジョブ作成時にデプロイされたモデルをジョブ全体に対して引き続き使用します。すべての行が同じモデルでスコアリングされます。

APIリファレンス¶

パブリックAPI¶

バッチ予測APIはDataRobot パブリックAPIの一部で、DataRobotの右上にあるクエスチョンマークをクリックしてAPI ドキュメントを選択することによりアクセスできます。

Python APIクライアント¶

Python パブリックAPI Clientを使用して、バッチ予測APIと連携することができます。