Skip to content

アプリケーション内で をクリックすると、お使いのDataRobotバージョンに関する全プラットフォームドキュメントにアクセスできます。

デプロイの設定

新しいデプロイを作成する場所(リーダーボード、モデルレジストリ、デプロイインベントリ)やアーティファクトのタイプ(DataRobotモデル、カスタム推論モデル、リモートモード)に関係なく、デプロイをカスタマイズできるデプロイ情報ページが表示されます。

デプロイ情報ページには、トレーニングデータ予測データ実測値など、提供されたデータに基づいて現在のデプロイの機能の概要が表示されます。 トレーニングデータ、推論データ、モデル、および結果データに関する詳細を入力するためのフィールドが用意されています。

標準のオプションと情報

モデルデプロイを開始すると、デプロイタブが開き、モデル情報および予測履歴とサービスの正常性オプションが表示されます。

モデル情報

モデル情報セクションには、デプロイの予測を作成するために使用されているモデルの詳細情報が表示されます。 フィールドはデプロイのファイルおよび情報を使用して入力されるので、フィールドはグレーアウトされて編集できません。

フィールド 説明
モデル名 モデルの名前。
予測タイプ モデルによる予測のタイプ。 例:連続値、分類、多クラス、異常検知、クラスタリングなど。
しきい値 二値分類モデル用の予測しきい値 しきい値を超えるレコードには正のクラスラベルが、しきい値を下回るレコードには負のクラスラベルが割り当てられます。 このフィールドは、連続値モデルおよび多クラスモデルでは使用できません。
ターゲット モデルが予測するデータセットの列名。
Positive/Negativeクラス 二値分類モデルの正および負のクラス値。 このフィールドは、連続値モデルおよび多クラスモデルでは表示されません。
モデルパッケージID(登録されているモデルバージョンID) モデル登録内のモデルパッケージのID(登録されているモデルバージョンID)。

備考

デプロイ制限のある組織に属している場合、デプロイ請求セクションでは、組織が デプロイ制限に対して使用しているデプロイの数と、組織が制限を超えた場合のデプロイコストが通知されます。

予測履歴とサービスの正常性

この予測履歴とサービスの正常性セクションには、デプロイの推論(スコアリング)データ—(これは予測リクエストおよびモデルからの結果を含む)に関する詳細が表示されます。

設定 説明
予測環境の設定 予測が生成される環境。 予測環境を使用すると、アクセス制御および承認ワークフローを確立できます。
予測タイムスタンプを設定 データドリフト精度の監視で予測行のタイムスタンプ設定に使用する方法を決めます。
  • 予測リクエストの時刻を使用:予測リクエストを送信した日時を使用して、タイムスタンプを決定します。
  • 日付/時刻特徴量の値を使用:予測データと共に特徴量として提供される日時(例:予測日)を使用して、タイムスタンプを決定します。 時系列デプロイの場合、予測日付/時刻のタイムスタンプは自動的に設定されます。 トレーニングデータと、データドリフトや精度統計の根拠との間で共通の時間軸を使用できます。
この設定は、サービスの正常性の予測タイムスタンプには適用されません。 [サービスの正常性]タブでは、予測サーバーが予測リクエストを受信した日時が常に使用されます。 詳細については、以下の予測の時間を参照してください。
この設定は、デプロイが作成され、予測が行われた後は変更できません。
デプロイの有用性を設定 デプロイの有用性レベルを決定します。 これらのレベル(クリティカル、高、中、低)は、 承認プロセス中のデプロイの処理方法を決定します。 有用性は、組織に関連する要因(デプロイの予測量、エクスポージャーのレベル、潜在的な経済的影響など)の集計を表します。 デプロイに中以上の有用性が割り当てられたときに、レビュアー通知( モデル情報の下)が表示され、デプロイがレビューを必要とするたびに、レビュアーとして割り当てられたユーザーにDataRobotが自動的に通知することを示します。
バッチ監視 予測をバッチにグループ化して監視するかどうかを決定し、予測のバッチを比較したり、バッチを削除して予測を再試行できるようにします。 詳細については、 デプロイ予測のバッチ監視のドキュメントを参照してください。

予測の時間

予測の時間の値は、データドリフトタブと精度タブ、およびサービスの正常性タブで異なります。

  • [サービスの正常性]タブの「予測リクエストの日時」は、常に予測サーバーが予測リクエストを受信した日時です。 この予測リクエストの追跡方法は、診断目的で予測サービスの正常性を正確に示しています。

  • データドリフトタブと精度タブについてデフォルトで、「予測リクエストの時間」は、予測リクエストを送信した時刻になります。これは、 予測履歴設定で、予測タイムスタンプでオーバーライドできます。

日付/時刻特徴量の選択

日付/時刻特徴量から値を使用を選択し、デプロイが作成される前の日付/時刻特徴量を指定した場合、現在のステータスがそのデプロイで最初に算出されたステータスと一致する可能性があるため、監視通知(データドリフト通知)が送信されないことがあります。 この問題を回避するには、リアルタイム通知を有効にします。

高度なオプション

高度なオプションを表示をクリックします。

次のデプロイ設定を行うには:

データドリフト

モデルをデプロイするとき、トレーニングおよび検定に使用するデータセットが予測データと異なっていることがあります。 ドリフト追跡を有効にするには、次の設定を行います。

設定 説明
特徴量ドリフト追跡の有効化 デプロイ内の特徴量ドリフトを追跡するようDataRobotを設定します。 特徴量ドリフト追跡にはトレーニングデータが必要です。
ターゲット監視の有効化 デプロイ内のターゲットドリフトを追跡するようDataRobotを設定します。 実測値はターゲット監視に必要であり、ターゲット監視は精度監視に必要です。
トレーニングデータ デプロイで特徴量のドリフト追跡を有効にするために必要です。
DataRobotでのドリフトの追跡方法

データドリフトの場合、DataRobotは以下を追跡します。

  • ターゲットドリフト:DataRobotは予測に関する統計情報を蓄積しているため、時間の経過と共にターゲットの分布と値がどのように変化するかを監視することができます。 ターゲット分布の比較の基準として、DataRobotではホールドアウトの予測値の分布を使用します。

  • 特徴量ドリフト:DataRobotは予測に関する統計情報を蓄積しているため、時間の経過と共に特徴量の分布と値がどのように変化するかを監視することができます。 特徴量の分布を比較するためのベースラインとして:

    • 500MBより大きいトレーニングデータセットでは、DataRobotはトレーニングデータのランダムサンプルの分布を使用します。

    • 500MBより小さいトレーニングデータセットでは、DataRobotはトレーニングデータの100%の分布を使用します。

DataRobotは、デフォルトでターゲットと特徴量ドリフト情報を監視し、データドリフトダッシュボードで結果を表示します。 たとえば、監視する必要のない機微データがデプロイに含まれている場合などは、ターゲット監視を有効化特徴量ドリフト追跡を有効化のトグルを使用して追跡をオフにします。

データドリフトの監視方法をカスタマイズできます。 デプロイのデータドリフトステータスのカスタマイズに関する詳細については、データドリフトページを参照してください。

備考

データドリフト追跡は、デプロイ対応の予測APIルートを使用するデプロイでのみ使用できます(https://example.datarobot.com/predApi/v1.0/deployments/<deploymentId>/predictionsなど)。

精度

必要となる設定を ​精度タブに設定すると、標準的な統計的手法とエクスポート可能な可視化によって、時間の経過に伴うモデルデプロイのパフォーマンスを分析できます。

設定 説明
関連付けID モデルの予測データセット内の関連付けIDを含む列名を指定します。 関連付けIDはデプロイの精度追跡の設定で必要となります。 関連付けIDは予測データセットの識別子として機能するので、後で出力データ(「実測値」)を予測に紐づけることができます。 デプロイが時系列プロジェクトのものである場合、 時系列デプロイの関連付けIDを参照して、有効な関連付けIDを選択または構築する方法を学習します。
予測リクエストで関連付けIDを要求 関連付けIDフィールドに入力した列名に一致する列名が予測データセットに存在する必要があります。 有効化したときに、列がない場合はエラーが表示されます。 デプロイを作成ボタンは関連付けIDを入力するか、このトグルを無効にするまで非アクティブとなります。
時系列モデルで自動実測値フィードバックを有効にする 関連付けIDが示された時系列デプロイでは、この設定によって実測値の自動送信が可能になり、UIやAPIから手動で送信する必要がなくなります。 有効にした場合、予測の生成に使用されるデータから実測値を抽出できます。 各予測リクエストが送信されると、DataRobotは特定の日付の実測値を抽出できます。 これは、予測行を予測に送信すると、履歴データが含まれるためです。 この履歴データは、前の予測リクエストの実測値として機能します。

重要

予測を精度追跡に含めるには、予測を行うに関連付けIDを設定する必要があります。 エージェントが監視する、チャレンジャーを含む外部モデルデプロイの場合、関連付けIDは、 モデル そのチャレンジャーの精度をレポートするために__DataRobot_Internal_Association_ID__である必要があります。

データのエクスポート

予測行ごとの履歴保存を有効にして、 データのエクスポートタブをアクティブにします。 ここから、デプロイの保存されたトレーニングデータ、予測データ、および実測値をエクスポートして、 カスタム指標タブまたはDataRobotの外部で、カスタムビジネスまたはパフォーマンス指標を計算し監視します。

設定 説明
予測行ごとの履歴保存を有効化 予測データの保存を有効にします。デプロイの予測データを保存およびエクスポートしてカスタム指標で使用するために必要な設定です。

チャレンジャー分析

DataRobotは、行レベルでデプロイの予測リクエストデータを安全に保存できます(外部モデルのデプロイではサポートされていません)。 この設定は、チャレンジャータブを使用するすべてのデプロイで有効にする必要があります。 チャレンジャー分析の有効化に加え、保存された予測リクエスト行へアクセスすると、予測を詳細に監査し、そのデータを使用して運用上の問題のトラブルシューティングを行うことができます。 たとえば、データを調べることによって、異常な予測結果やデータセットが不正な形式であった理由を理解できます。

備考

DataRobotの担当者に連絡して、データのセキュリティ、プライバシー、保持方法の詳細を確認するか、予測監査の必要有無について話し合ってください。

設定 説明
チャレンジャーモデルの分析で予測行ごとの履歴保存を有効化 チャレンジャーモデルの使用を有効化すると、デプロイ後のモデルを比較し、必要に応じてチャンピオンモデルを置換できます。 有効にすると、デプロイに対して行われた予測リクエストがDataRobotによって収集されます。 予測の説明は保存されません。

重要

予測リクエストが収集されるのは、予測データがCSVやJSONなどのDataRobotで解釈可能な有効なデータ形式である場合のみであることに注意してください。 有効なデータ形式を含む失敗した予測リクエストも収集されます(欠損する入力特徴量など)。

高度な予測設定

特徴量探索は、多数のデータセットから新しい特徴量を識別し生成します。このため、多数のデータセットを1つに統合するために手動で特徴量エンジニアリングを実行する必要がなくなります。 この処理は、データセットとそのデータセット内の特徴量の関係性に基づきます。 DataRobotは、このような関係性を構築および視覚化できる直感的な関係性エディターを提供します。 グラフおよび含まれるデータセットがDataRobotの特徴量探索エンジンによって分析され、特徴量エンジニアリング「レシピ」が決定されます。そのレシピから、トレーニングおよび予測に使用するセカンダリー特徴量が生成されます。 デプロイの設定中に、 セカンダリーデータセット設定を選択できます。

設定 説明
セカンダリーデータセットの設定 データセット設定をプレビューするか、データセット設定を変更するオプションが存在します。 デフォルトでは、プロジェクトを構築する際に使用された関係性で定義されたセカンダリーデータセット設定を使用して予測が作成されます。 他の設定を選択するには、新しいプライマリーデータセットをアップロードする前に変更をクリックします。

サービスの正常性に関する詳細設定

セグメント化された分析により、デプロイ時のトレーニングおよび予測データ要求の運用上の問題点を特定します。 DataRobotでは、データのドリフトと精度の統計を固有のセグメント属性と値にフィルタリングすることでドリルダウン分析が可能になります。

設定 説明
トレーニングデータと予測に対するセグメント化された分析のために属性を追跡 DataRobotがカテゴリー特徴量などでセグメントごとにデプロイ予測を監視できるようにします。 この設定では、トレーニングデータが必要であり、公平性の監視を有効にする必要があります。

公平性

公平性を使用すると、デプロイの設定を行うことで、モデルの予測動作のバイアスを確認できます。 モデルのデプロイ以前に公平性設定を定義した場合、フィールドは自動的に入力されます。 追加情報については、公平性テストの定義に関するセクションを参照してください。

設定 説明
保護されている特徴量 モデル予測の公平性を測定する際の基準となるデータセット列を特定します。これはカテゴリー列である必要があります。
プライマリー公平性指標 公平性の評価に使用する平等性の制約に関する統計指標を定義。
好ましいターゲット結果 ターゲットと比較して、保護されたクラスにとって好ましいと認識される結果の値を定義します。
公平性のしきい値 公平性のしきい値を定義して、保護されたクラスごとに適切な公平性の範囲内でモデルが実行されるかどうかを測定します。

モデルのデプロイ

使用可能なデータを追加し、モデルが完全に定義されたら、画面上部にあるデプロイを作成をクリックします。

備考

モデルをデプロイボタンが無効になっている場合は、関連付けIDを指定するか(精度監視の有効化に必要)、予測リクエストで関連付けIDを要求をオフに切り替えてください。

デプロイの作成中というメッセージが表示され、DataRobotがデプロイを作成中であることを示します。 デプロイが作成されると、概要タブが表示されます。

デプロイ名の左側にある矢印をクリックすると、デプロイインベントリに戻ります。


更新しました March 13, 2024