Configure a deployment¶
新しいデプロイを作成する場所(リーダーボード、モデルレジストリ、デプロイインベントリ)やアーティファクトのタイプ(DataRobotモデル、カスタム推論モデル、リモートモード)に関係なく、デプロイをカスタマイズできるデプロイ情報ページが表示されます。
デプロイ情報ページには、トレーニングデータ、予測データ、実測値など、提供されたデータに基づいて現在のデプロイの機能の概要が表示されます。 トレーニングデータ、推論データ、モデル、および結果データに関する詳細を入力するためのフィールドが用意されています。
Standard options and information¶
When you initiate model deployment, the Deployments tab opens to the Model Information and the Prediction History and Service Health options:
モデル情報¶
The Model Information section provides information about the model being used to make predictions for your deployment. フィールドはデプロイのファイルおよび情報を使用して入力されるので、フィールドはグレーアウトされて編集できません。
フィールド | 説明 |
---|---|
モデル名 | モデルの名前。 |
予測タイプ | モデルが行っている予測のタイプ。 For example: Regression, Classification, Multiclass, Anomaly Detection, Clustering, etc. |
しきい値 | The prediction threshold for binary classification models. Records above the threshold are assigned the positve class lable and records below the threshold are assigned the negative class label. This field isn't available for Regression or Multiclass models. |
ターゲット | モデルが予測するデータセットの列名。 |
Positive/Negativeクラス | The positive and negative class values for binary classification models. This field isn't visible for Regression or Multiclass models. |
モデルパッケージID | The id of the Model Package in the Model Registry. |
備考
If you are part of an organization with deployment limits, the Deployment billing section notifies you of the number of deployments your organization is using against the deployment limit and the deployment cost if your organization has exceeded the limit.
予測履歴とサービスの正常性¶
The Prediction History and Service Health section provides details about your deployment's inference (also known as scoring) data—the data that contains prediction requests and results from the model.
設定 | 説明 |
---|---|
Configure prediction environment | 予測が生成される環境。 予測環境を使用すると、アクセス制御および承認ワークフローを確立できます。 |
予測タイムスタンプを設定 | 予測行にタイムスタンプを付ける方法を決定します。 タイムスタンプを決定するには、予測リクエストの時刻を使用するか、予測データで提供される日付/時刻特徴量(予測日など)を使用します。 時系列デプロイの場合、予測日付/時刻のタイムスタンプは自動的に設定されます。 これにより、トレーニングデータとデータドリフトおよび精度統計の基準との間で共通の時間軸を使用できます。 デプロイを作成して予測を行った後にこの設定を変更することはできません。 |
デプロイの有用性を設定 | Determines the importance level of a deployment. These levels—Critical, High, Moderate, and Low—determine how a deployment is handled during the approval process. 有用性は、組織に関連する要因(デプロイの予測量、エクスポージャーのレベル、潜在的な経済的影響など)の集計を表します。 When a deployment is assigned an importance of Moderate or above, the Reviewers notification appears (under Model Information) to inform you that DataRobot will automatically notify users assigned as reviewers whenever the deployment requires review. |
高度なオプション¶
If you click Show advanced options, you can configure the following deployment settings:
データドリフト¶
モデルをデプロイするとき、トレーニングおよび検定に使用するデータセットが予測データと異なっていることがあります。 To enable drift tracking you can configure the following settings:
設定 | 説明 |
---|---|
特徴量ドリフト追跡の有効化 | デプロイ内の特徴量ドリフトを追跡するようDataRobotを設定します。 特徴量ドリフト追跡にはトレーニングデータが必要です。 |
ターゲット監視の有効化 | デプロイ内のターゲットドリフトを追跡するようDataRobotを設定します。 実測値はターゲット監視に必要であり、ターゲット監視は精度監視に必要です。 |
トレーニングデータ | Required to enable feature drift tracking in a deployment. |
DataRobotでのドリフトの追跡方法
データドリフトの場合、DataRobotは以下を追跡します。
-
ターゲットドリフト:DataRobotは予測に関する統計情報を蓄積しているため、時間の経過と共にターゲットの分布と値がどのように変化するかを監視することができます。 ターゲット分布の比較の基準として、DataRobotではホールドアウトの予測値の分布を使用します。
-
特徴量ドリフト:DataRobotは予測に関する統計情報を蓄積しているため、時間の経過と共に特徴量の分布と値がどのように変化するかを監視することができます。 特徴量分布の比較の基準として:
-
For training datasets larger than 500 MB, DataRobot uses the distribution of a random sample of the training data.
-
For training datasets smaller than 500 MB, DataRobot uses the distribution of 100% of the training data.
-
DataRobotは、デフォルトでターゲットと特徴量ドリフト情報を監視し、データドリフトダッシュボードで結果を表示します。 たとえば、監視する必要のない機密データがデプロイに含まれている場合などは、ターゲット監視を有効化と特徴量ドリフト追跡を有効化のトグルを使用して追跡をオフにします。
データドリフトの監視方法をカスタマイズできます。 デプロイのデータドリフトステータスのカスタマイズに関する詳細については、データドリフトページを参照してください。
備考
データドリフト追跡は、デプロイ対応の予測APIルートを使用するデプロイでのみ使用できます(https://example.datarobot.com/predApi/v1.0/deployments/<deploymentId>/predictions
など)。
精度¶
設定 | 説明 |
---|---|
関連付けID | モデルの予測データセットの関連付けIDを含む列名。 関連付けIDはデプロイの精度追跡の設定で必要となります。 関連性IDは予測データセットの識別子として機能するので、後で出力データ(「実測値」)を予測に紐づけることができます。 デプロイを作成ボタンは関連IDに入力するか、このトグルを無効にするまで非アクティブとなります。 |
予測リクエストで関連付けIDを要求 | Requires your prediction dataset to have a column name that matches the name you entered in the Association ID field. When enabled, you will get an error if the column is missing. |
時系列モデルで自動実測値フィードバックを有効にする | For time series deployments that have indicated an association ID. Enables the automatic submission of actuals, so that you do not need to submit them manually via the UI or API. Once enabled, actuals can be extracted from the data used to generate predictions. As each prediction request is sent, DataRobot can extract an actual value for a given date. This is because when you send prediction rows to forecast, historical data is included. This historical data serves as the actual values for the previous prediction request. |
チャレンジャー分析¶
DataRobotは、行レベルでデプロイの予測リクエストデータを安全に保存できます(外部モデルのデプロイではサポートされていません)。 この設定は、チャレンジャータブを使用するすべてのデプロイで有効にする必要があります。 チャレンジャー分析の有効化に加え、保存された予測リクエスト行へアクセスすると、予測を詳細に監査し、そのデータを使用して運用上の問題のトラブルシューティングを行うことができます。 たとえば、データを調べることによって、異常な予測結果やデータセットが不正な形式であった理由を理解できます。
備考
DataRobotの担当者に連絡して、データのセキュリティ、プライバシー、保持方法の詳細を確認するか、予測監査の必要有無について話し合ってください。
設定 | 説明 |
---|---|
チャレンジャーモデルの分析で予測行ごとの履歴保存を有効化 | チャレンジャーモデルの使用を有効化すると、デプロイ後のモデルを比較し、必要に応じてチャンピオンモデルを置換できます。 有効にすると、デプロイに対して行われた予測リクエストがDataRobotによって収集されます。 予測の説明は保存されません。 |
重要
予測リクエストが収集されるのは、予測データがCSVやJSONなどのDataRobotで解釈可能な有効なデータ形式である場合のみであることに注意してください。 有効なデータ形式を含む失敗した予測リクエストも収集されます(欠損する入力特徴量など)。
セグメント化された分析¶
セグメント化された分析により、デプロイ時のトレーニングおよび予測データ要求の運用上の問題点を特定します。 DataRobotでは、データのドリフトと精度の統計を固有のセグメント属性と値にフィルタリングすることでドリルダウン分析が可能になります。
設定 | 説明 |
---|---|
トレーニングデータと予測に対するセグメント化された分析のために属性を追跡 | Enables DataRobot to monitor deployment predictions by segments; for example, by categorical features. This setting requires training data and is required to enable Fairness monitoring. |
公平性¶
公平性セクションを使用すると、デプロイのバイアスと公平性設定を定義して、モデルの予測動作のバイアスを特定できます。 モデルのデプロイ以前に公平性設定を定義した場合、フィールドは自動的に入力されます。 追加情報については、公平性テストの定義に関するセクションを参照してください。
設定 | 説明 |
---|---|
保護されている特徴量 | モデル予測の公平性を測定するデータセット列はカテゴリーである必要があります。 |
プライマリー公平性指標 | 公平性の評価に使用する平等性の制約に関する統計指標。 |
好ましいターゲット結果 | ターゲットと比較して保護クラスに有利と認識する結果値。 |
公平性のしきい値 | 公平さのしきい値は、保護されたクラスごとに適切な公平性の範囲内でモデルが実行されるかどうかを測定するのに役立ちます。 |
モデルのデプロイ¶
使用可能なデータを追加し、モデルが完全に定義されたら、画面上部にあるデプロイを作成をクリックします。
備考
モデルをデプロイボタンが無効になっている場合は、関連付けIDを指定するか(精度監視の有効化に必要)、予測リクエストで関連付けIDを要求をオフに切り替えてください。
The Creating deployment message appears, indicating that DataRobot is creating the deployment. デプロイが作成されると、概要タブが表示されます。
デプロイ名の左側にある矢印をクリックすると、デプロイインベントリに戻ります。