Skip to content

アプリケーション内で をクリックすると、お使いのDataRobotバージョンに関する全プラットフォームドキュメントにアクセスできます。

通知

デプロイ通知設定は、設定タブから変更できます。制御できるアクションは、役割(オーナーまたはユーザー)に応じて異なります。いずれの役割でも、受信する通知のタイプを設定できます。オーナーは、サービスの正常性およびデータドリフトのステータスについての通知のスケジュールを設定できます。コンシューマーの役割がある者に通知が送信されるのは、デプロイがそのコンシューマーと共有されたとき、および以前に共有されていたデプロイが削除されたときだけです。その他のイベントに関する通知は行われません。

通知によって、サービスの正常性およびデータドリフトのレポートに関するEメールが発行されます。これらのEメールはデフォルトで無効になっていますが、デプロイオーナーが監視タブで有効にできます。この機能が無効化されていても、これらの統計のどちらの監視にも影響は生じません。制御されるのは、Eメールが受信者に送信されるかどうかだけです。

使用法

受信を希望する通知のタイプを通知タブで設定します。配信スケジュールは監視タブで管理します。デプロイオーナーが設定できます。

通知はEメールとして配信されます。通知は、モニタするデプロイごとに設定する必要があります。

スケジュールしています

デプロイ所有者は、モニタリングタブで正常性、データドリフト、および精度に関するEメール通知を送信する頻度をスケジュールできます。

モニタリング設定を変更できるのはデプロイのオーナーだけですが、ユーザーは受信する通知レベルを設定できます。コンシューマーはモニタリング設定を変更できません。

次の表に設定オプションを示します。すべての時間はユーザーが設定したタイムゾーンで表示されます:

頻度 説明
時間 サービスの正常性:毎時0分データドリフト:使用できません。
毎日の設定した時間*
設定可能な日および時間
設定可能な日付および時間
四半期 1月、4月、7月、10月の1日以降の設定可能な日数(1~31)の設定可能な時間

* 設定は、選択したすべての日に適用されます。したがって、土曜日に12時間ごとの設定を行い、月曜日に2時間ごとの設定を行うことはできません。

設定した時間にDataRobotからEメールが受信者に送信されます。

精度通知

デプロイの精度通知を有効にするには、関連付けIDを設定します。関連付けIDが設定されていない場合、精度通知設定を変更しようとすると以下のメッセージが表示されます:

精度モニタリングは1つの精度ルールによって定義されます。デプロイの精度はルールによって30秒ごとに評価されます。このルールに違反すると通知が発行されます。デプロイオーナーは、精度ルールの指標、単位、しきい値を定義する必要があります。

フィールド 説明
指標 デプロイの精度を評価する最適化指標。ドロップダウンメニューから利用できる指標は、精度タブでサポートされているものと同じです。
単位 精度指標およびそのしきい値の測定単位を定義します。ドロップダウンからまたはパーセントを選択できます。オプションは、特定の値によって指標としきい値を測定します。パーセントオプションは、変化したパーセントによって測定されます。パーセントは、トレーニングデータのないモデルデプロイでは使用できません。
しきい値 値またはパーセントが超過すると通知が発行されます。デプロイの精度が「注意」である場合および「失敗」である場合のために2つのしきい値を設定できます。DataRobotは、デプロイのトレーニングデータに基づいて提供される最初の精度指標(分類の場合はLogLoss、連続値デプロイの場合はRMSE)のしきい値用のデフォルト値を提供します。トレーニングデータのないデプロイでは、それに代えて予測データに基づくデフォルトのしきい値が入力されます。指標を変更した場合、デフォルト値は入力されません。

指標と測定の各組合せによって、ルールの式が定義されます。たとえば、測定されたLogLoss指標の値を使用する場合、精度が5または10「より増加した」ときにルールによって通知が発行されます。

しかし、指標をAUC、測定単位をパーセントに変更した場合、精度が設定したしきい値のパーセント「より減少した」したときに通知が発行されます。

所有者が設定できるのはデプロイあたり1つの精度ルールだけです。精度ルールの定義を変更できるのは所有者だけです。しかし、デプロイユーザーは精度のステータスアイコンの上にマウスカーソルを置いてステータス情報を確認できます。

公平性通知

本番環境モデルが危険性にさらされていたり、事前定義済みの公平性基準を満たせなかったりした場合に警告する通知を設定します。公平性の監視では、プライマリー公平性指標と保護されている特徴量が「注意」および「失敗」とみなされた場合の2つのしきい値を使用して公平性を監視します。指定されていない場合、DataRobotはデフォルトのしきい値と、設定 > データで定義したプライマリー公平性指標を使用します。

フィールド 説明
プライマリー公平性指標 公平性の評価に使用する平等性の制約に関する統計指標。
しきい値 この値を超過すると通知が発行されます。「注意」および「失敗」の2つのしきい値がサポートされています。各フィールドの値は、バイアスいきい値を下回る保護されている特徴量の数に対応しています。

データタブを開き、公平性の設定を変更するには、公平性の設定を編集をクリックします。


更新しました February 22, 2022
Back to top