通知とモニタリング¶
DataRobotは、通知システムで自動監視を提供しています。 サービスの正常性、データドリフトのステータス、モデルの精度、または公平性が定義された許容レベルを超えた場合にアラートを出すように通知を設定することができます。
デプロイ通知設定は、設定タブから変更できます。 制御できるアクションは、役割—（所有者またはユーザー）に応じて異なります。 いずれの役割でも、受信する通知のタイプを設定できます。オーナーは、次のスケジュールおよび監視のしきい値を設定できます。
コンシューマーに通知が送信されるのは、デプロイがそのコンシューマーと共有されたとき、および以前に共有されていたデプロイが削除されたときだけです。 その他のイベントに関する通知は行われません。
通知によってEメールが発行されます。 これらのEメールはデフォルトで無効になっていますが、デプロイのオーナーが有効にできます。 通知で制御されるのは、Eメールが受信者に送信されるかどうかだけです。 通知が無効になっている場合でも、サービスの正常性、データドリフト、精度、および公平性の統計の監視は引き続き行われます。
通知の設定¶
以下の方法で受信する通知のタイプを設定します。
-
デプロイを選択し、設定 > 通知を選択します。
-
Eメールで通知を送信するかどうかを選択し、Eメールで送信する場合は、すべてのイベント通知を送信するか、クリティカルイベントのみ送信するかを選択します。
-
モニタリングタブで配信スケジュールを指定します。
通知はEメールとして配信されます。通知は、モニタするデプロイごとに設定する必要があります。
備考
通知タブのデプロイレポートのスケジュールで管理することもできます。
モニタリングのスケジュール¶
デプロイオーナーは、サービスの正常性、データドリフト、精度、公平性に関するEメール通知を送信する頻度をスケジュールできます。
-
デプロイから、設定 > モニタリングを選択します。
備考
デプロイオーナーのみがモニタリングの設定を変更できます。 ただし、受信する通知の条件をユーザーが設定することは可能です。 コンシューマーはモニタリングまたは通知の設定を変更できません。
次の表にスケジュールオプションを示します。 すべての時間はユーザーが設定したタイムゾーンで表示されます。
頻度 説明 時間 - サービスの正常性：毎時0分
- データドリフト：使用できません
Day 毎日の設定した時間* 週 設定可能な日および時間 月 設定可能な日付および時間 四半期 1月、4月、7月、10月の1日以降の設定可能な日数（1～31）の設定可能な時間 *設定は、選択したすべての日に適用されます。 したがって、土曜日に12時間ごとの設定を行い、月曜日に2時間ごとの設定を行うことはできません。
-
スケジュール設定を更新したら、ページの上部にある新しい設定を保存をクリックします。 設定した時間にDataRobotからEメールが購読者に送信されます。
サービスの正常性のモニタリングを設定¶
サービスの正常性は、予測リクエストに対するデプロイのレスポンス速度と信頼性に関する指標を追跡します。 サービスの正常性タブでサービスの正常性を視覚化できます。
デプロイのサービスの正常性のモニタリングを設定するには：
-
モニタリングタブのサービスの正常性下にある、サービスの正常性の監視についての通知スケジュールを設定します。
-
ページの上部にある新しい設定を保存をクリックします。
データドリフトのモニタリングを設定¶
ドリフトは、指定された範囲で、すべての特徴量でデータの分布がどのように変化するかを評価します。 設定したしきい値によって、通知がトリガーされる前に許容されるドリフト量が決まります。
モニタリングタブのデータドリフトセクションで、ドリフトと有用性のしきい値を設定します。
- ドリフトは、新しい予測データがモデルのトレーニングに使用された元のデータとどの程度異なるかを示す指標です。
- 有用性により、有用性の高い特徴量と有用性の低い特徴量の差異を明らかにすることができます。
ドリフトと有用性の両方について、データドリフトタブで、しきい値とそれがどのように特徴量を分離するかを視覚化できます。
デフォルトで、デプロイのデータドリフトステータスは、少なくとも1つの有用性の高い特徴量が設定されたドリフトメトリックのしきい値を超えると、「失敗」（
）とマーク付けされます。有用性の高い特徴量はないが、少なくとも1つの有用性の低い特徴量がしきい値を超えと、「注意」（
）としてマーク付けされます。
デプロイの所有者は、各デプロイのドリフトステータスの計算に使用するルールをカスタマイズできます。 カスタマイズは、以下のさまざまな方法で行われます。
-
有用性の高いまたは低い特徴量のリストを定義または上書きして、有用な特徴量を監視、または有用性の低い特徴量をあまり重視しないようにします。
-
ドリフトステータスの計算と注意からドリフトすると予想される特徴量は除外されるため、誤ってアラームが発生することはありません。
-
「注意」および「失敗」のドリフトステータスの平均をカスタマイズして、各デプロイのドリフトステータスを必要に応じてパーソナライズおよび調整します。
デプロイのドリフトステータスのモニタリングを設定するには：
-
モニタリングタブのデータドリフト下にある、データドリフトの監視についての設定を行います。
要素 説明 
通知を送信 データドリフトを監視するための通知をスケジュールします。 
範囲 リファレンス期間の時間範囲を調整し、トレーニングデータと予測データを比較します。 ドロップダウンメニューから時間範囲を選択します。 
ドリフト指標としきい値 ドリフト指標のしきい値を設定します。 DataRobotはPopulation Stability Index（PSI）指標のみをサポートしています。 ドリフトのしきい値が変更されると、特徴量ドリフト対特徴量の有用性のチャートが更新され、変更が反映されます。 詳細については、以下の ドリフト指標のサポートに関する備考を参照してください。 
除外された特徴量 ドリフトステータス計算から特徴量（ターゲットを含む）を除外できます。 除外したい特徴量の名前の入力を求めるダイアログボックスが表示されます。 除外された特徴量はデプロイのドリフトステータスには影響しませんが、特徴量ドリフト対特徴量の有用性のチャートには引き続き表示されます。 例を参照してください。 
有用性指標としきい値 有用性指標のしきい値を設定します。 有用性指標は、トレーニングデータで最も影響の大きい特徴量を測定します。 DataRobotは置換の有用性指標のみをサポートしています。 ドリフトのしきい値が変更されると、特徴量ドリフト対特徴量の有用性のチャートが更新され、変更が反映されます。 例を参照してください。 
スター付き特徴量 最初は有用性が低く割り当てられていた場合でも、有用性が高く扱われるように特徴量を設定します。 スターに対して特徴量名の入力を促すダイアログボックスが表示されます。 追加されると、これらの特徴量には高い有用性が割り当てられます。 有用性のしきい値は無視されますが、特徴量ドリフト対特徴量の有用性のチャートには引き続き表示されます。 例を参照してください。 
「注意」/「失敗」のしきい値 「注意」（ ）と「失敗」（）のドリフトステータスをトリガーする値を設定します。 例を参照してください。 -
データドリフトのモニタリングの設定を更新したら、 ページの上部にある新しい設定を保存をクリックします。
ドリフト指標のサポート
DataRobot UIはPSI（Population Stability Index）指標のみをサポートしますが、APIはカルバック・ライブラー情報量、ヘリンガー距離、コルモゴロフ–スミルノフ、ヒストグラム交差、ワッサースタイン距離、イェンセン・シャノン情報量をサポートします。 さらに、Python APIクライアントを使用すると、 サポート対象の指標のリストを取得できます。
除外された特徴量の例¶
下の例では、灰色の円で表示される除外された特徴量は、通常、ドリフトステータスは失敗に変更されます（）。 除外されているため、ステータスはPassingのままです。
有用性しきい値とドリフトしきい値の設定例¶
下の例では、チャートは有用性とドリフトしきい値（矢印で指定）で調整され、上記のチャートより「注意」および「失敗」特徴量は増えています。
高い有用性を割り当てるために特徴量にスターを付ける例¶
下の例では、白い円で表示されているスター付き特徴量は、最初は有用性が低いため、通常はドリフトステータスは「注意」になります。 ただし、有用性は高いため、この特徴量はドリフトステータスが「失敗」（）に変更されます。
ドリフトステータスのルールの設定例¶
下の例では、次のいずれかが当てはまる場合、ドリフトステータスを「注意」としてマーク付けするようにデプロイのルールを設定します。
-
ドリフトしきい値を超える有用性の低い特徴量の数が1より大きい。
-
ドリフトしきい値を超える有用性の高い特徴量の数が3より大きい。
精度のモニタリングを設定¶
精度に関して、通知条件はデプロイの基礎となるモデルのパフォーマンス最適化指標に関連します。 リーダーボードで使用できる、同じ指標セットから選択します。 時系列の精度のグラフと予測と実測のグラフを使用して、精度を視覚化できます。
精度モニタリングは1つの精度ルールによって定義されます。 デプロイの精度はルールによって30秒ごとに評価されます。 このルールに違反すると通知が発行されます。
デプロイの精度通知とモニタリングを設定する前に、関連付けIDを設定します。 関連付けIDが設定されていない場合、精度通知設定を変更しようとすると、DataRobotは次のメッセージを表示します。
デプロイのオーナーは、各デプロイの精度ステータスの計算に使用するルールをカスタマイズできます。
精度のモニタリングを設定するには：
-
モニタリングタブの精度下にある、精度の監視についての設定を行います。
要素 説明 通知を送信 精度を監視するための通知をスケジュールします。 指標 デプロイの精度を評価します。 ドロップダウンメニューから利用できる指標は、精度タブでサポートされているものと同じです。 単位 精度指標およびそのしきい値の測定単位を定義します。 ドロップダウンから値またはパーセントを選択できます。 値オプションは、特定の値によって指標としきい値を測定します。パーセントオプションは、変化したパーセントによって測定されます。 パーセントは、トレーニングデータのないモデルデプロイでは使用できません。 「注意」/「失敗」のしきい値 値またはパーセントが超過すると通知が発行されるよう設定します。 2つのしきい値は、デプロイの精度が「注意」および「失敗」である場合にサポートされます。DataRobotは、デプロイのトレーニングデータに基づいて提供された最初の精度指標（分類の場合はLogLoss、連続値デプロイの場合はRMSE）のしきい値に関するデフォルト値を提供します。 トレーニングデータのないデプロイでは、それに代えて予測データに基づくデフォルトのしきい値が入力されます。 指標を変更した場合、デフォルト値は提供されません。 -
精度のモニタリングの設定を更新したら、ページの上部にある新しい設定を保存をクリックします。
備考
精度ルールの定義を変更できるのは、デプロイオーナーのみです。 オーナーが設定できるのはデプロイあたり1つの精度ルールだけです。 デプロイユーザーは、精度のステータスアイコンの上にマウスを置いてステータス情報を確認できます。
精度のモニタリングの設定例¶
指標と測定の各組合せによって、ルールの式が定義されます。 たとえば、値によって測定されたLogLoss指標を使用する場合、精度が10のうち5の値「よりも大きい」ときにルールによって通知が発行されます。
しかし、指標をAUCに変更し、測定をパーセントに変更した場合、しきい値に設定された値によって精度が「減少」したときにルールによって通知が発行されます。
公平性のモニタリングを設定¶
本番環境モデルが危険性にさらされていたり、事前定義済みの公平性基準を満たせなかったりした場合に注意する通知を設定します。 公平性タブで、公平性のステータスを視覚化できます。
公平性の監視では、プライマリー公平性指標と2つのしきい値（「注意」および「失敗」とみなされる保護されている特徴量）を使用して公平性を監視します。 指定されていない場合、DataRobotはデフォルトのしきい値と、設定 > データで定義したプライマリー公平性指標を使用します。
デプロイのオーナーは、各デプロイの公平性のステータスの計算に使用するルールをカスタマイズできます。
-
モニタリングタブの公平性下にある、公平性の監視についての設定を行います。
要素 説明 通知を送信 公平性を監視するための通知をスケジュールします。 プライマリー公平性指標 公平性の評価に使用する平等性の制約に関する統計指標を定義。 保護されている特徴量 保護として指定された特徴量を表示します（読み取り専用）。 公平性の設定の編集をクリックしてデータタブを開きます。そこで保護された特徴量を含む公平性の設定を変更できます。 「注意」/「失敗」のしきい値 値が超過すると通知が発行されるよう設定します。 2つのしきい値がサポートされています。「注意」および「失敗」。 各フィールドの値は、バイアスしきい値を下回る保護されている特徴量の数に対応しています。 -
公平性のモニタリングの設定を更新したら、ページの上部にある新しい設定を保存をクリックします。
モニタリングの設定を保存¶
モニタリングの更新したら、ページの上部にある新しい設定を保存をクリックします。
備考
しきい値の変更は、デプロイの履歴全体にわたって予測が行われる期間に影響します。 これらの更新されたしきい値は、データドリフト、精度、公平性タブの、パフォーマンスモニタリングの視覚化に反映されます。
設定に満足できない場合、またはデフォルト設定を復元する場合は、デフォルトをリセットをクリックします。