カスタム指標監視の設定¶
デプロイの設定 > カスタム指標タブで、「注意」および「失敗」のしきい値を定義して、 カスタム指標タブで作成したカスタム指標のステータスを監視できます。
デプロイのカスタム指標の設定ページでは、次の設定を行うことができます。
フィールド | 説明 |
---|---|
関連付けID | |
関連付けID | モデルの予測データセットで関連付けIDを含む列の名前を定義します。 関連付けIDは予測データセットの識別子として機能するので、後で出力データ(「実測値」)を予測に紐づけることができます。 |
予測リクエストで関連付けIDを要求 | 関連付けIDフィールドに入力した列名に一致する列名が予測データセットに存在する必要があります。 有効化したときに、列がない場合はエラーが表示されます。 |
時系列モデルで自動実測値フィードバックを有効にする | 関連付けIDが示された時系列デプロイでは、この設定によって実測値の自動送信が可能になり、UIやAPIから手動で送信する必要がなくなります。 有効にした場合、予測の生成に使用されるデータから実測値を抽出できます。 各予測リクエストが送信されると、DataRobotは特定の日付の実測値を抽出できます。 これは、予測行を予測に送信すると、履歴データが含まれるためです。 この履歴データは、前の予測リクエストの実測値として機能します。 |
定義 | |
「注意」/「失敗」 | 計算されたカスタム指標値にDataRobotが論理ステートメントを適用できるようにします。 カスタム指標のしきい値ステートメントを定義して、いずれかのステートメントがtrue と評価された場合に、デプロイを「注意」または「失敗」に分類できます。 |
通知 | |
通知を送信 | カスタム指標監視の通知チェックのスケジュールを設定します。 |
カスタム指標監視の定義¶
選択したカスタム指標に設定した基準に関して、デプロイされたモデルが「注意」または「失敗」状態になったときに警告するしきい値を設定します。
備考
定義セクションの設定にアクセスするには、 カスタム指標タブで指標を設定して保存します。 カスタム指標の監視設定を変更できるのは、デプロイ オーナー だけです。ただし、 ユーザー は 通知が送信される条件を設定することができます。 コンシューマーは監視や通知の設定を変更できません。
デプロイのカスタム指標ステータスの計算に使用するルールは、カスタム指標の設定ページでカスタマイズできます。
-
カスタム指標を監視するデプロイで、設定 > カスタム指標をクリックします。
-
In the Definition section, define logical statements for any of your custom metrics' At Risk and Failing thresholds:
-
For At Risk, click + Add new warning rule.
-
For Failing, click + Add new failing rule.
設定 説明 指標 しきい値定義を追加するカスタム指標を選択します。 条件 次のいずれかの条件文を選択して、カスタム指標の注意または失敗のしきい値を設定します。 - がより小さい
- が以下
- がより大きい
- が以上
値 数値を入力して、カスタム指標の注意または失敗のしきい値を設定します。 たとえば、次のようなステートメントです。「広告キャンペーンは、
Campaign ROI
がless than``10000
の場合At Risk
です。」 -
-
カスタム指標の監視定義を追加したら、保存をクリックします。
通知チェックのスケジュール¶
カスタム指標監視のEメール通知を送信すべきかどうかを判断するために、定期的なチェックをスケジュールするには:
-
カスタム指標の設定ページの通知セクションで、通知を送信を有効にします。
-
カスタム指標通知の設定をします。 次の表にスケジュールオプションを示します。 すべての時間はUTCで表示されます。
頻度 説明 毎時 各正時の選択した分数後。 毎日 各日の選択した時刻。 毎週 各選択日の選択した時刻。 毎月 各月の各選択日の選択した時刻。 月内で選択された日は、コンマ区切りのリストで数値( 1
から31
)として表されます。毎四半期 四半期の各月の各選択日の選択した時刻。 各月の選択日は、コンマ区切りのリストで数値( 1
から31
)として表されます。毎年 各選択月の、各選択日の選択した時刻。 各月の選択日は、コンマ区切りのリストで数値( 1
から31
)として表されます。高度なスケジューラーを使用する 分 0
から59
の範囲の数値のコンマ区切りのリストで定義された各分(1時間全体の場合は*
)。時間 0
から23
の範囲の数値のコンマ区切りのリストで定義された各正時(1日全体の場合は*
)。日 1
から31
の範囲の数値のコンマ区切りのリストで定義された各日(1月全体の場合は*
)。月 1
から12
の範囲の数値のコンマ区切りのリストで定義された各月(1年全体の場合は*
)。曜日 0
から6
の範囲の数値のコンマ区切りのリストで定義された各曜日(すべての曜日の場合は*
)。 -
スケジュール設定を更新したら、保存をクリックします。 設定した時間にDataRobotからEメールが購読者に送信されます。
重要
通知設定で指定した時間により、監視のタイプに応じたステータスチェックがスケジュールされます。 DataRobot only sends notifications to subscribers if a monitoring event occurred between checks; for example, if a custom metric status change (from either passing to failing or failing to passing) occurs during the specified window.