データドリフトのモニタリングを設定¶

モデルをデプロイするとき、トレーニングおよび検定に使用するデータセットが予測データと異なっていることがあります。 データドリフト監視は、設定 > データドリフトタブで有効にすることができます。 DataRobotはターゲットドリフトと特徴量ドリフトの両方の情報を監視し、結果をモニタリング > データドリフトタブに表示します。

デプロイのデータドリフト設定ページでは、次の設定を行うことができます。

データドリフト監視の通知を定義する¶

ドリフトは、指定された範囲で、すべての特徴量でデータの分布がどのように変化するかを評価します。 設定したしきい値によって、通知がトリガーされる前に許容されるドリフト量が決まります。

ドリフトと有用性のしきい値を設定するには、設定 > データドリフトタブの定義セクションを使用します。

• ドリフトは、新しい予測データがモデルのトレーニングに使用された元のデータとどの程度異なるかを示す指標です。

• 有用性により、有用性の高い特徴量と有用性の低い特徴量の差異を明らかにすることができます。

ドリフトと有用性の両方について、データドリフトタブで、しきい値とそれがどのように特徴量を分離するかを視覚化できます。 デフォルトで、デプロイのデータドリフトステータスは、少なくとも1つの有用性の高い特徴量が設定されたドリフトメトリックのしきい値を超えると、「失敗」（）とマーク付けされます。有用性の高い特徴量はないが、少なくとも1つの有用性の低い特徴量がしきい値を超えと、「注意」（）としてマーク付けされます。

デプロイのドリフトステータス監視を設定するには、データドリフト設定ページの定義セクションで、データドリフトを監視する設定を行います。

	要素	説明
1	範囲	リファレンス期間の時間範囲を調整し、トレーニングデータと予測データを比較します。 ドロップダウンメニューから時間範囲を選択します。
2	ドリフト指標	DataRobotはPSI（Population Stability Index）指標のみをサポートしています。 詳細については、以下のドリフト指標のサポートを参照してください。
3	有用性指標	DataRobotは置換の有用性指標のみをサポートしています。 有用性指標は、トレーニングデータで最も影響の大きい特徴量を測定します。
4	X個の除外特徴量	ドリフトステータス計算から特徴量（ターゲットを含む）を除外できます。 X個の除外特徴量 をクリックすると、ダイアログボックスが開き、ドリフト追跡からの除外として設定する特徴量の名前を入力できます。 除外された特徴量はデプロイのドリフトステータスには影響しませんが、特徴量ドリフト対特徴量の有用性のチャートには引き続き表示されます。
5	X個のスター付き特徴量	最初は有用性が低く割り当てられていた場合でも、有用性が高く扱われるように特徴量を設定します。 X個のスター付き特徴量 をクリックすると、ダイアログボックスが開き、有用性高（スター）として設定する特徴量の名前を入力できます。 追加されると、これらの特徴量には高い有用性が割り当てられます。 有用性のしきい値は無視されますが、特徴量ドリフト対特徴量の有用性のチャートには引き続き表示されます。
6	ドリフトしきい値	ドリフト指標のしきい値を設定します。 ドリフトのしきい値が変更されると、特徴量ドリフト対特徴量の有用性のチャートが更新され、変更が反映されます。
7	有用性しきい値	有用性指標のしきい値を設定します。 有用性指標は、トレーニングデータで最も影響の大きい特徴量を測定します。 ドリフトのしきい値が変更されると、特徴量ドリフト対特徴量の有用性のチャートが更新され、変更が反映されます。
8	「注意」/「失敗」のしきい値	「注意」（）と「失敗」（）のドリフトステータスをトリガーする値を設定します。