データドリフトのモニタリングを設定¶

モデルをデプロイするとき、トレーニングおよび検定に使用するデータセットが予測データと異なっていることがあります。 データドリフト監視は、データドリフト > 設定タブで有効にすることができます。 DataRobotはターゲットドリフトと特徴量ドリフトの両方の情報を監視し、結果をデータドリフトタブに表示します。

デプロイのデータドリフト設定ページでは、次の設定を行うことができます。

データドリフト監視の通知を定義する¶

ドリフトは、指定された範囲で、すべての特徴量でデータの分布がどのように変化するかを評価します。 設定したしきい値によって、通知がトリガーされる前に許容されるドリフト量が決まります。

ドリフトと有用性のしきい値を設定するには、データドリフト > 設定タブの定義セクションを使用します。

• ドリフトは、新しい予測データがモデルのトレーニングに使用された元のデータとどの程度異なるかを示す指標です。

• 有用性により、有用性の高い特徴量と有用性の低い特徴量の差異を明らかにすることができます。

ドリフトと有用性の両方について、データドリフトタブで、しきい値とそれがどのように特徴量を分離するかを視覚化できます。 デフォルトで、デプロイのデータドリフトステータスは、少なくとも1つの有用性の高い特徴量が設定されたドリフトメトリックのしきい値を超えると、「失敗」（）とマーク付けされます。有用性の高い特徴量はないが、少なくとも1つの有用性の低い特徴量がしきい値を超えと、「注意」（）としてマーク付けされます。

デプロイオーナーは、各デプロイのドリフトステータスの計算に使用されるルールをカスタマイズできます。 デプロイのオーナーとして、次のことができます。

• 有用性の高いまたは低い特徴量のリストを定義または上書きして、有用な特徴量を監視、または有用性の低い特徴量をあまり重視しないようにします。

• ドリフトステータスの計算と注意からドリフトすると予想される特徴量は除外されるため、誤ってアラームが発生することはありません。

• 「注意」および「失敗」のドリフトステータスの平均をカスタマイズして、各デプロイのドリフトステータスを必要に応じてパーソナライズおよび調整します。

デプロイのドリフトステータスのモニタリングを設定するには：

1. データドリフト設定ページの定義セクションで、データドリフトを監視するための設定を行います。

   

   	要素	説明
   1	範囲	リファレンス期間の時間範囲を調整し、トレーニングデータと予測データを比較します。 ドロップダウンメニューから時間範囲を選択します。
   2	ドリフト指標	DataRobotはPSI（Population Stability Index）指標のみをサポートしています。 詳細については、以下のドリフト指標のサポートを参照してください。
   3	有用性指標	DataRobotは置換の有用性指標のみをサポートしています。 有用性指標は、トレーニングデータで最も影響の大きい特徴量を測定します。
   4	X個の除外特徴量	ドリフトステータス計算から特徴量（ターゲットを含む）を除外できます。 X個の除外特徴量 をクリックすると、ダイアログボックスが開き、ドリフト追跡からの除外として設定する特徴量の名前を入力できます。 除外された特徴量はデプロイのドリフトステータスには影響しませんが、特徴量ドリフト対特徴量の有用性のチャートには引き続き表示されます。 例を参照してください。
   5	X個のスター付き特徴量	最初は有用性が低く割り当てられていた場合でも、有用性が高く扱われるように特徴量を設定します。 X個のスター付き特徴量 をクリックすると、ダイアログボックスが開き、有用性高（スター）として設定する特徴量の名前を入力できます。 追加されると、これらの特徴量には高い有用性が割り当てられます。 有用性のしきい値は無視されますが、特徴量ドリフト対特徴量の有用性のチャートには引き続き表示されます。 例を参照してください。
   6	ドリフトしきい値	ドリフト指標のしきい値を設定します。 ドリフトのしきい値が変更されると、特徴量ドリフト対特徴量の有用性のチャートが更新され、変更が反映されます。
   7	有用性しきい値	有用性指標のしきい値を設定します。 有用性指標は、トレーニングデータで最も影響の大きい特徴量を測定します。 有用性のしきい値 が変更されると、特徴量ドリフト対特徴量の有用性のチャートが更新され、変更が反映されます。 例を参照してください。
   8	「注意」/「失敗」のしきい値	「注意」（）と「失敗」（）のドリフトステータスをトリガーする値を設定します。 例を参照してください。

   備考

   しきい値の変更は、デプロイの履歴全体にわたって予測が行われる期間に影響します。 これらの更新されたしきい値は、データドリフトタブでのパフォーマンス監視のビジュアライゼーションに反映されます。

2. データドリフト監視の設定を更新したら、保存をクリックします。

除外された特徴量の例¶

下の例では、灰色の円で表示される除外された特徴量は、通常、ドリフトステータスは失敗に変更されます（）。 除外されているため、ステータスはPassingのままです。

有用性しきい値とドリフトしきい値の設定例¶

下の例では、チャートは有用性とドリフトしきい値（矢印で指定）で調整され、上記のチャートより「注意」および「失敗」特徴量は増えています。

高い有用性を割り当てるために特徴量にスターを付ける例¶

下の例では、白い円で表示されているスター付き特徴量は、最初は有用性が低いため、通常はドリフトステータスは「注意」になります。 ただし、有用性は高いため、この特徴量はドリフトステータスが「失敗」（）に変更されます。

ドリフトステータスのルールの設定例¶

下の例では、次のいずれかが当てはまる場合、ドリフトステータスを「注意」としてマーク付けするようにデプロイのルールを設定します。

• ドリフトしきい値を超える有用性の低い特徴量の数が1より大きい。

• ドリフトしきい値を超える有用性の高い特徴量の数が3より大きい。