Skip to content

アプリケーション内で をクリックすると、お使いのDataRobotバージョンに関する全プラットフォームドキュメントにアクセスできます。

[データドリフト]タブ

トレーニングデータと運用データが時間の経過に伴って変化すると、デプロイモデルの予測能力は失われます。 そのようなモデル周辺のデータは、ドリフトしていると言われます。 デプロイに追加されたトレーニングデータおよび予測データ(推論データとも呼ばれます)を活用することによって、データをデプロイした後にデータドリフトダッシュボードでモデルのパフォーマンスを分析できます。

DataRobotでのドリフトの追跡方法

データドリフトの場合、DataRobotは以下を追跡します。

  • ターゲットドリフト:DataRobotは予測に関する統計情報を蓄積しているため、時間の経過と共にターゲットの分布と値がどのように変化するかを監視することができます。 ターゲットドリフトの計算には実測値データが必要です。 ターゲット分布の比較の基準として、DataRobotではホールドアウトの予測値の分布を使用します。

  • 特徴量ドリフト:DataRobotは予測に関する統計情報を蓄積しているため、時間の経過と共に特徴量の分布と値がどのように変化するかを監視することができます。 特徴量分布の比較の基準として、DataRobotでは以下を使用します。

    • 500MBを超えるトレーニングデータセットでは、トレーニングデータのランダムサンプルの分布。
    • 500MB未満のトレーニングデータセットでは、トレーニングデータの100%の分布。

ターゲットと特徴量の追跡はデフォルトで有効になっています。 これらの特徴量ドリフト追跡を制御するには、デプロイ > 設定 > データに移動します。

本機能の提供について

特徴量ドリフト追跡がオフになっている場合、特徴量ドリフト追跡を有効にするようデータドリフトタブにメッセージが表示されます。

データドリフトステータスに関するEメール通知を受信するには、通知の設定監視のスケジュールデータドリフト監視の設定を行います。

データドリフトダッシュボードは、デプロイしたモデルの特定の時間間隔における正常性を識別するために役立つ4つのインタラクティブな情報のエクスポート可能な視覚化を提供します。

備考

エクスポートボタンをクリックして、PNG、CSV、またはZIPファイルとしてデータドリフトダッシュボードの各チャートをダウンロードします。

チャート 説明
特徴量ドリフトと特徴量の有用性の比較 ある時点から別の時点の間で実際の特徴量値の分布がどれだけ変化したかに対して、その特徴量のそのモデルでの有用性をプロットします。
特徴量の詳細 トレーニングデータで選択された特徴量のレコードの推論データに対するパーセンテージ(分布)をプロットします。
時間経過に伴うドリフト Illustrates the difference in distribution over time between the training dataset of the deployed model and the datasets used to generate predictions in production. This chart tracks the change in the Population Stability Index (PSI), which is a measure of data drift.
時系列の予測 時間の経過に伴うモデルの予測の分布の変化(ターゲットドリフト)を示します。 表示は、プロジェクトの種類(連続値または二値分類)に応じて異なります。

設定 > 監視ページでドリフトの設定、有用性しきい値、および追加の定義を設定して、デプロイでのデータドリフトステータスの計算方法をカスタマイズできます。 次のコントロールを使用して、必要に応じてデータドリフトダッシュボードを設定することもできます。

コントロール 説明
モデルバージョンセレクター Updates the dashboard displays to reflect the model you selected from the dropdown.
日付スライダー ダッシュボードで表示するデータの範囲を制限します(特定の期間にズームインするなど)。
範囲(UTC) デプロイ日付スライダーに表示する日付範囲を設定します。
期間 デプロイ日付スライダーの時間のきめ細かさを設定します。
選択した特徴量 Sets the feature displayed on the Feature Details chart and the Drift Over Time chart.
表示を更新 新しいデータを使用してダッシュボードのオンデマンド更新を開始します。 このボタンを使用しなくても、ダッシュボードは15分ごとに自動更新されます。
リセット ダッシュボードコントロールをデフォルト設定に戻します。

データドリフトダッシュボードはセグメント化された分析もサポートするので、セグメント属性およびセグメント値ドロップダウンを使用して、トレーニングデータのサブセットを個々のセグメントの属性と値の予測データと比較して、データのドリフトを表示できます。

特徴量ドリフトと特徴量の有用性の比較チャート

特徴量ドリフトと特徴量の有用性の比較チャートでは、データ内で最もインパクトが高い25の数値特徴量、カテゴリー特徴量、およびテキストベース特徴量がモニターされます。

チャートを使用して、1つのポイントのデータが別のポイントのデータと異なるかどうかを確認します。 差異がある場合、モデルまたはデータ自体に問題がある可能性があります。 たとえば、自動車保険の契約者の年齢が時間の経過に伴って低くなる場合、元のモデルの構築に使用されたデータで新しいデータを正確に予測できなくなる可能性があります。 特に、有用性の高い特徴量のドリフトは、モデルの精度に関する注意を示している場合があります。 チャートのポイント上にカーソルを置くと、特徴量名が識別され、ドリフト(縦軸)と有用性(横軸)の精密な値が表示されます。

特徴量ドリフト

Y軸は、特徴量のドリフト値を示します。 この値は、母集団安定性指標(PSI)(時間の経過に伴う分布の差異の測定)の計算です。

ドリフト指標のサポート

While the DataRobot UI only supports the Population Stability Index (PSI) metric, the API supports Kullback-Leibler Divergence, Hellinger Distance, Kolmogorov-Smirnov, Histogram Intersection, Wasserstein Distance, and Jensen–Shannon Divergence. In addition, using the Python API client, you can retrieve a list of supported metrics.

特徴量の有用性

X軸は、学習(トレーニング)データを取込むときに計算された特徴量の有用性スコアを示します。 DataRobotは、モデルタイプに応じてそれぞれ特徴量の有用性を計算します。 DataRobotモデルとカスタムモデルの場合、有用性スコアは並べ替えの重要度を使用して計算されます。 外部モデルの場合、有用性スコアはACEスコアです。 1の有用性/インパクト値のドットはターゲット予測を示します。 モデル内で有用性が最も高い特徴量も(緑色の点として)1の位置に表示されます。

4象限の解釈

チャートで表される4象限は、特徴量の有用性に対してプロットされた特徴量ごとのデータドリフトを視覚化するために役立ちます。 4象限は、大まかには以下のように解釈することができます。

四分割 解釈 色インジケーター
高有用性の特徴量で高いドリフトが発生しています。 直ちに調査する必要があります。
低有用性の特徴量で、設定されたしきい値を超えるドリフトが発生しています。 注意して監視する必要があります。
低有用性の特徴量で最小のドリフトが発生しています。 必要なアクションはありません。
高有用性の特徴量で小さなドリフトが発生しています。 必要なアクションはありませんが、しきい値に近づく特徴量は監視する必要があります。

チャート上のポイントは灰色または白のどちらにもできます。 灰色の円はドリフトステータスの計算から除外された特徴量を表し、白い円は有用性の高い特徴量を表します。

プロジェクトの所有者は、チャートの右上にある歯車アイコンをクリックして4分割をリセットできます。 デフォルトでは、ドリフトしきい値のデフォルト値は0.15です。縦軸の範囲は、0から0.25および観測されたドリフト値の最高値までです。 これらの四分円は、ドリフトおよび有用性のしきい値を変更することによりカスタマイズできます。

特徴量の詳細チャート

特徴量の詳細チャートは、トレーニングデータ内で選択された特徴量の分布と推論データ内のその特徴量の分布を比較するヒストグラムを提供します。

数値特徴量

数値データの場合、DataRobotは各特徴量の分布の効率的かつ正確な近似を計算します。 これをもとに、トレーニングデータの正規化されたヒストグラムを、選択したドリフト指標を使用したスコアリングデータと比較することで、ドリフト追跡を行います。

チャートには、数値特徴量の13個のビンが表示されます。

  • 10個のビンは、トレーニングデータで観測されたアイテムの範囲をキャプチャします。

  • 2個のビンは、非常に高い値と非常に低い値—トレーニングデータの範囲外にあるスコアリングデータの極値をキャプチャします。

  • 欠損カウントの1個のビンには、欠損特徴量の値とすべてのレコードが含まれます。

カテゴリー特徴量

ヒストグラムのビニングのカットオフがデータ依存の計算から生じる数値データとは異なり、カテゴリーデータは本質的に形式が離散的である(つまり連続的ではない)ため、ビニングは定義されたカテゴリーに基づきます。 さらに、スコアリングデータにカテゴリーレベルが欠落しているか、表示されていない可能性があります。

カテゴリー特徴量のドリフト追跡のプロセスは、トレーニングデータの各カテゴリーレベル(「ビン」)の行の割合を計算することです。 これにより、各レベルのパーセンテージのベクトルが得られます。 最も頻度の高い25のレベルが直接追跡されます—他のすべてのレベルは、その他ビンに集約されます。 このプロセスはスコアリングデータに対して繰り返され、選択したドリフト指標を使用して2つのベクトルが比較されます。

カテゴリー型特徴量の場合、チャートには2つの一意のビンが含まれます。

  • その他のビンには、最も頻繁に出現する25個の値以外のすべてのカテゴリー特徴量が含まれます。 この集計は、ドリフト追跡の目的で実行されますが、モデルの動作を表すものではありません。

  • 新規レベルビンは、トレーニングデータに含まれない特徴量の新しい値を含むデータで予測を作成した後に表示されます。 たとえば、分類特徴量Cityのある住宅価格に関するデータセットを例に考えてみます。 推論データに含まれている値Bostonがトレーニングデータに含まれていなかった場合、Bostonという値(およびその他の非表示の都市)は新規レベルビンに表示されます。

チャートを使用するには、ドロップダウンから特徴量を選択します。 デフォルトでターゲット特徴量に設定されるリストには、追跡されたすべての特徴量が含まれます。 特徴量ドリフトと特徴量の有用性の比較チャートのポイントをクリックします。

テキスト特徴量

テキスト特徴量はカーディナリティの高い問題です。つまり、新しい単語を追加しても、たとえばカテゴリーデータで見られるような新しいレベルの影響はありません。 DataRobotが採用している、テキスト特徴量のドリフト追跡を行う方法では、文章は主観的かつ文化的であり、スペルミスがある可能性を考慮しています。 つまり、テキストフィールドのドリフトを識別するには、個々の単語ではなく、言語全体のシフトを識別することがより重要です。

テキスト特徴量のドリフト追跡は、次の方法で実行されます。

  1. トレーニングデータで見つかった行から最も頻繁に使用される1000個の単語の出現を検出します。
  2. その特徴量に対して、トレーニングデータとスコアリングデータで別々に、これらの単語を含む行の割合を計算します。
  3. スコアリングデータの割合をトレーニングデータの割合と比較します。

出現率の2つのベクトル(単語ごとに1エントリ)が、使用可能なドリフト指標と比較されます。 この方法を適用する前に、DataRobotは、テキスト特徴量を単語(日本語や中国語の場合は文字)に分割する基本的なトークン化を行ってます。

時間経過に伴うドリフトチャート

The Drift Over Time chart visualizes the difference in distribution over time between the training dataset of the deployed model and the datasets used to generate predictions in production. トレーニングデータセットで確立されたベースラインからのドリフトは、PSI(Population Stability Index)を用いて測定されます。 モデルが新しいデータで予測を続けると、追跡対象の特徴量ごとにPSIの経時変化が視覚化されるので、データドリフトの傾向を把握することができます。

データドリフトはモデルの予測能力を低下させる可能性があるため、ある特徴量がいつドリフトし始めたかを見極め、(モデルが新しいデータで予測を続ける中で)そのドリフトがどのように変化するかを監視することは、問題の深刻度を推測するのに役立ちます。 これにより、デプロイ内の特徴量間でデータドリフトの傾向を比較し、特定の特徴量間で相関するドリフト傾向を特定することができます。 さらに、このチャートによって季節的な影響(時間認識モデルでは重要)を特定することができます。 この情報は、データ品質の問題、特徴量構成の変化、ターゲット特徴量のコンテキストの変化など、デプロイされたモデルでのデータドリフトの原因を特定するのに役立ちます。 以下の例では、PSIが時間の経過とともに一貫して増加しており、選択した特徴量のデータドリフトが悪化していることを示しています。

The Drift Over Time chart includes the following elements and controls:

チャートの要素 説明
選択した特徴量 Selects a feature for drift over time analysis, which is then reported in the Drift Over Time chart and the Feature Details chart.
予測の時間/サンプルサイズ
(X軸)
Represents the time range of the predictions used to calculate the corresponding drift value (PSI). Below the X-axis, a bar chart represents the number of predictions made during the corresponding Time of Prediction.
ドリフト
(Y軸)
Represents the range of drift values (PSI) calculated for the corresponding Time of Prediction.
Training baseline Represents the 0 PSI value of the training baseline dataset.
Drift status information Displays the drift status and threshold information for the selected feature. Drift status visualizations are based on the monitoring settings configured by the deployment owner. The deployment owner can also set the drift and importance thresholds in the Feature Drift vs Feature Importance chart settings.
The possible drift status classifications are:
  • Healthy (Green): The feature is experiencing minimal drift. No action needed, but monitor features that approach the threshold.
  • At risk (Yellow): A lower importance feature is experiencing drift above the set threshold. Monitor closely.
  • Failing (Red): A high importance feature is experiencing drift above the set threshold. Investigate immediately
Feature importance is determined by comparing the feature impact score with the importance threshold value. For an important feature, the feature impact score is greater than or equal to the importance threshold.
エクスポート Exports the Drift Over Time chart.

To view additional information on the Drift Over Time chart, hover over a marker in the chart to see the Time of Prediction, PSI, and Sample size:

ヒント

The X-axis of the Drift Over Time chart aligns with the X-axis of the Predictions Over Time chart below to make comparing the two charts easier. In addition, the Sample size data on the Drift Over Time chart is equivalent to the Number of Predictions data from the Predictions Over Time chart.

時間経過に伴う予測チャート

時間経過に伴う予測チャートでは、時間の経過に伴ってモデルの予測がどのように変化したかを一目で把握できます。 例:

Daveは、彼のモデルが過去1ヶ月間について、以前よりも明らかに頻繁に1(再入院すると)予測されているようだと思っています。彼は対応する再入院の真の分布の変化がわからないので、モデルの精度が低下しているのではないかと疑っています。この情報を基に、Daveは再トレーニングが必要がどうかを調査します。

二値分類のチャートと連続値のチャートは若干異なりますが、得られるものは同じです—プロットは時間の経過に伴って、比較的安定しているでしょうか? 安定していない場合、異常値が生じるビジネス上の理由があるかどうか(暴風雨が発生、など)を確認する必要があります。 If the point for a binned period is abnormally high or low, check the histogram below to ensure there are enough predictions for this to be a reliable data point.

予測の時間

The Time of Prediction value can differ between the Data Drift and Accuracy tabs and the Service Health tab. On the Data Drift and Accuracy tabs, the Time of Prediction is the time you submitted the prediction request (i.e., the prediction timestamp). On the Service Health tab, the Time of Prediction is the time the prediction server processed the prediction request. The change in the prediction time tracking method on the Service Health tab is intended to accurately represent the prediction service's health for diagnostic purposes.

さらに、両方のチャートには横軸にTrainingおよびScoringのラベルがあります。 Trainingラベルは、モデルのトレーニングデータのホールドアウトセットで作成された予測の分布を示すチャートのセクションを示します。 チャート上には常に1つのポイントがあります。 Scoringラベルは、デプロイ済みモデルで作成された予測の分布を示すチャートのセクションを示します。 Scoringは、予測を作成するためにモデルが使用中であることを示します。 チャートには、時間の経過に伴う予測分布の変化を示す複数のポイントがあります。

連続値プロジェクトの場合

連続値プロジェクトの時間経過に伴う予測チャートには、トレーニングデータと予測データの両方の平均予測値に加えて、予測値の中央から±80%の範囲を表す視覚的インジケーターもプロットされます。 トレーニングデータをアップロードすると、グラフには10番目~90番目のパーセンタイルとターゲットの平均値の両方が表示されます()。

チャートのポイント上にカーソルを置くと、その詳細が表示されます。

  • 日付:ビンデータの開始日。 表示される値は、この日付からグラフの次のポイントまでの数に基づいています。 たとえば、ポイントAの日付が01-07で、ポイントBの日付が01-14の場合、ポイントAは01-07から01-13までのすべてをカバーします(01-07と01-13を含む)。
  • 平均予測値:これは、ビンに含まれるすべてのポイントの値の平均です。
  • 予測:ビンに含まれる予測の数。 異常なデータが疑われる場合、この値をその他のポイントと比較します。
  • 10番目~90番目のパーセンタイル:その期間の予測のパーセンタイル。

ターゲットの平均値に関するこの情報は、トレーニングデータのポイント上にマウスを置いて表示することもできます。

二値分類プロジェクトの場合

二値分類プロジェクトの時間経過に伴う予測チャートは、デプロイを追加したときに設定したラベルに基づいて、クラスのパーセンテージをプロットします(この例では01)。 予測の出力結果のしきい値セットもレポートされます。 しきい値はデプロイをインベントリに追加したときに設定され、変更することはできません。

チャートのポイント上にカーソルを置くと、その詳細が表示されます。

  • 日付:ビンデータの開始日。 表示される値は、この日付からグラフの次のポイントまでの数に基づいています。 たとえば、ポイントAの日付が01-07で、ポイントBの日付が01-14の場合、ポイントAは01-07から01-13までのすべてをカバーします(01-07と01-13を含む)。
  • <class-label> : ビンに含まれるすべてのポイントに対する「Positive」クラスのポイントのパーセンテージ(この例では0)。
  • <class-label> : ビンに含まれるすべてのポイントに対する「Negative」クラスのポイントのパーセンテージ(この例では1)。
  • 予測の数:ビンに含まれる予測の数。 異常なデータが疑われる場合、この値をその他のポイントと比較します。

さらに、チャートには、トレーニングデータのターゲットの平均値が表示されます。 プロットされたすべてのポイントでは、ポイント上にマウスを置くと特定の値が表示されます。

チャートの右上隅には、連続モードとバイナリモードを切り替えるトグルもあります(二値分類デプロイの場合のみ)。

連続モードは、Positiveクラス予測を0と1の間の確立として示します。予測しきい値は考慮に入れられません。

バイナリモードでは、予測しきい値が考慮に入れられ、作成されたすべての予測の各クラスのパーセンテージが示されます。

予測注意のインテグレーション

デプロイの予測注意を有効にすると、時間経過に伴う予測棒グラフで、注意をトリガーする異常な予測値にフラグが設定されます。

備考

予測注意は連続値モデルデプロイにのみ使用できます。

棒グラフの黄色のセクションは、ある時点における異常な予測を表しています。

特定の期間の異常な予測の数を表示するには、棒グラフのフラグ付き予測に対応するプロット上のポイントにカーソルを合わせます。

バージョンセレクターの使用

データドリフトの表示を変更して、デプロイモデルの現在または以前のバージョンを分析できます。 モデルの置換が行われていない場合、最初に表示されるのは現在オプションだけです。 ドロップダウンにリストされるモデルは、履歴セクション(概要タブ)にも表示されます。 この機能は、モデルまたはモデル画像で作成されたデプロイでのみサポートされます。

時間範囲および期間ドロップダウンの使用

範囲および解決ドロップダウンを使用すると、3つのデプロイモニタリングタブ( データドリフトサービスの正常性、および精度)のきめ細かさを変更してデプロイの問題を診断できます。

範囲ドロップダウン(1)を展開して、調べる時間範囲の開始日と終了日を選択します。 日付を選択した後で値を編集(最も近い時間に切り捨て)することにより、各日付の時刻を指定できます。 目的の時間範囲を決定して範囲を更新する(2)をクリックします。 範囲リセットアイコン()(3)をクリックすると、時間範囲が以前の設定に復元されます。

備考

日付ピッカーで選択できるのは、モデルのデプロイの現在のバージョンの開始日と現在の日付だけであることに注意してください。

時間範囲を設定した後、期間ドロップダウンを使用して日付スライダーのきめ細かさを決定します。 選択した時間範囲に基づき、単位を毎時、毎日、毎週、毎月から選択します。 時間範囲が7日を超える場合、単位を毎時にすることはできません。

期間ドロップダウンから新しい値を選択すると、日付選択スライダーの期間が変化します。 そのあと、スライダーの開始ポイントと終了ポイントを選択して、対象期間にフォーカスできます。

選択したスライダーの範囲は、サービスの正常性、および精度タブに適用されます(複数のデプロイにわたって適用されることはありません)。

日付スライダーの使用

日付スライダーは、予測データとトレーニングデータの比較に使用する時間範囲を制限します。 スライダーの上の左右の端に表示される日付は、ページでの比較に現在使用されている範囲を示します。 スライダーの下の左右の端に表示される日付は、選択可能な予測データ全体の時間の範囲を示します。 円は、時間範囲で決定される「データ区分け」を示します。

スライダーを使用するには、ポイントをクリックしてラインを移動するか、エンドポイントを左または右にドラッグします。

視覚化は、更新された時間範囲の開始点からの予測をベースラインリファレンスポイントとして使用し、選択した時間範囲の最後の日付までに発生した予測と比較します。

周期性を維持したまま、別の時間間隔にスライダーを移動することもできます。 2つのエンドポイントの間でスライダーをクリックしてドラッグします(カーソルに手のアイコンが表示されます)。

上記の例では、3か月の時間間隔にわたるスライダーが表示されています。 スライダーをドラッグして、別の日付の3か月の時間間隔を維持できます。

デフォルトでは、スライダーは、ドリフトステータスの計算と表示に使用される日付範囲と同じ日付範囲に設定されています。 たとえば、ドリフトステータスの対象が先週である場合、デフォルトのスライダー範囲は先週から現在の日付までになります。

スライダーを移動しても、正常性ダッシュボードのデータドリフトステータスの表示には影響しません。 スライダーを移動すると、スライダーの上にリセットボタンが表示されます。 このボタンをクリックすると、ドリフトステータスの範囲に一致するデフォルトの日付範囲にスライダーが戻ります。

Use the class selector

多クラスデプロイでは、データドリフトタブのグラフに表示されるデータを変更するためのクラスベースの設定が提供されます。

経時的予測の多クラスグラフ:

特徴量の詳細の多クラスグラフ:


更新しました December 22, 2022
Back to top