データドリフト¶

トレーニングデータと運用データが時間の経過に伴って変化すると、デプロイモデルの予測能力は失われます。 そのようなモデル周辺のデータは、ドリフトしていると言われます。 デプロイに追加されたトレーニングデータおよび予測データ（推論データとも呼ばれます）を活用することによって、データをデプロイした後にモニタリング > データドリフトダッシュボードでモデルのパフォーマンスを分析できます。

ターゲットと特徴量の追跡はデフォルトで有効になっています。 これらのドリフト追跡機能を制御するには、デプロイの設定 > データドリフトタブに移動します。 特徴量ドリフト追跡がオフになっている場合、特徴量ドリフト追跡を有効にするようデータドリフトタブにメッセージが表示されます。

データドリフトステータスに関するEメール通知を受信するには、通知の設定、監視のスケジュール、データドリフト監視の設定を行います。

データドリフトダッシュボードは、デプロイしたモデルの特定の時間間隔における正常性を識別するために役立つ4つのインタラクティブな情報のエクスポート可能な視覚化を提供します。

In addition to the visualizations above, you can identify drift trends using the Data drift > Drill down tab to compare data drift heat maps across features.

データドリフトダッシュボードを設定¶

設定 > データドリフトページでドリフトと有用性のしきい値および追加の定義を設定することで、デプロイでのデータドリフトステータスの計算方法をカスタマイズできます。 次のコントロールを使用して、必要に応じてデータドリフトダッシュボードを設定することもできます。

特徴量ドリフトと特徴量の有用性の比較チャート¶

特徴量ドリフトと特徴量の有用性の比較チャートでは、データ内で最もインパクトが高い25の数値特徴量、カテゴリー特徴量、およびテキストベース特徴量がモニターされます。 チャートを使用して、1つのポイントのデータが別のポイントのデータと異なるかどうかを確認します。 差異がある場合、モデルまたはデータ自体に問題がある可能性があります。 たとえば、自動車保険の契約者の年齢が時間の経過に伴って低くなる場合、元のモデルの構築に使用されたデータで新しいデータを正確に予測できなくなる可能性があります。 特に、有用性の高い特徴量のドリフトは、モデルの精度に関する注意を示している場合があります。

チャートのポイント上にカーソルを置くと、特徴量名が識別され、ドリフト（縦軸）と有用性（横軸）の精密な値が表示されます。 Click the settings icon to adjust the Importance and Drift thresholds.

To select the feature visualized in the Feature Details and Drift Over Time charts, click the marker for that feature in the Feature Drift vs. Feature Importance plot:

特徴量ドリフト¶

Y軸は、特徴量のドリフト値を示します。 この値は、PSI（Population Stability Index）を計算したもので、時間経過に伴う分布の差異を示す指標です。

特徴量の有用性¶

X軸は、学習（トレーニング）データを取込むときに計算された特徴量の有用性スコアを示します。 DataRobotは、モデルタイプに応じてそれぞれ特徴量の有用性を計算します。 DataRobotモデルとカスタムモデルの場合、有用性スコアはPermutation Importanceを使用して計算されます。 外部モデルの場合、有用性スコアはACEスコアです。 1の有用性/インパクト値のドットはターゲット予測を示します。 モデル内で有用性が最も高い特徴量も（緑色の点として）1の位置に表示されます。

4象限の解釈¶

チャートで表される4象限は、特徴量の有用性に対してプロットされた特徴量ごとのデータドリフトを視覚化するために役立ちます。 4象限は、大まかには以下のように解釈することができます。

プロジェクトの所有者は、チャートの右上にある設定アイコン をクリックして4分割をリセットできます。 デフォルトでは、ドリフトしきい値のデフォルト値は0.15です。縦軸の範囲は、0から0.25および観測されたドリフト値の最高値までです。 これらの四分円は、ドリフトおよび有用性のしきい値を変更することによりカスタマイズできます。

特徴量の詳細チャート¶

特徴量の詳細チャートは、トレーニングデータ内で選択された特徴量の分布と予測データ内のその特徴量の分布を比較するヒストグラムを提供します。 「特徴量の詳細チャート」を使用するには、ドロップダウンから特徴量を選択します。 デフォルトでターゲット特徴量に設定されるリストには、追跡されたすべての特徴量が含まれます。

数値特徴量¶

数値データの場合、DataRobotは各特徴量の分布の効率的かつ正確な近似を計算します。 これをもとに、トレーニングデータの正規化されたヒストグラムを、選択したドリフト指標を使用したスコアリングデータと比較することで、ドリフト追跡を行います。

チャートには、数値特徴量の13個のビンが表示されます。

• 10個のビンは、トレーニングデータで観測されたアイテムの範囲をキャプチャします。

• 2個のビンは、非常に高い値と非常に低い値—トレーニングデータの範囲外にあるスコアリングデータの極値をキャプチャします。

• 欠損カウントの1個のビンには、欠損特徴量の値とすべてのレコードが含まれます。

カテゴリー特徴量¶

ヒストグラムのビニングのカットオフがデータ依存の計算から生じる数値データとは異なり、カテゴリーデータは本質的に形式が離散的である（つまり連続的ではない）ため、ビニングは定義されたカテゴリーに基づきます。 さらに、スコアリングデータにカテゴリーレベルが欠落しているか、表示されていない可能性があります。

カテゴリー特徴量のドリフト追跡のプロセスは、トレーニングデータの各カテゴリーレベル（「ビン」）の行の割合を計算することです。 これにより、各レベルのパーセンテージのベクトルが得られます。 最も頻度の高い25のレベルが直接追跡されます—他のすべてのレベルは、その他ビンに集約されます。 このプロセスはスコアリングデータに対して繰り返され、選択したドリフト指標を使用して2つのベクトルが比較されます。

For categorical features, in addition to bins for the top categories and the missing category, the chart includes two unique bins:

• その他のビンには、最も頻繁に出現する25個の値以外のすべてのカテゴリー特徴量が含まれます。 この集計は、ドリフト追跡の目的で実行されますが、モデルの動作を表すものではありません。

• 新規レベルビンは、トレーニングデータに含まれない特徴量の新しい値を含むデータで予測を作成した後に表示されます。 たとえば、分類特徴量Cityのある住宅価格に関するデータセットを例に考えてみます。 予測データに含まれている値Bostonがトレーニングデータに含まれていなかった場合、Bostonという値（およびその他の非表示の都市）は新規レベルビンに表示されます。

テキスト特徴量¶

テキスト特徴量はカーディナリティの高い問題です。つまり、新しい単語を追加しても、たとえばカテゴリーデータで見られるような新しいレベルの影響はありません。 DataRobotが採用している、テキスト特徴量のドリフト追跡を行う方法では、文章は主観的かつ文化的であり、スペルミスがある可能性を考慮しています。 つまり、テキストフィールドのドリフトを識別するには、個々の単語ではなく、言語全体のシフトを識別することがより重要です。

テキスト特徴量のドリフト追跡は、次の方法で実行されます。

1. トレーニングデータで見つかった行から最も頻繁に使用される1000個の単語の出現を検出します。
2. Calculating the fraction of rows that contain these terms for that feature separately both the training data and scoring data.
3. スコアリングデータの割合をトレーニングデータの割合と比較します。

出現率の2つのベクトル（単語ごとに1エントリ）が、使用可能なドリフト指標と比較されます。 この方法を適用する前に、DataRobotは、テキスト特徴量を単語（日本語や中国語の場合は文字）に分割する基本的なトークン化を行ってます。

テキスト特徴量については、「特徴量の詳細」の棒グラフがワードクラウドに置き換わりました。これにより、データ分布がトークンごとに可視化され、個々のトークンが特徴量のデータドリフトにどれだけ関与しているかが明らかになります。 To access the feature drift word cloud, in the Feature Details chart, select a text feature from the dropdown list. データドリフトダッシュボードコントロールで、選択された特徴量ドロップダウンリストからテキスト特徴量を選択することもできます。 テキスト特徴量の特徴量ドリフトのワードクラウドを解釈するには、トークンの上にポインターを置くと、以下の詳細が表示されます。

時間経過に伴うドリフトチャート¶

時間経過に伴うドリフトチャートでは、デプロイされたモデルのトレーニングデータセットと、本番環境での予測生成に使用されるデータセットの間の、時間経過に伴う分布の差異が視覚化されます。 トレーニングデータセットで確立されたベースラインからのドリフトは、PSI（Population Stability Index）を用いて測定されます。 モデルが新しいデータで予測を続けると、追跡対象の特徴量ごとにPSIの経時変化が視覚化されるので、データドリフトの傾向を把握することができます。

データドリフトはモデルの予測能力を低下させる可能性があるため、ある特徴量がいつドリフトし始めたかを見極め、（モデルが新しいデータで予測を続ける中で）そのドリフトがどのように変化するかを監視することは、問題の深刻度を推測するのに役立ちます。 これにより、デプロイ内の特徴量間でデータドリフトの傾向を比較し、特定の特徴量間で相関するドリフト傾向を特定することができます。 さらに、このチャートによって季節的な影響（時間認識モデルでは重要）を特定することができます。 この情報は、データ品質の問題、特徴量構成の変化、ターゲット特徴量のコンテキストの変化など、デプロイされたモデルでのデータドリフトの原因を特定するのに役立ちます。 以下の例では、PSIが時間の経過とともに一貫して増加しており、選択した特徴量のデータドリフトが悪化していることを示しています。

時間経過に伴うドリフトチャートには、次の要素とコントロールが含まれています。

時間経過に伴うドリフトチャートの追加情報を表示するには、チャート内のマーカーにカーソルを合わせると、予測時間、PSI、サンプルサイズが表示されます。

時間経過に伴う予測チャート¶

時間経過に伴う予測チャートでは、時間の経過に伴ってモデルの予測がどのように変化したかを一目で把握できます。 例：

Daveは、彼のモデルが過去1ヶ月間について、以前よりも明らかに頻繁に1（再入院すると）予測されているようだと思っています。彼は対応する再入院の真の分布の変化がわからないので、モデルの精度が低下しているのではないかと疑っています。この情報を基に、Daveは再トレーニングが必要がどうかを調査します。

二値分類のチャートと連続値のチャートは若干異なりますが、得られるものは同じです—プロットは時間の経過に伴って、比較的安定しているでしょうか？ 安定していない場合、異常値が生じるビジネス上の理由があるかどうか（暴風雨が発生、など）を確認する必要があります。 ビニングされた期間のポイントが異常に高いあるいは低い場合は下のヒストグラムをチェックして、その期間の予測が十分にあって統計的に信頼できるデータポイントなのかどうかを確認します。

さらに、両方のチャートには横軸にトレーニングおよびスコアリングのラベルがあります。 トレーニングラベルは、モデルのトレーニングデータのホールドアウトセットで作成された予測の分布を示すチャートのセクションを示します。 チャート上には常に1つのポイントがあります。 スコアリングラベルは、デプロイ済みモデルで作成された予測の分布を示すチャートのセクションを示します。 スコアリングは、予測を作成するためにモデルが使用中であることを示します。 チャートには、時間の経過に伴う予測分布の変化を示す複数のポイントがあります。

連続値プロジェクトの場合¶

連続値プロジェクトの時間経過に伴う予測チャートには、トレーニングデータと予測データの両方の平均予測値に加えて、予測値の中央から±80%の範囲を表す視覚的インジケーターもプロットされます。 チャートのポイント上にカーソルを置くと、その詳細が表示されます。

二値分類プロジェクトの場合¶

二値分類プロジェクトの時間経過に伴う予測チャートは、デプロイを追加したときに設定したラベルに基づいて、クラスのパーセンテージをプロットします（この例では0と1）。 Hover over a data point to see the specific values.

The Predictions Over Time can display data in Continuous mode and Binary mode:

データドリフトタブでのドリルダウン¶

データドリフト > ドリルダウンチャートでは、デプロイされたモデルのトレーニングデータセットと、本番環境での予測生成に使用されるデータセットの間の、時間経過に伴う分布の差異が視覚化されます。 トレーニングデータセットで確立されたベースラインからのドリフトは、PSI（Population Stability Index）を用いて測定されます。 モデルが新しいデータを予測し続けると、時間経過に伴うドリフトステータスの変化が、追跡された各特徴量のヒートマップとして視覚化され、データドリフトの傾向を特定できるようになります。

ドリルダウンタブを使用して、デプロイ内の特徴量全体でデータドリフトのヒートマップを比較して、相関するドリフト傾向を特定できます。 さらに、ヒートマップから1つ以上の特徴量を選択して、特徴量ドリフトの比較チャートを表示できます。このチャートでは、基準期間と比較期間の間で特徴量のデータ分布の変化を比較して、ドリフトを視覚化できます。 この情報は、データ品質の問題、特徴量構成の変化、ターゲット特徴量のコンテキストの変化など、デプロイされたモデルでのデータドリフトの原因を特定するのに役立ちます。

ドリルダウン表示設定の設定¶

ドリルダウンタブには、次の表示コントロールが含まれています。

特徴量ドリフトヒートマップの使用¶

すべての特徴量の特徴量ドリフトヒートマップには、次の要素とコントロールが含まれています。

特徴量のドリフト比較チャートの使用¶

特徴量ドリフトの比較セクションには、次の要素とコントロールが含まれています。

特徴量のドリフト比較チャートの追加情報を表示するには、チャートのバーにカーソルを合わせると、そのバーに含まれる値の範囲、それらの値が参照期間で表すデータセット全体に占める割合、および比較期間でのデータセット全体の割合が表示されます。