データドリフトタブ¶

トレーニングデータと運用データが時間の経過に伴って変化すると、デプロイモデルの予測能力は失われます。 そのようなモデル周辺のデータは、ドリフトしていると言われます。 デプロイに追加されたトレーニングデータと予測データ（推論データとも呼ばれます）を活用することで、データドリフトダッシュボードは、デプロイ後のモデルのパフォーマンスを分析するのに役立ちます。

ターゲットと特徴量の追跡はデフォルトで有効になっています。 You can control these drift tracking features by navigating to a deployment's Data Drift > Settings tab.

データドリフトステータスに関するEメール通知を受信するには、通知の設定、監視のスケジュール、データドリフト監視の設定を行います。

データドリフトダッシュボードは、デプロイしたモデルの特定の時間間隔における正常性を識別するために役立つ4つのインタラクティブな情報のエクスポート可能な視覚化を提供します。

上記の視覚化に加えて、データドリフト > ドリルダウンタブを使用して、デプロイ内の特徴量全体でのデータドリフトのヒートマップを比較して、ドリフト傾向を特定できます。

データドリフトダッシュボードを設定¶

データドリフト > 設定ページでドリフトと有用性のしきい値および追加の定義を設定することで、デプロイでのデータドリフトステータスの計算方法をカスタマイズできます。 次のコントロールを使用して、必要に応じてデータドリフトダッシュボードを設定することもできます。

データドリフトダッシュボードではセグメント化された分析もサポートしており、セグメント属性およびセグメント値ドロップダウンを使用して、個々の属性と値についてトレーニングデータのサブセットと予測データを比較しながら、データドリフトを表示することができます。

特徴量ドリフトと特徴量の有用性の比較チャート¶

特徴量ドリフトと特徴量の有用性の比較チャートでは、データ内で最もインパクトが高い25の数値特徴量、カテゴリー特徴量、およびテキストベース特徴量がモニターされます。

チャートを使用して、1つのポイントのデータが別のポイントのデータと異なるかどうかを確認します。 差異がある場合、モデルまたはデータ自体に問題がある可能性があります。 たとえば、自動車保険の契約者の年齢が時間の経過に伴って低くなる場合、元のモデルの構築に使用されたデータで新しいデータを正確に予測できなくなる可能性があります。 特に、有用性の高い特徴量のドリフトは、モデルの精度に関する注意を示している場合があります。 チャートのポイント上にカーソルを置くと、特徴量名が識別され、ドリフト（縦軸）と有用性（横軸）の精密な値が表示されます。

特徴量ドリフト¶

Y軸は、特徴量のドリフト値を示します。 この値は、PSI（Population Stability Index）を計算したもので、時間経過に伴う分布の差異を示す指標です。

特徴量の有用性¶

X軸は、学習（トレーニング）データを取込むときに計算された特徴量の有用性スコアを示します。 DataRobotは、モデルタイプに応じてそれぞれ特徴量の有用性を計算します。 For DataRobot models and custom models, the Importance score is calculated using Permutation Importance. For external models, the importance score is an ACE Score. 1の有用性/インパクト値のドットはターゲット予測を示します。 モデル内で有用性が最も高い特徴量も（緑色の点として）1の位置に表示されます。

4象限の解釈¶

チャートで表される4象限は、特徴量の有用性に対してプロットされた特徴量ごとのデータドリフトを視覚化するために役立ちます。 4象限は、大まかには以下のように解釈することができます。

チャート上のポイントは灰色または白のどちらにもできます。 灰色の円はドリフトステータスの計算から除外された特徴量を表し、白い円は有用性の高い特徴量を表します。

プロジェクトの所有者は、チャートの右上にある歯車アイコンをクリックして4分割をリセットできます。 デフォルトでは、ドリフトしきい値のデフォルト値は0.15です。縦軸の範囲は、0から0.25および観測されたドリフト値の最高値までです。 These quadrants can be customized by changing the drift and importance thresholds.

特徴量の詳細チャート¶

特徴量の詳細チャートは、トレーニングデータ内で選択された特徴量の分布と推論データ内のその特徴量の分布を比較するヒストグラムを提供します。

数値特徴量¶

数値データの場合、DataRobotは各特徴量の分布の効率的かつ正確な近似を計算します。 これをもとに、トレーニングデータの正規化されたヒストグラムを、選択したドリフト指標を使用したスコアリングデータと比較することで、ドリフト追跡を行います。

チャートには、数値特徴量の13個のビンが表示されます。

• 10個のビンは、トレーニングデータで観測されたアイテムの範囲をキャプチャします。

• 2つのビンは、非常に高い値と非常に低い値（トレーニングデータの範囲外にあるスコアリングデータの極端な値）を取得します。 たとえば、高い値と低い値のビンを定義するために、値はトレーニングデータの範囲であるmin_trainingおよびmax_trainingと比較されます。 低い値のビンにはmin_trainingの範囲を下回る値が含まれ、高い値のビンにはmax_trainingの範囲を上回る値が含まれます。

• 欠損数のための1つのビン。これには、特徴量値が欠落しているすべてのレコードが含まれます。

カテゴリー特徴量¶

ヒストグラムのビニングのカットオフがデータ依存の計算から生じる数値データとは異なり、カテゴリーデータは本質的に形式が離散的である（つまり連続的ではない）ため、ビニングは定義されたカテゴリーに基づきます。 さらに、スコアリングデータにカテゴリーレベルが欠落しているか、表示されていない可能性があります。

カテゴリー特徴量のドリフト追跡のプロセスは、トレーニングデータの各カテゴリーレベル（「ビン」）の行の割合を計算することです。 これにより、各レベルのパーセンテージのベクトルが得られます。 最も頻度の高い25のレベルが直接追跡されます—他のすべてのレベルは、その他ビンに集約されます。 このプロセスはスコアリングデータに対して繰り返され、選択したドリフト指標を使用して2つのベクトルが比較されます。

カテゴリー型特徴量の場合、チャートには2つの一意のビンが含まれます。

• その他のビンには、最も頻繁に出現する25個の値以外のすべてのカテゴリー特徴量が含まれます。 この集計は、ドリフト追跡の目的で実行されますが、モデルの動作を表すものではありません。

• 新規レベルビンは、トレーニングデータに含まれない特徴量の新しい値を含むデータで予測を作成した後に表示されます。 たとえば、分類特徴量Cityのある住宅価格に関するデータセットを例に考えてみます。 推論データに含まれている値Bostonがトレーニングデータに含まれていなかった場合、Bostonという値（およびその他の非表示の都市）は新規レベルビンに表示されます。

チャートを使用するには、ドロップダウンから特徴量を選択します。 デフォルトでターゲット特徴量に設定されるリストには、追跡されたすべての特徴量が含まれます。 特徴量ドリフトと特徴量の有用性の比較チャートのポイントをクリックします。

テキスト特徴量¶

テキスト特徴量はカーディナリティの高い問題です。つまり、新しい単語を追加しても、たとえばカテゴリーデータで見られるような新しいレベルの影響はありません。 DataRobotが採用している、テキスト特徴量のドリフト追跡を行う方法では、文章は主観的かつ文化的であり、スペルミスがある可能性を考慮しています。 つまり、テキストフィールドのドリフトを識別するには、個々の単語ではなく、言語全体のシフトを識別することがより重要です。

テキスト特徴量のドリフト追跡は、次の方法で実行されます。

1. トレーニングデータで見つかった行から最も頻繁に使用される1000個の単語の出現を検出します。
2. その特徴量に対して、トレーニングデータとスコアリングデータで別々に、これらの単語を含む行の割合を計算します。
3. スコアリングデータの割合をトレーニングデータの割合と比較します。

出現率の2つのベクトル（単語ごとに1エントリ）が、使用可能なドリフト指標と比較されます。 この方法を適用する前に、DataRobotは、テキスト特徴量を単語（日本語や中国語の場合は文字）に分割する基本的なトークン化を行ってます。

テキスト特徴量の場合、 特徴量の詳細チャートでは、特徴量ドリフト棒グラフがワードクラウドで置き換えられて、各トークンのデータ分布を視覚化し、個々のトークンが特徴量のデータドリフトにどれだけ貢献しているかを明らかにします。

テキスト特徴量の特徴量ドリフトワードクラウドにアクセスするには：

1. ドリフトが有効なデプロイのデータドリフトタブを開きます。

2. サマリータブの特徴量の詳細チャートで、ドロップダウンリストからテキスト特徴量を選択します。

   備考

   データドリフトダッシュボードコントロールで、選択された特徴量ドロップダウンリストからテキスト特徴量を選択することもできます。

   

3. ダッシュボードコントロールを使用して、 データドリフトダッシュボードを設定します。

4. テキスト特徴量の特徴量ドリフトのワードクラウドを解釈するには、トークンの上にポインターを置くと、以下の詳細が表示されます。

   ヒント

   ポインターがワードクラウド上にあるとき、上にスクロールするとズームインして、より小さいトークンのテキストを表示できます。

   

   チャートの要素	説明
   トークン
   ドリフト貢献度	How much this particular token contributes to the feature's drift value, as reported in the Feature Drift vs. Feature Importance and Drift Over Time charts.
   ターゲット分布

時間経過に伴うドリフトチャート¶

時間経過に伴うドリフトチャートでは、デプロイされたモデルのトレーニングデータセットと、本番環境での予測生成に使用されるデータセットの間の、時間経過に伴う分布の差異が視覚化されます。 トレーニングデータセットで確立されたベースラインからのドリフトは、PSI（Population Stability Index）を用いて測定されます。 As a model continues to make predictions on new data, the change in the PSI over time is visualized for each tracked feature, allowing you to identify data drift trends.

データドリフトはモデルの予測能力を低下させる可能性があるため、ある特徴量がいつドリフトし始めたかを見極め、（モデルが新しいデータで予測を続ける中で）そのドリフトがどのように変化するかを監視することは、問題の深刻度を推測するのに役立ちます。 これにより、デプロイ内の特徴量間でデータドリフトの傾向を比較し、特定の特徴量間で相関するドリフト傾向を特定することができます。 さらに、このチャートによって季節的な影響（時間認識モデルでは重要）を特定することができます。 この情報は、データ品質の問題、特徴量構成の変化、ターゲット特徴量のコンテキストの変化など、デプロイされたモデルでのデータドリフトの原因を特定するのに役立ちます。 以下の例では、PSIが時間の経過とともに一貫して増加しており、選択した特徴量のデータドリフトが悪化していることを示しています。

時間経過に伴うドリフトチャートには、次の要素とコントロールが含まれています。

時間経過に伴うドリフトチャートの追加情報を表示するには、チャート内のマーカーにカーソルを合わせると、予測時間、PSI、サンプルサイズが表示されます。

時間経過に伴う予測チャート¶

時間経過に伴う予測チャートでは、時間の経過に伴ってモデルの予測がどのように変化したかを一目で把握できます。 例：

Daveは、彼のモデルが過去1ヶ月間について、以前よりも明らかに頻繁に1（再入院すると）予測されているようだと思っています。彼は対応する再入院の真の分布の変化がわからないので、モデルの精度が低下しているのではないかと疑っています。この情報を基に、Daveは再トレーニングが必要がどうかを調査します。

二値分類のチャートと連続値のチャートは若干異なりますが、得られるものは同じです—プロットは時間の経過に伴って、比較的安定しているでしょうか？ 安定していない場合、異常値が生じるビジネス上の理由があるかどうか（暴風雨が発生、など）を確認する必要があります。 ビニングされた期間のポイントが異常に高いあるいは低い場合は下のヒストグラムをチェックして、その期間の予測が十分にあって統計的に信頼できるデータポイントなのかどうかを確認します。

さらに、両方のチャートには横軸にTrainingおよびScoringのラベルがあります。 Trainingラベルは、モデルのトレーニングデータのホールドアウトセットで作成された予測の分布を示すチャートのセクションを示します。 チャート上には常に1つのポイントがあります。 Scoringラベルは、デプロイ済みモデルで作成された予測の分布を示すチャートのセクションを示します。 Scoringは、予測を作成するためにモデルが使用中であることを示します。 チャートには、時間の経過に伴う予測分布の変化を示す複数のポイントがあります。

連続値プロジェクトの場合¶

連続値プロジェクトの時間経過に伴う予測チャートには、トレーニングデータと予測データの両方の平均予測値に加えて、予測値の中央から±80%の範囲を表す視覚的インジケーターもプロットされます。 トレーニングデータをアップロードすると、グラフには10番目～90番目のパーセンタイルとターゲットの平均値の両方が表示されます（）。

チャートのポイント上にカーソルを置くと、その詳細が表示されます。

• 日付：ビンデータの開始日。 表示される値は、この日付からグラフの次のポイントまでの数に基づいています。 たとえば、ポイントAの日付が01-07で、ポイントBの日付が01-14の場合、ポイントAは01-07から01-13までのすべてをカバーします（01-07と01-13を含む）。
• 平均予測値：これは、ビンに含まれるすべてのポイントの値の平均です。
• 予測：ビンに含まれる予測の数。 異常なデータが疑われる場合、この値をその他のポイントと比較します。
• 10番目～90番目のパーセンタイル：その期間の予測のパーセンタイル。

ターゲットの平均値に関するこの情報は、トレーニングデータのポイント上にマウスを置いて表示することもできます。

二値分類プロジェクトの場合¶

二値分類プロジェクトの時間経過に伴う予測チャートは、デプロイを追加したときに設定したラベルに基づいて、クラスのパーセンテージをプロットします（この例では0と1）。 予測の出力結果のしきい値セットもレポートされます。 しきい値はデプロイをインベントリに追加したときに設定され、変更することはできません。

チャートのポイント上にカーソルを置くと、その詳細が表示されます。

• 日付：ビンデータの開始日。 表示される値は、この日付からグラフの次のポイントまでの数に基づいています。 たとえば、ポイントAの日付が01-07で、ポイントBの日付が01-14の場合、ポイントAは01-07から01-13までのすべてをカバーします（01-07と01-13を含む）。
• <class-label> : ビンに含まれるすべてのポイントに対する「Positive」クラスのポイントのパーセンテージ（この例では0）。
• <class-label> : ビンに含まれるすべてのポイントに対する「Negative」クラスのポイントのパーセンテージ（この例では1）。
• 予測の数：ビンに含まれる予測の数。 異常なデータが疑われる場合、この値をその他のポイントと比較します。

さらに、チャートには、トレーニングデータのターゲットの平均値が表示されます。 プロットされたすべてのポイントでは、ポイント上にマウスを置くと特定の値が表示されます。

チャートの右上隅には、連続モードとバイナリモードを切り替えるトグルもあります（二値分類デプロイの場合のみ）。

連続モードでは、予測しきい値を考慮せずに、Positiveクラス予測を0と1の間の確率として示します。

二値モードでは、予測しきい値が考慮に入れられ、作成されたすべての予測の各クラスのパーセンテージが示されます。

予測警告の連携¶

デプロイの予測警告を有効にすると、時間経過に伴う予測棒グラフで、警告をトリガーする異常な予測値にフラグが設定されます。

棒グラフの黄色のセクションは、ある時点における異常な予測を表しています。

特定の期間の異常な予測の数を表示するには、棒グラフのフラグ付き予測に対応するプロット上のポイントにカーソルを合わせます。

バージョンセレクターの使用¶

データドリフトの表示を変更して、デプロイモデルの現在または以前のバージョンを分析できます。 モデルの置換が行われていない場合、最初に表示されるのは現在オプションだけです。 The models listed in the dropdown can also be found in the History section of the Overview tab. この機能は、モデルまたはモデル画像で作成されたデプロイでのみサポートされます。

時間範囲および期間ドロップダウンの使用¶

範囲および解決ドロップダウンを使用すると、3つのデプロイモニタリングタブ（ データドリフト、サービスの正常性、および精度）のきめ細かさを変更してデプロイの問題を診断できます。

範囲ドロップダウン（1）を展開して、調べる時間範囲の開始日と終了日を選択します。 日付を選択した後で値を編集（最も近い時間に切り捨て）することにより、各日付の時刻を指定できます。 目的の時間範囲を決定して範囲を更新する（2）をクリックします。 範囲リセットアイコン（）（3）をクリックすると、時間範囲が以前の設定に復元されます。

時間範囲を設定した後、期間ドロップダウンを使用して日付スライダーのきめ細かさを決定します。 選択した時間範囲に基づき、単位を毎時、毎日、毎週、毎月から選択します。 選択された範囲に基づいて、以下の単位設定を使用できます。

期間ドロップダウンから新しい値を選択すると、日付選択スライダーの期間が変化します。 そのあと、スライダーの開始ポイントと終了ポイントを選択して、対象期間にフォーカスできます。

選択したスライダーの範囲は、サービスの正常性、および精度タブに適用されます（複数のデプロイにわたって適用されることはありません）。

日付スライダーの使用¶

日付スライダーは、予測データとトレーニングデータの比較に使用する時間範囲を制限します。 スライダーの上の左右の端に表示される日付は、ページでの比較に現在使用されている範囲を示します。 スライダーの下の左右の端に表示される日付は、選択可能な予測データ全体の時間の範囲を示します。 円は、時間範囲で決定される「データ区分け」を示します。

スライダーを使用するには、ポイントをクリックしてラインを移動するか、エンドポイントを左または右にドラッグします。

視覚化は、更新された時間範囲の開始点からの予測をベースラインリファレンスポイントとして使用し、選択した時間範囲の最後の日付までに発生した予測と比較します。

周期性を維持したまま、別の時間間隔にスライダーを移動することもできます。 2つのエンドポイントの間でスライダーをクリックしてドラッグします（カーソルに手のアイコンが表示されます）。

上記の例では、3か月の時間間隔にわたるスライダーが表示されています。 スライダーをドラッグして、別の日付の3か月の時間間隔を維持できます。

デフォルトでは、スライダーは、ドリフトステータスの計算と表示に使用される日付範囲と同じ日付範囲に設定されています。 たとえば、ドリフトステータスの対象が先週である場合、デフォルトのスライダー範囲は先週から現在の日付までになります。

スライダーを移動しても、正常性ダッシュボードのデータドリフトステータスの表示には影響しません。 スライダーを移動すると、スライダーの上にリセットボタンが表示されます。 このボタンをクリックすると、ドリフトステータスの範囲に一致するデフォルトの日付範囲にスライダーが戻ります。

クラスセレクターの使用¶

多クラスデプロイでは、データドリフトタブのグラフに表示されるデータを変更するためのクラスベースの設定が提供されます。

経時的予測の多クラスグラフ：

特徴量の詳細の多クラスグラフ：

データドリフトタブでのドリルダウン¶

データドリフト > ドリルダウンチャートでは、デプロイされたモデルのトレーニングデータセットと、本番環境での予測生成に使用されるデータセットの間の、時間経過に伴う分布の差異が視覚化されます。 トレーニングデータセットで確立されたベースラインからのドリフトは、PSI（Population Stability Index）を用いて測定されます。 As a model continues to make predictions on new data, the change in the drift status over time is visualized as a heat map for each tracked feature, allowing you to identify data drift trends.

データドリフトはモデルの予測能力を低下させる可能性があるため、ある特徴量がいつドリフトし始めたかを見極め、（モデルが新しいデータで予測を続ける中で）そのドリフトがどのように変化するかを監視することは、問題の深刻度を推測するのに役立ちます。 ドリルダウンタブを使用して、デプロイ内の特徴量全体でデータドリフトのヒートマップを比較して、相関するドリフト傾向を特定できます。 さらに、ヒートマップから1つ以上の特徴量を選択して、特徴量ドリフトの比較チャートを表示できます。このチャートでは、基準期間と比較期間の間で特徴量のデータ分布の変化を比較して、ドリフトを視覚化できます。 この情報は、データ品質の問題、特徴量構成の変化、ターゲット特徴量のコンテキストの変化など、デプロイされたモデルでのデータドリフトの原因を特定するのに役立ちます。

ドリルダウンタブにアクセスするには：

1. デプロイをクリックし、デプロイインベントリから ドリフト対応のデプロイを選択します。

2. デプロイで、データドリフトをクリックし、ドリルダウンをクリックします。

   

3. ドリルダウンタブで：

   • 表示設定の設定

   • 特徴量ドリフトヒートマップの使用。

   • 特徴量のドリフト比較チャートの使用。

ドリルダウン表示設定の設定¶

ドリルダウンタブには、次の表示コントロールが含まれています。

特徴量ドリフトヒートマップの使用¶

すべての特徴量の特徴量ドリフトヒートマップには、次の要素とコントロールが含まれています。

特徴量のドリフト比較チャートの使用¶

特徴量ドリフトの比較セクションには、次の要素とコントロールが含まれています。

特徴量のドリフト比較チャートの追加情報を表示するには、チャートのバーにカーソルを合わせると、そのバーに含まれる値の範囲、それらの値が参照期間で表すデータセット全体に占める割合、および比較期間でのデータセット全体の割合が表示されます。