Skip to content

アプリケーション内で をクリックすると、お使いのDataRobotバージョンに関する全プラットフォームドキュメントにアクセスできます。

[データドリフト]タブ

トレーニングデータと運用データが時間の経過に伴って変化すると、デプロイモデルの予測能力は失われます。そのようなモデル周辺のデータは、ドリフトしていると言われています。デプロイに追加されたトレーニングデータおよび予測データ(推論データとも呼ばれます)を活用することで、データをデプロイした後にデータドリフトダッシュボードでモデルのパフォーマンスを分析できます。このダッシュボードは、デプロイしたモデルの特定の時間間隔における正常性を識別するために役立つ3つの情報をエクスポート可能な対話型の形式で視覚的に表示します。

  • 特徴量ドリフトと特徴量の有用性チャート(1): ある時間から別の時間まで実際の特徴量値の分布がどれだけ変化したかに対してモデルの特徴量の有用性をプロットします。

  • 特徴量の詳細チャート(2): トレーニングデータで選択された特徴量のレコードの推論データに対するパーセンテージ(分布)をプロットします。

  • 時間経過に伴う予測チャート(3): 時間の経過に伴うモデルの予測の分布の変化(ターゲットドリフト)を示します。表示は、プロジェクトの種類(連続値または二値分類)に応じて異なります。

表示は必要に応じて変更できます。

  • モデルバージョンセレクターはドロップダウンで選択したモデルで表示を更新します(カスタムモデルデプロイでのみ使用可能)。

  • 期間ドロップダウンでは、デプロイ日付スライダーの時間のきめ細かさを設定します。

  • 表示を更新するボタンをクリックすると、新しいデータでページがオンデマンドで更新されます。このボタンを使用しなくてもページは15分ごとに自動的に更新されます。

  • チャートの上にあるデプロイ日付スライダーは表示される日付の範囲を制限します(特定の期間にズームインするなど)。

  • エクスポートボタンをクリックして、PNG、CSV、またはZIPファイルとして各チャートをダウンロードします。

  • ドリフトと有用性のしきい値を設定し、追加設定を編集すると、デプロイがデータドリフトステータスを計算する方法をカスタマイズできます。

  • データドリフトダッシュボードはセグメント化された分析をサポートするので、トレーニングデータのサブセットを個々のセグメントの属性と値の予測データと比較して、データのドリフトを表示できます。

特徴量ドリフトと特徴量の有用性の比較チャート

特徴量ドリフトと特徴量の有用性の比較チャートでは、インパクトが最も強い最大25の数値、カテゴリー、およびテキストベースの特徴量を監視します。

チャートを使用して、1つのポイントのデータが別のポイントのデータと異なるかどうかを確認します。差異がある場合、モデルまたはデータ自体に問題がある可能性があります。たとえば、自動車保険の契約者の年齢が時間の経過に伴って低くなる場合、元のモデルの構築に使用されたデータで新しいデータを正確に予測できなくなる可能性があります。特に、有用性の高い特徴量のドリフトは、モデルの精度に関する警告を示している場合があります。

チャートの横軸は、学習(トレーニング)データを取込むときに計算された有用性スコアを示します。1の有用性/インパクト値のドットはターゲット予測を示します。モデル内で有用性が最も高い特徴量も(緑色の点として)1の位置に表示されます。

縦軸はドリフト値をレポートします。この値は、母集団安定性指標(PSI)(時間の経過に伴う分布の差異の測定)の計算です。

チャートのポイント上にカーソルを置くと、特徴量名が識別され、ドリフト(縦軸)と有用性(横軸)の精密な値が表示されます。

4象限の解釈

チャートで表される四分割は、特徴量の有用性に対してプロットされた特徴量ごとのデータドリフトを視覚化するために役立ちます。4象限は、大まかには以下のように解釈することができます。

4象限 解釈 色インジケーター
1 高有用性の特徴量で高いドリフトが発生しています。直ちに調査する必要があります。
2 低有用性の特徴量で、設定されたしきい値を超えるドリフトが発生しています。注意して監視する必要があります。
3 低有用性の特徴量で最小のドリフトが発生しています。必要なアクションはありません。
4 高有用性の特徴量で小さなドリフトが発生しています。必要なアクションはありませんが、しきい値に近づく特徴量は監視する必要があります。

チャート上のポイントは灰色または白のどちらにもできます。灰色の円はドリフトステータスの計算から除外された特徴量を表し、白い円は有用性の高い特徴量を表します。

プロジェクトの所有者は、チャートの右上にある歯車アイコンをクリックして4象限をリセットできます。デフォルトでは、ドリフトしきい値のデフォルト値は0.15です。縦軸の範囲は、0から0.25および観測されたドリフト値の最高値までです。これらの4象限は、ドリフトおよび有用性のしきい値を変更することによりカスタマイズできます。

特徴量の詳細チャート

特徴量の詳細チャートは、トレーニングデータ内で選択された特徴量の分布と推論データ内のその特徴量の分布を比較するヒストグラムを提供します。

チャートには、数値特徴量の13個のビンが表示されます。

  • 10個のビンには、トレーニングデータの特徴量のインパクトに基づく上位25個の値が含まれます。

  • 1つのビンには上位25個の最小値を下回る値が含まれ、もう1つのビンには上位25位の最大値を超える値のビンがあります。

  • そして、欠損カウントの追加のビンには、欠損特徴量(1つの特徴量の値がNaN)を含むすべてのレコードが含まれます。

カテゴリー型特徴量の場合、チャートには2つのユニーク数のビンが含まれます。

  • その他のビンには、最も頻繁に出現する25個の値以外のすべての特徴量が含まれます。

  • 新規レベルビンは、トレーニングデータに含まれない特徴量の新しい値を含むデータで予測を作成した後に表示されます。たとえば、カテゴリー特徴量のある住宅価格に関するデータセットを例に考えてみますCity。推論データに含まれている値Bostonがトレーニングデータに含まれていなかった場合、Bostonという値(およびその他の非表示の都市)は新規レベルビンに表示されます。

チャートを使用するには、ドロップダウンから特徴量を選択します。デフォルトでターゲット特徴量に設定されるリストには、追跡されたすべての特徴量が含まれます。特徴量ドリフトと特徴量の有用性の比較チャートのポイントをクリックします。

時間経過に伴う予測チャート

時間経過に伴う予測チャートでは、時間の経過に伴ってモデルの予測がどのように変化したかを一目で把握できます。以下に例を挙げます。

Daveは、彼のモデルが過去1ヶ月間について、以前よりも明らかに頻繁に1(再入院すると)予測されているようだと思っています。彼は対応する再入院の真の分布の変化がわからないので、モデルの精度が低下しているのではないかと疑っています。この情報を基に、Daveは再トレーニングが必要がどうかを調査します。

二値分類のチャートと連続値のチャートは若干異なりますが、得られるものは同じです。プロットは時間の経過に伴って、比較的安定しているでしょうか?安定していない場合、異常値が生じるビジネス上の理由があるかどうか(暴風雨が発生、など)を確認する必要があります。これを確認する1つの方法は、プロットの下にある棒グラフを参照することです。ビニングされた期間のポイントが異常に高いあるいは低い場合は下のヒストグラムをチェックして、その期間の予測スコアの数が十分にあって統計的に信頼できるデータポイントなのかどうかを確認します。

さらに、両方のチャートには横軸にTrainingおよびScoringのラベルがあります。Trainingラベルは、モデルのトレーニングデータのホールドアウトセットで作成された予測の分布を示すチャートのセクションを示します。チャート上には常に1つのポイントがあります。Scoringラベルは、デプロイ済みモデルで作成された予測の分布を示すチャートのセクションを示します。 Scoringは、予測を作成するためにモデルが使用中であることを示します。チャートには、時間の経過に伴う予測分布の変化を示す複数のポイントがあります。

連続値プロジェクトの場合

連続値プロジェクトの時間経過に伴う予測チャートには、トレーニングデータと予測データの両方の平均予測値に加えて、予測値の中央から±80%の範囲を表す視覚的インジケーターもプロットされます。トレーニングデータをアップロードすると、グラフには10番目~90番目のパーセンタイルとターゲットの平均値の両方が表示されます()。

チャートのポイント上にカーソルを置くと、その詳細が表示されます。

  • 日付:ビンデータの開始日。表示される値は、この日付からグラフの次のポイントまでの数に基づいています。たとえば、ポイントAの日付が01-07で、ポイントBの日付が01-14の場合、ポイントAは01-07から01-13までのすべてをカバーします(01-07と01-13を含む)。
  • 平均予測値:これは、ビンに含まれるすべてのポイントの値の平均です。
  • 予測:ビンに含まれる予測の数。異常なデータが疑われる場合、この値をその他のポイントと比較します。
  • 10番目~90番目のパーセンタイル:その期間の予測のパーセンタイル。

ターゲットの平均値に関するこの情報は、トレーニングデータのポイント上にマウスを置いて表示することもできます。

二値分類プロジェクトの場合

二値分類プロジェクトの時間経過に伴う予測チャートは、デプロイを追加したときに設定したラベルに基づいて、クラスのパーセンテージをプロットします(この例では01)。予測の出力結果のしきい値セットもレポートされます。しきい値はデプロイをインベントリに追加したときに設定され、変更することはできません。

チャートのポイント上にカーソルを置くと、その詳細が表示されます。

  • 日付:ビンデータの開始日。表示される値は、この日付からグラフの次のポイントまでの数に基づいています。たとえば、ポイントAの日付が01-07で、ポイントBの日付が01-14の場合、ポイントAは01-07から01-13までのすべてをカバーします(01-07と01-13を含む)。
  • : ビンに含まれるすべてのポイントに対する「Positive」クラスのポイントのパーセンテージ(この例では0)。
  • : ビンに含まれるすべてのポイントに対する「Negative」クラスのポイントのパーセンテージ(この例では1)。
  • 予測の数: ビンに含まれる予測の数。異常なデータが疑われる場合、この値をその他のポイントと比較します。

さらに、チャートには、トレーニングデータのターゲットの平均値が表示されます。プロットされたすべてのポイントでは、ポイント上にマウスを置くと特定の値が表示されます。

チャートの右上隅には、連続モードと二値モードを切り替えるトグルもあります(二値分類デプロイの場合のみ)。

連続モードは、Positiveクラス予測を0と1の間の確率として示します。予測しきい値は考慮に入れられません。

二値モードでは、予測しきい値が考慮に入れられ、作成されたすべての予測の各クラスのパーセンテージが示されます。

予測警告のインテグレーション

デプロイの予測警告を有効にすると、時間経過に伴う予測棒グラフで、警告をトリガーする異常な予測値にフラグが設定されます。

備考

予測警告を使用できるのは連続値モデルデプロイだけです。

棒グラフの黄色のセクションは、ある時点における異常な予測を表しています。

特定の期間の異常な予測の数を表示するには、棒グラフのフラグ付き予測に対応するプロット上のポイントにカーソルを合わせます。

バージョンセレクターの使用

データドリフトの表示を変更して、デプロイモデルの現在または以前のバージョンを分析できます。モデルの置換が行われていない場合、最初に表示されるのは現在オプションだけです。ドロップダウンにリストされるモデルは、履歴セクション(概要タブ)にも表示されます。この機能は、モデルまたはモデルイメージで作成されたデプロイでのみサポートされます。

時間範囲および期間ドロップダウンの使用

範囲および期間ドロップダウンを使用すると、3つのデプロイモニタリングタブ(データドリフトサービスの正常性、および精度)の細かさを変更してデプロイの問題を診断できます。

範囲ドロップダウン(1)を展開して、調べる時間範囲の開始日と終了日を選択します。日付を選択した後で値を編集(最も近い時間に切り捨て)することにより、各日付の時刻を指定できます。目的の時間範囲を決定して範囲を更新する(2)をクリックします。範囲リセットアイコン()(3)をクリックすると、時間範囲が以前の設定に復元されます。

備考

日付ピッカーで選択できるのは、モデルデプロイの現在のバージョンの開始日と現在の日付だけであることに注意してください。

時間範囲を設定した後、期間ドロップダウンを使用して日付スライダーのきめ細かさを決定します。選択した時間範囲に基づいて、毎時、毎日、毎週、および毎月のきめ細かさから選択します。時間範囲が7日より長い場合、時間単位の細かさは利用できません。

期間ドロップダウンから新しい値を選択すると、日付選択スライダーの期間が変化します。そのあと、スライダーの開始ポイントと終了ポイントを選択して、対象期間にフォーカスできます。

選択したスライダーの範囲は、サービスの正常性、および精度タブに適用されます(複数のデプロイにわたって適用されることはありません)。

日付スライダーの使用

日付スライダーは、予測データとトレーニングデータの比較に使用する時間範囲を制限します。スライダーの上の左右の端に表示される日付は、ページでの比較に現在使用されている範囲を示します。スライダーの下の左右の端に表示される日付は、選択可能な予測データ全体の時間の範囲を示します。円は、時間範囲で決定される「データ区分け」を示します。

スライダーを使用するには、ポイントをクリックしてラインを移動するか、エンドポイントを左または右にドラッグします。

視覚化では、更新された時間範囲の開始点からの予測をベースラインリファレンスポイントとして使用することで、選択した時間範囲の最後の日付までに発生した予測と比較されます。

周期性を維持したまま、別の時間間隔にスライダーを移動することもできます。スライダーで2つのエンドポイントの間の任意の場所をクリックしてドラッグします(カーソルに手のアイコンが表示されます)。

上記の例では、3か月の時間間隔にわたるスライダーが表示されています。スライダーをドラッグして、別の日付の3か月の時間間隔を維持できます。

デフォルトでは、スライダーは、ドリフトステータスの計算と表示に使用される日付範囲と同じ日付範囲に設定されています。たとえば、ドリフトステータスの対象が先週である場合、デフォルトのスライダー範囲は先週から現在の日付までになります。

スライダーを移動しても、正常性ダッシュボードのデータドリフトステータスの表示には影響しません。スライダーを移動すると、スライダーの上にリセットボタンが表示されます。このボタンをクリックすると、ドリフトステータスの範囲に一致するデフォルトの日付範囲にスライダーが戻ります。

クラスセレクター

多クラスデプロイでは、データドリフトタブのグラフに表示されるデータを変更するためのクラスベースの設定が提供されます。

経時的予測の多クラスグラフ:

特徴量の詳細の多クラスグラフ:

データドリフトステータスのカスタマイズ

デフォルトで、デプロイのデータドリフトステータスは、少なくとも1つの有用性の高い特徴量が設定されたドリフト指標のしきい値を超えると、失敗()とマーク付けされます。有用性の高い特徴量がなくても、少なくとも1つの有用性の低い特徴量がしきい値を超えると、At Risk()としてマーク付けされます。デプロイの所有者は、各デプロイのドリフトステータスの計算に使用するルールをカスタマイズできます。カスタマイズは、以下のさまざまな方法で行われます。

  • 有用性の高いまたは低い特徴量のリストを定義または上書きして、有用な特徴量を監視、または有用性の低い特徴量をあまり重視しないようにします。

  • ドリフトステータスの計算と警告からドリフトすると予想される特徴量は除外されるため、偽警告が発生することはありません。

  • At-RiskおよびFailingドリフトステータスの平均をカスタマイズして、各デプロイのドリフトステータスを必要に応じてパーソナライズします。

デプロイのドリフトステータスをカスタマイズするには、設定 > 監視タブへ移動します。

  1. 比較期間の時間範囲を調整し、トレーニングデータと予測データを比較します。ドロップダウンから時間範囲を選択します。

  2. ドリフト指標のしきい値を設定します。ドリフト指標はドリフトの計算に使用されます。DataRobotはPopulation Stability Index(PSI)のみをサポートしています。ドリフトのしきい値が変更されると、特徴量ドリフト対特徴量の有用性のチャートが更新され、変更が反映されます。

    除外された特徴量リンクをクリックすると、ドリフトステータス計算から特徴量(ターゲットを含む)を除外できます。除外する特徴量名の入力を促すダイアログボックスが表示されます。

    追加しても、特徴量はデプロイのドリフトステータスには影響しませんが、特徴量ドリフト対特徴量の有用性のチャートには引き続き表示されます。下の例では、灰色の円で表示される除外された特徴量は、通常、ドリフトステータスは失敗()に変更されます。除外されているため、ステータスは成功のままです。

  3. 有用性指標のしきい値を設定します。有用性指標は、トレーニングデータで最も影響の大きい特徴量を測定します。DataRobotは、Permutation Importance指標のみをサポートしています。ドリフトのしきい値が変更されると、特徴量ドリフト対特徴量の有用性のチャートが更新され、変更が反映されます。下の例では、チャートは有用性とドリフトしきい値(矢印で指定)で調整され、上記のチャートより注意および失敗の特徴量は増えています。

    スター付き特徴量のリンクをクリックすると、最初は有用性が低く割り当てられていた場合でも、有用性が高く扱われるように特徴量を設定できます。設定する特徴量名の入力を促すダイアログボックスが表示されます。

    特徴量を追加しても、これらの特徴量には高い有用性が割り当てられ、有用性のしきい値は無視されますが、特徴量ドリフト対特徴量の有用性のチャートには引き続き表示されます。下の例では、白い円で表示されているスター付き特徴量は、最初は有用性が低いため、通常はドリフトステータスは「注意」になります。ただし、有用性は高いため、この特徴量はドリフトステータスが失敗()に変更されます。

  4. 注意()と失敗()のドリフトステータスをトリガーする値を設定します。たとえば、次のいずれかが当てはまる場合、ドリフトステータスを「注意」としてマーク付けするようにデプロイのルールを設定できます。

  5. ドリフトしきい値を超える有用性の低い特徴量の数が1より大きい場合、

    OR

  6. ドリフトしきい値を超える有用性の高い特徴量の数が3より大きい場合。次のように表されます。

必要な設定の変更をしたら、ページの上部にある新しい設定の保存をクリックします。設定に満足できない場合、またはデフォルト設定を復元する場合は、デフォルトにリセットをクリックします。これらの変更はデプロイの履歴全体に影響し、予測された期間にのみ影響することに注意してください。


更新しました February 22, 2022
Back to top