個々の予測の説明¶

Two insights are available to provide alternative visualizations of this impact:

For SHAP Individual Prediction Explanations, DataRobot offers two methodologies for computing Prediction Explanations: SHAP (based on Shapley Values) and XEMP (eXemplar-based Explanations of Model Predictions). XEMPベースの説明は、SHAPをサポートしていないエクスペリメントでのみ取得できます。

As a result, Text Explanations in Workbench are only available in those experiments that leveraged XEMP (i.e., they are not available for SHAP-based experiments). In DataRobot Classic, Text Explanations are available (when text is present) for both SHAP and XEMP projects.

SHAP-based explanations¶

SHAPベースの説明は、特定の予測が平均とは異なることに各特徴量がどの程度関与しているかを推定するため、何が予測の根拠となっているかを行単位で理解するのに役立ちます。 モデルが特定の予測をした理由、たとえば、顧客が購入を決めた要因（年齢、性別、購買習慣など）を回答します。そして、各要因が意思決定に与えた影響を特定するのに役立ちます。 これらは直感的で、制限がなく（すべての機能について計算されます）、高速で、SHAPのオープンソースの性質上、透過的です。 SHAPは、モデルの動作をより深く、迅速に理解できるという利点があるだけでなく、モデルがビジネスルールに準拠しているかどうかを簡単に検証することもできます。

Two insights are available to provide alternative visualizations of SHAP explanations:

インサイトフィルター¶

インサイトのコントロールを使用して、予測分布チャートを変更します。

個々の予測の説明の操作の詳細については、関連する 注意事項および SHAPリファレンスを参照してください。

データソースの設定¶

説明の計算に代替データを使用する場合、データ選択ドロップダウンからデータソースを変更します。 データ選択は、データセットおよび（現在のトレーニングセットを使用する場合）選択されたパーティションで構成されます。

次のいずれかを変更できます。

• 現在のトレーニングデータセットのパーティション（トレーニング、検定、またはホールドアウトのいずれか）。 デフォルトでは、チャートはトレーニングデータセットの検定パーティションを表します。

• 追加の、おそらく外部のデータセット。 これは、同じモデルを使用して、エクスペリメントのトレーニングデータに含まれていない行の説明を表示する場合に使用します。 DataRobotには、ユースケースに関連付けられたすべてのデータセット（最大100）がリストされますが、外部データセットをアップロードすることもできます。 次のいずれかを選択します。

  • 再度、同じデータセット（行に含まれる別のランダムサンプルを表示する場合）。
  • 別のデータセット（モデルが正常に予測できるデータセットを選択してください）。

予測分布チャートは、トレーニングデータセットのトレーニングパーティションでは使用できません。

説明をダウンロードする¶

CSV形式の説明をダウンロードするには、エクスポートをクリックし、各制限を設定してダウンロードをクリックします。 設定を変更し、新しいバージョンをそれぞれダウンロードできます。作業が終了したら、完了をクリックしてモーダルを閉じます。

サンプリングする予測¶

予測分布チャートの下にある、サンプリングされた行は、パーセンタイルに従って選択されます。 サンプリングされた各行の表示には、その行に対して最もインパクトのある単一の特徴量のプレビューが含まれます。 行を展開すると、その行に対して最もインパクトのあるいくつかの特徴量が表示されます。

返すサンプルを変更するには、鉛筆アイコンをクリックします デフォルトでは、DataRobotは フィルターによって定義された予測の範囲全体から均一にサンプリングされた予測の5つのサンプルを返します。

シンプルなテーブルビュー¶

サマリーエントリーは以下の項目を提供します。

• 予測ID（Prediction #1117など）。
• 予測分布チャート内の値の色に対応する、色付きのドットで示された予測値。
• その予測結果に最も貢献している特徴量。

展開された行ビュー¶

シンプルなテーブルビューの任意の行をクリックすると、その予測の追加情報が表示されます。 展開されたビューには、予測ごとに、最もインパクトがあった特徴量がSHAPスコア順にリストされます。 デフォルトでは、貢献している上位10の特徴量がDataRobotに表示されますが、さらに説明をロードをクリックするたびに、追加の特徴量を10個ロードできます。

展開されたビューには、以下の内容が表示されます。

予測範囲の設定¶

予測範囲コントロールは、予測分布チャートの表示、および出力をサンプリングする予測の両方を定義します。 鉛筆アイコンをクリックして、予測値に基づいて条件を設定するモーダルを開きます。

表示に対する変更は直ちに更新されます。

XEMP-based explanations¶

XEMP-based explanations are a proprietary DataRobot method, available for all model types. They are univariate, letting you view the distribution of the effect each specific feature has on predictions. (SHAP, by contrast, is multivariate, measuring the effect of varying multiple features at once.) XEMP explanations are only available if SHAP is not supported by a model or experiment type; the appropriate Individual Prediction Explanation type is determined by DataRobot and made available when you select a model.

To access XEMP insights, click a model in the Leaderboard and choose Individual Prediction Explanation (XEMP) to expand the display. If prompted, click Compute Feature Impact.

After successful computation, the preview displays. See the DataRobot Classic documentation for full details on working with the preview, interpreting the display, and computing and downloading explanations.

注意事項¶

ワークベンチでSHAPベースの個々の予測説明を使用する場合は、次の点に注意してください。 See also the associated XEMP considerations.

• For the following experiment types, SHAP explanations are not supported. したがって、SHAPベースの個々の予測説明は返されません。 XEMP explanations are returned instead:

  • Multiclass classification experiments.
  • 時間認識（OTVおよび時系列）エクスペリメント。
  • Any project type not supported in Workbench.

• 検定とホールドアウトにトレーニングされたモデルのSHAPベースの説明はサンプル内のものであり、スタックされたものではありません。

• SHAPは画像特徴量タイプを 完全には サポートしていません。 画像は特徴量として使用できるので、DataRobotは画像のSHAP値とSHAPインパクトを返します。 ただし、SHAPの説明チャートには、アクティベーションマップ（「画像の説明」）は表示されません。代わりに、画像サムネイルが表示されます。

• リンク機能を使用する場合、SHAPは余裕空間で加法性です（sum(shap) = link(p)-link(p0)）。 推奨事項を以下に示します。

  • SHAPの付加的品質が必要な場合は、リンク関数を使用しないブループリント（一部のツリーベースのブループリントなど）を使用します。
  • ログをリンク関数として使用する場合は、exp(shap)を使用して予測を説明することもできます。

• データ選択としてトレーニングパーティションを選択した場合、予測分布チャートは使用できません。 しかし、説明が計算されると、予測テーブルに説明が入力されます。