個々の予測の説明¶

このインパクトを別の方法で視覚化するために、2つのインサイトが用意されています。

DataRobotは、予測の説明を計算するための2つの方法を提供します。SHAP（SHapley値）およびXEMP（eXemplar-based Explanations of Model Predictions）。 XEMP-based explanations are only available in experiments that don't support SHAP.

ワークベンチでのテキストの説明は、XEMPを活用したエクスペリメントでのみ取得できます（つまり、SHAPベースのエクスペリメントでは取得できません）。 DataRobot Classicでは、SHAPプロジェクトとXEMPプロジェクトの両方で、テキストの説明（テキストが存在する場合）を取得できます。

SHAPベースの説明¶

SHAPベースの説明は、特定の予測が平均とは異なることに各特徴量がどの程度関与しているかを推定するため、何が予測の根拠となっているかを行単位で理解するのに役立ちます。 モデルが特定の予測をした理由、たとえば、顧客が購入を決めた要因（年齢、性別、購買習慣など）を回答します。そして、各要因が意思決定に与えた影響を特定するのに役立ちます。 これらは直感的で、制限がなく（すべての機能について計算されます）、高速で、SHAPのオープンソースの性質上、透過的です。 SHAPは、モデルの動作をより深く、迅速に理解できるという利点があるだけでなく、モデルがビジネスルールに準拠しているかどうかを簡単に検証することもできます。

SHAPの説明の代わりの視覚化を提供するために、2つのインサイトを利用できます。

インサイトフィルター¶

インサイトのコントロールを使用して、予測分布チャートを変更します。 Options are dependent on experiment type.

個々の予測の説明の操作の詳細については、関連する [注意事項]{0}を参照してください。 See the SHAP reference for predictive and time-aware experiments.

データソースの設定¶

説明の計算に代替データを使用する場合、データ選択ドロップダウンからデータソースを変更します。 データ選択は、データセットおよび（現在のトレーニングセットを使用する場合）選択されたパーティションで構成されます。

次のいずれかを変更できます。

• 現在のトレーニングデータセットのパーティション（トレーニング、検定、またはホールドアウトのいずれか）。 デフォルトでは、チャートはトレーニングデータセットの検定パーティションを表します。

• 追加の、おそらく外部のデータセット。 これは、同じモデルを使用して、エクスペリメントのトレーニングデータに含まれていない行の説明を表示する場合に使用します。 DataRobotには、ユースケースに関連付けられたすべてのデータセット（最大100）がリストされますが、外部データセットをアップロードすることもできます。 次のいずれかを選択します。

  • 再度、同じデータセット（行に含まれる別のランダムサンプルを表示する場合）。
  • 別のデータセット（モデルが正常に予測できるデータセットを選択してください）。

予測分布チャートは、トレーニングデータセットのトレーニングパーティションでは使用できません。

説明をダウンロードする¶

CSV形式の説明をダウンロードするには、説明のエクスポートをクリックし、各制限を設定してダウンロードをクリックします。 設定を変更し、新しいバージョンをそれぞれダウンロードできます。作業が終了したら、完了をクリックしてモーダルを閉じます。

サンプリングする予測¶

予測分布チャートの下にある、サンプリングされた行は、パーセンタイルに従って選択されます。 サンプリングされた各行の表示には、その行に対して最もインパクトのある単一の特徴量のプレビューが含まれます。 Expand the row to see the top several most impactful features for that row.

返すサンプルを変更するには、鉛筆アイコンをクリックします By default, DataRobot returns five samples of predictions, uniformly sampled from across the range of predictions as defined by the filters.

シンプルなテーブルビュー¶

サマリーエントリーは以下の項目を提供します。

• 予測ID（Prediction #1117など）。
• 予測分布チャート内の値の色に対応する、色付きのドットで示された予測値。
• その予測結果に最も貢献している特徴量。

展開された行ビュー¶

シンプルなテーブルビューの任意の行をクリックすると、その予測の追加情報が表示されます。 展開されたビューには、予測ごとに、最もインパクトがあった特徴量がSHAPスコア順にリストされます。 デフォルトでは、貢献している上位10の特徴量がDataRobotに表示されますが、さらに説明をロードをクリックするたびに、追加の特徴量を10個ロードできます。

展開されたビューには、以下の内容が表示されます。

予測範囲の設定¶

予測範囲コントロールは、予測分布チャートの表示、および出力をサンプリングする予測の両方を定義します。 鉛筆アイコンをクリックして、予測値に基づいて条件を設定するモーダルを開きます。

表示に対する変更は直ちに更新されます。

XEMPベースの説明¶

XEMPベースの説明は、すべてのモデルタイプで使用できるDataRobot独自の方法です。 これらは一変量であり、それぞれ特定の特徴量が予測に与える影響の分布を表示できます。 （対照的に、SHAPは多変量であり、一度に複数の特徴を変化させる効果を測定します。）XEMPの説明は、SHAPがモデルやエクスペリメントタイプでサポートされていない場合にのみ利用できます。個々の予測の説明の適切なタイプはDataRobotによって決定され、モデルを選択すると利用できるようになります。

XEMPインサイトにアクセスするには、リーダーボード内のモデルをクリックし、個々の予測の説明（XEMP）を選択して表示を拡大します。 プロンプトが表示されたら、特徴量のインパクトを計算をクリックします。

計算が成功すると、プレビューが表示されます。 See the DataRobot Classic documentation for full details on working with the preview, interpreting the display, and computing and downloading explanations.

機能に関する注意事項¶

ワークベンチでSHAPベースの個々の予測説明を使用する場合は、次の点に注意してください。 See also the associated XEMP considerations.

• 以下のエクスペリメントタイプでは、SHAPの説明はサポートされていません。 したがって、SHAPベースの個々の予測説明は返されません。 代わりに、XEMPの説明が返されます。

  • 多クラス分類と異常検知のエクスペリメント
  • ワークベンチでサポートされていないプロジェクトタイプ。

• 検定とホールドアウトにトレーニングされたモデルのSHAPベースの説明はサンプル内のものであり、スタックされたものではありません。

• SHAPは画像特徴量タイプを 完全には サポートしていません。 画像は特徴量として使用できるので、DataRobotは画像のSHAP値とSHAPインパクトを返します。 However, the SHAP explanations chart will not show Attention Maps ("image explanations"); instead, it shows an image thumbnail.

• リンク機能を使用する場合、SHAPは余裕空間で加法性です（sum(shap) = link(p)-link(p0)）。 推奨事項を以下に示します。

  • SHAPの付加的品質が必要な場合は、リンク関数を使用しないブループリント（一部のツリーベースのブループリントなど）を使用します。
  • ログをリンク関数として使用する場合は、exp(shap)を使用して予測を説明することもできます。

• データ選択としてトレーニングパーティションを選択した場合、予測分布チャートは使用できません。 しかし、説明が計算されると、予測テーブルに説明が入力されます。