モデルインサイトでの評価¶
モデルのインサイトは、モデルによる予測の根拠を解釈、説明、検定するのに役立ちます。 これらのツールを使用すると、次のエクスペリメントで何をする必要があるかを評価するのに役立ちます。 利用可能なインサイトは、エクスペリメントタイプやエクスペリメントビュー(「単一」対{ target=_blank }の 比較)に応じて異なります。 インサイトにアクセスするには、モデルリーダーボード内のモデルをクリックします。
使用可能なインサイト¶
モデルのインサイトを表示するには、左ペインのリーダーボードでモデルをクリックすると、モデルの概要が開きます。 ここから、利用可能なすべてのエクスペリメントインサイトが目的と回答ごとにグループ化されて利用できます。
- 説明:モデルは何を学習しましたか?
- パフォーマンス:モデルの性能は?
- 詳細:モデルはどのように構築されましたか?
- アーティファクト:モデルからのアセットは何ですか?
検索を使用して、インサイトを名前や説明でフィルターします。 結果には、各インサイトがどのグループに属しているかも明示されています。
表に示されているように、予測エクスペリメントと時間認識エクスペリメントでは、取得できるインサイトが異なります。
| インサイト / タブ | 説明 | 問題のタイプ | スライスされたインサイト | 比較可能 |
|---|---|---|---|---|
| 位置ごとの精度 のパフォーマンスタブ |
予測誤差の空間パターンを明らかにし、マップ視覚化でデータパーティション間の予測誤差を視覚化します。 | 地理空間 | ||
| 時系列の精度 のパフォーマンス タブ |
時間経過に伴う予測がどのように変化するかを視覚化します。 | 時間を認識した予測 | ||
| 異常評価 のパフォーマンス タブ |
選択したバックテストのデータがプロットされ、最大500の異常ポイントのSHAPの説明が表示されます。 | 時系列 | ||
| 位置ごとの異常 のパフォーマンスタブ |
データセットの位置特徴量に基づいて異常スコアをマッピングします。 | 地理空間 | ||
| 時間経過に伴う異常 のパフォーマンス タブ |
データのタイムライン全体で異常がどのように発生するかをプロットします。 | 時間を認識した予測 | ||
| アテンション・マップ 説明タブ |
モデルの予測に対する有用性に応じて、画像の各領域が強調表示されます。 | Visual Artificial Intelligence (AI)、時間を認識した予測 | ||
| ブループリント の詳細タブ |
データの前処理とパラメーター設定を表すグラフを提供します。 | すべて | ||
| クラスターインサイト の説明タブ |
学習タイプをクラスタリングに設定して、モデリングした結果として得られるデータのグループ化を視覚化します。 | 予測クラスタリング | ||
| 係数 の説明タブ |
最も有用な30の特徴量の相対的な影響を視覚的に示します。 | すべて。線形モデルのみ | ||
| コンプライアンスドキュメント | 効果的なモデルリスク管理の構成について包括的なガイダンスを提供するために個別のドキュメントを生成します。 | すべて | ||
| 混同行列のパフォーマンス タブ |
多クラス分類問題の実測値と予測値を比較して、クラスの誤ったラベル付けを特定します。 | 分類、時間認識 | ||
| ダウンロード のアーティファクト タブ |
モデルのアーティファクトを単一のZIPファイルでダウンロードします。 | すべて | ||
| Eureqaモデル の詳細タブ |
Eureqa独自の機械学習アルゴリズムを使用し、予測精度と複雑さをバランスさせたモデルを構築します。 | すべて、多クラスなし | ||
| 特徴量ごとの作用 の説明タブ |
各特徴量の値の変化によってモデル予測がどのように変化するかを示します | すべて | ✔ | |
| 特徴量のインパクト の説明タブ |
モデルの決定を推進している特徴量を表示します。 | すべて | ✔ | ✔ |
| 予測距離ごとの精度 パフォーマンスタブ |
エクスペリメントの予測ウィンドウの各予測距離でのモデルの予測精度を描写します。 | 時系列、時間を認識した予測 | ||
| 予測値と実測値の比較 パフォーマンス タブ |
各時点の複数の値(予測距離)が予測されます。 | 時系列 | ||
| 画像埋め込み 説明タブ |
画像の投影を2次元で表示し、画像のサブセット間の視覚的な類似性を確認して、外れ値を特定できます。 | Visual Artificial Intelligence (AI)、時間を認識した予測 | ||
| 個々の予測の説明 の説明タブ |
各特徴量が特定の予測にどの程度寄与するかを、平均値との差に基づいて推定します。 | 二値分類、連続値 | ✔ | |
| 個々の予測の説明(XEMP) | 各特徴量が特定の予測にどの程度寄与するかを、平均値との差に基づいて推定します。 | 二値分類、連続値 | ✔ | |
| リフトチャート のパフォーマンス タブ |
モデルがターゲットの母集団をどの程度うまく分割しているか、そしてターゲットを予測することができるかを示します。 | すべて | ✔ | ✔ |
| ログ 詳細タブ |
モデリングタスクの運用ステータスの結果を一覧表示します。 | すべて | ||
| 指標スコアのパフォーマンス タブ |
サポートされているすべての指標の結果を表示します。 | すべて | ||
| モデル情報 詳細タブ |
一般的なモデルとパフォーマンスに関する情報を提供します。 | すべて | ||
| モデルイテレーション の詳細タブ |
増分学習エクスペリメントでトレーニングされたイテレーションを比較します。 | 二値分類、連続値 | ||
| 多ラベル:ラベルごとの指標 「パフォーマンス」タブ |
予測しきい値のさまざまなラベル値でのパフォーマンスを集計します。 | 多ラベル分類 | ||
| ニューラルネットワーク視覚化ツール 詳細タブ |
モデルのニューラルネットワークの各レイヤーについて視覚的な詳細を示します。 | Visual Artificial Intelligence (AI)、時間を認識した予測 | ||
| 期間精度 パフォーマンスタブ |
トレーニングデータセット内の期間全体でのモデルパフォーマンスを表示します。 | 時間を認識した予測 | ||
| 関連アセット アーティファクトタブ |
モデルに関連付けられたすべてのアプリ、デプロイ、登録済みモデルを一覧表示します。 ノーコードアプリの作成または モデル登録を起動します。 | すべて | ||
| 残差 のパフォーマンス タブ |
モデルの予測パフォーマンスと妥当性を理解するための散布図とヒストグラムを提供します。 | 連続値 | ✔ | |
| ROC曲線のパフォーマンス タブ |
モデルに関連した分類、パフォーマンス、および統計を調べるためのツールを提供します。 | 二値分類 | ✔ | ✔ |
| 系列のインサイト パフォーマンスタブ |
複数系列エクスペリメントの系列固有の情報が得られます。 | 時系列 | ||
| SHAP分布:特徴量ごと の説明タブ |
バイオリンプロットを介してSHAP値と特徴量値の分布を表示し、特徴量値が予測にどのように影響するかの分析に役立ちます。 | 二値分類、連続値 | ✔ | |
| 安定性 パフォーマンスタブ |
さまざまなバックテストにおけるモデルのパフォーマンスを把握できるサマリーを提供します。 | 時間を認識した予測 | ||
| ワードクラウド の説明タブ |
テキスト特徴量がモデル予測に与える影響を視覚化します。 | 二値分類、連続値 |
| インサイト | 説明 | 問題のタイプ | スライスされたインサイト | 比較可能 |
|---|---|---|---|---|
| 説明 | ||||
| アテンションマップ | モデルの予測に対する有用性に応じて、画像の各領域が強調表示されます。 | Visual Artificial Intelligence (AI)、時間を認識した予測 | ||
| クラスターインサイト | 学習タイプをクラスタリングに設定して、モデリングした結果として得られるデータのグループ化を視覚化します。 | 予測クラスタリング | ||
| 係数 | 最も有用な30の特徴量の相対的な影響を視覚的に示します。 | すべて。線形モデルのみ | ||
| 特徴量ごとの作用 | 各特徴量の値の変化によってモデル予測がどのように変化するかを示します | すべて | ✔ | |
| 特徴量のインパクト | モデルの決定を推進している特徴量を表示します。 | すべて | ✔ | ✔ |
| 予測距離ごとの精度 | エクスペリメントの予測ウィンドウの各予測距離でのモデルの予測精度を描写します。 | 時系列 | ||
| 画像埋め込み | 画像の投影を2次元で表示し、画像のサブセット間の視覚的な類似性を確認して、外れ値を特定できます。 | Visual Artificial Intelligence (AI)、時間を認識した予測 | ||
| 個々の予測の説明 | 各特徴量が特定の予測にどの程度寄与するかを、平均値との差に基づいて推定します。 | 二値分類、連続値 | ✔ | |
| 個々の予測の説明(XEMP) | 各特徴量が特定の予測にどの程度寄与するかを、平均値との差に基づいて推定します。 | 二値分類、連続値 | ✔ | |
| SHAP分布:特徴量ごと | バイオリンプロットを介してSHAP値と特徴量値の分布を表示し、特徴量値が予測にどのように影響するかの分析に役立ちます。 | 二値分類、連続値 | ✔ | |
| ワードクラウド | テキスト特徴量がモデル予測に与える影響を視覚化します。 | 二値分類、連続値 | ||
| パフォーマンス | ||||
| 位置ごとの精度 | 予測誤差の空間パターンを明らかにし、マップ視覚化でデータパーティション間の予測誤差を視覚化します。 | 地理空間 | ||
| 時系列の精度 | 時間経過に伴う予測がどのように変化するかを視覚化します。 | 時間を認識した予測 | ||
| 異常評価 | 選択したバックテストのデータがプロットされ、最大500の異常ポイントのSHAPの説明が表示されます。 | 時系列 | ||
| 位置ごとの異常 | データセットの位置特徴量に基づいて異常スコアをマッピングします。 | 地理空間 | ||
| 時間経過に伴う異常 | データのタイムライン全体で異常がどのように発生するかをプロットします。 | 時間を認識した予測 | ||
| 混同行列 | 多クラス分類問題の実測値と予測値を比較して、クラスの誤ったラベル付けを特定します。 | 分類、時間認識 | ||
| 予測値と実測値の比較 | 各時点の複数の値(予測距離)が予測されます。 | 時系列 | ||
| 予測距離ごとの精度 | 各予測距離におけるモデルの予測精度を視覚的に示します | 時間を認識した予測 | ||
| リフトチャート | モデルがターゲットの母集団をどの程度うまく分割しているか、そしてターゲットを予測することができるかを示します。 | すべて | ✔ | ✔ |
| 指標スコア | サポートされているすべての指標の結果を表示します。 | すべて | ||
| 多ラベル:ラベルごとの指標 | 予測しきい値のさまざまなラベル値でのパフォーマンスを集計します。 | 多ラベル分類 | ||
| 期間精度 | トレーニングデータセット内の期間全体でのモデルパフォーマンスを表示します。 | 時間を認識した予測 | ||
| 残差 | モデルの予測パフォーマンスと妥当性を理解するための散布図とヒストグラムを提供します。 | 連続値 | ✔ | |
| ROC曲線 | モデルに関連した分類、パフォーマンス、および統計を調べるためのツールを提供します。 | 二値分類 | ✔ | ✔ |
| 系列のインサイト | 複数系列エクスペリメントの系列固有の情報が得られます。 | 時系列 | ||
| 安定性 | さまざまなバックテストにおけるモデルのパフォーマンスを把握できるサマリーを提供します。 | 時間を認識した予測 | ||
| 詳細 | ||||
| ブループリント | データの前処理とパラメーター設定を表すグラフを提供します。 | すべて | ||
| Eureqaモデル | Eureqa独自の機械学習アルゴリズムを使用し、予測精度と複雑さをバランスさせたモデルを構築します。 | すべて、多クラスなし | ||
| ログ | モデリングタスクの運用ステータスの結果を一覧表示します。 | すべて | ||
| モデル情報 | 一般的なモデルとパフォーマンスに関する情報を提供します。 | すべて | ||
| モデルのイテレーション | 増分学習エクスペリメントでトレーニングされたイテレーションを比較します。 | 二値分類、連続値 | ||
| ニューラルネットワーク視覚化ツール | モデルのニューラルネットワークの各レイヤーについて視覚的な詳細を示します。 | Visual Artificial Intelligence (AI)、時間を認識した予測 | ||
| アーティファクト | ||||
| コンプライアンスドキュメント | 効果的なモデルリスク管理の構成について包括的なガイダンスを提供するために個別のドキュメントを生成します。 | すべて | ||
| ダウンロード | モデルのアーティファクトを単一のZIPファイルでダウンロードします。 | すべて | ||
| 関連アセット | モデルに関連付けられたすべてのアプリ、デプロイ、登録済みモデルを一覧表示します。 ノーコードアプリの作成または モデル登録を起動します。 | すべて | ||
