インサイト¶
インサイトタブでは、プロジェクトの可視化を表示および分析し、モデルを切り替えて比較することができます。
次の表に、使用するインサイトの可視化、説明、およびデータソースを示します。 可視化の分析の詳細については、リンクをクリックしてください。 可視化ツールの可用性はプロジェクトの種類によって異なります。
インサイトのタイル | 説明 | ソース |
---|---|---|
アクティベーションマップ | 予測を作成するときにモデルで使用する画像の領域を可視化します。 | トレーニングデータ |
異常検知 | スコアごとにソートされた異常な結果のサマリーテーブルが提供されます。 | トレーニングデータの最も異常な行(最も高いスコアを含む行) |
カテゴリークラウド | 集計されたカテゴリー型特徴量のカテゴリーの集計値の関連性を可視化します。 | トレーニングデータ |
ホットスポット | 予測パフォーマンスを示します。 | トレーニングデータ |
画像埋め込み | 画像の類似性を表す2次元空間に画像を表示します。 | トレーニングデータ |
テキストマイニング | 語句の関連性と短いフレーズの関連性を可視化します。 | トレーニングデータ |
特徴量の有用性(木型アルゴリズム) | モデル内で有用性が最も高い特徴量の順位を表示します。 | トレーニングデータ |
各特徴量の効果 | モデルの予測に対する特徴量ごとの作用の規模と方向性を表します。 | 検定データ |
ワードクラウド | 特徴量キーワードの関連性を可視化します。 | トレーニングデータ |
インサイトの使用¶
-
モデル > インサイトに移動し、インサイトのタイルをクリックします(全リストはインサイトの可視化を参照)。
備考
表示される特定のインサイトはモデルのタイプにより異なります。モデルのタイプはプロジェクトのタイプに依存します。 つまり、すべてのプロジェクトですべてのインサイトが利用できるわけではありません。
-
右側のモデルドロップダウンメニューにあるモデルのリストから選択します。
備考
リストされているモデルは、選択したインサイトによって異なります。 示されている例では、木型アルゴリズムの特徴量の有用性のインサイトが選択されているため、モデルリストにはツリーモデルとフォレストモデルが含まれています。
-
インサイトドロップダウンメニューを使用して、他の該当するインサイトから選択します。
-
可視化情報をダウンロードするには、右下のエクスポートをクリックし、ダウンロードの種類(CSV、PNG、またはZIP)を選択します。
詳細についてはチャートとデータのエクスポートを参照してください 。
アクティベーションマップ¶
インサイトタブのアクティベーションマップタイルをクリックすると、どの画像の部分がアルゴリズムの予測決定の元になっているかを予測する際に、モデルが画像のどの領域を使用しているかを確認できます。
アクティベーションマップを使用すると、モデルが画像の前景と背景のどちらを見ているのか、適切な領域に焦点が合っているかを示すことができます。 たとえば、病気が発生した植物の「健康」な領域だけを見ていて、葉全体を使用していないので、「病気なし」と分類されていないかを確認できます。過学習やターゲットリーケージの問題があるかどうかも確認できます。これらのマップは、モデルをチューニングした方がより効果的かどうかを判断するのに役立ちます。
要素 | 説明 | |
---|---|---|
1 | 予測値または実測値のフィルター | 予測クラス値と実測クラス値に基づいて表示を絞り込むことができます。 詳細については、フィルターを参照してください。 |
2 | カラーオーバーレイを表示 | アクティベーションマップを白黒またはフルカラーのどちらで表示するかを設定します。 詳細については、カラーオーバーレイを参照してください。 |
3 | アクティベーションスケール | 領域が予測に影響を与えている度合いを表示します。 詳細については、アクティベーションスケールを参照してください。 |
Visual Artificial Intelligence(AI)の詳細については、参考資料を参照してください。
フィルター¶
フィルターを使用すると、予測クラス値と実測クラス値に基づいて表示を絞り込むことができます。 初期表示にはサンプル全体が表示されます(つまり、両方のフィルターがすべてに設定されています)。 代わりに、特定のクラスでフィルターするように表示を設定すると、表示を制限することができます)。 次にいくつかの例を示します。
「予測」フィルター | 「実測」フィルター | 結果の表示 |
---|---|---|
すべて | すべて | 検定セットのすべて(最大100)のサンプル |
トマト黄化葉巻病 | すべて | 予測クラスがトマト黄化葉巻病であったすべてのサンプル |
トマト黄化葉巻病 | トマト黄化葉巻病 | 予測クラスと実測クラスの両方がトマト黄化葉巻病であったすべてのサンプル |
トマト黄化葉巻病 | ジャガイモの病気 | DataRobotでトマト黄化葉巻病が予測されたが、実測クラスはジャガイモの病気であったサンプル |
画像にカーソルを合わせると、その画像で報告された予測クラスと実測クラスが表示されます。
カラーオーバーレイ¶
DataRobotは、アクティベーションマップの2つのビュー(白黒とフルカラー)を提供します(白黒の場合、元の画像の色の一部の透明性が表示されます)。 コントラストが最もはっきりするオプションを選択します。 たとえば、白黒のデータセットの場合、(黒から透明のスケールを使用する代わりに)代替カラーオーバーレイを使用すると、アクティブ化領域がより明確になります。 カラーオーバーレイの表示を切り替えて比較します。
アクティベーションスケール¶
高から低へのアクティベーションスケールは、画像内の領域が予測に影響を与えている度合いを示します。 スケールが高い場合、その領域が予測に与える影響は高くなります。モデルでは、存在した要素(または存在すべきであっても存在しなかった要素)を使用して予測が作成されます。 例としては、葉にみられる黄色の変色、葉の下の影、または特定の形でカールする葉の縁などがあります。
スケールについては、モデルが画像の特定の領域に「反応」している度合いを反映しているということも言えます。 これは一種の予測の説明で、モデルの予測の理由を説明するものです。マップは、アルゴリズムで当該領域においてxが確認されたことを示します。その結果、xに類似する視覚情報に対するフィルターの感度が上がりました。
異常検知¶
インサイトタブの異常検知タイルをクリックすると、各行の異常スコアが表示され、予期された動作にそぐわない異常なパターンを識別するのに役立ちます。 異常検知インサイトでは、これらの結果をスコアでソートしたサマリーテーブルを表示します。
画面には、最も高い異常スコアを含むトレーニングデータセットの上位100行までがリストされ、最大1000列および列あたり200文字が表示されます。 左上の異常スコア列のヘッダーをクリックすると、スコアが低いものから高いものへとソートされます。 エクスポートボタンを使用して、異常スコアの全リストをダウンロードできます。
異常スコアのインサイトと時系列異常の可視化も参照してください。
カテゴリークラウド¶
インサイトタブのカテゴリークラウドタイルをクリックすると、集計されたカテゴリー型特徴量を調査できます 。 カテゴリークラウドは、ワードクラウドとして表示され、対応する特徴量に最も関連性の高いキーが表示されます。
カテゴリークラウドの可用性
カテゴリークラウドのインサイトは、モデル > インサイトタブおよびデータタブで利用できます。 インサイトページでは、プロジェクトのカテゴリーベースのモデルのワードクラウドを比較できます。 データページでは、特徴量間でクラウドをより簡単に比較できます。 多クラスターゲットを使用する場合、カテゴリークラウドは作成されないことに注意してください。
キーは、青色から赤色に変化する色スペクトルで表示されます。青色はnegative効果、赤色はpositive効果を示します。 出現頻度の高いキーはサイズの大きい文字で表示され、頻度の低いものは小さい文字で表示されます。
ストップワードをフィルタリングボックスをオンにすると、ストップワード(よく使用される用語のうち検索対象から除外できる用語)を表示から除外できます。 それらの単語が自動調整済みの集計されたカテゴリーモデルに有用でない場合は、削除することで解釈性を向上できます。
キーにマウスを合わせると、そのキーに固有の係数値が表示され、そのフルネーム(クラウドの左側に情報とともに表示)が読み取られます。 クラウドでの表示では、キーの名前は20文字に切り詰められます。それ以外の場合は100文字までに制限されています。
ホットスポット¶
インサイトタブのホットスポットタイルをクリックして、予測パフォーマンスが高いシンプルなルールを表す「ホット」スポットと「コールド」スポットを調査します。 これらのルールはデータに対する優れた予測変数で、容易に解釈してビジネスルールとして導入できます。
ホットスポットの可用性
ホットスポットインサイトは、以下がある場合にのみ使用できます。
- RuleFit分類またはRuleFit連続値のブループリントがトレーニングデータセットでトレーニングされるが、検定またはホールドアウトデータセットでまだトレーニングされていないプロジェクト
- 少なくとも1つの数値列またはカテゴリー列
- 10万行未満
要素 | 説明 | |
---|---|---|
1 | ホットスポット | DataRobotは、RuleFitモデルによって作成されたルールを使用して、ホットスポットプロットを生成します。
|
2 | ホットスポットルールのツールヒント | スポットに対応するルールを表示します。 スポットの上にカーソルを置くとルールが表示されます。 ルールは下の表にも示されています。 |
3 | フィルター | ホット/コールドをクリックし、ホットとコールドのチェックボックスを選択または選択解除して、ホットスポットのみ、またはコールドスポットのみを表示できます。 |
4 | エクスポート | ホットスポットテーブルをCSVとしてエクスポートできます。 |
5 | ルール | RuleFitモデルによって作成されたルールを一覧表示します。 各ルールは1つのスポットに対応します。 ヘッダーをクリックすると、ルールがアルファベット順でソートされます。 |
6 | ホット/コールドバー | ホットスポットの場合は赤、コールドスポットの場合は青で表示されます。 バーの大きさは、効果の強さを表します(negative効果の場合は赤、positive効果の場合は青)。 ヘッダーをクリックすると、ホット/コールド効果の大きさに基づいてルールがソートされます。 |
7 | ターゲットに対する平均相対(MRT) | 母集団全体の平均ターゲット値に対するルールによって定義される、サブグループの平均ターゲット値の比率。 高いMRTの値(赤いドットまたは“ホットスポット”)は、高いターゲット値のグループを示し、低いMRTの値(青いドットまたは“コールドスポット”)は、低いターゲット値のグループを示します。 ヘッダーをクリックすると、平均相対ターゲットに基づいてルールがソートされます。 |
8 | 平均ターゲット率 | ルールによって定義されるサブグループの平均ターゲット値。 ヘッダーをクリックすると、平均ターゲットに基づいてルールがソートされます。 |
9 | 観測値[%] | 検定パーティションのデータを使用して計算された、ルールを満たす観測値のパーセンテージ。 ヘッダーをクリックすると、観測値のパーセンテージに基づいてルールがソートされます。 |
ホットスポットルールの例
全体的な平均で除算されたサブグループの平均の例:データセット全体での再入院の平均レートは40%ですが、10回以上の入院経験のある患者の再入院の平均レートは80%なのでMRTは2.00です。 これは、10回以上の入院経験のある患者の再入院の確率が2倍になるということを意味するものではなく、**このルールは、Positiveインスタンスをキャプチャする場合、全体的なサンプル平均を使用してランダムな推定を行う場合に比べて2倍優れていることを示します。
カテゴリー特徴量のルールも存在します。 これにはx <= 0.5
またはx > 0.5
が含まれ、それぞれ特定のカテゴリーのx=0
または'No'、あるいはx=1
またはYes
を表します。
たとえば、病院の入院患者に関するデータセットを考えてみます。 カテゴリー特徴量Medical Specialty
は、患者を担当する医師の専門分野(Medical Specialty)を識別します(心臓、外科など)。 この特徴量は、MEDICAL_SPECIALTY-Surgery-General <= 0.5
というルールに含まれます。 このルールは、担当医師の専門分野が「一般外科」(Surgery General)ではないすべての行をキャプチャします。
画像埋め込み¶
インサイトタブの画像埋め込みタイルをクリックすると、(複数の画像間での類似性を維持する技法を使用して)2次元平面に投影された形で、検定セットから抽出された最大100枚の画像が表示されます。 この可視化は次のような場合に役立ちます:何が類似しているとフィーチャライザーが判断しているかを確認する場合。人間の直感と一致するかを確認する場合。フィーチャライザーに明らかに何かが欠損していないか確認する場合。
Visual Artificial Intelligence (AI)モデルのインサイトに関するセクションで、画像の埋め込みインサイトの完全な説明を参照してください。
テキストベースのインサイト¶
テキスト特徴量には、強い反応を示す単語が含まれていることがよくあります。 特徴量のキーワードの関連性を評価するために、DataRobotは次のテキストベースのインサイトを提供します。
テキストベースのインサイトの可用性
これらのテキストインサイトのいずれかが表示されることを予期していたのに表示されない場合には、ログタブでエラーメッセージを表示して、モデルがない理由を確認してください。
テキストモデルが構築されない最も一般的な理由は、DataRobotでモデルを構築する際に単一文字の「ワード」が削除されるからです。 この処理は、そのようなワードが一般的に情報を提供するものではないからです(英語の「a」や「I」など)。 この削除による副作用は、1桁の数字も削除されることです。 したがって、「1」、「2」、「a」、「I」などが削除されます。 これはテキストマイニングにおける一般的な手法です(Sklearn Tfidf Vectorizerの「2つ以上の英数文字のトークンを選択」する手法など)。
これは、(一部の組織でデータを匿名化するために行っているように)エンコードしたワードを数値として使用する場合に問題となります。 たとえば、「john jacob schmidt」の代わりに「1 2 3」を使用した場合、および「john jingleheimer schmidt」の代わりに「1 4 3」を使用した場合、1桁の数字が削除され、テキストは「」と「」になります。 DataRobotで(1桁の数値であるために)テキスト型の特徴量のワードがまったく検出できない場合、エラーになります。
このエラーの回避策として、2つの方法があります。
- 番号の振り当てを10から開始する(「11 12 13」や「11 14 13」など)
- 各IDに1文字を追加する(「x1 x2 x3」や「x1 x4 x3」など)。
テキストマイニング¶
テキストマイニングチャートでは、テキストと認識されたすべての特徴量に含まれる最も関連度の高い語句が表示されます。 positive効果のあるテキストストリングは赤色で表示され、negative効果のあるテキストは青色です。
要素 | 説明 | |
---|---|---|
1 | ソート条件 | 影響度(特徴量の係数)またはアルファベット順(特徴量の名前)に値を並べ替えます。 |
2 | クラスを選択 | 多クラスプロジェクトの場合、クラスを選択ドロップダウンを使用して、テキストマイニングのインサイトを表示する特定のクラスを選択します。 |
最も有用性の高い語句がテキストマイニングチャートに表示され、係数の値で順位付けされます(語句がターゲットに対してどの程度高い相関性にあるのかを示します)。 このランキングにより、これらの語句の存在の強さを比較することができます。 並べて比較することにより、レスポンスのさまざまな影響とともに、個々の単語の使い方をさまざまな(時には反直感的な)形で確認できます。
ワードクラウド¶
ワードクラウドインサイトでは、最も影響力のある語句がワードクラウド形式で最大200個表示されます。
要素 | 説明 | |
---|---|---|
1 | 選択した単語 | 選択した単語の詳細を表示します。 (ここでの単語という用語は、単語のシーケンスである可能性のあるn-gramに相当します。) 単語の上にマウスを置いて選択します。 ワードクラウドでは出現頻度の高い単語は大きい文字で表示され、頻度の低い単語は小さい文字で表示されます。 |
2 | 係数 | 単語に固有の係数値を表示します。 |
3 | カラースペクトル | 青から赤までのカラースペクトルと単語の値の凡例を表示します。青はnegative効果を示し、赤はpositive効果を示します。 |
4 | #行に出現 | 単語が表示される行数を指定します。 |
5 | ストップワードをフィルタリング | ストップワード(よく使用される用語のうち検索対象から除外できる用語)を表示から除外できます。 |
6 | エクスポート | ワードクラウドをエクスポートできます。 |
7 | ズームコントロール | キャンバスに表示される画像を拡大または縮小します。 または、画像をダブルクリックします。 表示領域を移動してフォーカスするには、クリックしてドラッグします。 |
8 | クラスを選択 | 多クラスプロジェクトの場合、ワードクラウドを使用して調査するクラスを選択します。 |
ワードクラウドの可用性
インサイトページまたはリーダーボードからワードクラウドにアクセスできます。 モデルの各バージョンの動作は同じです。リーダーボードタブを使用してワードクラウドを表示し、個々のモデルを調査します。インサイトページを使用して、プロジェクトの各ワードクラウドへのアクセスおよびワードクラウドの比較を行います。 さらに、ワードクラウドはマルチモーダルなデータセット(画像、テキスト、カテゴリーなどが混在するデータセット)でも使用でき、データに含まれるすべてのテキストについて、ワードクラウドが表示されます。
ワードクラウドの視覚化は、次のモデルタイプおよびブループリントでサポートされています。
-
二値分類
- ElasticNet分類子(線形ファミリーモデル)のすべてのバリアント(TinyBERT ElasticNet分類子とFastText ElasticNet分類子を除く)
- ElasticNet予測でのLightGBM
- 残差に収まるテキスト
- マルチモーダルデータセットの拡張サポート(単一の自動調整されたNグラムを使用)
-
多クラス:
- TinyBERTSGD分類器とFastTextSGD分類器を除く、少なくとも1つのテキスト列を持つ確率的勾配降下法
-
連続値:
- Ridge Regressor
- ElasticNet Regressor
- Lasso Regressor
- 単一の自動調整されたマルチモーダル
- ElasticNet予測でのLightGBM
- 残差に収まるテキスト
備考
あるモデルのワードクラウドは、データセット全体ではなく、そのモデルのトレーニングに使用されたデータに基づいています。 たとえば、32%のサンプルサイズでトレーニングされたモデルは、同じ32%の行を反映したワードクラウドになります。
DataRobotでの単一文字のワードの処理方法の詳細については、テキストベースのインサイトを参照してください。
特徴量の有用性(木型アルゴリズム)¶
特徴量の有用性(木型アルゴリズム)インサイトは、特定のモデルを構成する主要なすべての変数を相対的有用性の順に並べて表示します。
この表示は、プロジェクト内のモデルのすべての重要度チャートを蓄積し、これらのチャートをモデル間で比較しやすくします。 ソート条件を変更すると、ランク付けされた有用性またはアルファベット順で特徴量がリストされます(2)。
特徴量の有用性(木型アルゴリズム)
このチャートは、ツリー/フォレストモデルのみで利用可能です(Gradient Boosted Trees Classifierやランダムフォレストなど)。
このチャートは、モデルを構成する主要なすべての特徴量の相対的有用性を表示します。 各特徴量の有用性は、ターゲットの予測において最も有用性の高い特徴量を基準に計算されます。 最も有用性の高い特徴量の相対的有用性が100%に設定され、その他すべての特徴量はそれに対するパーセントで表されます。
チャートを解釈する際は以下を考慮してください。
-
相対的有用性は、ある特定の特徴量の予測に対する有用性が他の特徴量と比べて大幅に高い時に非常に役に立ちます。 この大幅に有用性の高い変数の値がレスポンスに依存していないかどうかは常に確認してください。 依存している場合は、モデルのトレーニングからこの特徴量を除外することを検討してください。 係数チャートがないモデルもあるため、モデルに対する特徴量のインパクトを可視化するには有用性グラフが唯一の方法となります。
-
ある特徴量が、DataRobotが構築した多くのモデルの中の1つのモデルにしか含まれてない場合は、あまり有用ではない可能性があります。 特徴量セットからそれを除外することで、モデル構築や将来予測を最適化できます。
-
同じモデルの特徴量セットを変えて特徴量の有用性がどのように変化するかを比較するのは有益です。 簡易データセットで有用性が高いと認識された特徴量が、完全データセットで認識される特徴量と実質的に異なる場合があります。
各特徴量の効果¶
特徴量の有用性(木型アルゴリズム)は、異なる特徴量とモデルの関連度を表示し、各特徴量の効果チャートは、予測結果に各変数が与える影響を表示します。
このチャートを使用し、異なる定数スプラインモデルに対する特徴量の影響を比較します。 特徴量の有用性の相対的な順位がモデル間で大幅に変異しないかどうか確認することは有益です。 1つのモデルで有用性が非常に高いと認識され、positive効果がある特徴量が、他のモデルでnegative効果が見られる場合、データセットとモデルの両方を再度確認する価値があります。
特徴量の効果では、次の操作を行うことができます。
- 各特徴量の効果をクリックして、特徴量の相対的ランクを表示します。
- ソート条件ドロップダウンを使用して、影響度(特徴量の係数)またはアルファベット順(特徴量の名前)に値を並べ替えます。
特徴量の効果の可用性
各特徴量の効果は、前処理中に定数スプラインを使用したフルオートパイロットモデル構築でのみ使用できます。 その他のモデルタイプの予測出力における各特徴量の影響を表示するには、係数タブを使用します。