モデル比較¶
複数のモデルを比較すると、最高のビジネスリターンを提供するモデルを識別できます。 また、アンサンブルモデルの候補を選択するのにも役立ちます。たとえば、精度を向上させるために、予測が異なる2つのモデルを組み合わせたり、よりよい結果を得るために、2つの比較的強力なモデルを使用することもできます。
備考
ニーズに最適なモデルを選択したら、モデルメニューから直接デプロイできます。
モデル比較の可用性¶
モデル比較タブは、次を除くすべてのプロジェクトタイプで使用できます。
- 多クラス(拡張多クラス、無制限多クラスを含む)
- 多ラベル
- 教師なしクラスタリング
- 時間認識プロジェクトの教師なし異常検知
- セグメント化されたモデリングの親プロジェクト
モデル比較がサポートされていない場合、タブは表示されません。
モデルを比較¶
少なくとも2つのモデルが構築されたプロジェクトでモデルを比較するには、次のいずれかの操作を行います。
-
モデル比較タブを選択します。
-
リーダーボードから2つのモデルを選択し、「リーダーボード」メニューの選択対象を比較オプションを使用します。
ページに移動したら、ドロップダウンからモデルを選択します。 関連するモデル統計が更新され、現在選択されているモデルに反映されます。
モデル比較ページでは、さまざまな評価ツールを使用してモデルを比較できます。 リフトチャート、ROC曲線、および収益曲線の場合、使用可能なパーティションに応じて、表示の基盤として使用するデータソースを選択できます。
ツール | 説明 |
---|---|
精度指標 | 選択したモデルのさまざまな精度指標を表示します。 |
予測時間 | DataRobotがモデルのホールドアウトをスコアリングするのに必要な時間を報告します。 |
デュアルリフトチャート | 複数のモデル予測値の間の違いに基づいて、実際の結果と比較したモデルの精度を示します。 各ペアをクリックしてモデルのデータを計算します。 |
リフトチャート | モデルがターゲットの予測においてどれだけ効果を挙げているかを表し、そのモデルの効果を視角的に捉えることが可能になります。 |
ROC曲線 | 選択したモデルに関連する分類、パフォーマンス、および統計を参照する際に役立ちます。 モデル比較では、選択したモデルのROC曲線の視覚化と選択したサマリー統計が表示されます。 また、モデリング、予測、およびデプロイに使用される予測しきい値を表示することもできます。 |
収益曲線 | 選択した2つのモデルで推定されるビジネスのインパクトを比較するのに役立ちます。 視覚化には、ペイオフ行列および付随するグラフの両方が含まれます。 また、モデリング、予測、およびデプロイに使用される予測しきい値を表示することもできます。 詳細については、タブを参照してください。 |
時系列の精度(OTV、時系列のみ)* | 各モデルの予測が時間の経過とともにどのように変化するかを視覚化されるため、モデルのパフォーマンスの比較に役立ちます。 チャートの任意のポイントにカーソルを合わせると、各モデルの予測値と実測値が表示されます。 表示のパーティションと予測距離を変更できます。 値は検定パーティションに基づいています。トレーニングデータを表示するには、最初に評価 > 時系列の精度タブからトレーニング予測を計算する必要があります。 |
時系列の異常(OTV、時系列のみ) | データのタイムライン上で異常が発生すると、そのことを視覚化します。時系列の精度チャートに似ていますが、こちらでは異常が表示されます。 チャートの任意のポイントにカーソルを合わせると、各モデルの予測異常スコアが表示されます。 表示用のパーティションと各モデルの異常しきい値を変更できます。 値は検定パーティションに基づいています。トレーニングデータを表示するには、最初に評価 > 異常検知タブからトレーニング予測を計算する必要があります。 |
時系列の精度の計算*
複数系列プロジェクトには最大100万の系列と最大1000の予測距離を含めることができるため、すべての系列データの精度チャートを計算すると、計算量が非常に多くなり、不要であることもよくあります。 これを回避するために、DataRobotでは 代わりの計算オプションを用意しています。
デュアルリフトチャート¶
デュアルリフトチャートは、2つのモデルが相互にどのように競合するか(相違および相対プラットフォームの度合い)を視覚的に捉えるための方法です。 各モデルでの個体群のセグメント化のレベルはどれ位でしょうか? リフトチャートと同様に、デュアルリフトでもプロットの基準としてビニングが使用されます。 しかし、標準のリフトチャートでは予測(高度なオプションのエクスポージャーパラメーターを設定している場合は調整済み予測)がソートされて、グループ化されますが、デュアルリフトチャートでは、以下のようにグループ化されます。
- 各モデルの予測スコア(エクスポージャーが設定されている場合は調整済み予測のスコア)の間の違いが計算されます。
- 違いに基づいて行がソートされます。
- 要求されたビンの数に基づいて結果がグループ化されます。
デュアルリフトチャートには、以下の要素がプロットされます。
チャートの要素 | 説明 |
---|---|
上位または下位モデル予測(1) | 各モデル(モデル名に応じて色分け)について、データポイントは、そのビンの行の平均予測スコアを表します。 これらの値は、リフトチャートに示される値に一致します。 |
差分測定(2) | 左と右のモデルの違いを示す網掛け表示。 |
実測値(3) | ビンの行の実際のパーセンテージまたは値。 |
頻度(4) | 各ビンの行数の測定。 頻度はビンの数が変化すると変化します。 |
デュアルリフトチャートは、アンサンブルモデリングの候補を評価するための優れたツールです。 ターゲット率(オレンジの線)で違いが大きい複数の異なるモデルを見つけると、アンサンブルを作成するモデルの優れたペアが示される場合があります。 これは、あるモデルがデータの特定の象限に強度を示すかどうかを意味します。反対側の象限に強いモデルとアンサンブルすることで、強力なアンサンブルを作成することができます。
リフトチャートの解釈¶
リフトチャートのポイントは、各ビンの平均パーセンテージ(二値分類)または平均値(連続値)のいずれかを示します。 リフトチャートを計算するために、ビニングされた予測値に基づいて実測値がソートされ、各モデルの平均実測値がチャートに表示されます。
リフトチャートは、傾向モデリング(行動を起こす可能性が最も高い顧客を特定するのに最適なモデルを見つける場合など)に特に役立ちます。 このため、リフトチャートのポイントは、モデルごとに、各ビンの平均実測値を示しています。 リフトチャートの一般的な説明については、「リーダーボード」タブの説明を参照してください。
リフトチャートの値を理解するために、以下のサンプルモデル比較を行うリフトチャートを例に説明します。
両方のモデルでは、ビン5、8、9、および11で非常に類似した予測が作成されます。この事から、分布の平均において、両方のモデルでは適切な予測が行われていると考えることができます。 しかし、左側のマジョリティークラス分類子(黄色の線)では、SVM分類子(青の線)に比べて一貫して過大な予測が行われています。 右側では、マジョリティークラス分類器が過小に予測されていることが分かります。 備考:
-
勾配が急なリフト曲線は優れたモデルを意味します。リフト曲線の「勾配が急」なので、青のモデルは黄色のモデルよりも優れています。
-
青のモデルが優れているという点を考慮すると、黄色のモデルは分布のテールの部分が特に悪いことがわかります。 青のモデルの予測が非常に低いビン1と青のモデルの予測が非常に高いビン10に注目します。
これらのモデルが意味することは、黄色のモデル(マジョリティークラス分類子)は、このデータに特に適していないということがわかります。 青のモデル(SVM分類子)の傾向は一貫していますが、黄色のモデルの傾向にはばらつきがあります。 青のモデルが好ましい選択と言えます。