エクスペリメントの評価（比較タブ）¶

ワークベンチでは、リーダーボードの表示オプションが2つあります。

• 比較タブ（このページ）では、単一のユースケース内の任意の数のエクスペリメントから、同じタイプのモデルを最大3つ（たとえば、すべて二値またはすべて連続値）比較できます。 （異なるタイプ間の精度指標は直接比較できないため、モデルは同じタイプである必要があります。）

• エクスペリメントタブページは、単一の非時間認識エクスペリメントのモデルを理解して評価するのに役立ちます。

リーダーボードの上部にある比較タブをクリックしてアクセスするモデル比較ツールは、ユースケース内の1つまたは複数のエクスペリメントからフィルターされたモデルのリストを取得できます。 フィルターロジックを変更し、リーダーボードのソート順を選択し、同じターゲットタイプの最大3つのモデルを選択して並べて表示できます。 このタブには、 モデルのインサイトと モデル系統の両方の比較ができます。

その他の重要情報については、関連する注意事項を参照してください。

比較コンポーネント¶

以下のセクションでは、比較リーダーボードの主要なコンポーネントについて説明します。

1. 表示のフィルター。
2. リーダーボードの結果。
3. モデルの比較。

フィルターの設定¶

比較をクリックすると、タブまたはパンくずドロップダウンから、アクティブなユースケースの各エクスペリメントで最も精度の高いモデルが最初に表示されます。 比較の設定には、3つの基本的なコントロールがあります。

モデルを絞り込むをクリックして、ワークベンチで比較リーダーボードに表示されるモデルの条件を設定します。

比較リーダーボードには、フィルター基準を満たすすべてのモデルがターゲットタイプ（二値分類、連続値）ごとに一覧表示されます。 Note that the standard sorting logic applies.

すべてのエクスペリメントのどのモデルが比較リーダーボードに追加されるかを決定する方法は3通りあります。

• エクスペリメントの詳細でフィルター
• 精度でフィルター
• スター付きモデルでフィルター

比較フィルターは、別のページに移動したときに保存されます。 これにより、このページに戻って比較を再開できます。 表示されたモデルが現在のリーダーボードモデルリストに表示されない場合、DataRobotは「モデルは適用されたフィルターに一致しません」というメッセージを表示します。モデルの モデルアクションオプションの比較から削除オプションを使用して、比較から削除します。

エクスペリメントの詳細でフィルター¶

オンに切り替えると、エクスペリメントの詳細でフィルターは、選択したデータセットまたはターゲットでトレーニングされたエクスペリメントのモデルのみを表示するようにリーダーボードを制限します。 このフィルターは、追加のフィルターが適用された 後 に適用されます。 1つまたは複数の特定のデータセットを使用するモデルのみを比較する場合などに、このフィルターを使用します。

精度でフィルター¶

精度でフィルターを有効にすると、エクスペリメントごとに最も精度の高いモデルがリーダーボードに追加されます。 このカテゴリー内で追加のフィルターを選択して、DataRobotが最も精度の高いモデルを選択する方法を制約します。 精度ランキングは、設定された最適化指標（二値分類モデルのLogLoss、連続値モデルのRMSEなど）に基づいています。

追加の条件を以下に示します。

モデルファミリーの選択¶

比較リーダーボードは、「ファミリー」に基づいてモデルを返すことができます。以下は、オートパイロット中に実行されるファミリーのリストで、すべてのメンバーモデルの例を挙げていますが、すべてではありません。

リポジトリを介して構築された以下のモデルのファミリーは、フィルターとして使用できます。

• Adaptive Boosting
• Decision Tree
• Eureqa
• K Nearest Neighbors
• Naive
• ナイーブベイズ
• Support Vector Machine
• Two Stage

スター付きモデルでフィルター¶

スター付きでフィルターを有効にすると、 エクスペリメントの詳細でフィルターによってエクスペリメントのセットが低減されていない限り、エクスペリメントのすべての スター付きモデルが追加されます。 このフィルターは、 精度でフィルターからの選択には影響しません。

リーダーボードの結果¶

フィルターを適用すると、リーダーボードに再表示され、複数のエクスペリメントを含む各ターゲットタイプの上位20件の結果が表示されます。 20を超えるモデルがフィルター基準を満たしている場合、追加ロードリンクが使用可能になり、最大20のモデルが追加でロードされます（必要に応じて、追加のモデルをロードするオプションがあります）。

以下の例では、フィルターにはユースケースの各エクスペリメントで最も精度の高い3つのモデルが含まれていました。 ユースケースには、1) 二値分類と2) 連続値のエクスペリメントとしてトレーニングされた1万件の糖尿病データが含まれます。

リーダーボードは、リスト内の二値モデルと連続値モデルを分離し、グループ化に適用されたパーティションと指標、および各モデルのソースエクスペリメントを表示します。 いずれかの値を変更すると、そのターゲットタイプのモデルの表示が更新されます。

モデル名の左側にあるチェックボックスを使用して、比較表示用にそのモデルを選択します。 最大3つのモデルを比較できますが、同じターゲットタイプ（すべてが二値またはすべてが連続値）である必要があります。

モデル比較表示¶

最初のモデルを選択すると入力が開始される比較ページには、選択した最大3つのモデルが並べて表示されます。 選択すると、リーダーボードのフィルターが変更されても、削除されるまでモデルはこのページに残ります。 後続のフィルターで選択されたモデルが除外されると、DataRobotは「モデルは適用されたフィルターに一致しません」という警告を表示します。

以下のセクションでは、比較ページで使用できるアクションについて説明します。

モデルアクション¶

モデル名の横にある3つの点を使用して、選択したモデルに対して次のいずれかのアクションを実行します。

モデルのインサイト¶

比較ビューには、モデルでサポートされている最大3つのインサイトが表示されます。 リーダーボードリストのチェックボックスを使用して、比較するモデルを選択します。 すべてのインサイトがすべてのモデルで使用できるわけではなく、一部のインサイトを表示する前に追加の計算が必要になることに注意してください。

ROC曲線¶

分類エクスペリメントの場合、 ROC曲線タブは、単一のプロット内の3つのエクスペリメントのそれぞれのFalse Positive率に対してTrue Positive率をプロットします。 付随する表、 混同行列は、実測値と予測値を比較することによって精度を評価します。

他には、以下の方法もあります。

• 別のデータパーティションを選択します。 そのパーティション（所定のモデル）のスコアリングが計算されていない場合、行列でスコアリンクを使用して計算を開始できます。
• 絶対数とパーセンテージの間の混同行列の表示を変更するには、指標の表示単位を調整します。
• 指標の計算に使用する表示しきい値を調整します。 すべての変更はROCプロットと混同行列にのみ影響し、モデルの予測しきい値は変更されません。

リフトチャート¶

モデルの有効性を視覚化するために、 リフトチャートは、モデルがターゲット母集団をどの程度適切にセグメント化しているか、およびターゲット特徴量の値のさまざまな範囲に対して、モデルのパフォーマンスがどの程度良好かを示します。

• 任意のポイントにカーソルを合わせると、そのビンの行の予測値スコアと実測値スコアが表示されます。
• 表示条件を変更するにはコントロールを使用します

リフトチャートには、最大3つのモデルのリフトチャートが並べて表示されます。 （オプション）データパーティション、ビニングの数、およびビニングのソート順を選択します。

特徴量のインパクト¶

特徴量のインパクト モデルの決定を最も強力に推進している特徴量の高レベルの視覚化を提供します。 これはすべてのモデルタイプで使用可能で、オンデマンドの特徴量です。つまり、デプロイ用に準備されたモデルを除くすべてのモデルで、結果を表示するには計算を開始する必要があります。

• 特徴量の名前やバーにカーソルを合わせると、追加情報が表示されます。
• ソート条件を使用して、インパクトまたは特徴量名でソートするように表示を変更します。 When using the comparison tool, DataRobot calculates impact for any uncalculated models when opening the insight.

精度指標¶

精度指標には、各モデルの計算されたパーティションごとの精度スコアの表が表示されます。 適用された指標は、表示の上にあるドロップダウンから変更できます。

モデル系統¶

系統セクションには、比較対象として選択されたモデルのメタデータが表示されます。 オプションにより、モデルトレーニング入力の詳細が取得できます。

系統内のデータセット¶

「データ」タブには、さまざまなデータ関連情報が表示されます。

系統でのエクスペリメント¶

エクスペリメントタブには、 設定タブに表示される情報と同様に、エクスペリメントの設定に関連するさまざまな情報が表示されます。

系統内のモデル情報¶

モデル情報タブには、さまざまな一般的なモデルおよびパフォーマンス情報が表示されます。

機能に関する注意事項¶

モデル比較ツールの機能を使用する際は、以下の点に注意してください。

• 時間認識プロジェクトはサポートされていません。

• モデルフィルター設定に基づいて、エクスペリメントごとに最大10個のモデルが返されます。

• "N/A"スコアまたは計算されていないスコア（計算されていないCVスコアなど）を持つモデルは、モデルリストの下部でソートされます。

• 各ターゲットタイプセクションには、100モデルまでの制限があります。

• 異なるエクスペリメントの同じモデルタイプでスコアがまったく同じ場合、最も最近に作成したエクスペリメントのモデルがソート順の最初に表示されます。