モデルを比較¶

タイル	説明

Use Model comparison to compare up to three models of the same target type—for example, all binary or all regression—from any number of experiments within a single Use Case. (Models must be of the same type because accuracy metrics between different types are not directly comparable.) The tile provides both a [model comparison display]{0} and [model lineage]{1} information. Use [filtering]{0} to quickly select models for comparison.

重要な追加情報については、関連する注意事項を参照してください。

モデル比較表示¶

最初のモデルを選択すると入力が開始されるモデル比較ページには、選択した最大3つのモデルが並べて表示されます。 Once selected, models will remain on this page until removed, even if Leaderboard filtering is changed. 後続のフィルターで選択されたモデルが除外されると、DataRobotは「モデルは適用されたフィルターに一致しません」という警告を表示します。

以下のセクションでは、モデル比較ページで使用できるアクションについて説明します。

モデルの選択¶

比較の設定には、3つの基本的なコントロールがあります。

モデルのアクション¶

選択したモデルに対して以下のいずれかのアクションを実行するモデル名の横にあるアクションメニュー を使用します。

モデルのインサイト¶

比較ビューには、モデルでサポートされている最大3つのインサイトが表示されます。 リーダーボードリストのチェックボックスを使用して、比較するモデルを選択します。 すべてのインサイトがすべてのモデルで使用できるわけではなく、一部のインサイトを表示する前に追加の計算が必要になることに注意してください。

ROC曲線¶

分類エクスペリメントの場合、 ROC曲線タブは、単一のプロット内の3つのエクスペリメントのそれぞれのFalse Positive率に対してTrue Positive率をプロットします。 The accompanying table, a confusion matrix, helps evaluate accuracy by comparing actual versus predicted values.

他には、以下の方法もあります。

• 別のデータパーティションを選択します。 そのパーティション（所定のモデル）のスコアリングが計算されていない場合、行列でスコアリンクを使用して計算を開始できます。
• 絶対数とパーセンテージの間の混同行列の表示を変更するには、指標の表示単位を調整します。
• 指標の計算に使用する表示しきい値を調整します。 すべての変更はROCプロットと混同行列にのみ影響し、モデルの予測しきい値は変更されません。

リフトチャート¶

モデルの有効性を視覚化するために、 リフトチャートは、モデルがターゲット母集団をどの程度適切にセグメント化しているか、およびターゲット特徴量の値のさまざまな範囲に対して、モデルのパフォーマンスがどの程度良好かを示します。

• 任意のポイントにカーソルを合わせると、そのビンの行の予測値スコアと実測値スコアが表示されます。
• 表示条件を変更するにはコントロールを使用します

リフトチャートには、最大3つのモデルのリフトチャートが並べて表示されます。 （オプション）データパーティション、ビニングの数、およびビニングのソート順を選択します。

特徴量のインパクト¶

特徴量のインパクト モデルの決定を最も強力に推進している特徴量の高レベルの視覚化を提供します。 これはすべてのモデルタイプで使用可能で、オンデマンドの特徴量です。つまり、デプロイ用に準備されたモデルを除くすべてのモデルで、結果を表示するには計算を開始する必要があります。

• 特徴量の名前やバーにカーソルを合わせると、追加情報が表示されます。
• ソート条件を使用して、インパクトまたは特徴量名でソートするように表示を変更します。 When using the comparison tool, DataRobot calculates impact for any uncalculated models when opening the insight.

精度指標¶

精度指標には、各モデルの計算されたパーティションごとの精度スコアの表が表示されます。 適用された指標は、表示の上にあるドロップダウンから変更できます。

To work with the comparison Leaderboard you can optionally [filtering]{0} the display and then [compare models]{1}.

フィルターの設定¶

フィルターをクリックして、ワークベンチで比較リーダーボードに表示されるモデルの条件を設定します。

比較リーダーボードには、フィルター基準を満たすすべてのモデルがターゲットタイプ（二値分類、連続値）ごとに一覧表示されます。 Note that the standard sorting logic applies.

すべてのエクスペリメントのどのモデルが比較リーダーボードに追加されるかを決定する方法は3通りあります。

• エクスペリメントの詳細でフィルター
• 精度でフィルター
• スター付きモデルでフィルター

比較フィルターは、別のページに移動したときに保存されます。 これにより、このページに戻って比較を再開できます。 If the displayed models do not appear in the current Leaderboard model list, DataRobot displays the message "Model does not match applied filters." Use the Remove from comparison option in the model's model actions options to remove it from the comparison.

エクスペリメントの詳細でフィルター¶

オンに切り替えると、エクスペリメントの詳細でフィルターは、選択したデータセットまたはターゲットでトレーニングされたエクスペリメントのモデルのみを表示するようにリーダーボードを制限します。 このフィルターは、追加のフィルターが適用された 後 に適用されます。 1つまたは複数の特定のデータセットを使用するモデルのみを比較する場合などに、このフィルターを使用します。

精度でフィルター¶

精度でフィルターを有効にすると、エクスペリメントごとに最も精度の高いモデルがリーダーボードに追加されます。 このカテゴリー内で追加のフィルターを選択して、DataRobotが最も精度の高いモデルを選択する方法を制約します。 精度ランキングは、設定された最適化指標（二値分類モデルのLogLoss、連続値モデルのRMSEなど）に基づいています。

追加の条件を以下に示します。

モデルファミリーの選択¶

比較リーダーボードは、「ファミリー」に基づいてモデルを返すことができます。以下は、オートパイロット中に実行されるファミリーのリストで、すべてのメンバーモデルの例を挙げていますが、すべてではありません。

リポジトリを介して構築された以下のモデルのファミリーは、フィルターとして使用できます。

• Adaptive Boosting
• Decision Tree
• Eureqa
• K Nearest Neighbors
• Naive
• ナイーブベイズ
• Support Vector Machine
• Two Stage

スター付きモデルでフィルター¶

スター付きでフィルターを有効にすると、 エクスペリメントの詳細でフィルターによってエクスペリメントのセットが低減されていない限り、エクスペリメントのすべての スター付きモデルが追加されます。 This filter does not impact any selections from Filter by accuracy.

リーダーボードの結果¶

フィルターを適用すると、リーダーボードに再表示され、複数のエクスペリメントを含む各ターゲットタイプの上位20件の結果が表示されます。 20を超えるモデルがフィルター基準を満たしている場合、追加ロードリンクが使用可能になり、最大20のモデルが追加でロードされます（必要に応じて、追加のモデルをロードするオプションがあります）。

この例では次のようになります。

• Filtering resulted in selecting the top two most accurate models from each of the eight experiments in the Use Case (1).
• The 10K diabetes data was trained as a binary classification and a regression experiment (2).
• The display shows the applied partition and metric for the grouping. いずれかの値を変更すると、そのターゲットタイプのモデルの表示が更新されます。
• The experiment, dataset, and target names (4).

モデル名の左側にあるチェックボックスを使用して、比較表示用にそのモデルを選択します。 最大3つのモデルを比較できますが、同じターゲットタイプ（すべてが二値またはすべてが連続値）である必要があります。

モデル系統¶

系統セクションには、比較対象として選択されたモデルのメタデータが表示されます。 オプションにより、モデルトレーニング入力の詳細が取得できます。

データセット¶

「データ」タブには、さまざまなデータ関連情報が表示されます。

エクスペリメント¶

エクスペリメントタブには、 エクスペリメントの設定タブに表示される情報と同様に、エクスペリメントの設定に関連するさまざまな情報が表示されます。

モデルのブループリント¶

The Model blueprints tab illustrates each model's preprocessing steps (tasks), modeling algorithms, and post-processing steps. See the [blueprint]{0} documentation for complete information. Note that you cannot edit blueprints from this tab.

モデル情報¶

モデル情報タブには、さまざまな一般的なモデルおよびパフォーマンス情報が表示されます。

機能に関する注意事項¶

モデル比較ツールの機能を使用する際は、以下の点に注意してください。

• 時間認識プロジェクトはサポートされていません。

• モデルフィルター設定に基づいて、エクスペリメントごとに最大10個のモデルが返されます。

• "N/A"スコアまたは計算されていないスコア（計算されていないCVスコアなど）を持つモデルは、モデルリストの下部でソートされます。

• 各ターゲットタイプセクションには、100モデルまでの制限があります。

• 異なるエクスペリメントの同じモデルタイプでスコアがまったく同じ場合、最も最近に作成したエクスペリメントのモデルがソート順の最初に表示されます。