モデル リーダーボード¶
| タイル | 説明 |
|---|---|
 |
Opens a list of all built models and overview information for each, with access to the model's available insights. |
Once you start modeling, Workbench begins to construct a performance-ranked model Leaderboard to help with quick model evaluation. リーダーボードには、エクスペリメントで構築された各モデルについてのスコアリング情報を含む情報のサマリーが表示されます。 リーダーボードから、モデルをクリックして視覚化にアクセスして、さらに詳しく調べることができます。 これらのツールを使用すると、次のエクスペリメントで何をする必要があるかを評価するのに役立ちます。
DataRobotは、リーダーボードを構築する際にモデルを入力し、最初は最大50のモデルを表示します。 追加のモデルをロードをクリックすると、クリックするたびに50のモデルが読み込まれます。
クイックモードを実行した場合、ワークベンチでサンプルサイズフェーズが64%完了すると、最も精度の高いモデルが選択され、100%のデータでトレーニングされます。 That model is marked with the Prepared for Deployment badge.
デプロイの準備済みモデルがリーダーボードの先頭に表示されないのはなぜですか？
ワークベンチでデプロイするモデルが準備されると、100%のデータでモデルがトレーニングされます。 最も精度の高いものが準備対象として選択されましたが、64%のサンプルサイズに基づいて選択されたものです。 デプロイ用の最も精度の高いモデルの準備の一環として、ワークベンチはホールドアウトのロックを解除し、準備されたモデルを元のデータとは異なるデータでトレーニングします。 リーダーボードをホールドアウトで並べ替えるように変更しない場合、左側のバーの検定スコアは、準備されたモデルが最も正確ではないかのように表示されます。
Two elements make up the Leaderboard:
- The Leaderboard itself, a [manageable listing]{0} of all built models in the experiment.
- A [model overview]{0} page that provides summary information and access to model insights.
Model list¶
By default, the Leaderboard opens in an expanded, full-width view that shows all models in the experiment with a summary of their training settings and the validation, cross-validation, and holdout scores. [Badges]{0} provide quick model identifying and scoring information while icons in front of the model name indicate model type.
Click any model to show additional scoring information and to access the [model insights]{0}. Click Close to return to the full-width view.
If a model has more badges than the Leaderboard can display, use the dropdown:
Model list display¶
The Leaderboard offers a variety of ways to filter and sort the Leaderboard model list to make viewing and focusing on relevant models easier. In addition to using the search function, you can filter, sort, and "favorite" models.
検索¶
いずれかのフィルターを検索フィルタリングと組み合わせます。 まず、モデルタイプやブループリント番号などを検索してから、フィルターを選択して、追加基準を満たすそのタイプのモデルのみを検索します。
モデルフィルター¶
フィルターを使用すると、関連するモデルの表示とフォーカスが容易になります。 フィルターをクリックして、リーダーボードのワークベンチに表示されるモデルの条件を設定します。 各フィルターで使用できる選択は、エクスペリメントおよびモデルタイプ（少なくとも1つのリーダーボードモデルで使用されたタイプ）に依存し、モデルがエクスペリメントに追加されると変更される可能性があります。 例：
| フィルター | 表示するモデル |
|---|---|
| ラベルが設定されたモデル | Have been assigned the listed tag, either starred models or models recommended for deployment. |
| 特徴量セット | 選択した特徴量セットで構築されたモデル |
| サンプルサイズ（ランダムまたは層化抽出パーティション） | 選択したサンプルサイズでトレーニングされたモデル |
| トレーニング期間（日付/時刻パーティション） | 選択した期間メカニズムによって定義されたバックテストでトレーニングされました。 |
| モデルファミリー | 選択したモデルファミリーに属するモデル：
|
| プロパティ | Were built using GPUs. |
使用可能なフィールドとそのフィールドの設定は、プロジェクトやモデルタイプによって異なります。 たとえば、日付/時刻モデル以外はサンプルサイズのフィルタリングを提供し、時間認識モデルはトレーニング期間を提供します。
備考
フィルターは包括的です。 つまり、結果にはすべてのフィルターではなく、いずれかのフィルターに一致するモデルが表示されます。 また、選択可能なオプションには、基準に一致するモデルが少なくとも1 つリーダーボードにあるものを含めます。
Model sorting¶
デフォルトでは、リーダーボードは、選択した 最適化指標を使用して、検定パーティションのスコアに基づいてモデルをソートします。 ただし、制御によるモデルの並べ替えを使用して、モデルを評価するときに表示パラメーターの基準を変更できます。
ワークベンチでは、データにとって最適な指標を使用してプロジェクトが構築されていますが、各モデルに適用される多くの指標が計算されることに注意してください。 構築が完了した後、別の指標に基づいてリーダーボードのリストを再表示できます。 モデル内の値は変更されませんが、この代替指標でのパフォーマンスに基づいてモデルの一覧の表示順序が変更されます。
それぞれの詳細については、 最適化指標のページを参照してください。
Filter by favorites¶
リーダーボードに表示される1つまたは複数のモデルにタグ（星）を付けて、アプリケーションをナビゲートするときにモデルを容易に参照できます。 click to star and then use Filter to show only starred models
モデル概要¶
When you select a model from the Leaderboard listing, it opens to the Model Overview where you can:
- See specific details about metric scores and settings.
- 新しい特徴量セットまたはサンプルサイズでモデルを再トレーニングする。 Note that you cannot change the feature list on the model prepared for deployment as it is "frozen".
- モデルのインサイトにアクセスする。
モデル構築の失敗¶
モデルの構築に失敗した場合、オートパイロットの実行中にジョブキューにその旨が表示されます。 完了すると、そのモデルはリーダーボードに表示されますが、失敗したことが示されます。 モデルをクリックすると、失敗の原因となった問題のログが表示されます。
リーダーボードからそのモデルを削除するには、失敗したモデルを削除ボタンを使用します。
Experiment tools¶
In addition to the model access available from the Leaderboard, you can also:
- Use Rerun modeling to [rerun Autopilot]{0} with a different feature list, a different modeling mode, or additional automation settings.
- エクスペリメントを複製
エクスペリメントを複製¶
Use the link at the top of the Leaderboard to duplicate the current experiment. This creates a new experiment and can be a faster method to work with your data than re-uploading it.
When you click to duplicate a modal opens with an option to provide a new experiment name. Then, select whether to copy only the dataset or to copy the dataset and experiment settings. If you select to include settings, DataRobot clones the target as well as any [advanced settings]{0} and custom feature lists associated with the original project.
When complete, DataRobot opens to the new experiment setup page where you can begin the model building process.