リーダーボードを管理¶

モデリングを開始すると、モデルのリーダーボードの構築が開始されます。これは、クイックモデル評価に役立つパフォーマンスでランク付けされたモデルのリストです。 リーダーボードには、エクスペリメントで構築された各モデルについてのスコアリング情報を含む情報のサマリーが表示されます。 リーダーボードから、モデルをクリックして視覚化にアクセスして、さらに詳しく調べることができます。 これらのツールを使用すると、次のエクスペリメントで何をする必要があるかを評価するのに役立ちます。

DataRobot populates the Leaderboard as it builds, initially displaying up to 50 models. Click Load more models to load 50 more models with each click.

64%のサンプルサイズフェーズでワークベンチが クイックモードを完了した後、最も精度の高いモデルが選択され、データの100%でトレーニングされます。 そのモデルは、 デプロイの準備バッジが付けられます。

リーダーボードと探索モードを操作するには、以下のセクションで説明するいくつかのコントロールを使用できます。

• Viewing experiment information
• Filtering models
• Sorting models
• Shorthand controls
• Managing experiments from the Use Case directory

エクスペリメント情報¶

- ワークベンチでデータタブと特徴量セットタブを有効にする
- ワークベンチのプレビューで特徴量セットを有効にする
- Enable Workbench Feature List Creation

エクスペリメント情報を表示をクリックして、次のタブにアクセスします。

「セットアップ」タブ¶

The Setup tab reports the parameters used to build the models on the Leaderboard.

パーティショニングの詳細¶

パーティションセクションのバックテストサマリーと派生ログにより、モデリングの準備としてDataRobotがデータをどのように処理したかに関するインサイトが得られます。

• バックテストを表示をクリックすることにより、モデルの構築に使用された観測値およびテストパーティションの視覚的なサマリーが表示されます。 このウィンドウからパーティションを変更することはできませんが、モデル概要から モデルを再トレーニングするように変更を加えることができます。

  

• パーティションログを表示をクリックして、DataRobotでバックテストがどのように作成されたか、ウィンドウ設定に基づいてデータが割り当てられたか、およびその他の設定条件が適用されたレコードを表示（およびオプションでエクスポート）します。

  

元のデータタブ¶

元のデータタブは、エクスペリメント設定で使用されるデータの サマリー分析を実行します。 探索的データインサイトを表示するには、データセットのプレビューリンクをクリックします。

デフォルトでは、特徴量派生より前のデータセット内にあるすべての特徴量が表示されます。 特徴量セットでフィルターを有効にしてセットを選択することで、単一の特徴量セットに固有の特徴量の分析を表示できます。

When viewing the list, you can click on the arrow or more info next to a column name to change the sort order.

派生モデリングデータタブ¶

派生したモデリングデータタブは、 特徴量派生プロセスの実行後に入力されます。 基本的なデータ分析に加えて、元のデータタブで使用できない情報が表示されます。 元のデータセクションで説明された、特徴量セットでフィルタートグルを使用して、表示を更新します。 必要に応じて、選択したセットに値が更新されます。

特徴量セットタブ¶

データの特性に基づいて時間認識特徴量が自動的に構築されます。 複数の周期性は、特徴量を構築するときにいくつかの可能性をもたらす結果になることがあり、一部のケースでは差分によってターゲットを変換しないことをお勧めします。 最適な精度を生み出すオプションはデータに依存することがあります。

After constructing time series features for the data, DataRobot automatically creates multiple lists of features that are used to build models. Then, when experiment building begins, DataRobot automatically runs blueprints using several feature lists, selecting the list that best suits the model type.

特徴量セットタブをクリックして、エクスペリメントに関連するすべての特徴量セットを表示します。 The display shows both DataRobot's automatically created time series feature lists and any custom feature lists that were created prior to model training.

The following actions are available for feature lists from more options to the right of the Created by column:

Custom feature lists can be created prior to modeling from the data explorer or after modeling from the Derived modeling data or Feature lists tabs, as described below.

Blueprint repository tab¶

ブループリント リポジトリは、選択したエクスペリメントで使用できるモデリングブループリントのライブラリです。 ブループリントは、モデル自体ではなく、モデルの構築に使用されるタスクを示します。 リポジトリにリスト済みのモデルブループリントは、まだ構築されているとは限りませんが、エクスペリメントのデータおよび設定と互換性のあるタイプである可能性があります。

ブループリントリポジトリにアクセスするには、以下の2つの方法があります。

• リーダーボードモデルの ブループリントタブから

  

• Click the View experiment info link and select the Blueprint repository tab.

  

モデルを絞り込む¶

フィルターを使用すると、関連するモデルの表示とフォーカスが容易になります。 モデルを絞り込むをクリックして、リーダーボードのワークベンチに表示されるモデルの条件を設定します。 各フィルターで使用できる選択は、エクスペリメントおよびモデルタイプ（少なくとも1つのリーダーボードモデルで使用されたタイプ）に依存し、モデルがエクスペリメントに追加されると変更される可能性があります。 例：

モデルの並べ替え条件¶

デフォルトでは、リーダーボードは、選択した 最適化指標を使用して、検定パーティションのスコアに基づいてモデルをソートします。 ただし、モデルを評価するときに表示パラメーターの基準を制御できます。

ワークベンチでは、データに最適な指標を使用してエクスペリメントが構築されましたが、各モデルに適用可能な多くの指標が計算されています。 構築が完了した後、別の指標に基づいてリーダーボードのリストを再表示できます。 モデル内の値は変更されませんが、この代替指標でのモデルのパフォーマンスに基づいてモデルの一覧の表示順序が変更されます。

それぞれの詳細については、 最適化指標のページを参照してください。

コントロール¶

ワークベンチは、シンプルで迅速なコントロールを提供します。

アイコン	アクション
	別の特徴量セットでクイックモードを再実行します。 すでに実行されている特徴量セットを選択した場合、ワークベンチでは削除されたモデルが置換されるか、または何も変更されません。
	エクスペリメントを複製します。データセットのみを再利用、またはデータセットと設定を再利用するオプションがあります。
	エクスペリメントとそのモデルを削除します。 エクスペリメントがアプリケーションで使用されている場合、削除することはできません。
	リーダーボードパネルをスライドさせて閉じると、インサイトの表示などのためのスペースを確保できます。

特徴量セットを作成¶

To create a custom feature list, select features individually or use bulk actions. Use the checkbox to the left of the Feature name column to add or clear selections.

To select features individually:

1. From the Derived modeling data or Feature lists tab, select + Create feature list.

   

2. Use the Show features from dropdown to change the displayed features that are available for selection. The default display list features from the Time Series Extracted Features list. All automatically generated and custom lists are available from the dropdown.

   

3. Select the box next to each feature you want to include.

   

4. Optionally, use the search field to update the display to show only those features, within the Show features from selection, that match the search string.

5. Save the list.

Bulk actions¶

To add multiple features at a time, choose a method from the Bulk selection dropdown:

Save feature list¶

Once all features for the list are selected, optionally rename the list and provide a description in the Feature list summary. The summary also provides count and type of features included in the list.

Then, click Create feature list to save the information. The new list will display in the listing on the Feature lists tab.

エクスペリメントを管理¶

モデルを構築した後の任意の時点で、ユースケース内から個々のエクスペリメントを管理できます。 Click on more options to the right of the experiment name to delete it. エクスペリメントを共有するには、ユースケースの メンバーを管理ツールを使用して、エクスペリメントおよびその他の関連アセットを共有します。

次のアクション¶

モデルを選択した後、エクスペリメント内から以下の操作を行うことができます。

• View experiment insights.
• エクスペリメントにモデルを追加する。