Skip to content

アプリケーション内で をクリックすると、お使いのDataRobotバージョンに関する全プラットフォームドキュメントにアクセスできます。

リーダーボードを管理

モデリングを開始すると、モデルのリーダーボードの構築が開始されます。これは、クイックモデル評価に役立つパフォーマンスでランク付けされたモデルのリストです。 リーダーボードには、エクスペリメントで構築された各モデルについてのスコアリング情報を含む情報のサマリーが表示されます。 リーダーボードから、モデルをクリックして視覚化にアクセスして、さらに詳しく調べることができます。 これらのツールを使用すると、次のエクスペリメントで何をする必要があるかを評価するのに役立ちます。

DataRobotは、リーダーボードを構築する際にモデルを入力し、最初は最大50のモデルを表示します。 追加のモデルをロードをクリックすると、クリックするたびに50のモデルが読み込まれます。

64%のサンプルサイズフェーズでワークベンチが クイックモードを完了した後、最も精度の高いモデルが選択され、データの100%でトレーニングされます。 そのモデルには、デプロイの準備済みバッジが付けられます。

ただし、すべてのモデルは比較と調査に使用できます。 このページでは以下の内容について説明します。

結果を確認した後、任意のモデルをクリックして、使用可能なリーダーボードの2つの「フレーバー」にアクセスします。詳細については、次のページを参照してください。

タブ 説明
エクスペリメント 単一エクスペリメントのモデルを理解して評価するためのインサイトを提供します。
比較 このタブページでは、単一のユースケース内の任意の数のエクスペリメントから、同じタイプ(二値、連続値など)のモデルを最大3つ比較できます。 比較ツールは、タブまたはパンくずのエクスペリメント名のドロップダウンからアクセスできます。

エクスペリメント情報

本機能の提供について

データおよび特徴量セットタブは、プレビューオプションで、デフォルトではオンになっています。

機能フラグ:

  • ワークベンチでデータタブと特徴量セットタブを有効にする
  • ワークベンチのプレビューで特徴量セットを有効にする
  • Enable Workbench Feature List Creation

エクスペリメント情報を表示をクリックしてエクスペリメント情報パネルを開き、以下のタブにアクセスできます。

タブ 説明
セットアップ エクスペリメントのセットアップと設定に関するサマリー情報を表示します。
データ 選択した特徴量セットの内容でフィルター可能な、モデルトレーニングのために出力されたデータを表示します。
特徴量セット 特徴量セットを表示および作成するためのツールを提供します。
ブループリントリポジトリ トレーニングのため、その他のブループリントを利用できます。

「セットアップ」タブ

設定タブは、このリーダーボードでモデルを構築するために使用されるパラメーターを説明します。

フィールド レポート...
作成 エクスペリメントの作成、およびモデル実行を開始したユーザーを示すタイムスタンプ。
データセット モデリングデータセットの名前、特徴量の数、および行数。 これは、 データプレビューページから得られる情報と同じです。
ターゲット 予測の基準として選択された特徴量、結果のプロジェクトタイプ、およびエクスペリメントのモデルのスコアリング方法を定義するために使用される 最適化指標。 リーダーボードのソート基準となる 指標を変更できますが、サマリーに表示される指標は構築に使用される指標です。
パーティション Partitioning details for the experiment, either the default or modified.
追加設定 追加設定タブから行われた詳細設定。

データタブ

The Data tab provides a variety of information about the data that was used to build models, including:

デフォルトでは、データセット内にあるすべての特徴量が表示されます。 特徴量セットでフィルターに切り替えてセットを選択することで、単一の特徴量セットに固有の特徴量の分析のみを表示できます。

ソート順を変更するには、列名の横にある矢印またはその他のオプション をクリックします。

有用性

The green bars displayed in the Importance column are a measure of how much a feature, by itself, is correlated with the target variable. Hover on the bar to see the exact value.

What is importance?

有用性バーは、特徴量がターゲットと相関している度合いを示します。 これらのバーは、「交替条件付き期待値」(ACE)スコアに基づいています。 ACEスコアは、ターゲットとの非線形関係性を検出できますが、単変量であるため、特徴量間の交互作用効果を検出できません。 有用性は、変数の情報内容を測定するアルゴリズムを使用して計算されます。計算はそれぞれの特徴量ごとに行われます。 有用性スコアは、2つのコンポーネント(ValueおよびNormalized Value)が含まれます。

  • Value:これにより、その特徴量だけを使用してモデルを構築する場合に期待される指標スコアが(概ね)分かります。 多クラスの場合、Valueは各クラスの二値有用性上位モデルからの加重平均として計算されます。 二値分類および連続値の場合、選択したプロジェクト指標を使用して検定セットで評価された有用性上位モデルからの予測です。
  • Normalized Value:正規化されたValue。1までのスコア(スコアが高いほど良い)。 0は、精度がトレーニングターゲットの平均を予測することと同じであることを意味します。 スコアが0未満の場合は、ACEモデルの予測がターゲットの平均モデルよりも劣っていること(過剰適合)を意味します。

これらのスコアは、その特徴量だけを使用してターゲットを予測するシンプルなモデルの予測能力の指標を示します。 (スコアはエクスポージャーによって調整されますが、これはエクスポージャーパラメーターを使用している場合のみ行われます。) スコアは、プロジェクトの精度指標を使用して測定されます。

特徴量は、最も有用性の高いものから低い順にランク付けされています。 各特徴量の横にある緑色のバーの長さは、その相対的な有用性を示しています。—バーの全長と比較したバーの緑色の量は、潜在的な特徴量の最大の有用性を示しています(Normalized Valueに比例しています)。—バーの緑色が強いほど、その特徴量がより高い有用性であることを示しています。 緑色のバーの上にマウスを置くと両方のスコアが表示されます。 これらの数値は、その特徴量だけを使用するモデルのプロジェクト指標(プロジェクトが実行されたときに選択された指標)に関するスコアを表しています。 リーダーボードで指標を変更してもツールチップに表示されるスコアには影響しません。

特徴量セットタブ

特徴量セットは、DataRobotでモデルの構築と予測に使用する特徴量のサブセットを制御します。 ターゲットリーケージの原因となる特徴量を除外したり、または重要でない特徴量を削除して予測を高速化したりできます。

When you select the Feature lists tab, the display shows both DataRobot's automatically created lists and any custom feature lists ("Top4" in this example).


以下のアクションは、作成者列の右側にあるその他のオプション から特徴量セットに対して利用できます。

アクション 説明
特徴量を表示 特徴量セットのインサイトを探索します。 選択すると、選択したセットにフィルターが設定されたデータタブが開きます。
名前と説明の編集 (カスタムリストのみ)リスト名を変更し、説明を変更または追加するダイアログが開きます。
ダウンロード そのセットに含まれる特徴量をCSVファイルとしてダウンロードします。
モデリングを再実行 モデリングを再実行モーダルが開き、新しい特徴量セットの選択、GPUワーカーによるトレーニング、オートパイロットの再起動が可能になります。
削除 (カスタムリストのみ)選択したリストがエクスペリメントから完全に削除されます。

カスタム特徴量セットは、以下で説明するように、 データエクスプローラーからのモデリング前、またはデータタブや特徴量セットタブからの モデリング後に作成できます。

特徴量セットを作成

カスタム特徴量セットを作成するには、特徴量を個別に選択するか、または 一括アクションを使用します。 特徴量名列の左側にあるチェックボックスを使用して、選択を追加またはクリアします。

特徴量を個別に選択するには:

  1. データタブまたは特徴量セットタブから、+ 特徴量セットを作成を選択します。

  2. 特徴量の表示元:ドロップダウンを使用して、選択可能な表示済み特徴量を変更します。 デフォルトでは、元の特徴量セットから特徴量をリスト表示します。 すべての自動生成されたカスタムリストは、ドロップダウンから使用できます。

  3. 含めたい各特徴量の横にあるボックスを選択します。

  4. オプションで検索フィールドを使用して、特徴量の表示元:の選択範囲で検索文字列に一致する特徴量のみを表示するように更新します。

  5. リストを保存します

Bulk feature list actions

一度に複数の特徴量を追加するには、一括選択ドロップダウンから方法を選択します。

特徴量の型で選択を使用して、選択した特徴量の型のデータセットのすべての特徴量を含むリストを作成します。 選択できる特徴量の型は1つだけですが、選択後に他の特徴量(任意の型)を個別に追加できます。

既存の特徴量セットで選択を使用して、選択したセット内のすべての特徴量を追加します。

一括アクションは、特徴量の表示元:ドロップダウンの補助的なものであることに注意してください。 たとえば、"Top5"リストから特徴量を表示すると、カスタムリストに追加された5つの特徴量が表示されます。 次に、既存の特徴量セットで選択 > 有用な特徴量を使用すると、「有用な特徴量」にも含まれる"Top5"内のすべての特徴量が選択されます。 逆に、有用な特徴量を表示し、"Top5"特徴量セットで選択する場合、この5つの特徴量が選択されます。

最も重要なN個を選択を使用し、特徴量の表示元:ドロップダウンで選択したリストで使用可能な特徴量から、指定された数の「最も有用性の高い」特徴量を追加します。 有用性スコアは、その特徴量だけを使用してターゲットを予測する場合、特徴量が予測能力の指標を表すターゲットと相関する度合いを示します。

特徴量セットの保存

リストのすべての特徴量を選択した後、オプションでリスト名を変更し、特徴量セットのサマリーに説明を入力します。 サマリーには、リストに含まれる特徴量の数とタイプも表示されます。

次に、特徴量セットを作成をクリックして情報を保存します。 新しいセットは、 特徴量セットタブのリストに表示されます。

ブループリントリポジトリタブ

ブループリント リポジトリは、選択したエクスペリメントで使用できるモデリングブループリントのライブラリです。 ブループリントは、モデル自体ではなく、モデルの構築に使用されるタスクを示します。 リポジトリにリスト済みのモデルブループリントは、まだ構築されているとは限りませんが、エクスペリメントのデータおよび設定と互換性のあるタイプである可能性があります。

ブループリントリポジトリにアクセスするには、以下の2つの方法があります。

モデルを絞り込む

フィルターを使用すると、関連するモデルの表示とフォーカスが容易になります。 モデルを絞り込むをクリックして、リーダーボードのワークベンチに表示されるモデルの条件を設定します。 各フィルターで使用できる選択は、エクスペリメントおよびモデルタイプ(少なくとも1つのリーダーボードモデルで使用されたタイプ)に依存し、モデルがエクスペリメントに追加されると変更される可能性があります。 例:

フィルター 表示するモデル
ラベルが設定されたモデル リストされたタグが付与されたモデル( スター付きモデルまたは デプロイ推奨モデル
特徴量セット 選択した特徴量セットで構築されたモデル
サンプルサイズ(ランダムまたは層化抽出パーティション) 選択したサンプルサイズでトレーニングされたモデル
トレーニング期間(日付/時刻パーティション) 選択した期間メカニズムによって定義されたバックテストでトレーニングされました。
モデルファミリー 選択したモデルファミリーに属するモデル:
  • GBM(Gradient Boosting Machine)。Light Gradient Boosting on ElasticNet Predictions、eXtreme Gradient Boosted Trees Classifierなど
  • GLMNET(Lasso and ElasticNet Regularized Generalized Linear Models)。ElasticNet Classifier、Generalized Additive2など
  • RI(Rule Induction)。RuleFit Classifierなど
  • RF(Random Forest)。RandomForest ClassifierやRegressorなど
  • NN(Neural Network)。Kerasなど
プロパティ GPUを使用して構築されました。

モデルの並べ替え条件

デフォルトでは、リーダーボードは、選択した 最適化指標を使用して、検定パーティションのスコアに基づいてモデルをソートします。 ただし、制御によるモデルの並べ替えを使用して、モデルを評価するときに表示パラメーターの基準を変更できます。

ワークベンチでは、データにとって最適な指標を使用してプロジェクトが構築されていますが、各モデルに適用される多くの指標が計算されることに注意してください。 構築が完了した後、別の指標に基づいてリーダーボードのリストを再表示できます。 モデル内の値は変更されませんが、この代替指標でのパフォーマンスに基づいてモデルの一覧の表示順序が変更されます。

それぞれの詳細については、 最適化指標のページを参照してください。

コントロール

ワークベンチは、シンプルで迅速なコントロールを提供します。

アイコン アクション
別の特徴量セット、別のモデリングモード、または追加の自動化設定(GPUのサポートなど)を適用してオートパイロットを再実行します。 すでに実行された特徴量セットを選択した場合、ワークベンチでは削除されたモデルが置換されることになるか、または何も変更されません。
エクスペリメントを複製します。データセットのみを再利用、またはデータセットと設定を再利用するオプションがあります。
エクスペリメントとそのモデルを削除します。 エクスペリメントがアプリケーションで使用されている場合、削除することはできません。
リーダーボードパネルをスライドさせて閉じると、インサイトの表示などのためのスペースを確保できます。

エクスペリメントを管理

モデルを構築した後の任意の時点で、ユースケース内から個々のエクスペリメントを管理できます。 エクスペリメントを削除するには、エクスペリメント名の右側にあるその他のオプション をクリックします。 エクスペリメントを共有するには、ユースケースの メンバーを管理ツールを使用して、エクスペリメントおよびその他の関連アセットを共有します。

次のアクション

エクスペリメント情報を確認後、以下を実行できます。


更新しました May 16, 2024