Skip to content

アプリケーション内で をクリックすると、お使いのDataRobotバージョンに関する全プラットフォームドキュメントにアクセスできます。

リーダーボードを管理

モデリングを開始すると、モデルのリーダーボードの構築が開始されます。これは、クイックモデル評価に役立つパフォーマンスでランク付けされたモデルのリストです。 リーダーボードには、エクスペリメントで構築された各モデルについてのスコアリング情報を含む情報のサマリーが表示されます。 リーダーボードから、モデルをクリックして視覚化にアクセスして、さらに詳しく調べることができます。 これらのツールを使用すると、次のエクスペリメントで何をする必要があるかを評価するのに役立ちます。

DataRobotは、リーダーボードを構築する際にモデルを入力し、最初は最大50のモデルを表示します。 追加のモデルをロードをクリックすると、クリックするたびに50のモデルが読み込まれます。

64%のサンプルサイズフェーズでワークベンチが クイックモードを完了した後、最も精度の高いモデルが選択され、データの100%でトレーニングされます。 そのモデルには、デプロイの準備済みバッジが付けられます。

リーダーボードと探索モードを操作するには、以下のセクションで説明するいくつかのコントロールを使用できます。

エクスペリメント情報

本機能の提供について

データおよび特徴量セットタブは、プレビューオプションで、デフォルトではオンになっています。

機能フラグ:

  • ワークベンチでデータタブと特徴量セットタブを有効にする
  • ワークベンチのプレビューで特徴量セットを有効にする
  • Enable Workbench Feature List Creation

エクスペリメント情報を表示をクリックして、次のタブにアクセスします。

タブ 説明
セットアップ エクスペリメントに関する情報のサマリーを表示します。
元のデータ 選択した特徴量セットの内容でフィルター可能な、モデルトレーニングのために出力されたデータを表示します。
派生したモデリングデータ 特徴量派生処理が適用された後、モデルのトレーニングに使用されたデータを表示します。このデータは、該当する特徴量セットの内容でフィルターできます。
特徴量セット 特徴量セットを表示および作成するためのツールを提供します。すべてのセットは、派生したモデリングデータのみで構成されます。
ブループリントリポジトリ トレーニングのため、その他のブループリントを利用できます。

「セットアップ」タブ

設定タブは、このリーダーボードでモデルを構築するために使用されるパラメーターを説明します。

フィールド レポート...
作成 エクスペリメントの作成、およびモデル実行を開始したユーザーを示すタイムスタンプ。
データセット モデリングデータセットの名前、特徴量の数、および行数。 これは、 データプレビューページから得られる情報と同じです。
ターゲット 予測の基準として選択された特徴量、結果のエクスペリメントタイプ、エクスペリメントのモデルのスコアリング方法を定義するために使用される 最適化指標。 リーダーボードのソート基準となる 指標を変更できますが、サマリーに表示される指標は構築に使用される指標です。
パーティション 順序付け特徴量、バックテスト設定、サンプリング方法など、エクスペリメントに対して行われた日付/時刻パーティション分割の詳細。 また、 バックテストのサマリーとパーティションログも出力されます。詳細については、以下を参照してください。
時系列モデリング 順序付け、系列、除外された特徴量、事前に既知の特徴量、ウィンドウ設定、イベントカレンダー情報を含む時系列モデリング設定の詳細。
追加設定 追加設定タブから行われた詳細設定。

パーティショニングの詳細

パーティションセクションのバックテストサマリーと派生ログにより、モデリングの準備としてDataRobotがデータをどのように処理したかに関するインサイトが得られます。

  • バックテストを表示をクリックすることにより、モデルの構築に使用された観測値およびテストパーティションの視覚的なサマリーが表示されます。 このウィンドウからパーティションを変更することはできませんが、モデル概要から モデルを再トレーニングするように変更を加えることができます。

  • パーティションログを表示をクリックして、DataRobotでバックテストがどのように作成されたか、ウィンドウ設定に基づいてデータが割り当てられたか、およびその他の設定条件が適用されたレコードを表示(およびオプションでエクスポート)します。

元のデータタブ

元のデータタブは、エクスペリメント設定で使用されるデータの サマリー分析を実行します。 探索的データインサイトを表示するには、データセットのプレビューリンクをクリックします。

デフォルトでは、特徴量派生より前のデータセット内にあるすべての特徴量が表示されます。 特徴量セットでフィルターを有効にしてセットを選択することで、単一の特徴量セットに固有の特徴量の分析を表示できます。

リストを表示する場合、列名の横にある矢印または詳細情報 をクリックすると、ソート順を変更できます。

派生モデリングデータタブ

派生したモデリングデータタブは、 特徴量派生プロセスの実行後に入力されます。 基本的なデータ分析に加えて、元のデータタブで使用できない情報が表示されます。 元のデータセクションで説明された、特徴量セットでフィルタートグルを使用して、表示を更新します。 必要に応じて、選択したセットに値が更新されます。

要素 説明
1 ウィンドウ設定のサマリー モデルトレーニングで使用される FDWとFWを要約します。
2 基本カウント 選択したセットの特徴量と行の数をレポートします。
3 もっと見る 時系列固有のエクスペリメント設定をさらに表示します。
4 派生ログをプレビュー 特徴量の派生および削減プロセスを記録するログの最初の100行を表示します。これには、完全なログをダウンロードするオプションがあります。
5 有用性 特徴量がターゲットと相関している度合いを示します。

特徴量セットタブ

データの特性に基づいて時間認識特徴量が自動的に構築されます。 複数の周期性は、特徴量を構築するときにいくつかの可能性をもたらす結果になることがあり、一部のケースでは差分によってターゲットを変換しないことをお勧めします。 最適な精度を生み出すオプションはデータに依存することがあります。

データに対して時系列特徴量を作成すると、モデルの構築に使用される複数の 特徴量セットが自動的に作成されます。 そして、エクスペリメントの構築が始まると、DataRobotは、複数の特徴量セットを使用してブループリントを自動的に実行し、モデルタイプに最も適したセットを選択します。

特徴量セットタブをクリックして、エクスペリメントに関連するすべての特徴量セットを表示します。 DataRobotの自動作成された時系列特徴量セットと、モデルトレーニング前に作成された カスタム特徴量セットの両方が表示されます。

以下のアクションは、作成者列の右側にあるその他のオプション から特徴量セットに対して使用できます。

アクション 説明
特徴量を表示 特徴量セットのインサイトを表示します。 選択すると、選択したセットにフィルターが設定されたデータタブが開きます。
名前と説明の編集 (カスタムリストのみ)リスト名を変更し、説明を変更または追加するダイアログが開きます。
ダウンロード そのセットに含まれる特徴量をCSVファイルとしてダウンロードします。
モデリングを再実行 モデリングを再実行モーダルを開き、新しい特徴量セットの選択とオートパイロットの再開ができるようにします。
削除 (カスタムリストのみ)選択したリストがエクスペリメントから完全に削除されます。

カスタム特徴量セットは、以下で説明するように、 データエクスプローラーからのモデリング前、または派生したモデリングデータタブや特徴量セットタブからの モデリング後に作成できます。

特徴量セットを作成

カスタム特徴量セットを作成するには、特徴量を個別に選択するか、または 一括アクションを使用します。 特徴量名列の左側にあるチェックボックスを使用して、選択を追加またはクリアします。

備考

You must include the ordering feature when creating feature lists for time series model training. The ordering feature is not required if the list is not used directly for training, such as monotonic constraint lists.

特徴量を個別に選択するには:

  1. 派生したモデリングデータまたは特徴量セットタブから、+ 特徴量セットを作成を選択します。

  2. 特徴量の表示元:ドロップダウンを使用して、選択可能な表示済み特徴量を変更します。 デフォルトでは、時系列で抽出された特徴量セットから特徴量をリスト表示します。 すべての自動生成されたカスタムリストは、ドロップダウンから使用できます。

  3. 含めたい各特徴量の横にあるボックスを選択します。

  4. オプションで検索フィールドを使用して、特徴量の表示元:の選択範囲で検索文字列に一致する特徴量のみを表示するように更新します。

  5. リストを保存します

Bulk feature list actions

一度に複数の特徴量を追加するには、一括選択ドロップダウンから方法を選択します。

特徴量の型で選択を使用して、選択した特徴量の型のデータセットのすべての特徴量を含むリストを作成します。 選択できる特徴量の型は1つだけですが、選択後に他の特徴量(任意の型)を個別に追加できます。

既存の特徴量セットで選択を使用して、選択したセット内のすべての特徴量を追加します。

一括アクションは、特徴量の表示元:ドロップダウンの補助的なものであることに注意してください。 たとえば、カスタム"Top6"リストから特徴量を表示すると、カスタムリストに追加された6つの特徴量が表示されます。 次に、既存の特徴量セットで選択 > 時系列で有用な特徴量を使用すると、「時系列で有用な特徴量」にも含まれる"Top6"内のすべての特徴量が選択されます。 逆に、有用な特徴量を表示し、"Top6"特徴量セットで選択する場合、この6つの特徴量が選択されます。

最も重要なN個を選択を使用し、特徴量の表示元:ドロップダウンで選択したリストで使用可能な特徴量から、指定された数の「最も有用性の高い」特徴量を追加します。 有用性スコアは、その特徴量だけを使用してターゲットを予測する場合、特徴量が予測能力の指標を表すターゲットと相関する度合いを示します。

特徴量セットの保存

リストのすべての特徴量を選択した後、オプションでリスト名を変更し、特徴量セットのサマリーに説明を入力します。 The summary also provides the count and type of features included in the list.

次に、特徴量セットを作成をクリックして情報を保存します。 新しいセットは、 特徴量セットタブのリストに表示されます。

ブループリントリポジトリタブ

ブループリント リポジトリは、選択したエクスペリメントで使用できるモデリングブループリントのライブラリです。 ブループリントは、モデル自体ではなく、モデルの構築に使用されるタスクを示します。 リポジトリにリスト済みのモデルブループリントは、まだ構築されているとは限りませんが、エクスペリメントのデータおよび設定と互換性のあるタイプである可能性があります。

ブループリントリポジトリにアクセスするには、以下の2つの方法があります。

モデルを絞り込む

フィルターを使用すると、関連するモデルの表示とフォーカスが容易になります。 モデルを絞り込むをクリックして、リーダーボードのワークベンチに表示されるモデルの条件を設定します。 The choices available for each filter are dependent on the experiment and/or model type and will potentially change as models are added to the experiment. 例:

フィルター 表示するモデル
ラベルが設定されたモデル リストされたタグが付与されたモデル( スター付きモデルまたは デプロイ推奨モデル
特徴量セット 選択した特徴量セットで構築されたモデル
トレーニング期間 選択したトレーニング期間で、特定の期間または 開始日/終了日のいずれかでトレーニングされました。
モデルファミリー 選択した モデルファミリーに属するモデル。

モデルの並べ替え条件

デフォルトでは、リーダーボードは、選択した 最適化指標を使用して、検定パーティションのスコアに基づいてモデルをソートします。 ただし、モデルを評価するときに表示パラメーターの基準を制御できます。

ワークベンチでは、データに最適な指標を使用してエクスペリメントが構築されましたが、各モデルに適用可能な多くの指標が計算されています。 構築が完了した後、別の指標に基づいてリーダーボードのリストを再表示できます。 モデル内の値は変更されませんが、この代替指標でのモデルのパフォーマンスに基づいてモデルの一覧の表示順序が変更されます。

それぞれの詳細については、 最適化指標のページを参照してください。

コントロール

ワークベンチは、シンプルで迅速なコントロールを提供します。

アイコン アクション
別の特徴量セットでクイックモードを再実行します。 すでに実行されている特徴量セットを選択した場合、ワークベンチでは削除されたモデルが置換されるか、または何も変更されません。
エクスペリメントを複製します。データセットのみを再利用、またはデータセットと設定を再利用するオプションがあります。
エクスペリメントとそのモデルを削除します。 エクスペリメントがアプリケーションで使用されている場合、削除することはできません。
リーダーボードパネルをスライドさせて閉じると、インサイトの表示などのためのスペースを確保できます。

エクスペリメントを管理

モデルを構築した後の任意の時点で、ユースケース内から個々のエクスペリメントを管理できます。 Click the more options icon to the right of the experiment name to delete it. エクスペリメントを共有するには、ユースケースの メンバーを管理ツールを使用して、エクスペリメントおよびその他の関連アセットを共有します。

次のアクション

モデルを選択した後、エクスペリメント内から以下の操作を行うことができます。


更新しました May 16, 2024