リーダーボードを管理¶

モデリングを開始すると、モデルのリーダーボードの構築が開始されます。これは、クイックモデル評価に役立つパフォーマンスでランク付けされたモデルのリストです。 リーダーボードには、エクスペリメントで構築された各モデルについてのスコアリング情報を含む情報のサマリーが表示されます。 リーダーボードから、モデルをクリックして視覚化にアクセスして、さらに詳しく調べることができます。 これらのツールを使用すると、次のエクスペリメントで何をする必要があるかを評価するのに役立ちます。

DataRobotは、リーダーボードを構築する際にモデルを入力し、最初は最大50のモデルを表示します。 追加のモデルをロードをクリックすると、クリックするたびに50のモデルが読み込まれます。

64%のサンプルサイズフェーズでワークベンチが クイックモードを完了した後、最も精度の高いモデルが選択され、データの100%でトレーニングされます。 そのモデルには、デプロイの準備済みバッジが付けられます。

このページでは、モデルやエクスペリメントで入手可能なサマリー情報と、リーダーボードでモデルリストの操作に利用できるコントロールについて説明します。

• モデル情報の表示
• エクスペリメント情報の表示
• モデルを絞り込む
• モデルの並べ替え
• クイックコントロール
• ユースケースディレクトリからのエクスペリメントの管理

モデル情報¶

モデルが完成したらすぐに、リーダーボードのリストからそれを選択してモデル概要を開き、以下の操作を実行できます。

• トレーニングスコアと設定に関する特定の詳細を確認する。
• 新しい特徴量セットまたはサンプルサイズでモデルを再トレーニングする。 デプロイの準備済みモデルの特徴量セットは、 「フローズン」実行であるため変更できません。
• モデルのインサイトにアクセスする。

モデル構築の失敗¶

モデルの構築に失敗した場合、オートパイロットの実行中にジョブキューにその旨が表示されます。 完了すると、そのモデルはリーダーボードに表示されますが、失敗したことが示されます。 モデルをクリックすると、失敗の原因となった問題のログが表示されます。

リーダーボードからそのモデルを削除するには、失敗したモデルを削除ボタンを使用します。

エクスペリメント情報を表示¶

エクスペリメント情報を表示をクリックして、次のタブにアクセスします。

「セットアップ」タブ¶

設定タブは、このリーダーボードでモデルを構築するために使用されるパラメーターを説明します。

パーティショニングの詳細¶

パーティションセクションのバックテストサマリーと派生ログにより、モデリングの準備としてDataRobotがデータをどのように処理したかに関するインサイトが得られます。

• バックテストを表示をクリックすることにより、モデルの構築に使用された観測値およびテストパーティションの視覚的なサマリーが表示されます。 このウィンドウからパーティションを変更することはできませんが、モデル概要から モデルを再トレーニングするように変更を加えることができます。

  

• パーティションログを表示をクリックして、DataRobotでバックテストがどのように作成されたか、ウィンドウ設定に基づいてデータが割り当てられたか、およびその他の設定条件が適用されたレコードを表示（およびオプションでエクスポート）します。

  

元のデータタブ¶

元のデータタブは、エクスペリメント設定で使用されるデータの サマリー分析を実行します。 探索的データインサイトを表示するには、データセットのプレビューリンクをクリックします。

デフォルトでは、特徴量派生より前のデータセット内にあるすべての特徴量が表示されます。 特徴量セットでフィルターを有効にしてセットを選択することで、単一の特徴量セットに固有の特徴量の分析を表示できます。

リストを表示する場合、列名の横にある矢印または詳細情報 をクリックすると、ソート順を変更できます。

派生モデリングデータタブ¶

派生したモデリングデータタブは、 特徴量派生プロセスの実行後に入力されます。 基本的なデータ分析に加えて、元のデータタブで使用できない情報が表示されます。 元のデータセクションで説明された、特徴量セットでフィルタートグルを使用して、表示を更新します。 必要に応じて、選択したセットに値が更新されます。

特徴量セットタブ¶

データの特性に基づいて時間認識特徴量が自動的に構築されます。 複数の周期性は、特徴量を構築するときにいくつかの可能性をもたらす結果になることがあり、一部のケースでは差分によってターゲットを変換しないことをお勧めします。 最適な精度を生み出すオプションはデータに依存することがあります。

データに対して時系列特徴量を作成すると、モデルの構築に使用される複数の 特徴量セットが自動的に作成されます。 そして、エクスペリメントの構築が始まると、DataRobotは、複数の特徴量セットを使用してブループリントを自動的に実行し、モデルタイプに最も適したセットを選択します。

特徴量セットタブをクリックして、エクスペリメントに関連するすべての特徴量セットを表示します。 DataRobotの自動作成された時系列特徴量セットと、モデルトレーニング前に作成された カスタム特徴量セットの両方が表示されます。

作成者列の右側にあるアクションメニュー から、以下のアクションを特徴量セットに対して実行できます。

カスタム特徴量セットは、以下で説明するように、 データエクスプローラーからのモデリング前、または派生したモデリングデータタブや特徴量セットタブからの モデリング後に作成できます。 See the custom feature list reference for information on creating new lists.

ブループリントリポジトリタブ¶

ブループリント リポジトリは、選択したエクスペリメントで使用できるモデリングブループリントのライブラリです。 ブループリントは、モデル自体ではなく、モデルの構築に使用されるタスクを示します。 リポジトリにリスト済みのモデルブループリントは、まだ構築されているとは限りませんが、エクスペリメントのデータおよび設定と互換性のあるタイプである可能性があります。

ブループリントリポジトリにアクセスするには、以下の2つの方法があります。

• リーダーボードモデルの ブループリントタブから

  

• エクスペリメント情報を表示リンクをクリックして、ブループリントリポジトリタブを選択します。

  

モデルを絞り込む¶

フィルターを使用すると、関連するモデルの表示とフォーカスが容易になります。 モデルを絞り込むをクリックして、リーダーボードのワークベンチに表示されるモデルの条件を設定します。 各フィルターで使用できる選択はエクスペリメントやモデルタイプに依存し、モデルがエクスペリメントに追加されると、変更される可能性があります。 例：

モデルの並べ替え条件¶

デフォルトでは、リーダーボードは、選択した 最適化指標を使用して、検定パーティションのスコアに基づいてモデルをソートします。 ただし、モデルを評価するときに表示パラメーターの基準を制御できます。

ワークベンチでは、データに最適な指標を使用してエクスペリメントが構築されましたが、各モデルに適用可能な多くの指標が計算されています。 構築が完了した後、別の指標に基づいてリーダーボードのリストを再表示できます。 モデル内の値は変更されませんが、この代替指標でのモデルのパフォーマンスに基づいてモデルの一覧の表示順序が変更されます。

それぞれの詳細については、 最適化指標のページを参照してください。

コントロール¶

ワークベンチは、シンプルで迅速なコントロールを提供します。

アイコン	アクション
	別の特徴量セットでクイックモードを再実行します。 すでに実行されている特徴量セットを選択した場合、ワークベンチでは削除されたモデルが置換されるか、または何も変更されません。
	エクスペリメントを複製します。データセットのみを再利用、またはデータセットと設定を再利用するオプションがあります。
	エクスペリメントとそのモデルを削除します。 エクスペリメントがアプリケーションで使用されている場合、削除することはできません。
	リーダーボードパネルをスライドさせて閉じると、インサイトの表示などのためのスペースを確保できます。

エクスペリメントを管理¶

モデルを構築した後の任意の時点で、ユースケース内から個々のエクスペリメントを管理できます。 エクスペリメントを削除するには、エクスペリメント名の右側にあるアクションメニュー をクリックします。 エクスペリメントを共有するには、ユースケースの メンバーを管理ツールを使用して、エクスペリメントおよびその他の関連アセットを共有します。

次のアクション¶

モデルを選択した後、エクスペリメント内から以下の操作を行うことができます。

• エクスペリメントのインサイトを表示します。
• エクスペリメントにモデルを追加する。