Skip to content

アプリケーション内で をクリックすると、お使いのDataRobotバージョンに関する全プラットフォームドキュメントにアクセスできます。

エクスペリメントの評価(エクスペリメントタブ)

モデリングを開始すると、モデルのリーダーボードの構築が開始されます。これは、クイックモデル評価に役立つパフォーマンスでランク付けされたモデルのリストです。 リーダーボードには、エクスペリメントで構築された各モデルについてのスコアリング情報を含む情報のサマリーが表示されます。 リーダーボードから、モデルをクリックして視覚化にアクセスして、さらに詳しく調べることができます。 これらのツールを使用すると、次のエクスペリメントで何をする必要があるかを評価するのに役立ちます。

リーダーボードには2つの「フレーバー」があります。

  • このページでは、単一のエクスペリメントのモデルを理解して評価するのに役立つエクスペリメントタブについて説明します。
  • 比較タブページも参照してください。このタブページでは、単一のユースケース内の任意の数のエクスペリメントから、同じタイプ(二値、連続値など)のモデルを最大3つ比較できます。 比較ツールは、タブまたはパンくずのエクスペリメント名のドロップダウンからアクセスできます。

64%のサンプルサイズフェーズでワークベンチが クイックモードを完了した後、最も精度の高いモデルが選択され、データの100%でトレーニングされます。 そのモデルは、 デプロイの準備バッジが付けられます。

DataRobot initially displays up to 50 models. Click Load more models to load 50 more models with each click.

Click the View experiment info to view experiment information in the Model overview part of the window or click on any model to access insights.

リーダーボードを管理

リーダーボードを操作するには、次のセクションで説明するいくつかのコントロールを使用できます。

エクスペリメント情報を表示

本機能の提供について

データおよび特徴量セットタブは、プレビューオプションで、デフォルトではオンになっています。

機能フラグ:ワークベンチでデータタブと特徴量セットタブを有効にする

エクスペリメント情報を表示をクリックすると、以下のタブにアクセスできます。

  • エクスペリメントの 設定に関する情報のサマリーを表示します。
  • エクスペリメント用のモデルの構築に使用した データを表示します。
  • エクスペリメント用に構築され、モデルトレーニングに使用できる 特徴量セットを表示します。
  • ブループリントリポジトリを開きます。これにより、トレーニング用の追加のブループリントにアクセスできます。

「セットアップ」タブ

設定タブは、このリーダーボードでモデルを構築するために使用されるパラメーターを説明します。

フィールド レポート...
作成 エクスペリメントの作成、およびモデル実行を開始したユーザーを示すタイムスタンプ。
データセット モデリングデータセットの名前、特徴量の数、および行数。 これは、 データプレビューページから得られる情報と同じです。
ターゲット 予測の基準として選択された特徴量、結果のプロジェクトタイプ、およびエクスペリメントのモデルのスコアリング方法を定義するために使用される 最適化指標。 リーダーボードのソート基準となる 指標を変更できますが、サマリーに表示される指標は構築に使用される指標です。
パーティション エクスペリメントに対して行われたパーティション分割の詳細(デフォルトまたは 変更済み)。
追加設定 追加設定タブから行われた詳細設定。

データタブ

データタブは、プロジェクトで使用されるデータの サマリー分析を実行します。 探索的データインサイトを表示するには、データセットのプレビューリンクをクリックします。

デフォルトでは、データセット内にあるすべての特徴量が表示されます。 特徴量セットでフィルターに切り替えてセットを選択することで、単一の特徴量セットに固有の特徴量の分析のみを表示できます。

列名の横にある矢印または3つの点をクリックして、ソート順を変更します。

特徴量セットタブ

特徴量セットタブをクリックして、エクスペリメントに関連するすべての特徴量セットを表示します。 DataRobotの 自動作成されたセットと、モデルトレーニング前に作成された カスタム特徴量セットの両方が表示されます。


特徴量セットでは、次のアクションを使用できます。

アクション 説明
特徴量を表示 特徴量セットのインサイトを探索します。 選択すると、選択したセットにフィルターが設定されたデータタブが開きます。
名前と説明の編集 セット名を変更するダイアログが表示されます。 これらの値は、DataRobotで作成されたセットでは変更できません。
ダウンロード そのセットに含まれる特徴量をCSVファイルとしてダウンロードします。
モデリングを再実行 Opens the Rerun modeling modal to allow selecting a new feature list, training with GPU workers, and restarting Autopilot.

ブループリントリポジトリタブ

ブループリント リポジトリは、選択したエクスペリメントで使用できるモデリングブループリントのライブラリです。 ブループリントは、モデル自体ではなく、モデルの構築に使用されるタスクを示します。 リポジトリにリスト済みのモデルブループリントは、まだ構築されているとは限りませんが、エクスペリメントのデータおよび設定と互換性のあるタイプである可能性があります。

ブループリントリポジトリにアクセスするには、以下の2つの方法があります。

モデルを絞り込む

フィルターを使用すると、関連するモデルの表示とフォーカスが容易になります。 モデルを絞り込むをクリックして、リーダーボードのワークベンチに表示されるモデルの条件を設定します。 各フィルターで使用できる選択は、エクスペリメントおよびモデルタイプ(少なくとも1つのリーダーボードモデルで使用されたタイプ)に依存し、モデルがエクスペリメントに追加されると変更される可能性があります。 例:

フィルター 表示するモデル
ラベルが設定されたモデル リストされたタグが付与されたモデル( スター付きモデルまたは デプロイ推奨モデル
特徴量セット 選択した特徴量セットで構築されたモデル
サンプルサイズ(ランダムまたは層化抽出パーティション) 選択したサンプルサイズでトレーニングされたモデル
トレーニング期間(日付/時刻パーティション) 選択した期間メカニズムによって定義されたバックテストでトレーニングされました。
モデルファミリー 選択したモデルファミリーに属するモデル:
  • GBM(Gradient Boosting Machine)。Light Gradient Boosting on ElasticNet Predictions、eXtreme Gradient Boosted Trees Classifierなど
  • GLMNET(Lasso and ElasticNet Regularized Generalized Linear Models)。ElasticNet Classifier、Generalized Additive2など
  • RI(Rule Induction)。RuleFit Classifierなど
  • RF(Random Forest)。RandomForest ClassifierやRegressorなど
  • NN(Neural Network)。Kerasなど
プロパティ Were built using GPUs.

モデルの並べ替え条件

デフォルトでは、リーダーボードは、選択した 最適化指標を使用して、検定パーティションのスコアに基づいてモデルをソートします。 ただし、制御によるモデルの並べ替えを使用して、モデルを評価するときに表示パラメーターの基準を変更できます。

ワークベンチでは、データにとって最適な指標を使用してプロジェクトが構築されていますが、各モデルに適用される多くの指標が計算されることに注意してください。 構築が完了した後、別の指標に基づいてリーダーボードのリストを再表示できます。 モデル内の値は変更されませんが、この代替指標でのパフォーマンスに基づいてモデルの一覧の表示順序が変更されます。

それぞれの詳細については、 最適化指標のページを参照してください。

コントロール

ワークベンチは、シンプルで迅速なコントロールを提供します。

アイコン アクション
Reruns Autopilot with a different feature list, a different modeling mode, or additional automation settings (for example, GPU support) applied. すでに実行された特徴量セットを選択した場合、ワークベンチでは削除されたモデルが置換されることになるか、または何も変更されません。
エクスペリメントを複製します。データセットのみを再利用、またはデータセットと設定を再利用するオプションがあります。
エクスペリメントとそのモデルを削除します。 エクスペリメントがアプリケーションで使用されている場合、削除することはできません。
リーダーボードパネルをスライドさせて閉じると、インサイトの表示などのためのスペースを確保できます。

モデルのインサイト

モデルのインサイトは、モデルによる予測の根拠を解釈、説明、検定するのに役立ちます。 得られるインサイトはエクスペリメントのタイプによって異なりますが、以下の予測モデリングインサイトの表にリストされているインサイトが含まれる場合があります。 スライスされたインサイトが利用できるかどうかもモデルに依存します。

本機能の提供について

以下のインサイトは、ワークベンチではパブリックプレビュー版です。

  • デフォルトでは、スライスされたインサイトはオフになっています。 この機能を有効にする方法については、DataRobotの担当者または管理者にお問い合わせください。 機能フラグ: ワークベンチのスライス
  • 特徴量ごとの作用は、デフォルトでは オフ になっています。 この機能を有効にする方法については、DataRobotの担当者または管理者にお問い合わせください。 機能フラグ: ワークベンチのスライス
  • SHAPベースの予測の説明は、デフォルトで_オン_になっています。 機能フラグ:ワークベンチでSHAPを有効にする
  • Word Cloud is on by default. Feature flag: Word Cloud in Workbench
インサイト 説明 問題のタイプ スライスされたインサイト?
ブループリント データの前処理とパラメーター設定を表すグラフを提供します。 すべて
係数 Provides a visual indicator of the relative effects of the 30 most important variables. All; linear models only
特徴量ごとの作用 各特徴量の値の変化によってモデル予測がどのように変化するかを示します すべて
特徴量のインパクト モデルの決定を推進している特徴量を表示します。 すべて
リフトチャート モデルがターゲットの母集団をどの程度うまく分割しているか、そしてターゲットを予測することができるかを示します。 すべて
残差 モデルの予測パフォーマンスと妥当性を理解するための散布図とヒストグラムを提供します。 連続値
ROC曲線 モデルに関連した分類、パフォーマンス、および統計を調べるためのツールを提供します。 二値分類
SHAPでの予測説明 各特徴量が特定の予測にどの程度寄与するかを、平均値との差に基づいて推定します。 二値分類、連続値
ワードクラウド Visualize how text features influence model predictions. 二値分類、連続値

モデルのインサイトを表示するには、左ペインのリーダーボードでモデルをクリックします。 時間を認識したエクスペリメントでは、得られるインサイトが異なることに注意してください。

ブループリント

ブループリントは、モデル構築に必要な前処理のステップ(タスク)、モデリングアルゴリズム、後処理のステップを含むMLパイプラインです。 ブループリントタブには、各ステップを示すブループリントのグラフィック表現を表示します。 ブループリント内のタスクをクリックすると、より完全なモデルドキュメント(ブループリントのタスク内からDataRobot Model Docsをクリック)を始めとする詳細が表示されます。

さらに、 ブループリントリポジトリに、ブループリントタブからアクセスできます。

係数

サポートされているモデル(線形回帰およびロジスティック回帰)では、係数タブには、最も有用な30個の特徴量の相対的な影響が、(デフォルトでは)最終的な予測への影響が大きい順に並べ替えて表示されます。 positive効果のある特徴量は赤色で表示され、negative効果のある特徴量は青色に表示されます。 係数チャートは、モデル結果の評価に役立てるため、下記を判断します。

  • そのモデルでの予測形成にどの特徴量が選択されたのか?
  • 各特徴量の重要性はどの程度なのか?
  • どの特徴量がプラスやマイナスの影響を与えるのか?

係数タブは、限られたモデルに対してのみ利用可能であることに注意してください。なぜなら、複雑なモデルの係数を短い解析形式で導き出すことは必ずしも可能ではないからです。

インサイトから、選択したモデルで予測を生成するためにDataRobotで使われるパラメーターと係数をエクスポートできます。

特徴量ごとの作用

特徴量ごとの作用のインサイトは、各特徴量の値の変化がモデル予測に与える影響を示します。モデルは各特徴量とターゲットの関係性をどのように「理解」しているのでしょうか? これはオンデマンドの機能で、最初に視覚化を開いたときに求められる 特徴量のインパクトの計算に依存します。 インサイトは、他のすべての特徴量が変化せずに維持された状態で1つの特徴量の値の変化によってモデルの予測にどのような影響が生じるかを示す 部分依存の観点から表示されます。

特徴量のインパクト

特徴量のインパクト モデルの決定を最も強力に推進している特徴量の高レベルの視覚化を提供します。 これはすべてのモデルタイプで使用可能で、オンデマンドの特徴量です。つまり、デプロイ用に準備されたモデルを除くすべてのモデルで、結果を表示するには計算を開始する必要があります。

  • 特徴量の名前やバーにカーソルを合わせると、追加情報が表示されます。
  • ソート条件を使用して、インパクトまたは特徴量名でソートするように表示を変更します。

リフトチャート

モデルの有効性を視覚化するために、 リフトチャートは、モデルがターゲット母集団をどの程度適切にセグメント化しているか、およびターゲット特徴量の値のさまざまな範囲に対して、モデルのパフォーマンスがどの程度良好かを示します。

  • 任意のポイントにカーソルを合わせると、そのビンの行の予測値スコアと実測値スコアが表示されます。
  • 表示条件を変更するにはコントロールを使用します

残差

連続値エクスペリメントでは、 残差タブが、連続値モデルの予測パフォーマンスおよび検定の正しい理解に役立ちます。 このタブでは、使用するデータセットの実測値に相対的にモデルがどのように正比例的にスケールするかを測定できます。 これには、残差分析に役立つ複数の散布図および1つのヒストグラムが表示されます。

  • 予測値と実測値の比較
  • 残差と実測値の比較
  • 残差と予測値の比較
  • 残差ヒストグラム

ROC曲線

分類エクスペリメントでは、ROC曲線タブには、確率スケール上の任意のポイントで、選択したモデルに関する分類、パフォーマンス、および統計を探索する以下のツールが用意されています。

SHAPでの予測説明

時系列以外のプロジェクトの場合、SHAPベースの予測の説明は、予測を左右するものを行単位で説明します。 特徴量が予測に与える影響を定量的に示し、モデルがなぜそのような予測をしたのか、その理由を答えます。

SHAPの予測の説明は、各特徴量が平均とは異なる所定の予測にどの程度寄与しているかを推定します。 これらは直感的で、制限がなく(すべての機能について計算されます)、高速で、SHAPのオープンソースの性質上、透過的です。 SHAPは、モデルの動作をより深く、迅速に理解できるという利点があるだけでなく、モデルがビジネスルールに準拠しているかどうかを簡単に検証することもできます。

SHAPを使用して、モデルの決定ごとに鍵となる特徴量を理解します。 特定の顧客が購入を決断する要因(年齢、性別、購買習慣)。各要因に関する決定の度合い。

ワードクラウド

テキスト特徴量には、強い反応を示す単語が含まれていることがよくあります。 The Word Cloud insight displays up to 200 of the most impactful words and short phrases in word cloud format. Text coloration indicates the coefficient value for the word; the rendered size in the cloud indicates the frequency of the term's appearance in the data.

When viewing the Word Cloud, you can view individual word detail, filter the display, and export the insight.

備考

The model's Word Cloud is based on the data used to train that model, not on the entire dataset. For example, a model trained on a 64% sample size will result in a Word Cloud that reflects the same 64% of rows.

View word detail

Click on a term displayed in the insight to view details. 例:

詳細 説明
Word The selected word. Click again to de-select and clear the details.
係数 The correlation that the word has to the target, either positively or negatively, in the context of the specified parent feature. For example, in a diabetes dataset you might see the word insulin appear in several different text columns, potentially with a different coefficient in each one.
件数 The number of rows in which the word appears in the data, both as a raw count and a percentage.
特徴量 The feature from the data in which the word was found (the parent feature).

Filter the display

Use the filtering options to set the criteria words must match to be included in the results. Once you apply the filters, the Word Cloud refreshes to show only applicable words.

フィルター 説明
係数 Use the dropdown to set a range for the coefficient value of the words displayed. Additional entry boxes become available based on your selection (any, greater or less than, in or not in).
件数 Use the dropdown to set a value criteria for the word count. Additional entry boxes become available based on your selection (any, greater or less than).
特徴量 Use the dropdown to choose a specific parent feature. Only words that appeared in that feature column will display.
ストップワードを含める Check the box to include commonly used terms that are typically excluded from searches (“to”, “of”, "the", etc.). When unchecked, common terms are removed from the display.

Clear filters individually or clear all to return to the original display

エクスポート

You can export the full Word Cloud as a CSV, PNG, or ZIP file. Note that applied filters are not reflected in the exported files; however, the removal of stop words is applied.

テキストベースのインサイトの可用性

これらのテキストインサイトのいずれかが表示されることを予期していたのに表示されない場合には、ログタブでエラーメッセージを表示して、モデルがない理由を確認してください。

テキストモデルが構築されない最も一般的な理由は、DataRobotでモデルを構築する際に単一文字の「ワード」が削除されるからです。 この処理は、そのようなワードが一般的に情報を提供するものではないからです(英語の「a」や「I」など)。 この削除による副作用は、1桁の数字も削除されることです。 したがって、「1」、「2」、「a」、「I」などが削除されます。 これはテキストマイニングにおける一般的な手法です(Sklearn Tfidf Vectorizerの「2つ以上の英数文字のトークンを選択」する手法など)。

これは、(一部の組織でデータを匿名化するために行っているように)エンコードしたワードを数値として使用する場合に問題となります。 たとえば、「john jacob schmidt」の代わりに「1 2 3」を使用した場合、および「john jingleheimer schmidt」の代わりに「1 4 3」を使用した場合、1桁の数字が削除され、テキストは「」と「」になります。 DataRobotで(1桁の数値であるために)テキスト型の特徴量のワードがまったく検出できない場合、エラーになります。

このエラーの回避策として、2つの方法があります。

  • 番号の振り当てを10から開始する(「11 12 13」や「11 14 13」など)
  • 各IDに1文字を追加する(「x1 x2 x3」や「x1 x4 x3」など)。

コンプライアンスドキュメント

DataRobotは、モデル開発に関連する多くの重要なコンプライアンスタスクを自動化することによって、規制の厳しい業界でデプロイまでの時間を短縮できます。 各モデルに対して個々のドキュメントを生成し、効果的なモデルリスク管理に関する包括的なガイダンスを提供できます。 レポートは、編集可能なMicrosoft Wordドキュメント(.docx)としてダウンロードできます。 生成されたレポートには、規制への準拠要求に応じた適切なレベルの情報および透明性が含まれます。

モデルコンプライアンスレポートの形式と内容は規定されていませんが、十分に堅牢なモデル開発、実装、および使用ドキュメントを作成するテンプレートとして機能します。 ドキュメントは、モデルのコンポーネントが意図したとおりに機能すること、それが意図したビジネス目的に対して適切であること、およびモデルが概念的に堅牢であることを示す証拠を提供します。 このため、レポートは、連邦準備制度理事会のシステムのSR11-7:モデルリスク管理に関するガイダンス完成に役立ちます。Guidance on Model Risk Management(モデルリスク管理に関するガイダンス)への準拠に役立ちます。

コンプライアンスレポートを生成するには:

  1. リーダーボードからモデルを選択します。
  2. モデルアクションドロップダウンから、コンプライアンスレポートを生成を選択します。

  3. ワークベンチはダウンロード先の場所を求めるメッセージを表示します。選択すると、エクスペリメントを続けている間に、バックグラウンドでレポートを生成します。

エクスペリメントを管理

モデルを構築した後の任意の時点で、ユースケース内から個々のエクスペリメントを管理できます。 エクスペリメント名の右側にある3つの点をクリックして削除します。 エクスペリメントを共有するには、ユースケースの メンバーを管理ツールを使用して、エクスペリメントおよびその他の関連アセットを共有します。

次のアクション

モデルを選択した後、エクスペリメント内から以下の操作を行うことができます。


更新しました February 20, 2024
Back to top