エクスペリメントを作成¶

ワークベンチで実行可能なAIエクスペリメントの「タイプ」は2つあります。

• 予測モデリング。このページで説明しています。データに基づいて行単位の予測を行います。
• 時間認識モデリング。 こちらで説明しています。 時間に関連するデータを使用してモデルを作成し、行単位の予測、時系列予測、または現在値の予測である 「ナウキャスト」を行います。

エクスペリメントは、 ユースケース内の個々の"プロジェクト"です。 データ、ターゲット、モデリング設定を変更しながら、ビジネス問題を解決するための最適なモデルを見つけることができます。 Within each experiment, you have access to its Leaderboard and model insights, as well as experiment summary information.

その他の重要情報については、関連する FAQを参照してください。

基本を作成¶

ユースケース内から新しいエクスペリメントを作成するには、次の手順に従います。

特徴量セットを作成¶

モデリングの前に、データタブからカスタム特徴量セットを作成できます。 モデリングの設定中にそのセットを選択すると、DataRobotはそのセットの特徴量のみを使用して、モデリングデータを作成します。

新しいセットを作成するには：

1. ユースケースから、モデリングするデータセットを選択し、データプレビューを開きます。

2. ページの上部にあるドロップダウンをクリックし、+ 新しい特徴量セットを選択して特徴量ビューを開きます。

   

3. 各特徴量の横にあるカスタムセットに含めたいチェックボックスを選択します。 次に、特徴量セットを作成をクリックし、名前と説明（オプション）を入力し、変更を保存をクリックします。

   

エクスペリメントを追加¶

ユースケース内から追加をクリックし、エクスペリメントを選択します。 新しいエクスペリメントの設定ページが開き、ユースケースにロード済みのすべてのデータが一覧表示されます。

データを追加¶

新しいデータを追加 する（1）か、ユースケースに既にロードされているデータセットを選択する（2）ことにより、エクスペリメントにデータを追加します。

データがユースケースにロードされたら（上記のオプション2と同様）、エクスペリメントで使用するデータセットをクリックして選択します。 ワークベンチは、データのプレビューを開きます。

ここから、次のことができます。

ターゲットの設定¶

ターゲットの選択に進むと、ワークベンチでは、モデリング用のデータセットが準備されます（EDA 1）。

EDA1が終了したとき、ターゲットを設定するには次のどちらかを実行します。

Depending on the number of values for a given target feature, DataRobot automatically determines the experiment type—either regression or classification. Classification experiments can be either binary (binary classification) or more than two classes (multiclass). 次の表は、DataRobotが数値および非数値のターゲットデータ型にデフォルトの問題タイプを割り当てる方法を示しています。

With a target selected, Workbench displays a histogram providing information about the target feature's distribution and, in the right pane, a summary of the experiment settings.

ここでは以下の操作を行うことができます。

• Change a regression experiment to a multiclass experiment.

• Click Next to view Additional settings, where you can build models with the default settings or modify those settings.

• For multiclass classification experiments, click Show more classification settings to further configure aggregation settings.

デフォルト設定を使用する場合は、モデリングを開始をクリックして、 クイックモードのオートパイロットモデリングプロセスを開始します。

Regression targets¶

Regression experiments are those where the target is a numeric value. The regression prediction problem predicts continuous values (e.g., 1.7, 6, 9.8...) given a list of input variables (features). 連続値問題の例には、財務予測、時系列予測、メンテナンスのスケジューリング、および気象分析などがあります。

Regression experiments can also be handled as classification by changing the target type from Numeric to Classification.

To change regression problem (numeric target) to classification, change the radio button identifying the target type:

Changing the target type enables the multiclass configuration options. If there are more than 1000 numeric values (classes) for the target, the Aggregate low-frequency classes option, described bleow, is enabled by default.

Classification targets¶

In a classification experiment, the model groups observations into categories by identifying shared characteristics of certain classes. これらの特性を分類しているデータと比較し、観測値が特定のクラスに属する可能性を推定します。 分類プロジェクトは二値（2つのクラス）または多クラス（3つ以上のクラス）に分けることができます。

Configuration of a classification experiment depends on the type (number of classes), which is reported under the target feature entry as either Target type: Binary classification or Target type: Classification, in which case the number of classes is also reported:

A multiclass confusion matrix helps to visualize where a model is, perhaps, mislabeling one class as another.

基本設定のカスタマイズ¶

エクスペリメントパラメーターを変更することは、ユースケースで同じ手順を繰り返すよい方法です。 モデリングを開始する前に、さまざまな設定を変更できます。

	設定	変更対象
	Positiveクラス	二値分類プロジェクトの場合のみ。 予測スコアが分類しきい値よりも高い場合に使用するクラス。
	モデリングモード	モデリングモード。DataRobotがトレーニングするブループリントに影響します。
	最適化指標	DataRobotで推奨されているものとは異なる最適化指標に変更します。
	トレーニング特徴量セット	DataRobotでモデルの構築に使用する特徴量のサブセット。

説明された設定の一部またはすべてを変更した後、次へをクリックして、以下のいずれかを実行します。

• モデリングを開始をクリックして、 クイックモードの予測モデリングプロセスを開始します。
• より 高度な設定をカスタマイズします。

モデリングモードの変更¶

デフォルトでは、DataRobotはクイックオートパイロットを使用してエクスペリメントを構築します。 ただし、モデリングモードを変更することで、特定のブループリントまたは該当するすべてのリポジトリブループリントをトレーニングすることもできます。

以下の表では、各モデリングモードについて説明しています。

最適化指標の変更¶

最適化指標は、DataRobotによるモデルのスコアリング方法を定義します。 ターゲット特徴量を選択した後、モデリングタスクに基づいて最適化メトリックが選択されます。 通常、モデルのスコアリングのために DataRobotが選択する指標が、エクスペリメントに最適な選択です。 推奨された指標を上書きし、別の指標を使用してモデルを構築するには、最適化指標ドロップダウンを使用します。

利用可能な指標の完全なリストと説明については、リファレンス資料を参照してください。

特徴量セットの変更（モデリング前）¶

特徴量セットは、DataRobotでモデルの構築に使用する特徴量のサブセットを制御します。 デフォルトでは 有用な特徴量セットですが、モデル構築の前に変更できます。 変更するには、特徴量セットドロップダウンをクリックし、別のセットを選択します。

エクスペリメントの構築が終了したら、モデルごとに 選択済みリストを変更することもできます。

追加の自動化を設定¶

高度な設定に移動する前に、またはモデリングを開始する前に、他の自動化を設定できます。

ターゲットを設定し、基本設定を表示した後、追加の自動化設定を表示を展開して、追加のオプションを表示します。

GPUでのトレーニング¶

テキストや画像を含み、ディープラーニングモデルを必要とするデータセットの場合、 GPUでのトレーニングを選択すると、トレーニング時間を短縮できます。 一部のモデルはCPU上で実行できますが、他のモデルでは、適切なレスポンス時間を実現するためにGPUが必要です。 GPUでのトレーニングを許可するを選択すると、DataRobotは特定のタスクを含むブループリントを検出し、オートパイロットの実行にGPU対応のブループリントを含めます。 GPUバリアントとCPUバリアントの両方がリポジトリに用意されており、トレーニングに使用するワーカーのタイプを選択できます。GPUバリアントのブループリントは、GPUワーカーでより速くトレーニングできるように最適化されています。 GPUの使用については、以下の点を考慮してください。

• Once the Leaderboard populates, you can easily identify GPU-based models using filtering.
• モデルを 再トレーニングすると、結果として得られるモデルもGPUを使用してトレーニングされます。
• 手動モードを使用すると、 ブループリントリポジトリでフィルターすることでGPU対応のブループリントを識別できます。
• 最初にGPUでトレーニングするように選択しなかった場合、リポジトリを介して、またはモデリングを再実行することで、GPU対応のブループリントを追加できます。

• GPUでトレーニングされたモデルは、リーダーボードでバッジが付けられます。

  

高度な設定をカスタマイズ¶

トレーニングの前に、より高度なモデリング条件を適用するには、オプションで以下の操作を行うことができます。

• パーティショニングの変更。
• 追加設定を行います。
• 構成設定の変更。

データパーティショニングタブ¶

パーティショニングは、評価とモデル構築のためにDataRobotが観測値（または行）をまとめて「集中させる」方法を示します。 ワークベンチのデフォルトは、 層化サンプリング（二値分類エクスペリメントの場合）またはランダム（連続値エクスペリメントの場合）による 5分割交差検定、および20%のホールドアウト分割です。

分割手法または検定タイプを追加設定から変更するか、サマリーのパーティショニングフィールドをクリックして変更します。

分割手法の設定¶

分割手法では、モデルのトレーニング時に行を割り当てる方法をDataRobotに指示します。 分割手法と検定タイプの選択は、ターゲット特徴量およびパーティション列に依存します。 つまり、すべての選択が常に使用可能として表示されるわけではないということです。 次の表は、各手法を簡単に説明しています。パーティショニングの詳細については、 このセクションも参照してください。

検定タイプの設定¶

検定タイプは、モデルを検証するためにデータで使用される方法を設定します。 方法を選択し、関連するフィールドを設定します。 設定フィールドの下のグラフィックは、設定を示します。 ユーザー定義または自動化されたグループパーティショニングを使用する場合は、検定タイプの説明を参照してください。

グループ化によるパーティション¶

あまり一般的ではありませんが、ユーザー定義および自動化されたグループ分割では、グループ化の基礎となるデータセットの特徴量を _パーティション特徴量_で分割する方法が行われます。

• _ユーザー定義のグループ化_では、選択したパーティション特徴量の一意の値ごとにパーティションが作成されます。 つまり、行は、選択したパーティション特徴量の値を使用してパーティションに割り当てられ、一意の値ごとに1つのパーティションになります。 この方法を選択すると、パーティション特徴量の一意の値が10未満である特徴量を指定することが推奨されます。

• _自動化されたグループ化_では、パーティション特徴量の同じ単一（指定）値を持つすべての行が同じパーティションに割り当てられます。 各パーティションには、その特徴値が複数含まれることがあります。 この方法を選択すると、DataRobotにより一意の値が6以上である特徴量を指定することが推奨されます。

これらの方法のいずれかを選択すると、パーティション特徴量を入力するように求められます。 ヘルプテキストからは、パーティション特徴量に含める必要のある値の数に関する情報が得られます。ドロップダウンをクリックして、一意の値の数を含む特徴量を表示します。

パーティション特徴量の選択後、検定タイプを設定します。 検定タイプの適用性は、次のチャートに示すように、パーティション特徴量の一意の値に依存します。

自動化されたグループ化では、上記と同じ 検定設定が使用されます。 しかし、ユーザー定義のグループ化では、パーティション特徴量に固有の値の入力が求められます。 _交差検定_の場合、ホールドアウトの設定はオプションです。 設定する場合は、パーセンテージではなくパーティション特徴量の値を選択します。 _トレーニング-検定-ホールドアウト_の場合、ここでもパーセンテージではなく、各セクションのパーティション特徴量の値を選択します。

追加設定を行う¶

より高度なモデリング機能を設定するには、追加設定タブを選択します。 時系列モデリングタブについては、データセットで日付/時刻特徴量が見つかったかどうかに応じて、使用可能になるかグレーアウトされます。

ビジネスユースケースに応じて、以下を設定します。

• 単調特徴量制約
• ウェイト
• 保険特有の設定

単調特徴量制約¶

単調制約は、特徴量とターゲットの間の上下方向の影響を制御します。 一部のプロジェクト（保険業や銀行業など）では、特徴量とターゲットの間の方向関係性を強制することが望ましい場合があります（評価価値の高い家屋の火災保険料が常に高くなるなど）。 単調制約でのトレーニングを行うことによって、特定のXGBoostモデルに特定の特徴量とターゲットの間の単調（常に増加または常に減少）関係性を学習させます。

単調制約特徴量を使用するには、 特殊な特徴量セットを作成する必要があります。この特徴量セットは、ここで選択されます。 また、手動モードを使用する場合、使用可能なブループリントにはMONOバッジが付けられ、サポートされるモデルを識別できます。

ウェイト¶

ウェイト違いを表す重みとして使用し、各行の相対的な有用性を示す単一の特徴量を設定します。 これは、モデルの構築やスコアリングの際に、リーダーボードで指標を計算する目的で使用されます。新しいデータで予測を行う目的では使用されません。 選択した特徴量のすべての値が0より大きい値である必要があります。DataRobotでは検定が行われ、選択した特徴量にはサポートされている値のみが含まれているかどうかが確認されます。

保険特有の設定¶

保険業界の頻繁な加重ニーズに対処するいくつかの機能を利用できます。 次の表では各モデルについて簡単に説明しますが、詳細については、 ここを参照してください。

設定を変更します。¶

ターゲットページに戻ることで、モデリングを開始する前に、プロジェクトのターゲットまたは特徴量セットを変更できます。 戻るには、サマリーのターゲットアイコン、戻るボタン、またはターゲットフィールドをクリックします。

次のアクション¶

モデリングを開始すると、DataRobotでリーダーボードにモデルが入力されます。 以下を実行することが可能です。

• Use the View experiment info option to view a variety of information about the experiment.
• 使用可能なモデルで モデル評価を開始します。