モデル推奨プロセス¶
DataRobotは、デプロイするモデルを推奨するために、オートパイロットモデリングプロセスを設定するオプションを提供します。 推奨を有効化してデプロイ用のモデルを準備している場合、最も精度の高いモデルの1つであるnon-blendermodel—が選択され、デプロイ用に準備されます。
備考
When using Workbench there is no model tagged with the Recommended for Deployment badge. This is because when comparing models across experiments on a multiproject Leaderboard, multiple models would be assigned the badge. DataRobot does prepare a model for each experiment however.
The following tabs describe the process for each modeling mode when the Recommend and prepare a model for deployment option is enabled.
The following describes the model recommendation process for Quick Autopilot mode in AutoML projects. 精度は、検定データの最大サンプルサイズ（通常64%）に基づきます。 準備されたモデルには、デプロイ推奨およびデプロイの準備バッジが付けられます。 リーダーボードから任意のモデルを選択して、デプロイの準備プロセスを開始することもできます。
準備プロセスを以下に説明します。
-
最初に、選択されたモデルの特徴量のインパクトが計算され、その結果を使用して削減済み特徴量セットが生成されます。
-
次に、選択されたモデルが削減済み特徴量セットで再トレーニングされます。 新しいモデルのパフォーマンスが元のモデルよりも優れている場合、次のステージで新しいモデルが使用されます。 そうでない場合、元のモデルが使用されます。
-
最後に、選択したモデルが100%のサンプルサイズを使用してフローズン実行として再トレーニングされます。このモデルはデプロイに推奨として選択されます。
削減済み特徴量セットを推奨モデルに適用するには、削減済み特徴量セットを使用して、手動でそのモデル（または任意のリーダーボードモデル）を再トレーニングします。
データセットのサイズに応じて、推奨されるモデルのインサイトはホールドアウトまでのモデルまたは100%の推奨モデル（アウトオブサンプル予測が使用できる場合）に基づきます。
以下の説明では、AutoMLプロジェクトでのフルオートパイロットモードおよび包括的モード用のモデル推奨プロセスについて説明します。 精度は、検定データの最大サンプルサイズ（通常64%）に基づきます。 準備されたモデルには、デプロイ推奨およびデプロイの準備バッジが付けられます。 リーダーボードから任意のモデルを選択して、デプロイの準備プロセスを開始することもできます。 リーダーボードから任意のモデルを選択して、デプロイの準備プロセスを開始することもできます。 (Models manually prepared deployment will be only marked with the Prepared for Deployment badge.)
準備プロセスを以下に説明します。
-
最初に、選択されたモデルの特徴量のインパクトが計算され、その結果を使用して削減済み特徴量セットが生成されます。
-
次に、選択されたモデルが削減済み特徴量セットで再トレーニングされます。 新しいモデルのパフォーマンスが元のモデルよりも優れている場合、次のステージで新しいモデルが使用されます。 そうでない場合、元のモデルが使用されます。
-
その後、選択したモデルがホールドアウトを除いた全サンプル（一般的に80%）で再トレーニングされます。 サンプルがフローズンしきい値（1.5GB）未満である限り、ステージはフリーズされません。
-
最後に、選択したモデルが100%のサンプルサイズを使用してフローズン実行として再トレーニングされます（ハイパーパラメーターはホールドアウト実行の時点から変更されません）。このモデルはデプロイに推奨として選択されます。
データセットのサイズに応じて、推奨されるモデルのインサイトはホールドアウトまでのモデルまたは100%の推奨モデル（アウトオブサンプル予測が使用できる場合）に基づきます。
The following describes the model recommendation process for OTV and time series projects in both Quick and full Autopilot mode. The backtesting process for OTV works as follows (time series always runs on 100% training samples for each backtest). See the full details here:
- In full/comprehensive mode, the recommendation process runs iterative training at 25%, 50%, and 100% training samples of each backtest.
- In Quick mode, the process uses 100% of the maximum training size.
バックテストが終了すると、モデルの1つ（最も精度の高い非アンサンブルモデル）が選択され、デプロイ用に準備されます。 準備されたモデルには、デプロイ推奨バッジが付けられます。
時系列プロジェクトの準備プロセスを以下に説明します。
-
最初に、選択されたモデルの特徴量のインパクトが計算され、その結果を使用して削減済み特徴量セットが生成されます。
-
次に、選択されたモデルが削減済み特徴量セットで再トレーニングされます。
-
新しいモデルのパフォーマンスが元のモデルよりも優れている場合、DataRobotは最新のデータでより良いスコアリングモデルを再トレーニングします（元のモデルと同じ期間/行数が使用されます）。 期間を使用し、同等の期間でトレーニングに十分な行が提供されない場合、期間は最小要件が満たされるまで拡張されます。
時系列モデルには、2つの例外があります。
- 特徴量の削減は、ベースライン（ナイーブ）およびARIMAモデルに対して実行できません。 この理由は、これらのモデルでは
date+naive予測特徴量だけが使用されるからです（削減するものがありません）。 - トレーニングでは加重が使用されず、再トレーニングが必要ないので、ベースライン（ナイーブ）モデルは最新のデータで再トレーニングされません。
モデルのデプロイ準備¶
オートパイロットは、デプロイ用に単一のモデルを推奨および準備しますが、任意のリーダーボードモデルに対してオートパイロットの推奨およびデプロイの準備段階を開始できます。 これを行うには、リーダーボードからモデルを選択し、予測 > デプロイに移動します。
デプロイの準備をクリックします。 DataRobotは、選択したモデルに対して上記の推奨段階の実行を開始します（右側のパネルに進行状況が表示されます）。 言い換えると、DataRobotは特徴量のインパクトを実行し、削減済み特徴量リストでモデルを再トレーニングし、より高いサンプルサイズでトレーニングします。次に完全なサンプルサイズ（日付/時刻で分割されていないプロジェクトの場合）または最新のデータ（時間認識プロジェクトの場合）で実行します。
プロセスが完了すると、DataRobotは100%で構築された新しい最終モデルに デプロイの準備 バッジを付けます。 （最初に推奨されたモデルもバッジを維持しています。） 元のモデルのデプロイタブからモデルに移動をクリックし、準備されたモデルをリーダーボードに表示します。
新しいモデルのブループリント番号をクリックして、プロセスに関連する新しい特徴量セットとサンプルサイズを確認します。
元のリクエストを行ったモデル（64%のサンプルサイズなど）に戻って、デプロイタブにアクセスすると、準備されたモデルにリンクされていることがわかります。
メモおよび注意事項¶
-
最終的なデプロイに推奨モデルの100%での再トレーニングは、常にフローズン実行として実行されます。 その結果、モデルの再トレーニングの速度が向上し、80%と同じ設定が100%モデルで使用されるようにします。
-
デプロイに推奨されるモデルが検定セットでトレーニングされていた場合は、このモデルのホールドアウトスコアがロック解除されて表示されますが、その他のリーダーボードモデルでは表示されません。 右側のパネルから、その他のモデルのホールドアウトのロックを解除できます。
-
デプロイに推奨されるモデルが検定セットにトレーニングされている場合、またはプロジェクトがホールドアウト分割なしで作成されている場合、検定およびホールドアウトデータを使用して予測を計算することはできません。
-
モデルを自動推奨するヒューリスティックロジックは、プロジェクトの種類ごとに異なる場合があります。 たとえば、非冗長特徴量でのモデルの再学習は連続値および二値分類で行われますが、より多いサンプルサイズでのモデルの再学習は連続値、二値分類、および多クラス分類プロジェクトで行われます。
-
より大きいサンプルサイズでのトレーニングを中断した場合、またはより大きいサンプルサイズでのトレーニングが正常に終了しない場合、そのモデルはデプロイに推奨モデルの候補にはなりません。
廃止されたバッジ¶
v6.1以前に作成されたプロジェクトには、最も精度が良いおよび速い&精度が良いバッジでタグ付けされていることもあります。 オートパイロットの自動化が改善されたので、これらのバッジは不要になりましたが、割り当てられている場合は、v6.1より以前のプロジェクトで引き続き表示されます。 廃止されたバッジの変換を自動化するコードスニペットについては、DataRobotの担当者にお問い合わせください。
-
必ずしもそうではありませんが、最も精度が良いとマークされたモデルは一般的にアンサンブルです。 その名前が示すように、これはリーダーボードで最も精度の高いモデルです（検定または交差検定スコアのランキングによって決定されます）。
-
非アンサンブルモデルにのみ適用される高速&精度が良いバッジは、最も精度が高く、かつ予測作成の速度が最も速いモデルに割り当てられます。 評価するために以下の予測タイミングが使用されます。
- プロジェクトのホールドアウトセット。
- ホールドアウトなしのプロジェクトのトレーニングデータのサンプル。
すべてのプロジェクトに高速&精度が良いとしてタグ付けされたモデルがあるわけではありません。 これは、予測時間が内部アルゴリズムで決定された最小速度しきい値を満たさない場合に発生します。