Skip to content

アプリケーション内で をクリックすると、お使いのDataRobotバージョンに関する全プラットフォームドキュメントにアクセスできます。

複数系列のセグメント化されたモデリング

通常、複雑で精度の高い需要予測を行うためには、統計に関する深いノウハウと長期にわたるビッグデータ・アーキテクチャに関する開発プロジェクトが必要となります。 セグメント化されたモデリングがあるDataRobotの複数系列は、複数のプロジェクトを「内部で」作成することでこの要件を自動化します。セグメントが識別および構築されると、それらはマージされて単一オブジェクト(結合モデル)を作成します。 これにより、モデルのパフォーマンスが向上し、デプロイまでの時間が短縮されます。

セグメント化されたモデリングを使用すると、DataRobotは、各セグメントに完全なプロジェクトを作成します。フルパイロットまたはクイックパイロットを実行してから、デプロイに推奨されるモデルを選択(および準備)します。 (See the note on using segmented modeling in Manual mode.) DataRobot also marks the recommended model as "segment champion," although you can reassign the champion at any time.

備考

DataRobotは、各セグメントにプロジェクトを作成しますが、これらのプロジェクトはプロジェクト管理センターから使用 できません 。 代わりに、それらはプロジェクト管理センター使用可能な 結合モデル内から調査および管理されます。

DataRobotは、各セグメントチャンピオンを組み込んで 結合モデル(すべてのセグメントの収集ポイントとして機能するメインアンブレラプロジェクト)を作成します。 結果として、「ワンモデル」デプロイ(セグメントプロジェクト)が得られます。各セグメントには、バックグラウンドのデプロイで実行される独自のモデルがあります。

セグメント化されたモデリングはいくつかの問題(モデルファクトリー、複数のデプロイ)を解決しますが、最も注意するセグメントまたは最もROIが高いものを認識できません。 成功するためには、バリュートラッカーを正しく定義して、データセットを設定し、セグメントを定義する必要があります。

詳細については、セグメント化されたモデリングFAQを参照してください。 セグメント化されたモデリングを使用する理由の迅速な表現については、視覚的な概要を参照してください。

複数系列連続値プロジェクトではセグメンテーション付きのモデリングが使用できます。

セグメント化されたモデリングのワークフロー

Time series segmented modeling requires, first, defining segments that divide the dataset. To define segments, you can allow DataRobot to:

  • Discover clusters in your data and then use those clusters as segments.
  • Assign segments for you based on the configured segment ID.

To build a segmented modeling project:

  1. 標準時系列ワークフローに従って、ターゲットを設定し、時間認識モデリングをオンにします。 Choose Automated time series forecasting as the modeling method.

  2. 系列識別子を設定することにより、複数系列モデリングを有効にします。

  3. Set the segmentation method by clicking the pencil:

  4. Set whether to enable segmented modeling:

    • Select Yes, build models per segment to enable segmented modeling. 選択すると、セグメントがどのように定義されるかも設定する必要があります。
    • Select No, build models without segmenting to return to the previous Time Series Forecasting window. セグメント化されたモデリングを行なわない場合、DataRobotは、検出されたすべての系列(通常の複数系列)向けに1つのモデルを構築します。
  5. Set how segments are defined. The table below describes each option:

    オプション 説明
    ID列 DataRobotがセグメントIDとして使用するトレーニングデータセットから列を選択します。 列名の入力を開始して、一致する自動補完選択を表示するか、DataRobotが識別した識別子から選択します。 Segment ID must be different than series ID (see note below).
    既存のクラスタリングモデル Use a clustering model previously saved to the Model Registry.
    新しいクラスタリングモデル Start a new clustering project, with results later applied via the Existing clustering model option, by clicking time series clustering link in the help text.
    セグメントごとに1つの系列が必要な場合

    セグメントIDと系列IDに指定する列を同じにすることはできませんが、系列IDの列を複製して、新しい名前を付けることはできます。 したがって、セグメントIDを新しい列名に設定します(セグメントはどのように定義されていますかセクションを使用)。 DataRobotは系列IDを使用してセグメントを生成します。

  6. Once the method is selected—either the ID is set or an existing clustering model is selected—click Set segmentation method. 時系列予測ウィンドウは、選択された系列とセグメントの変更など、設定(トレーニングウィンドウ、期間、KA、カレンダー選択)を続けることができます。

    How are the training periods determined if clustering was used?

    When building a segmented model using found clusters to split the dataset into the child projects (segments), DataRobot applies the training window settings from the clustering project to the segmented modeling project. This protects the holdout in segmented modeling and prevents data leakage from the clustering model when splitting the segmented dataset into child projects. Using the start and end dates of each series, the general scenarios that affect the methodology:

    • If the series data contains the time window needed (as defined in the clustering project), DataRobot simply passes the series data along.
    • Series data before the clustering training end: If there is a series that is shorter than the full training window and extends past holdout, DataRobot only uses data points before the clustering end that is the size of the training duration (only the portions that exist within the training boundary).
    • Series data has only data older in time than the clustering training end: If there is a legacy series in which its data does not fall into the training window, DataRobot "slides back" and gathers data for the duration of the training window agains collect so it can be used in segmented and not lost
    • Series data only exists "newer" in time than the clustering training end: If a series only exists in holdout, DataRobot slides the window forward but does not select any data that was used in training. In this way, the data is not dropped, but it is only used for examining the holdout of a child project.

  7. When the configuration is ready, select Quick or full Autopilot, or Manual mode, and click Start. DataRobotは、各セグメントに完全なオートパイロットプロジェクトを構築するため、モデリングの完了に必要な時間が非常に長くなる場合があることを通知します。 モデリングを開始をクリックして、続けることを確認します。 (今後のセグメントプロジェクトでは承認なしで続けられるように、DataRobotを設定できます。)

  8. EDA2が完了すると、DataRobotでは結合されたモデルがすぐに作成されます。 「子」モデル(独立したセグメントモデル)が構築中であるため、結合モデルは完成しません。 ただし、結合モデルから構築とワーカーの割り当てを制御できます。

  9. モデリングが完了すると、結合モデルを使用してセグメントを探すことができます。

結果を調べる

Once modeling has finished, the Model tab indicates that one model has built. (See the note regarding outcome when using Manual mode.) This is the completed Combined Model.

セグメント化されたモデリングで使用できるチャートとグラフは、モデルタイプに依存します。

  • 結合モデルの場合、セグメンテーション、モデルのブループリント、モデリングログ、予測の作成、およびコメントにアクセスできます。

  • 個別のセグメントで使用可能なモデルについては、複数系列連続値プロジェクトに適合するビジュアライゼーションおよびモデリングタブ(リポジトリ、モデルを比較など)が使用できます。

セグメンテーションタブ

クリックして結合モデルを展開し、セグメンテーションタブを表示します。

以下の表は、セグメンテーションタブのコンポーネントを示します。

コンポーネント 説明
検索 検索を使用して、入力した文字列に一致するセグメントだけが含まれるように表示を変更します。
CSVのダウンロード 指標スコア、チャンピオン履歴、ID、プロジェクト履歴など、統合モデルに関連付けられたメタデータを含むスプレッドシートをダウンロードします。
セグメント DataRobotによるトレーニングデータで見つかったセグメント値を指定されたセグメントIDにリストします。
トレーニングデータからのセグメント統計(生の行の数とそれらの行が表すデータセットの割合)を表示します。
総モデル数 オートパイロットプロセス中にそのセグメントに対してDataRobotが構築したモデルの数を示します。
チャンピオンの最終更新 最後にセグメントチャンピオンを割り当てた際の時間と担当者を示します。 ここでは、チャンピオンモデルタイプを示すアイコンも表示されます。 最初に、すべての行がDataRobotによってリスト表示されます。 セグメントは、「すべてのバックテスト」スコア別にリスト表示されます。並び替える場合は、列ヘッダーをクリックします。
バックテスト1 選択した指標のチャンピオンモデルのバックテスト1スコアを示します。
すべてのバックテスト チャンピオンモデルに対して実行されるすべてのバックテストの平均スコアを示します。
ホールドアウト ホールドアウトがロック解除されているかどうかを示すアイコンを提供します。

セグメントの探索

結合モデルは、セグメントあたり1つのモデル(セグメントチャンピオン)で構成されます。 一方、個別のセグメントは、完全なプロジェクトで構成されます。 セグメントのリーダーボードからプロジェクトを調査したり、結合モデルから独立してセグメントモデルをデプロイすることもできます。

セグメントリーダーボードへのアクセス

リーダーボードにアクセスする方法は複数あります。

結合モデルから

結合モデルを展開して、セグメンテーションタブリストでセグメント名をクリックします。

クリックすると、セグメントのリーダーボードが開きます。 以下の点に注意してください。

インジケーター 説明
モデルの完全なセットが構築されます。
DataRobotは、デプロイにモデルを推奨し、チャンピオンとしてマークします。
通常のワーカーキューコントロールを使用できます。

セグメントドロップダウンから

セグメントドロップダウンを使用して、ビューを変更します。

  • セグメントから:
    • 別のセグメントを選択します。 セグメントのリーダーボードが表示されます。
    • すべてのセグメントを表示を選択して、結合モデルに戻ります。
  • 結合モデルから、セグメントを選択してセグメントのリーダーボードを開きます。

チャンピオンモデルの再割り当て

DataRobotは最初にセグメントチャンピオンを割り当てますが、指定を変更することもできます。 これは、たとえば、すべてのセグメントが結合モデルに同じモデルタイプを提供することが重要な場合などに当てはまります。 セグメントのリーダーボードからセグメントチャンピオンを識別します。セグメントのリーダーボードでは、セグメントチャンピオンがチャンピオンバッジでマークされています。

セグメントリーダーボードからチャンピオンを再割り当てするには、チャンピオンとして任意のモデルを選択します。 次に、メニューからリーダーボードオプション > モデルをチャンピオンにするを選択します。

バッジは新しいモデルに移動します。

また、結合モデルのセグメンテーションタブには、チャンピオンが最終更新された日時と新しいチャンピオンを割り当てた担当者が表示されます。

プロジェクト全体の管理

DataRobotは、各セグメントを個別オートパイロットプロジェクトとして扱うため、結合モデルの作成にかかる時間は通常の複数系列プロジェクトよりも長くなる場合があります。 かかる正確な時間は、セグメントの数とデータセットとサイズによって異なります。 以下のコントロールを使用して、ワーカーを設定し(1)、モデリングを停止および開始(2)することができます。 すべてのアクションは、結合モデルのワーカーキューから実行され、すべてのセグメントプロジェクトに適用されます。 ホールドアウトのロックを解除(3)も使用できます。

ワーカーの制御

結合モデルから、すべてのセグメントプロジェクトのモデリングワーカーの数を制御できます。 各セグメントがモデリングを完了するため、DataRobotは、セグメント間のワーカーを自動的にバランス調整し、実行中のセグメント間で使用可能なワーカーを分散します。 ワーカー数を変更すると、DataRobotはモデリングステージでないプロジェクトを無効にします。

子モデリングの一時停止/開始/停止

親セグメントプロジェクトのワーカーキューから、子プロジェクトのモデリングアクションを制御できます。 サイドバーで停止/開始/キャンセルボタンを使用し、選択したアクションはすべての子プロジェクトに適用されます。 以下に具体例を示します。

  • セグメントプロジェクトの開始時に、キューアクションは使用できません。

  • すべてのセグメントがEDA2ステージに達すると、休止および開始ボタンが使用可能になります。

  • 子プロジェクトがモデリングステージで使用可能になり、少なくとも1つのジョブが実行中である場合、キャンセルボタンが使用可能になります。

ホールドアウトのロックを解除

プロジェクト全体または各セグメントのホールドアウトのロックを解除できます。

  • プロジェクト全体(すべてのセグメント内のすべてのモデル)をロック解除するには、結合モデルのワーカーキューからホールドアウトのロックを解除を選択します。

  • セグメント内のすべてのモデルのホールドアウトをロック解除するには、(セグメントのリーダーボードを開き)ワーカーキュー内のすべてのモデルのプロジェクトでホールドアウトのロックを解除を選択します。

リーダーボードモデルのスコア

リーダーボードで結合モデルを見ると、スコアが表示されていないことに気付かれたかと思います。

これは、連続値プロジェクトのデフォルト指標がRMSEであるためです。 指標をMAEなどのサポートされている指標に変更した場合、チャンピオンモデルの集計されたスコアが使用可能になります。 Supported metrics are MAD, MAE, MAPE, MASE, RMSE, RMSLE, SMAPE, and Theil’s U.

チャンピオンスコアに基づく結合モデルのスコアまたは(チャンピオンがデプロイモデル向けに作成されている場合)その親のスコア。 個別のチャンピオンスコアを確認するには、結合モデルを展開して、セグメンテーションタブを表示します。

チャンピオンスコアがない理由

DataRobotがチャンピオンモデルを選択すると、そのモデルがデプロイ向けに準備されます。 準備の一環として、モデルはホールドアウトに再トレーニングされます(最新のデータに開始/終了モデルとして再トレーニングされます)。 チャンピオン/推奨モデルの親はチャンピオンのトレーニング のモデルです。 そのため、親を見るとチャンピオンのスコアが分かります。

スコアはこの場所にレポートされます。 チャンピオンを変更すると、DataRobotはスコアを新しいチャンピオン(またはその親)から結合モデルに渡します。 以下の点に注意してください。

  • スコアの横のアスタリスクは、スコアが親モデルのスコアを反映していることを示します。

  • スコア列のN/Aは、バックテストが実行されていないことを示します。 セグメントのリーダーボードでモデルを開き、「すべてのバックテスト」を実行します。

Manual mode in segmented modeling

手動モードでセグメントモデリングを行う場合、DataRobotは、セグメントごとに個別のプロジェクトを作成し、モデリング段階まで準備を完了させます。 ただし、DataRobotはプロジェクト単位のモデルを作成しません。 統合されたモデルを(プレースホルダーとして)作成しますが、チャンピオンは選択しません。 手動モードを使用することで、モデル構築に時間をかけることなく、各セグメントでどのモデルをトレーニングし、チャンピオンとして選択するかを完全に手動でコントロールできます。

Deploy a Combined Model

本機能の提供について

時系列セグメントモデリングのデプロイでは、データドリフトの監視や予測の説明には対応していません。

セグメントモデリングの価値を最大限に活用するために、他の時系列モデルをデプロイする場合と同様に、統合されたモデルをデプロイできます。 含まれているプロジェクトごとにチャンピオンモデルを選択した後、統合モデルをデプロイし、複数のセグメントに対して「1つのモデル」デプロイを作成できます。ただし、デプロイされた統合モデル内の各セグメントでは、引き続きセグメントチャンピオンモデルがデプロイで(バックグラウンドで)実行されています。 デプロイを作成すると、精度監視、予測間隔、チャレンジャーモデル、および再トレーニングにDataRobot MLOpsを使用できます。

Combined model deployment challengers and retraining
  • Retraining for time series segmented modeling deployments only supports Autopilot retraining (full or quick).

  • Retraining can be triggered by accuracy drift in a Combined Model; however, it doesn't support monitoring accuracy in individual segments or retraining individual segments.

  • Combined model deployments can include standard model challengers.

When segmented modeling completes, you can deploy the resulting Combined Model:

  1. Once Autopilot has finished, the Model tab contains one model. このモデルが完成した統合モデルです。

  2. Click the Combined Model, and then click Predict > Deploy.

  3. On the Deploy tab, click Deploy model.

    備考

    You can also click Add to Model Registry and then deploy the Combined Model from there.

  4. デプロイ情報とデプロイを作成を追加します。

  5. Monitor, manage, and govern the deployed model in DataRobot MLOps.

デプロイされた統合モデルの修正とクローン作成

統合モデルをデプロイした後、デプロイされた統合モデルのクローンを作成し、クローンが作成されたモデルを修正することで、セグメントのチャンピオンを変更できます。 この処理は自動的に行われ、デプロイされた統合モデル内でセグメントのチャンピオンを変更しようとすると発生します。 クローンが作成され、修正可能なモデルが、アクティブな統合モデルになります。 このプロセスにより、デプロイされたモデルの安定性を確保しながら、同じセグメントプロジェクト内で変更をテストすることが可能になります。

備考

プロジェクトのリーダーボードでアクティブな統合モデル(バッジ付き)になれる統合モデルは1つだけです。

To modify and clone a deployed Combined Model, take the following steps:

  1. 統合されたモデルがデプロイされると、予測APIは有効というラベルが設定されます。

  2. Click the active and deployed Combined Model, and then in the Segments tab, click the segment you want to modify.

  3. Reassign the segment champion.

  4. In the dialog box that appears, click Yes, create new combined model.

  5. On the project's Leaderboard, you can access and modify the Active Combined Model.

    ヒント

    For a short time, in the Combined Model updated notification, you can click Go to Combined Model to return to the segment's Combined Models in the Leaderboard.


更新しました December 21, 2022
Back to top