外部予測の比較¶
DataRobotアプリケーション以外に既存の教師あり時系列を持っている組織では、これらのモデル予測とDataRobotによる予測を比較できることで、ビジネスに最適な意思決定を行うことができます。 この機能を有効にすると、予測の出力(予測値)をベースラインとして使用して、DataRobotの予測と比較できます。 既存の予測を比較できるだけでなく、設定が異なるプロジェクトの既存モデルと比較することもできます。 DataRobotは、スケーリングされた特定の指標を適用して、結果を比較します。
外部予測比較の有効化¶
予測を比較するには、以下を実行します。
- 時間認識プロジェクトを作成し、日付型特徴量を選択して、必要に応じて(時系列の場合)系列IDを選択します。
- 外部ベースラインファイルを作成します。
- 高度なオプションからファイルをアップロードします。
- プロジェクトを開始し、構築が完了したら指標を選択します。
外部ベースラインファイルの作成¶
代替モデルの予測から予測の比較に使用するベースラインファイルを作成します。
備考
比較に使用する予測ファイルでは、バックテストで欠損値が20%未満である必要があります。
構築するDataRobotモデルと同じターゲット、日付、系列ID(該当する場合)、および予測距離を含める必要があります。 アップロート時に、設定の中でファイルの要件を確認できます。
列名は完全に一致する必要があり、日付と系列IDの列は元のデータと一致する必要があります。 AIカタログに保存されたこの複数系列の例では、各行が、特定の日付(date
列の値)において特定の予測距離(Forecast Distance
列の値)を持つ、特定の系列ID(store
列の値)の予測(sales
列の値)を表しています。
ベースライン予測ファイル要件:
列 | 説明 |
---|---|
日付/時刻値 | 列名は、プライマリー日付/時刻特徴量と一致している必要があります。 このタイムスタンプは、予測ポイントではなく予測タイムスタンプを示しています。 たとえば、タイムスタンプがAug 1 とFD = 1 の行では、ベースライン値をAug 1 の実測値と比較する必要があります(ベースライン値は、7月31日時点のベースラインモデルにより生成されていることになります)。 |
予測値 | 列名は、プロジェクトのターゲット特徴量と一致している必要があります。 これは、指定の予測距離における指定のタイムスタンプの予測です。 分類プロジェクトの場合は、正のクラスの予測確率を示します。 |
系列ID(複数系列のみ) | 列名は、プロジェクトの系列IDと一致する必要があります。 |
予測距離 | 列名は「予測距離」にする必要があります。 これは、予測ポイントからの予測距離の数を示します。 |
備考
ターゲットが変換されたターゲットである場合(DataRobot内でLog(target)
変換操作を適用してターゲット列を変換した場合など)、予測列名は元のターゲット名(target
)ではなく、変換された名前(Log(target)
)を使用する必要があります。
ベースラインファイルをアップロードする¶
ベースラインファイルを作成してファイル基準を満たしたら、ファイルをDataRobotにアップロードします。 高度なオプション > 時系列を開き、スクロールしてモデルをベースラインデータと比較しますか?を探します。 ベースラインをアップロードする方法を、ローカルファイルまたはAIカタログのファイルのいずれかから選択します。 ローカルファイルオプションを使用する場合、AIカタログにもファイルが追加されます。
ファイルが正常にアップロードされたら、ページの先頭に戻ってモデルの構築を開始します。
比較に使用する指標¶
構築が完了したら、モデル指標のドロップダウンを展開し、比較に使用する指標を選択します。
指標 | プロジェクトタイプ |
---|---|
MAEを(外部ベースラインに合わせて)スケーリング | 連続値 |
(外部ベースラインに合わせて)RMSEをスケーリング | 連続値、二値分類 |
LogLossを(外部ベースラインに合わせて)スケーリング | 二値分類 |
バックテスト1列の値を確認します。 1
より小さい値は、DataRobotモデルの精度が高い(エラーが低い)ことを示します。 1
より大きい値は、外部モデルの精度が高いことを示します。
標準RMSEの使用:
スケーリングされたRMSEの使用:
指標を外部ベースラインにスケーリングするための計算を以下に示します。
<metric> of the DataRobot model / <metric> of the external model
すべての値は外部ベースライン(アップロードされた予測)に合わせてスケーリングされ、加重プロジェクトで機能します。 値がスケーリングされている(および2つの誤差を割って計算されている)ため、これらの特殊な指標は元の指標の直接の派生物ではありません。