Skip to content

アプリケーション内で をクリックすると、お使いのDataRobotバージョンに関する全プラットフォームドキュメントにアクセスできます。

系列のインサイト

複数系列プロジェクトで利用可能な[系列のインサイト]タブは、チャート形式と表形式の両方で系列ごとの情報を提供します。

  • ヒストグラムは、各シリーズの精度、平均スコア、長さ、および開始日/終了日の分布をカウントごとに表すビン化されたデータを提供します。バーをクリックすると、その下のテーブルにそのビンの結果が表示されます。
  • テーブルには、チャートから選択したビン領域に含まれる各系列の基本情報が表示されます。

サイズの大きいデータセットの場合、DataRobotでは、ダウンサンプリングの後にスコアと値が計算されます。

系列のインサイトの使用

処理を高速化するには、系列のインサイトの視覚化は、最初の(ID/「名前」でソートされた)1000系列に対して最初に計算されます。ただし、残りの系列データに対して計算を実行することを選択できます。完全な精度とインサイトを計算するために必要ないくつかのステップがあり、そのいくつかは、データに1000を超える系列があるかどうかによって異なります。計算が新たに実行されるたびに、追加の詳細が利用可能になります。完全な情報は、すべてのバックテストの精度計算に依存します。

リーダーボードからモデルを最初に開くと、チャートはデフォルトで合計長によるビニングになります。この時点で、さまざまなプロット分布とビン数から選択できます。ただし、精度による並べ替えは無効になっています。

実行(リーダーボード上のすべてのバックテストの下)または 残りのバックテストを計算(テーブルの上)のどちらかをクリックし、追加のオプションをアクティブにします。

バックテスト計算が進行中であることを示すために、両方の変更でいずれかを選択します。完了すると、バックテストは計算されますが、精度は計算されません。テーブルの上にある精度スコアを計算のリンクをクリックし、精度を計算します。精度の計算が完了すると、以下のチャートの解釈セクションで説明するように、配布オプションが変更されます。

インサイトの解釈

ページのインサイトには、集計(チャート)および個別(テーブル)の系列情報が表示されます。インサイトはタブを開くとすぐに利用できますが、すべての機能を利用するには、すべての精度計算を完了する必要があります。以下のセクションでは、出力を理解する方法について説明します。

系列のインサイトのヒストグラム

ヒストグラムは、さまざまな指標に基づいて、(すべての系列が計算されているかどうかに関係なく、最初の1000系列の)系列分布を一目で把握できる表示を提供します。最初に、分布を長さ、開始日または終了日、またはターゲット平均に設定できます。ドロップダウンを使用して、表示の方法とビンの数を設定します。精度を計算したら、その分布を選択するとオプションが追加されます。

配布方法として精度を選択した場合、パーティションと指標で表示をさらにフィルタリングできます。

  • パーティション:バックテスト1の精度スコア、すべてのバックテストの平均スコア、またはホールドアウトスコアで並べ替えます。プロジェクトに設定されているバックテストの数に関係なく、選択できるのはバックテスト1と平均値だけです。

  • 指標:精度スコアの基礎となる指標を選択します。デフォルトでは、表示はプロジェクト指標を使用します。

ビンにカーソルを合わせると、系列カウントとビン値を表示するツールチップが表示されます。この例では、精度のために表示された場合、指標がRMSEの場合、105系列のスコアは(おおよそ).69から.89の間でした。

ビンをクリックすると、テーブルの表示が更新され、選択したビン内の系列の結果のみが含まれます。

系列のインサイトのテーブルビュー

ヒストグラムの下のテーブルは、最初の1000系列(ヒストグラムのフィルターに基づく)または選択したビン内の系列ごとの情報を提供します。並べ替え順序のデフォルトは系列IDですが、任意の列をクリックして並べ替えることができます。テーブルの一部のエントリーは欠損値になることがあります。エントリーのスコアをまだ計算していない場合や個々の系列が選択したパーティションにオーバーラップしていない場合、一部のエントリーが欠損値になる傾向が高くなります。

検索機能を使用して、任意の系列の指標を表示します。以下の例では、追加の精度スコアはまだ計算されていません。

表示されたテーブルは、系列ごとに以下を報告します。

要素 説明
時系列の精度 タブ(そのタブでさらに計算が必要になる場合があります)で選択した系列を開きます。
合計長 系列の行数または日数を表示します。テーブルの上のオプション リンク()を使用して、ビューを行または期間に設定します。
開始日/終了日 データセット内の系列の最初と最後のタイムスタンプを表示します。
ターゲット平均(連続値)
正のクラス(分類)
連続値:その系列のデータセットの範囲にわたるターゲットの平均値を表示します。分類:その系列のデータセットの範囲全体でターゲットが構成する正のクラスの割合を表示します。
バックテスト1 系列全体のバックテスト1の平均バックスコアを表示します。
すべてのバックテスト 系列全体のすべてのバックテストの平均バックテストスコアを表示します(リーダーボードからバックテストを実行するか、残りのバックテストを計算リンクからバックテストを実行する必要があります)。
ホールドアウト ロックが解除されている場合、ホールドアウトフォールドのスコアを表示します。

オプション)リンクを使用して、テーブルデータをCSVファイルにダウンロードします。

系列のインサイトでスケーリングされた指標の解釈

系列のインサイトでは、時系列にスケーリングされたMASETheil's Uの指標は、他の指標とは別に扱われます。MASEとTheilのUの指標は、モデルをベースラインモデルと比較し、比率を使用して計算されます。比率としては無限大の値になる可能性があるため、DataRobotはこれらの値を100Mに制限します。

これらの高い値が系列のインサイトのヒストグラムプロットを歪めるのを防ぐために、DataRobotはこれらの値を表示から除外します。ただし、これらの値は対応する系列のインサイトテーブルに保持され、バックテスト列に上限値100Mとして表示されます。次の表は、MASE指標を使用した精度を示しています。

すべてのバックテスト列の場合、DataRobotはすべてのバックテストスコアを平均化するため、100Mの端数になる可能性があります。バックテストの1つだけに無限大の上限がある場合、その値は100M/number of backtests - 100M(たとえば、2回のバックテストで~50M、3回のバックテストで~33Mなど)の範囲になります。


更新しました September 28, 2022
Back to top