エクスペリメントのインサイト¶

タイル	説明
	Opens insights that provide experiment-level information for all models.

Experiment insights are tools that provide contextual information for the model:

• Use [Learning Curves]{0} to compare model performance across different sample sizes.
• Use [Speed vs Accuracy]{0} to graph tradeoffs between runtime and predictive accuracy.

学習曲線¶

Learning Curves help to determine whether it is worthwhile to increase the size of the dataset. 追加データを入手するにはコストがかかる場合がありますが、モデルの精度が向上するのであれば、そうするだけの価値があるかもしれません。 The graph illustrates, for top-performing models, how model performance varies as the sample size changes. A metric dropdown is available to sort the results, independently of the sort setting for the Leaderboard. It charts how well a model group performs when it is computed across multiple sample sizes in the training and validation partitions. このグループ化はグラフ上の線を表し、線上の各点は、そのグループ内の個々のモデルのサンプルサイズとスコアを表しています。

View values¶

To see the values for a curve point, you can mouse over or click. The corresponding model highlights in the model list.

Filter view¶

You can filter the Learning Curve display by [metric]{0} or feature list. Select a metric to compare results. For example, the image below shows results for LogLoss and FVE Binomial:

By default, the graph plots using the Informative Features feature list. 特徴量セットドロップダウンメニューを使用してグラフを絞り込んで、ユーザーが作成した（かつそれを対象にモデルを実行した）特定の特徴量セットのモデルを表示することができます。 メニューは、プロジェクトに属する全特徴量セットを一覧表示します。 特徴量セット上でモデルを実行していない場合、オプションは無効な状態で表示されます。

新しいサンプルサイズの計算¶

Because Quick Autopilot uses one-stage training, the Learning Curves graph will initially populate with only a single point for each of the top 10 performing models. Use the Compute Learning Curves option to increase the display points.

To compute new points:

1. Select which models to compute for from the list on the right side of the window. Selected models highlight in the display. 学習曲線を計算するをクリックし

2. Add or remove sample sizes, including custom sizes.

   

3. 計算するをクリックし

学習曲線の解釈¶

学習曲線グラフを評価する際、下記を考慮に入れてください。

• モデルをよく吟味し、サンプルサイズの増加に伴い、急激な変化や、パフォーマンスの低下がないかどうか調べます。 データセットや検定セットが小さいときは、データセットの性質により、大幅な変動が生じることがあります。

• モデルはトレーニングセットの特定の特性に左右されやすくなるので、サンプルサイズが大きくなるとモデルのパフォーマンスが低下することがあります。

• 一般的に、バイアスの大きいモデル（線形モデルなど）は、小さなサンプルサイズで、一方、より柔軟でバリアンスの大きいモデルはしばしば、大きなサンプルサイズで、それぞれパフォーマンスが向上することがあります。

• 変動を前処理することで、モデルの柔軟性が向上することがあります。

速度対精度¶

予測精度を高めると、しばしば予測実行時間が長くなります。 速度対精度分析プロットは、予測実行時間と予測精度のトレードオフを示し、オーバーヘッドの最も低いモデルを選択するのに役立ちます。 現在選択されている指標を使用した検定スコアに基づいて表示されます。

• Y軸は、リーダーボード上で現在選択されている指標を一覧表示します。 Use the Metric dropdown to change metric.

• X軸には、予測を1000回行う際の推定時間がミリ秒単位で表示されます。 合計予測時間にはさまざまな要因が含まれ、実装によって異なります。 グラフ上の任意ポイントまたは右側の凡例内のモデル名にマウスオーバーすると推定時間およびスコアが表示されます。