エクスペリメントのインサイト¶

タイル	説明
	すべてのモデルについて、エクスペリメントレベルの情報を提供するインサイトを開きます。

エクスペリメントのインサイトは、モデルのコンテキスト情報を提供するツールです。

• さまざまなサンプルサイズにおけるモデルのパフォーマンスを比較するには、学習曲線を使用します。
• 実行時間と予測精度のトレードオフをグラフ化するには、速度 対 精度を使用します。

学習曲線¶

学習曲線は、データセットのサイズを増やす価値があるかどうかを判断するのに役立ちます。 追加データを入手するにはコストがかかる場合がありますが、モデルの精度が向上するのであれば、そうするだけの価値があるかもしれません。 このグラフは、パフォーマンスの高いモデルについて、サンプルサイズが変化するにつれモデルパフォーマンスがどのように変化するかを示します。 リーダーボードの並べ替え設定とは別に、指標ドロップダウンを結果の並べ替えに利用できます。 トレーニングパーティションと検定パーティションにおいて複数のサンプルサイズで計算された際のモデルグループのパフォーマンスがグラフ化されます。 このグループ化はグラフ上の線を表し、線上の各点は、そのグループ内の個々のモデルのサンプルサイズとスコアを表しています。

値の表示¶

曲線の点の値を確認するには、マウスオーバーするかクリックします。 該当するモデルがモデルリストでハイライトされます。

フィルタービュー¶

学習曲線の表示は、指標または特徴量セットでフィルターできます。 結果を比較するための指標を選択します。 たとえば、以下の図はLogLossとFVE Binomialの結果を示しています。

デフォルトでは、グラフは特徴量セット「有用な特徴量」を使用してプロットされます。 特徴量セットドロップダウンメニューを使用して、カスタムセット（モデルの実行に使用された場合）を含む、別の特徴量セットのモデルを表示するようにグラフをフィルターします。 メニューは、プロジェクトに属する全特徴量セットを一覧表示します。 特徴量セット上でモデルを実行していない場合、オプションは無効な状態で表示されます。

新しいサンプルサイズの計算¶

クイックオートパイロットでは1段階のトレーニングが使用されるため、学習曲線グラフには、最初はパフォーマンスの上位10モデルについて1つずつしか点が表示されません。 表示点を増やすには、学習曲線を計算するオプションを使用します。

新しい点を計算するには：

1. ウィンドウの右側にあるリストから、計算するモデルを選択します。 選択したモデルがハイライト表示されます。 学習曲線を計算するをクリックします。

2. カスタムサイズを含むサンプルサイズを追加または削除します。

   

3. 計算するをクリックします。

学習曲線の解釈¶

学習曲線のグラフを評価する際には、以下の点に注意してください。

• モデルをよく吟味し、サンプルサイズの増加に伴い、急激な変化や、パフォーマンスの低下がないかどうか調べます。 データセットや検定セットが小さいときは、データセットの性質により、大幅な変動が生じることがあります。

• モデルはトレーニングセットの特定の特性に左右されやすくなるので、サンプルサイズが大きくなるとモデルのパフォーマンスが低下することがあります。

• 一般的に、バイアスの大きいモデル（線形モデルなど）は、小さなサンプルサイズで、一方、より柔軟でバリアンスの大きいモデルはしばしば、大きなサンプルサイズで、それぞれパフォーマンスが向上することがあります。

• 変動を前処理することで、モデルの柔軟性が向上することがあります。

速度対精度¶

予測精度を高めると、しばしば予測実行時間が長くなります。 速度 対 精度の分析プロットは、実行時間と予測精度のトレードオフを示し、オーバーヘッドが最も少ない最適なモデルを選択するのに役立ちます。 表示は、現在選択されている指標を用いた検定スコアに基づいています。

• Y軸は、リーダーボード上で現在選択されている指標を一覧表示します。 指標を変更するには、指標ドロップダウンを使用します。

• X軸には、予測を1000回行う際の推定時間がミリ秒単位で表示されます。 合計予測時間にはさまざまな要因が含まれ、実装によって異なります。 グラフ上の任意ポイントまたは右側の凡例内のモデル名にマウスオーバーすると推定時間およびスコアが表示されます。