外部テストデータを追加¶
デプロイ前にモデルの精度を比較し、パフォーマンスを評価するために、外部テストデータを追加します。 外部テストデータセットを使用すると、元のモデルのデータセット分割を維持したまま、トレーニング時に使用されなかったデータセット（いわゆる外部ホールドアウト）に対して、トレーニング済みモデルを評価することができます。 その後、指標のスコアや可視化を比較し、パフォーマンスの一貫性を確認します。
外部テストデータセットは次の1つです。
- 実測値（ターゲットの値）が含まれる。
- 元のデータセットには含まれていない（モデルはそのどの部分でもトレーニングしていない）。
この追加レベルの比較を活用するには、エクスペリメントにデータセットをアタッチし、必要に応じて個々のモデルをスコアリングします。 結果は、トレーニングで得られたスコアとともにUI全体に表示されます。 プロジェクトデータがパーティション分割され、モデルがトレーニングされたら、追加のテストデータセットをいくつでもアップロードできます。
備考
外部テストセットは、教師あり時系列を除くすべてのエクスペリメントタイプでサポートされています。 教師なし時系列モデルは、異常検知においては外部テストセットをサポートしていますが、クラスタリングではサポートしていません。
以下のセクションでは、テストデータの追加、モデルのスコアリング、および結果の評価に関するワークフローについて説明します。
外部テストデータのアタッチ¶
評価したいエクスペリメントのリーダーボードから、データセットを追加します。 教師あり学習の場合、外部セットには、ターゲット列と、トレーニングデータセットに存在するすべての列が含まれている必要があります（ただし、列を追加することはできます）。
-
アクションメニューを開き、外部テストデータを追加を選択します。
-
開かれたウィンドウでデータセットを選択し、追加をクリックします。
備考
異常検知プロジェクトの場合、ワークフローは若干異なります。 そのようなプロジェクトでは、予測データセットには、トレーニングセットと同じ列が含まれており、かつ既知の異常を示す列が少なくとも1つ含まれている必要があります。 既知の異常を示す列を実測値として選択します。
データセットの登録中は、外部テストデータを追加オプションは使用できません。 完了すると、リーダーボードが更新されて、外部テストデータという列が表示され、その上にデータセットセレクターであるテストデータセットが表示されます（データセットが1つしかアタッチされていない場合は無効です）。
備考
二値分類プロジェクトでは、外部テストを実行をクリックすると、現在の予測しきい値が予測ラベルの計算に使用されます。 ダウンロードされた予測では、計算とダウンロードの間にしきい値を更新しても、ラベルはそのしきい値に対応します。 DataRobotは、計算に使われたしきい値をデータセット一覧に表示します。
いつでも追加のデータセットをアタッチできます。 2つ以上のデータセットがアタッチされると、データセットセレクターが操作可能になります。 データセットの切り替えは、リーダーボード全体とサイドバーの両方で行えます。これらのビューには、常に同じ選択内容が反映されます。
モデルのスコアリング¶
データセットをアタッチしても、既存のモデルは自動的にスコアリングされません。各モデルについて、個別に評価を開始する必要があります。 スコアを算出するには：
-
複数の外部データセットが追加されている場合は、テストデータセットドロップダウンから目的のデータセットを選択します。 データセットが1つしかアタッチされていない場合、セレクターは無効になります。
-
外部データを使用してスコアを算出したい各モデルでスコアボタンをクリックします。 完了すると、スコアがモデルのサマリーに追加されます。
モデルを比較¶
リーダーボードのスコアを簡単に比較するには：
-
サイドバーのリストでモデルの並べ替えを使用して、外部データでスコアリングされたモデルのみを表示します。 表示される指標を変更すると、外部データパーティションのスコアもそれに応じて更新されます。
-
外部テストデータヘッダーをクリックして、スコアの昇順または降順に並べ替えます。
各モデルとデータセットの組み合わせは、1回しか評価できません。 評価を再実行または再試行するオプションはありません。
外部テストセットとインサイトの比較¶
外部テストデータの選択は、複数のインサイトタイプで行えます。 いずれも同じデータソースセレクターを使用して、トレーニングパーティションと外部データセットを切り替えます。 モデルインサイトの一部として外部テストデータの結果を表示するには、データ選択ドロップダウンを使用して、元のプロジェクトデータのパーティションと同様に外部テストセットを選択します。
このオプションは、次のインサイトを使用しているときに使用できます。
機能に関する注意事項¶
-
外部データセットの行数が10行未満の場合、インサイトは計算されません。ただし、指標スコアは計算され、リーダーボードに表示されます。
-
外部データセットに単一クラスの実測値しか含まれていない場合、ROC曲線のインサイトは無効になります。