リーダーボードのリファレンス¶

リーダーボードには、プロジェクト内で構築された各モデルについてのサマリー情報が大量に含まれています。 モデルが完成した時点で、DataRobotは、スコアリングおよび構築の情報とともに、リーダーボードに各モデルを一覧表示します。 モデルの下に表示されるテキスト部分には、モデルタイプの短い説明のほか、バージョン、無修正のオープンソースコードを使用したものであるかどうかが記述されています。 以下に説明するバッジ、タグ、および列を使用して、モデルとスコアリング情報をすばやく識別できます。

タグとインジケーター¶

以下の表にタグと指標の説明を示します。

表示/名前	説明
ベースライン	時系列プロジェクトにのみ適用されます。MASE指標を使用して構築されたベースラインモデルを示します。
ベータ	DataRobotの外部で手順の検証および予測の作成を行うために必要な係数のエクスポートおよび変換パラメーターをエクスポートできるモデルを示します。 複雑な前処理が必要なブループリントでは、前処理をシンプルな形式（数字用のリジット変換など）でエクスポートできないのでベータタグはありません。 ブループリントに係数があり、ベータタグでマークされていない場合、係数が正確ではありません（丸められている可能性があります）。
バイアス軽減	モデルに バイアス軽減手法が適用されたことを示します。 このバッジは、DataRobotがバイアスの軽減を自動適用した上位3つのオートパイロットリーダーボードモデルと、軽減手法を手動で適用したモデルに追加されます。
BPxx ブループリントID*	単一モデルタイプ（バージョン情報を含む）のインスタンスを表すブループリントIDと、特徴量セットを表示します。 同じプロジェクト内で これらの特性を共有するモデルは、構築に使用されたサンプルの大きさを問わず、同一のブループリントIDを有しています。 ブループリントIDが同じ場合にはモデルIDを使用して各モデルを識別してください。 アンサンブルモデルは、その作成時に使用されたブループリントを示します（BP6+17+20など）。
速い&精度の高い	使用非推奨、v6.1より前に作成されたプロジェクトに適用可能。 リーダーボードのモデルのうち、設定されている予測速度ガイドラインを満たす最も精度の良いシングルモデルであることを示します。 ガイドラインを満たすモデルがない場合、バッジは適用されません。 このバッジはOTVでは表示されますが、時系列プロジェクトでは表示されません。
フローズン実行	フローズン実行機能を使用して作成されたモデルであることを示します。 バッジは、元のモデルのサンプルパーセントも示します。
インサイト	モデルがインサイトページに表示されることを示します。
Mxx モデルID*	リーダーボード上の各モデルの固有IDを表示します。 モデルIDは、 _単一のプロジェクト内_のモデルタイプ、特徴量セット、およびサンプルサイズのシングルインスタンスを表します。 ブループリントIDが同じ場合にはモデルIDを使用して各モデルを識別してください。
単調制約	モデルが単調制約付きで構築されたか、単調制約をサポートしても単調制約なしで構築されたことを示します。
最も精度の高い	使用非推奨、v6.1より前に作成されたプロジェクトに適用可能。 このモデルは検定または交差検定の結果に基づいて、リーダーボード全体において最も精度の高いモデルであることを示します（ほとんどの場合、アンサンブル）。
新しい系列を最適化	認識されなかった系列モデリングをサポートするモデルを示します（新規系列に対応）。
デプロイの準備済み	モデルがオートパイロットの推奨段階およびデプロイの準備ができていることを示します。
格付表	ダウンロード可能な格付表を含むモデルであることを示します。
デプロイ推奨	モデルの精度および複雑さに基づいてDataRobotでデプロイに推奨されるモデルであることを示します。
REF	モデルがリファレンスモデルであることを示します。 リファレンスモデルは何も特別な前処理をしておりません。高度なモデルにより提供されるパフォーマンス向上を測定することに使える基本モデルです。
スコアリングコード	ダウンロード可能なスコアリングコードを含むモデルであることを示します。
セグメントのチャンピオン	モデルが複数系列のセグメント化されたモデリングプロジェクトにおいて選択されたセグメントチャンピオンであることを示します。
SHAP	モデルが SHAPベースの予測の説明で構築されたことを示します。 バッジがない場合、モデルはXEMPベースの説明を提供します。
チューニング済み	チューニング済みのモデルであることを示します。
実行時間の上限	実行時間の上限を超えるモデルであることを示します。

* プロジェクト間でブループリントまたはモデルIDが一致するとは限りません。 モデルIDは、構築時にモデルがキューに追加された順序を表します。プロジェクトごとにモデルやモデルの順序が異なる可能性があるため、これらの数はプロジェクト間で異なる場合があります。 同様に、生成された別のブループリントに基づいてブループリントIDが異なる可能性があるブループリントIDについても同様です。 プロジェクト間で一致するブループリントを確認したい場合は、ブループリントダイアグラムを確認してください。ダイアグラムが一致する場合、ブループリントは同じです。

モデル推奨計算に関する情報については、以下も参照してください。

モデルアイコン¶

タグに加え、DataRobotでは、タイプを示すモデル名の左側にバッジ（アイコン）が表示されます。

• ：特別にチューニングされたDataRobot実装のモデル
• ：アンサンブルモデル
• ：Eureqaモデル
• ：Kerasモデル
• ：LightGBMモデル
• ：Pythonモデル
• ：Rモデル
• ：Sparkモデル
• ：TensorFlowモデル
• ：XGBoostモデル
• ：Jupyter Notebookで構築したカスタムモデル（廃止）

モデルの下に表示されるテキスト部分には、モデルタイプの短い説明のほか、バージョン、無修正のオープンソースコードを使用したものであるかどうかが記述されています。

モデルタイプとパフォーマンス¶

一部のモデルは、予測速度を犠牲にして予測精度を向上させています。 これらのモデルは、予測時間や信頼性が重要な要素ではないバッチ予測（一度または繰り返し）に最適です。

一部のユースケースでは、低レイテンシー（またはリアルタイム）の予測を行うためのモデルが必要です。 このようなパフォーマンス重視のユースケースでは、予測速度や予測メモリー使用量よりも精度を優先するため、次のモデルタイプのデプロイは避けるのが最善です。

• Kerasモデル
• Blenderモデル（またはアンサンブルモデル）
• 高度なチューニングモデル
• 包括的なオートパイロットモードを使用して生成されたモデル
• Tensorflowモデル（使用非推奨）

列とツール¶

リーダーボード列では、モデルの「仕様」に関する情報を一目で確認することができます:

下記の表は、リーダーボード列を示します。

モデルのタグ付けとフィルター¶

リーダーボードには関連するモデルを表示して簡単に集中できるようにする、フィルタリング機能があります。

• リーダーボードに表示される1つまたは複数のモデルにタグ（星）を付けて、アプリケーションをナビゲートするときにモデルを容易に参照できます。 モデルに星印を付けるには、ポインターをその上に置くと星印が表示されるので、クリックして選択できます。

  

  モデルの選択を解除するには星印を再度クリックします。

• フィルターオプションを使用して、選択した基準を満たすモデルのみを表示します。

  

• いずれかのフィルターを 検索フィルタリングと組み合わせます。 まず、モデルタイプやブループリント番号などを検索してから、フィルターを選択して、追加基準を満たすそのタイプのモデルのみを検索します。

  

リーダーボードのフィルターの使用¶

フィルター選択ボックスを使用して、選択した基準に一致するモデルのみを表示するようにリーダーボードの表示を変更します。 使用可能なフィールドとそのフィールドの設定は、プロジェクトやモデルタイプによって異なります。 たとえば、日付/時刻モデル以外はサンプルサイズのフィルタリングを提供し、時間認識モデルはトレーニング期間を提供します。

次の表では、使用可能なすべてのリーダーボードフィルターについて説明します。

タグ	フィルター対象…
モデルの重要性	リーダーボードで手動で星印が付けられたモデル。
サンプルサイズ	外部予測モデルの選択したサンプルサイズまたはN/A。 時間認識以外のみ。
トレーニング期間	期間または開始日/終了日のいずれか。 時間認識のみ。
特徴量セット	プロジェクトの少なくとも1つのモデルで使用された、手動または自動で作成された特徴量セット。
モデルファミリー	タスクごとにグループ化されたモデル、モデルアイコンバッジの拡張機能。
モデルの特性	モデルバッジを表示します。
ブループリントID	単一のモデルタイプ（バージョンを含む）のインスタンスを表す、同じIDを持つすべてのモデル。
モデルID	リーダーボード上のモデルの単一の固有ID。
構築方法	リーダーボードにモデルを追加する方法。 オートパイロット：フル、クイック、または包括的オートパイロットを使用して作成されたモデル。 リポジトリ： リポジトリから手動で追加されたモデル。 Composable ML：ブループリントエディターを使用して構築されたカスタムモデル。 高度なチューニング：手動で調整されたモデル。 Eureqaの子：Eureqaソリューションからリーダーボードに手動で追加されました。

モデルの特性オプション¶

次のリストには、検索に使用できるモデルの特性が含まれています。 簡単な説明については 上の表を、詳細についてはリンク先のページを参照してください。

インサイトの追加 オーグメンテーション済み * ベースライン * バイアス軽減 * ブラックリスト * 廃止 * エクスポート可能な係数 * 外部予測 * フローズン * 単調制約 * 新しい系列を最適化 * 格付表 * リファレンスモデル * スコアリングコード * SHAP

リポジトリフィルターの使用¶

フィルターオプションは、モデルの リポジトリページからも利用できます。

次の表では、使用可能なすべてのリポジトリフィルターについて説明します。

リーダーボードの検索¶

フィルター方法に加えて、リーダーボードは、検索条件に一致するモデルのみに表示をさらに制限する方法が用意されています。

リーダーボードのエクスポート¶

リーダーボードの内容をCSVファイルとしてダウンロードできます。 そのためには、操作バーのエクスポートボタンをクリックします。

プレビュー画面が表示されます。

この画面にはリーダーボードのコンテンツ（1）が表示されます。このコンテンツはコピーできます。また、.csvファイル（2）の名前を変更できます。 以下の点に注意してください。

• リーダーボードをエクスポートする際に使用できるファイルの種類は.csvだけです。
• ホールドアウトのスコアは、ホールドアウトがロック解除されている場合にのみレポートに含まれます。

コンテンツをエクスポートするには、ダウンロードボタンをクリックします。

アンサンブルモデル¶

ブレンダー（またはアンサンブル）モデルは、2〜8個のモデルの予測を組み合わせることによって精度を向上させることができます。 最上位モデルからアンサンブルを作成詳細オプションを使用して、DataRobotが次のアンサンブルをリーダーボードに自動的に追加できるようにします。

• 平均アンサンブル Generalized Linear Modelアンサンブル（GLM） Elastic Netアンサンブル（ENET）

モデル構築の前に最上位モデルからアンサンブルを作成オプションを選択しなかった場合は、オートパイロットの終了時に手動で アンサンブルモデルを作成できます。

アンサンブルモデルのレスポンス時間を改善するために、DataRobotは、オートパイロットによって使用される最大サンプルサイズ（通常64%）でトレーニングされた全モデルの予測を保存し、それらの結果からアンサンブルを作成します。 最大サンプルサイズ（したがって、最善のパフォーマンスモデルからの予測）のみを保存することで、必要なディスク容量が抑えられます。

DataRobot has special logic in place for natural language processing (NLP) and image fine-tuner models. たとえば、ファインチューナーは スタックされた予測をサポートしていません。 その結果、スタックモデルとスタック非対応モデルをブレンドする場合、使用可能なアンサンブルメソッドは次のとおりです。AVG、MED、MIN、またはMAX。 この場合、DataRobotは他の方法をサポートしません。ターゲットリーケージが発生する可能性があるためです。

アスタリスク付きスコア¶

リーダーボードの検定、交差検定、またはホールドアウトスコアにアスタリスクが表示されることがあります。 スコアの上にマウスオーバーすると、アスタリスクが付いている理由を説明するツールヒントが表示されます。

デフォルトでは、DataRobotはトレーニングセットに対してデータの最大64%を使用します。 これは、検定またはホールドアウトセットからのデータを一切含まない最大サンプルサイズです（データの16%は検定セット用に予約され、20%はホールドアウトセット用に予約されています）。 モデルの構築が終了したら、より大きなサンプルサイズ（80%や100%など）で手動でトレーニングできます。 64%以上80%未満の場合、モデルは検定セットのデータでトレーニングを行います。 80%以上のデータでトレーニングする場合、モデルは、ホールドアウトセットにあるデータでトレーニングします。

結果的に、64%以上のデータでトレーニングした場合、検定スコアにはアスタリスクが表示され、そのスコアに一部サンプル内予測が使用されたことを示します。 80%以上のデータでトレーニングした場合は、ホールドアウトスコアにもアスタリスクが表示され、スコアの派生にサンプル内予測が使用されたことを示します。

N/Aスコア¶

リーダーボードの検定、交差検定、またはホールドアウトスコアで、スコアの代わりにN/Aと表示されることがあります。 「なし」スコアは、プロジェクトが検定またはホールドアウトセットにトレーニングされていて、かつ、プロジェクトが以下のいずれかの条件に一致する場合に発生します。

• データセットが800MBを超えているため、 スタックされた予測がないモデルを含むスリムな実行プロジェクトになります。
• プロジェクトは、日付/時刻のパーティション（OTVおよび時系列）で、そのモデルすべてにスタックされた予測がありません。
• プロジェクトは、クラスが10以上ある多クラスです。
• Eureqaモデルにはスタックされた予測がないため、プロジェクトはEureqaモデリングを使用します。