モデリング > モデリングリファレンス > モデリングの詳細 > リーダーボードのリファレンス

リーダーボードのリファレンス¶

リーダーボードには、プロジェクト内で構築された各モデルについてのサマリー情報が大量に含まれています。モデルが完成した時点で、DataRobotは、スコアリングおよび構築の情報とともに、リーダーボードに各モデルを一覧表示します。モデルの下に表示されるテキスト部分には、モデルタイプの短い説明のほか、バージョン、無修正のオープンソースコードを使用したものであるかどうかが記述されています。以下に説明するバッジ、タグ、および列を使用して、モデルとスコアリング情報をすばやく識別できます。

タグとインジケーター¶

以下の表にタグと指標の説明を示します。

表示/名前	説明
BASELINE	時系列プロジェクトにのみ適用されます。
Beta	DataRobotの外部で手順の検証および予測の作成を行うために必要な係数のエクスポートや変換パラメーターのエクスポートが可能なモデルを示します。複雑な前処理が必要なブループリントでは、前処理をシンプルな形式（数字用のリジット変換など）でエクスポートできないのでベータタグはありません。ブループリントに係数があり、ベータタグでマークされていない場合、係数が正確ではありません（丸められている可能性があります）。
BIAS MITIGATION	モデルにバイアス軽減手法が適用されたことを示します。このバッジは、DataRobotがバイアスの軽減を自動適用した上位3つのオートパイロットリーダーボードモデルと、軽減手法を手動で適用したモデルに追加されます。
BPxx Blueprint ID*	単一モデルタイプ（バージョン情報を含む）のインスタンスを表すブループリントIDと、特徴量セットを表示します。同じプロジェクト内でこれらの特性を共有するモデルは、構築に使用されたサンプルの大きさを問わず、同一のブループリントIDを有しています。ブループリントIDが同じ場合にはモデルIDを使用して各モデルを識別してください。アンサンブルモデルは、その作成時に使用されたブループリントを示します（BP6+17+20など）。
FAST & ACCURATE	v6.1より前に作成されたプロジェクトのみ。リーダーボードのモデルのうち、設定されている予測速度ガイドラインを満たす最も精度の良いシングルモデルであることを示します。ガイドラインを満たすモデルがない場合、バッジは適用されません。このバッジはOTVでは表示されますが、時系列プロジェクトでは表示されません。
Frozen Run	フローズン実行機能を使用して作成されたモデルであることを示します。バッジは、元のモデルのサンプルパーセントも示します。
Insights	モデルがインサイトページに表示されることを示します。
Mxx Model ID*	リーダーボード上の各モデルの固有IDを表示します。モデルIDは、単一のプロジェクト内のモデルタイプ、特徴量セット、およびサンプルサイズのシングルインスタンスを表します。ブループリントIDが同じ場合にはモデルIDを使用して各モデルを識別してください。
MONO	モデルが単調制約付きで構築されたか、単調制約をサポートしても単調制約なしで構築されたことを示します。
MOST ACCURATE	v6.1より前に作成されたプロジェクトのみ。このモデルは検定または交差検定の結果に基づいて、リーダーボード全体において最も精度の高いモデルであることを示します（ほとんどの場合、アンサンブル）。
NEW SERIES OPTIMIZED	認識されなかった系列モデリングをサポートするモデルを示します（新規系列に対応）。
PREPARED FOR DEPLOYMENT	モデルがオートパイロットの推奨段階およびデプロイの準備ができていることを示します。
Rating tables	ダウンロード可能な格付表を含むモデルであることを示します。
RECOMMENDED FOR DEPLOYMENT	モデルの精度および複雑さに基づいてDataRobotでデプロイに推奨されるモデルであることを示します。
REF	モデルがリファレンスモデルであることを示します。リファレンスモデルは何も特別な前処理をしておりません。高度なモデルにより提供されるパフォーマンス向上を測定することに使える基本モデルです。
SCORING CODE	ダウンロード可能なスコアリングコードを含むモデルであることを示します。
SEGMENT CHAMPION	モデルが複数系列のセグメント化されたモデリングプロジェクトにおいて選択されたセグメントチャンピオンであることを示します。
SHAP	モデルが SHAPベースの予測の説明で構築されたことを示します。バッジがない場合、モデルはXEMPベースの説明を提供します。
TUNED	チューニング済みのモデルであることを示します。
Upper Bound Running Time	実行時間の上限を超えるモデルであることを示します。

* プロジェクト間でブループリントまたはモデルIDが一致するとは限りません。モデルIDは、構築時にモデルがキューに追加された順序を表します。プロジェクトごとにモデルやモデルの順序が異なる可能性があるため、これらの数はプロジェクト間で異なる場合があります。同様に、生成された別のブループリントに基づいてブループリントIDが異なる可能性があるブループリントIDについても同様です。プロジェクト間で一致するブループリントを確認したい場合は、ブループリントダイアグラムを確認してください。ダイアグラムが一致する場合、ブループリントは同じです。

モデル推奨計算に関する情報については、以下も参照してください。

モデルアイコン¶

タグに加え、DataRobotでは、タイプを示すモデル名の左側にバッジ（アイコン）が表示されます。

: specially tuned DataRobot implementation of a model
: blender model
: Eureqa model
: Keras model
: Light Gradient Boosting Machine model
: Python model
: R model
: Spark model
: TensorFlow model
: XGBoost model

モデルの下に表示されるテキスト部分には、モデルタイプの短い説明のほか、バージョン、無修正のオープンソースコードを使用したものであるかどうかが記述されています。

モデルタイプとパフォーマンス¶

一部のモデルは、予測速度を犠牲にして予測精度を向上させています。これらのモデルは、予測時間や信頼性が重要な要素ではないバッチ予測（一度または繰り返し）に最適です。

一部のユースケースでは、低レイテンシー（またはリアルタイム）の予測を行うためのモデルが必要です。このようなパフォーマンス重視のユースケースでは、予測速度や予測メモリー使用量よりも精度を優先するため、次のモデルタイプのデプロイは避けるのが最善です。

列とツール¶

リーダーボード列では、モデルの「仕様」に関する情報を一目で確認することができます:

下記の表は、リーダーボード列を示します。

列	説明
モデル名および説明	モデル名（タイプ）に加えて、識別子と説明が表示されます。
特徴量セット	モデルの作成に使用される特徴量セットの名前を一覧表示します。特徴量セットラベルをクリックし、一覧内の特徴量のカウント数を取得します。
サンプルサイズ	モデルの作成に使用されるサンプルサイズを表示します。サンプルサイズラベルをクリックすると、そのサンプルサイズが表している列の数を確認したり、選択されたサンプルサイズのみに表示を設定したりできます。初期設定では、DataRobotにはプロジェクトの全サンプルサイズ実行が表示されます。プロジェクトに外部予測モデルが含まれている場合、サンプルサイズはN/Aと表示されます。
検証	モデルの検定スコアを表示します。最初の交差検定の分割から派生したスコアです。一部のスコアには、サンプル内予測を示す印としてアスタリスクが付けられていることがあります。
交差検定	実行されると、交差検定スコアを表示します。データセットが50,000行を超える場合、DataRobotは交差検定を自動的に開始しません。実行リンクをクリックして、手動で交差検定を実行することができます。一部のスコアには、サンプル内予測を示す印としてアスタリスクが付けられていることがあります。データセットが800MBよりも大きい場合、交差検定を行うことはできません。
ホールドアウト	モデルのホールドアウトがロック解除されているかどうかを示すロックアイコンを表示します。ロックを解除すると、一部のスコアには、サンプル内予測を示す印としてアスタリスクが付けられ、スコアを派生します。
指標	リーダーボードの精度指標を設定（およびその選択内容を表示）します。モデルは、モデル構築プロセスの前に選択された指標でのスコアリング（最高から最低の順）で表示されます。オレンジ色の矢印をクリックすると、最適化指標を変更するプルダウンリストが表示されます。
メニュー	モデルの比較、モデルの追加と削除、およびアンサンブルモデルの作成をすばやく行うことができます。
検索	以下に示すようにモデルを検索します。
新しいモデルを追加	ダイヤログから設定した具体的な条件を基にモデルを追加します。
フィルター	さまざまな選択基準でフィルターします。リーダーボードタグをクリックして選択したタグでフィルターすることもできます。
エクスポート	以下に示すように、リーダーボードの内容をCSVファイルとしてダウンロードできます。

モデルのタグ付けとフィルター¶

リーダーボードには関連するモデルを表示して簡単に集中できるようにする、フィルタリング機能があります。

リーダーボードに表示される1つまたは複数のモデルにタグ（星）を付けて、アプリケーションをナビゲートするときにモデルを容易に参照できます。モデルに星印を付けるには、ポインターをその上に置くと星印が表示されるので、クリックして選択できます。

モデルの選択を解除するには星印を再度クリックします。
フィルターオプションを使用して、選択した基準を満たすモデルのみを表示します。
いずれかのフィルターを検索フィルタリングと組み合わせます。まず、モデルタイプやブループリント番号などを検索してから、フィルターを選択して、追加基準を満たすそのタイプのモデルのみを検索します。

リーダーボードのフィルターの使用¶

フィルター選択ボックスを使用して、選択した基準に一致するモデルのみを表示するようにリーダーボードの表示を変更します。使用可能なフィールドとそのフィールドの設定は、プロジェクトやモデルタイプによって異なります。たとえば、日付/時刻モデル以外はサンプルサイズのフィルタリングを提供し、時間認識モデルはトレーニング期間を提供します。

備考

フィルターは包括的です。つまり、結果にはすべてのフィルターではなく、いずれかのフィルターに一致するモデルが表示されます。また、選択可能なオプションには、基準に一致するモデルが少なくとも1 つリーダーボードにあるものを含めます。

次の表では、使用可能なすべてのリーダーボードフィルターについて説明します。

タグ	フィルター対象...
モデルの重要性	リーダーボードで手動で星印が付けられたモデル。
サンプルサイズ	外部予測モデルの選択したサンプルサイズまたはN/A。時間認識以外のみ。
トレーニング期間	期間または開始日/終了日のいずれか。時間認識のみ。
特徴量セット	プロジェクトの少なくとも1つのモデルで使用された、手動または自動で作成された特徴量セット。
モデルファミリー	タスクごとにグループ化されたモデル、モデルアイコンバッジの拡張機能。
モデルの特性	モデルバッジを表示します。
Blueprint ID	単一のモデルタイプ（バージョンを含む）のインスタンスを表す、同じIDを持つすべてのモデル。
Model ID	リーダーボード上のモデルの単一の固有ID。
構築方法	リーダーボードにモデルを追加する方法。オートパイロット：フル、クイック、または包括的オートパイロットを使用して作成されたモデル。リポジトリ：リポジトリから手動で追加されたモデル。 Composable ML：ブループリントエディターを使用して構築されたカスタムモデル。高度なチューニング：手動で調整されたモデル。 Eureqa child: Manually added to the Leaderboard via Eureqa solutions.

モデルの特性オプション¶

次のリストには、検索に使用できるモデルの特性が含まれています。簡単な説明については上の表を、詳細についてはリンク先のページを参照してください。

リポジトリフィルターの使用¶

フィルターオプションは、モデルの リポジトリページからも利用できます。

次の表では、使用可能なすべてのリポジトリフィルターについて説明します。

タグ	フィルター対象...
ブループリントの特徴	対応機能に基づくブループリント。オプションには、リファレンス、単調、ベースライン、外部予測、SHAPがあります。
ブループリントファミリー	ブループリントが使用する数学的手法またはアルゴリズム。
ブループリントのタイプ	ブループリントのオリジン、 DataRobot、 Eureqaまたは Composable MLのいずれか。
ブループリントID	単一のモデルタイプ（バージョンを含む）と特徴量セットのインスタンスを表す、同じIDを持つモデル。

リーダーボードの検索¶

フィルター方法に加えて、リーダーボードは、検索条件に一致するモデルのみに表示をさらに制限する方法が用意されています。

リーダーボードのエクスポート¶

リーダーボードの内容をCSVファイルとしてダウンロードできます。そのためには、操作バーのエクスポートボタンをクリックします。

プレビュー画面が表示されます。

この画面にはリーダーボードのコンテンツ（1）が表示されます。このコンテンツはコピーできます。また、.csvファイル（2）の名前を変更できます。以下の点に注意してください。

リーダーボードをエクスポートする際に使用できるファイルの種類は.csvだけです。
ホールドアウトのスコアは、ホールドアウトがロック解除されている場合にのみレポートに含まれます。

コンテンツをエクスポートするには、ダウンロードボタンをクリックします。

アンサンブルモデル¶

ブレンダー（またはアンサンブル）モデルは、2〜8個のモデルの予測を組み合わせることによって精度を向上させることができます。 最上位モデルからアンサンブルを作成詳細オプションを使用して、DataRobotが次のアンサンブルをリーダーボードに自動的に追加できるようにします。

モデル構築の前に最上位モデルからアンサンブルを作成オプションを選択しなかった場合は、オートパイロットの終了時に手動でアンサンブルモデルを作成できます。

アンサンブルモデルのレスポンス時間を改善するために、DataRobotは、オートパイロットによって使用される最大サンプルサイズ（通常64%）でトレーニングされた全モデルの予測を保存し、それらの結果からアンサンブルを作成します。最大サンプルサイズ（したがって、最善のパフォーマンスモデルからの予測）のみを保存することで、必要なディスク容量が抑えられます。

DataRobotには、自然言語処理（NLP）および画像のファインチューナーモデル用に特別なロジックが用意されています。たとえば、ファインチューナーはスタックされた予測をサポートしていません。その結果、スタックモデルとスタック非対応モデルをブレンドする場合、使用可能なアンサンブルメソッドは次のとおりです。AVG、MED、MIN、またはMAX。この場合、DataRobotは他の方法をサポートしません。ターゲットリーケージが発生する可能性があるためです。

アスタリスク付きスコア¶

本機能の提供について

アスタリスクが付いたパーティションは、時系列または複数系列プロジェクトに適用されません。

リーダーボードの検定、交差検定、またはホールドアウトスコアにアスタリスクが表示されることがあります。スコアの上にマウスオーバーすると、アスタリスクが付いている理由を説明するツールヒントが表示されます。

備考

次のトレーニングセットの割合の値は、DataRobotが推奨するデフォルトのデータ分割設定に基づく例です。（ダウンサンプリングなし）。デフォルトのデータ分割は、20%のホールドアウトで5分割CV、またはより大きなデータセットでは、TVHの16%は検定と20%はホールドアウトになります。データ分割設定をカスタマイズすると、検定のトレーニングのしきい値が変更されます。たとえば、20%のホールドアウトで10分割CVを選択した場合、トレーニングセットの最大サンプルサイズは64%ではなく72%になります。

デフォルトでは、DataRobotはトレーニングセットに対してデータの最大64%を使用します。これは、検定またはホールドアウトセットからのデータを一切含まない最大サンプルサイズです（データの16%は検定セット用に予約され、20%はホールドアウトセット用に予約されています）。モデルの構築が終了したら、より大きなサンプルサイズ（80%や100%など）で手動でトレーニングできます。 64%以上80%未満の場合、モデルは検定セットのデータでトレーニングを行います。 80%以上のデータでトレーニングする場合、モデルは、ホールドアウトセットにあるデータでトレーニングします。

結果的に、64%以上のデータでトレーニングした場合、検定スコアにはアスタリスクが表示され、そのスコアに一部サンプル内予測が使用されたことを示します。 80%以上のデータでトレーニングした場合は、ホールドアウトスコアにもアスタリスクが表示され、スコアの派生にサンプル内予測が使用されたことを示します。

N/Aスコア¶

リーダーボードの検定、交差検定、またはホールドアウトスコアで、スコアの代わりにN/Aと表示されることがあります。「なし」スコアは、プロジェクトが検定またはホールドアウトセットにトレーニングされていて、かつ、プロジェクトが以下のいずれかの条件に一致する場合に発生します。

データセットが800MBを超えているため、スタックされた予測がないモデルを含むスリムランプロジェクトになります。
プロジェクトは、日付/時刻のパーティション（OTVおよび時系列）で、そのモデルすべてにスタックされた予測がありません。
プロジェクトは、クラスが10以上ある多クラスです。
Eureqaモデルにはスタックされた予測がないため、プロジェクトはEureqaモデリングを使用します。