外部予測¶
外部予測の「詳細オプション」タブから外部モデルをDataRobot AutoML環境に取り込み、リーダーボードに表示したり、DataRobotの評価インサイトのサブセットを実行してDataRobotモデルと比較したりすることができます。 この特徴量：
-
DataRobot以外でトレーニングしたモデルとDataRobotでトレーニングしたモデルの精度の比較を、予測値から把握するのに役立ちます。
-
外部でトレーニングしたモデルに対して、DataRobotの信頼と説明可能性を可視化し、より良いモデルの理解、コンプライアンス、公正性の結果を提供できます。
ワークフローの概要¶
DataRobotに外部モデルを取り込むには、以下のワークフローに従います。
- データセットを準備します。
- 高度なオプションを設定します。
- 外部モデルを追加します。
- 外部モデルを評価します。
- バイアステストを有効にします（二値分類のみ）。
データセットの準備¶
プロジェクトをセットアップするにあたり、アップロードされたデータセットに以下の2つの列があることを確認します。
-
交差検定またはトレーニング/検定/ホールドアウト（TVH）のいずれかのパーティション列を識別する値を含む列。 交差検定を使用する場合、値は分割を表します。例（5 CV分割の場合）：
1、2、3、4、5。 TVHの場合、通常、値はT、V、Hになります。この列は、後で詳細オプションのパーティション特徴量戦略で参照されます。 以下の例では、列に
partition_columnという名前が付けられます。 -
外部モデルの予測値の列（「外部予測列」）。 以下の説明では、予測値の例として
Model1_outputという名前を使用します。
備考
外部モデル予測値は、数値にする必要があります。 二値分類プロジェクトの場合、予測値は[0.0, 1.0]の間でなければなりません。 連続値プロジェクトの場合、予測値は(-inf, inf)の間でなければなりません。
高度なオプションの設定¶
モデリングの準備をするには：
-
高度なオプションの外部予測タブを開きます。 データセットに含まれる外部予測列の名前を入力します（最大100列）。 パーティショニングが設定されていることを確認するよう求められます。
-
パーティション特徴量の設定をクリックして、該当するタブを開きます。 パーティショニングタブで、以下を実行します。
- 分割手法を選択をパーティション特徴量に設定します。
- パーティション特徴量を列名
partition_columnに設定します。 - 次の設定でモデルを生成を、交差検定またはTVHのいずれかに設定します。
- TVHを使用する場合は、パーティションを表す
partition_column内の値を設定します。
外部モデルの追加¶
以下の方法で、リーダーボード上で外部モデルを追加することも可能です。
- 手動モードを使用する個別モデルとして。
- フルオートパイロットモード、クイックモード、または包括モードを使用する多くのモデルの1つとして。 この場合、外部モデルはモデル推奨プロセスの末尾に追加されます。
たとえば、外部モデルを1つ追加する場合：
-
開始ページで、モデリングモードを手動に変更します。 （これにより、外部モデルをリポジトリから選択できます。） 開始をクリックしてEDA2を開始します。
-
EDA2が終了したら、データページを開きます。 有用性列で、外部モデル予測値列
Model1_Outputに外部のラベルが付けられ、パーティション特徴量partition_columnにパーティションのラベルが付けられます。
-
モデルリポジトリを開き、
Model1_Outputを検索して選択します。 結果のタスク設定フィールドでは、特徴量セットとサンプルサイズは変更できません。 これは、DataRobotが、トレーニングデータのどの特徴量を用いて外部モデルをトレーニングしたのか、どの程度のサンプル数を用いたのかを知ることができないためです。
-
タスクを実行をクリックします。
外部モデルの評価¶
モデル構築が終了すると、モデルをリーダーボード上で比較したり、さらに調査したりできます。 これには、外部予測のラベルでマークが付けられます。
備考
リーダーボードの指標スコア（LogLossなど）は、scikit-learnで計算された等価検定、交差検定、ホールドアウト指標スコアと一致します。
以下のインサイトがサポートされています。
| インサイト | プロジェクトタイプ |
|---|---|
| リフトチャート | すべて |
| 残差 | 連続値 |
| ROC曲線 | 分類 |
| 収益曲線 | 分類 |
| モデル比較 | すべて |
| モデルのコンプライアンスドキュメント | すべて。DataRobotが保持する外部モデルの知識が限られているため、セクションの一部しか生成されないことに留意してください。 |
| バイアスと公平性 | 分類。以下を参照してください。 |
バイアスと公平性のテスト¶
さらに、データセットが二値分類プロジェクトを作成する場合、外部モデルのバイアステスト用にバイアスと公平性のオプションを設定できます。
-
バイアスと公平性 > 設定ページのフィールドに入力します。 保存をクリックすると、DataRobotが必要なデータを取得します。
-
クラスごとのバイアスタブを開くと、モデルにバイアスがあるかどうか、バイアスがある場合はその程度、対象、好意的なのか非好意的なのかを確認できます。
-
クラス別の精度タブを開くと、保護された各特徴量について、計算された評価指標とROC曲線関連のスコアが、クラスごとにセグメント化されて表示されます。