チャンピオンとチャレンジャーの比較¶

MLOpsは、チャレンジャーモデルをデプロイ済みモデル（「チャンピオン」）およびその他のチャレンジャーモデルと比較して、デプロイがお客様のニーズに最適なモデルを使用するようにします。結果に応じて、チャンピオンモデルをよりパフォーマンスの高いチャレンジャーに置き換えることができます。

チャレンジャーモデル比較機能を使用すると、モデルの構成、信頼性、挙動を確認できます。DataRobotは比較ビジュアライゼーションを提供して、チャンピオンとチャレンジャーとして最適なモデルを決定する上で役立ちます。さまざまなデータセットでこれらのモデルをトレーニングできます。たとえば、チャレンジャーモデルでは、チャンピオンに使用されるチャンピオンと同じデータソースの更新済みスナップショットを使用できます。さまざまなデータセットでトレーニングできますが、DataRobotは、予測が同じデータセットとパーティションでスコアリングされるように、指定された比較データセットに基づいてビジュアライゼーションをレンダリングします。これにより、モデルが合理的に比較可能になります。

比較を生成する¶

チャレンジャーを有効化し、1つ以上のチャレンジャーをデプロイに追加した後、詳細な比較データとビジュアライゼーションを生成できます。

1. デプロイページで、比較するチャンピオンモデルとチャレンジャーモデルがあるデプロイを見つけて展開します。

2. チャレンジャータブを選択します。

3. チャレンジャーサマリータブで、まだチャレンジャーモデルを追加していない場合は追加し、必要に応じてチャレンジャーの予測を再生します。

4. モデル比較タブを選択します。

   次の表はモデル比較タブの要素を示しています。

   

   	要素	説明
   	モデル1	デフォルトは、チャンピオンモデル（現在デプロイされているモデル）です。クリックして比較する別のモデルを選択します。
   	モデル2	デフォルトは、リストの最初のチャレンジャーモデルです。クリックして比較する別のモデルを選択します。リストにモデル1と比較するモデルが含まれていない場合は、チャレンジャーサマリータブをクリックして新しいチャレンジャーを追加します。
   	モデルパッケージを開く	クリックしてモデルの詳細を表示します。詳細はモデルレジストリのモデルパッケージタブに表示されます。
   	チャンピオンに昇格	比較されるモデルを最良のモデルである場合は、クリックしてデプロイ済みモデルをこのモデルに置き換えます。
   	比較データセットを追加	両方のモデルのインサイトを生成するデータセットを選択します。必ず、両方のモデルのアウトオブサンプルであるデータセットを選択してください（スタックされた予測を参照）。モデル1とモデル2のホールドアウトおよびバリデーションパーティションは、これらのパーティションが元のモデルに存在する場合、オプションとして使用できます。デフォルトでは、モデル1のホールドアウトパーティションが選択されています。+ 比較データセットを追加をクリックして、AIカタログからローカルファイルまたはスナップショットが取得されたデータセットを選択して、別のデータセットを指定できます。
   	予測環境	両方のモデルをスコアリングする予測環境を選択します。
   	モデルインサイト	モデル予測、指標などを比較します。

5. チャレンジャーページのモデルのインサイトセクションにスクロールし、インサイトを計算をクリックします。

   生成されると、モデルのインサイトには次のタブが表示されます。

   • 精度
   • デュアルリフト
   • リフト
   • ROC
   • 予測の違い

+比較データセットを追加をクリックして、再度インサイトを計算を選択することで、別のデータセットを使用して新しいインサイトを生成できます。

精度を比較する¶

DataRobotがモデルのインサイトを計算した後、精度を比較できます。

モデルのインサイトの下で、精度タブをクリックして指標を比較します。

2つの列は、各モデルの指標を示しています。ハイライトされた数値はより良い値を表しています。この例では、チャンピオンモデル1が、示されるほとんどの指標のモデル2よりも優れています。

デュアルリフトを比較する¶

デュアルリフトチャートは、2つのモデルが相互にどのように競合するか（予測の分布に沿ってどの程度予測が高すぎるまたは低すぎるか）を視覚的に捉えるための方法です。これは、たとえば、スペクトルの一方の端をより注視する場合、チャンピオンにチャレンジャーを宣伝するかどうかを決定する上で役立ちます。

モデルのインサイトの下で比較されるモデルのデュアルリフトチャートを表示するには、デュアルリフトタブをクリックします。

グラフの曲線の色は、チャンピオンまたはチャレンジャーとしてデプロイに追加されたときにモデルに割り当てられた色と一致します。

モデル名の横の+アイコンをクリックすると、比較される曲線の表示/非表示が切り替わります。oアイコンは実測値を表しています。oアイコンをクリックすると、実測値を表示する曲線の表示/非表示が切り替わります。

リフトを比較する¶

リフトチャートは、モデルがターゲットの母集団をどの程度うまく分割しているか、そしてターゲットを予測することができるかを示し、モデルの有効性を視覚化します。

比較されるモデルのリフトチャートを表示するには、モデルのインサイトの下でリフトタブをクリックします。

追加されたときにモデルに割り当てられた色で曲線が表示されます。

ROC曲線を使用して比較する¶

あるデータソースに基づき、True Positive RateをFalse Positive Rateに対比させる形でプロットしたものがROC曲線です。ROC曲線を使用して、比較するモデルの分類、パフォーマンス、統計を調査します。

比較されるモデルのROC曲線を表示するには、モデルのインサイトの下でROCタブをクリックします。

追加されたときにモデルに割り当てられた色で曲線が表示されます。鉛筆アイコンをクリックして、モデルの予測しきい値を更新できます。

予測を比較する¶

予測の違いタブをクリックして、2つのモデルの予測を1行ごとに比較します。

予測の違いタブの上部のセクションには、予測一致のしきい値フィールドを使用して指定した範囲内の予測のパーセンテージ（および行の数）を示すヒストグラムが表示されます。

ヒストグラムに以下の内容が表示されます。

• +/-陽性的中率一致しきい値制限間の%予測（緑色で示される）
• 陽性的中率一致しきい値上限よりも高い%予測（赤で示される）
• 陽性的中率一致しきい値下限よりも高い%予測（赤で示される）

ビンの数は予測一致し、デフォルトは.0025である予測一致しきい値に依存します。この例では、各ビンは.005（.0025 + -.0025の絶対値）であり、6ビンになります。

一致の数が非常に多い場合、y軸をスケールして完全一致を無視を切り替えて不一致にフォーカスできます。

予測の違いタブの下部セクションには、1000個の最も異なる予測（絶対値）が示されています。

違い列は予測がどの程度離れているかを示します。

チャンピオンをチャレンジャーに置き換える¶

モデルを比較した後、デプロイされたモデルを上回るモデルを見つけたら、それを新しいチャンピオンとして設定できます。

1. 比較モデルのインサイトを評価して、最高のパフォーマンスを実行するモデルを決定します。

2. チャレンジャーモデルがデプロイ済みモデルを上回る場合は、チャンピオンに昇格をクリックします。

3. 置換の理由を選択して、承諾して置換をクリックします。

   

   チャレンジャーモデルがチャンピオン（デプロイ済み）モデルになります。