チャレンジャータブ¶

モデルの開発中、運用環境にデプロイするモデルが選択されるまで多くのモデルを比較することがあります。 チャレンジャータブを使用してデプロイ後のモデル比較を続行できます。 デプロイされたモデルをシャドウするチャレンジャーモデルを送信し、デプロイされたモデルに対して行われた予測を再生できます。 チャレンジャーモデルによって行われた予測を現在デプロイされているモデル（「チャンピオン」）と比較して、より適切な優れたDataRobotモデルがあるかどうかを判断できます。

チャレンジャーモデルの有効化¶

デプロイのチャレンジャーモデルを有効にするには、チャレンジャータブおよび予測行ごとの履歴保存を有効にする必要があります。 これを行うには、デプロイの作成時または配置時にデプロイのデータドリフトの設定を設定 > データタブで調整します。 チャレンジャーモデルを有効にすると、予測行ごとの履歴保存もデプロイに対して自動的に有効になります。予測行ごとの履歴保存はチャレンジャーに必要なのでオフにすることはできません。

チャレンジャーモデルの選択¶

チャレンジャーモデルをデプロイに追加する前に、チャレンジャーとして追加するモデルを最初にビルドして選択する必要があります。 モデリングプロセスを完了してリーダーボードからモデルを選択するか、モデルパッケージとしてカスタムモデルをデプロイします。 チャレンジャーモデルを選択するときは、次の点に注意してください。

• チャンピオンモデルと同じターゲットタイプである必要があります。
• It cannot be the same leaderboad model as an existing champion or challenger; each challenger must be a unique model. If you create multiple model packages from the same leaderboard model, you can't use those models as challengers in the same deployment.
• It cannot be a Feature Discovery model.
• チャンピオンモデルと同じ特徴量セットでトレーニングする必要はありませんが、いくつかの特徴量を共有している必要があります。ただし、予測の再生を正常に行うには、チャンピオンとチャレンジャーに必要なすべての特徴量の和集合を予測として利用する必要があります
• チャンピオンモデルと同じプロジェクトから構築する必要はありません。

チャレンジャーとして機能するモデルを選択したら、リーダーボードから予測 > デプロイを選択し、レジストリにモデルパッケージを追加するを選択します。 選択したモデルのモデルパッケージがモデルレジストリに作成され、モデルをチャレンジャーとしてデプロイに追加できます。

デプロイへのチャレンジャーの追加¶

チャレンジャーモデルをデプロイに追加するには、チャレンジャータブを選択してチャレンジャーモデルを追加 > 既存のモデルを選択を選択します。 各デプロイに最大5つのチャレンジャーを追加できます。

チャレンジャーモデルとして機能するモデルパッケージをレジストリから選択するように求めるモーダルが表示されます。 追加するモデルを選択してモデルパッケージを選択をクリックします。

モデルが特徴量とターゲットタイプをチャンピオンモデルと共有していることが検証されます。 検証が完了したらチャレンジャーを追加をクリックします。 モデルがチャレンジャーとしてデプロイに追加されます。

予測の再生¶

チャレンジャーモデルを追加したら、チャンピオンモデルで作成された保存済み予測をすべてのチャレンジャーに対して再生できます。これにより、各モデルの予測値、精度、データエラーなどのパフォーマンス指標を比較できます。

予測を再生するには、チャレンジャー予測を更新するを選択します。

チャンピオンモデルは、1時間あたり最大100,000の予測行を計算して保存します。 日付スライダーで指定した時間範囲内で、1時間ごとに行われた予測リクエストの最初の10,000行がチャレンジャーで再生されます。 時系列デプロイの場合、この制限は適用されません。 すべての予測データは、統計を比較するためにチャレンジャーによって使用されます。

予測が作成された後、日付スライダーで表示を更新をクリックして、チャレンジャーモデルのパフォーマンス指標の更新された表示を表示します。

予測の再生のスケジュール¶

手動で行う代わりに、定期的なスケジュールでチャレンジャーを使用して予測を再生できます。 デプロイの設定 > チャレンジャーと再トレーニングタブをクリックします。 トグルをオンにするとチャレンジャーが自動的に再生されます。 スケジュールされた再生を設定できるのは、デプロイのオーナーだけです。

予測を再生するための優先間隔と時刻を設定します。

有効にすると、すべてのチャレンジャーに対して設定された時間に再生がトリガーされます。 過去に予測リクエストが作成されたデプロイがあり、チャレンジャーを追加した場合、スケジュールされたジョブは、次の実行サイクルで新しく追加されたチャレンジャーモデルをスコアリングします。

チャレンジャージョブ履歴の表示¶

1つ以上のチャレンジャーモデルを追加して予測を再生した後、 デプロイ > 予測ジョブページでデプロイのチャレンジャーのチャレンジャー予測ジョブを表示できます。

チャレンジャー予測ジョブを表示するには、ジョブ履歴をクリックします。

[予測ジョブ]ページが開き、フィルターされて、ジョブ履歴にアクセスしたデプロイのチャレンジャージョブが表示されます。

チャレンジャーモデルの概要¶

チャレンジャータブには、チャンピオンモデルと各チャレンジャーに関する情報が表示されます。

	要素	説明
	表示名	各モデルの表示名。 鉛筆アイコンを使用して表示名を編集します。 このフィールドは、各チャレンジャーの目的または戦略を説明するのに役立ちます（「リファレンスモデル」、「以前のチャンピオン」、「削減済み特徴量」など）。
	チャレンジャーモデル	チャレンジャーモデルのリスト。 各モデルは色で関連付けられています。 これらの色で、視覚化ツールを使用してモデルを比較できます。
	モデルデータ	各モデルのメタデータ（プロジェクト名、モデル名、実行環境タイプなど）。
	予測環境	モデルがDataRobotの外部のシステムでのデプロイ予測を管理するために使用する外部環境。 詳細については、予測環境を参照してください。
	精度	選択した日付範囲のモデルの精度指標計算、およびチャレンジャーの場合は、チャンピオンの精度指標計算との比較。 精度指標ドロップダウンメニューを使用すると、さまざまな指標を比較できます。 モデルの精度の詳細については、精度チャートを参照してください。
	トレーニングデータ	モデルのトレーニングに使用されるデータのファイル名。
	アクション	各モデルで使用できるアクション： 置換：チャレンジャーをチャンピオン（現在デプロイされているモデル）に昇格することや、現在のチャンピオンをチャレンジャーモデルに降格することができます。 削除：チャレンジャーとしてデプロイからモデルが削除されます。 削除できるのはチャレンジャーだけです。チャンピオンを削除するには、削除する前に降格する必要があります。

チャレンジャーのパフォーマンス指標¶

チャレンジャーモデルの予測データが再生された後、各モデルについて記録されたさまざまなパフォーマンス指標をキャプチャするチャートを調べることができます。

各モデルは、対応する色でリストされています。 チャートへのモデルのパフォーマンスデータの表示を停止するには、モデルのボックスをオフにします。

予測チャート¶

予測チャートは、時間の経過に伴う各モデルのターゲットの平均予測値を記録します。 ポイントにカーソルを合わせると、特定の時点での各モデルの平均値が比較されます。

二値分類プロジェクトの場合、クラスドロップダウンを使用して、平均予測値を分析するクラスを選択します。 チャートには、連続モードと二値モードを切り替えるためのトグルも含まれています。 連続モードは、Positiveクラス予測を0と1の間の確立として示します。 予測しきい値は考慮に入れられません。二値モードでは、予測しきい値が考慮に入れられ、作成されたすべての予測では各クラスのパーセンテージが示されます。

精度チャート¶

精度チャートには、選択した精度指標値（この例ではLogLoss）の時間経過に伴う変化が表示されます。 これらの指標は、デプロイ前にモデルの評価に使用される指標と同一です。 精度指標を変更するには、ドロップダウンを使用します。 デプロイのモデリングタイプでサポートされているいずれかの指標を選択できます。

データエラーチャート¶

データエラーチャートは、時間の経過に伴う各モデルのデータエラー率を記録します。 データエラー率は 4xxエラーが発生したリクエストの割合（予測リクエスト送信の問題）を測定します。

チャレンジャーモデルの比較¶

MLOpsは、チャレンジャーモデルを相互に比較したり、現在デプロイされているモデル（「チャンピオン」）と比較したりして、デプロイがお客様のニーズに最適なモデルを使用するようにします。 DataRobotのモデル比較ビジュアライゼーションを評価した後、チャンピオンモデルをよりパフォーマンスの高いチャレンジャーに置き換えることができます。

DataRobotは、選択した専用の比較データセットに基づいてビジュアライゼーションをレンダリングし、同じデータセットとパーティションに基づいて予測を比較しながら、異なるデータセットでチャンピオンモデルとチャレンジャーモデルをトレーニングできるようにします。 たとえば、チャレンジャーモデルでは、チャンピオンに使用されるチャンピオンと同じデータソースの更新済みスナップショットを使用できます。

モデルの比較を生成する¶

チャレンジャーを有効化し、1つ以上のチャレンジャーをデプロイに追加した後、比較データとビジュアライゼーションを生成できます。

1. デプロイページで、比較するチャンピオンモデルとチャレンジャーモデルがあるデプロイを見つけて展開します。

2. チャレンジャータブをクリックします。

3. チャレンジャーサマリータブで、必要に応じて、チャレンジャーモデルを追加し、チャレンジャーの予測を再生します。

4. モデル比較タブをクリックします。

   次の表はモデル比較タブの要素を示しています。

   

   	要素	説明
   	モデル1	デフォルトは、チャンピオンモデル（現在デプロイされているモデル）です。 クリックして比較する別のモデルを選択します。
   	モデル2	デフォルトは、リストの最初のチャレンジャーモデルです。 クリックして比較する別のモデルを選択します。 リストにモデル1と比較するモデルが含まれていない場合は、チャレンジャーサマリータブをクリックして新しいチャレンジャーを追加します。
   	モデルパッケージを開く	クリックしてモデルの詳細を表示します。 詳細はモデルレジストリのモデルパッケージタブに表示されます。
   	チャンピオンに昇格	比較のチャレンジャーモデルが最適なモデルである場合は、チャンピオンに昇格をクリックし、デプロイされたモデル（「チャンピオン」）をこのモデルに置き換えます。
   	比較データセットを追加	両方のモデルのインサイトを生成するデータセットを選択します。 必ず、両方のモデルのアウトオブサンプルであるデータセットを選択してください（スタックされた予測を参照）。 モデル1とモデル2のホールドアウトおよび検証パーティションは、これらのパーティションが元のモデルに存在する場合、オプションとして使用できます。 デフォルトでは、モデル1のホールドアウトパーティションが選択されています。 別のデータセットを指定するには、+ 比較データセットを追加をクリックして、AIカタログからローカルファイルまたはスナップショットが取得されたデータセットを選択します。
   	予測環境	両方のモデルをスコアリングする予測環境を選択します。
   	モデルのインサイト	モデル予測、指標などを比較します。

5. チャレンジャーページのモデルのインサイトセクションにスクロールし、インサイトを計算をクリックします。

+比較データセットを追加をクリックして、再度インサイトを計算を選択することで、別のデータセットを使用して新しいインサイトを生成できます。

モデル比較を表示¶

モデルのインサイトを計算すると、モデルインサイトページには、プロジェクトの種類に応じて次のタブが表示されます。

チャンピオンをチャレンジャーに置き換える¶

モデルを比較した後、デプロイされたモデルを上回るモデルを見つけたら、それを新しいチャンピオンとして設定できます。

1. 比較モデルのインサイトを評価して、最高のパフォーマンスを実行するモデルを決定します。

2. チャレンジャーモデルがデプロイ済みモデルを上回る場合は、チャンピオンに昇格をクリックします。

3. 置換の理由を選択して、承諾して置換をクリックします。

チャレンジャーモデルがチャンピオン（デプロイ済み）モデルになります。

外部デプロイ用のチャレンジャー¶

リモート予測環境を使用した外部デプロイでは、チャレンジャータブも使用できます。 リモートモデルはチャンピオンモデルとして機能し、DataRobotやチャレンジャーとして機能するカスタムモデルと比較できます。

チャレンジャーモデルを追加する際の ワークフローはほぼ同じですが、外部デプロイには以下のような独自の違いがあります。

外部デプロイへのチャレンジャーモデルの追加¶

チャレンジャーのサポートを有効にするには、外部デプロイ（外部モデルパッケージで作成されたデプロイ）にアクセスします。 設定タブのデータドリフトヘッダーで、チャレンジャーモデルと予測行ストレージを有効にします。

これでチャレンジャータブにアクセスできるようになります。 チャレンジャーモデルをデプロイに追加するには、チャレンジャータブを選択してチャレンジャーモデルを追加 > 既存のモデルを選択を選択します。

追加するチャレンジャーのモデルパッケージを選択します（カスタムモデルとDataRobotモデルのみ）。 また、モデルパッケージで使用される予測環境を指定する必要もあります。これは、モデルが予測を実行する場所の詳細です。 DataRobotまたはカスタムモデルは、チャレンジャーモデルにDataRobot予測環境のみ使用できます（チャンピオンモデルとは異なり、外部予測環境にデプロイされます）。 目的の予測環境を選択したら、選択をクリックします。

タブが更新され、追加するモデルパッケージが表示されます。モデルパッケージで使用する特徴量がデプロイされたモデルと一致することを確認します。 チャレンジャーを追加を選択します。

モデルパッケージは現在、リモートデプロイのチャレンジャーモデルとして機能するようになりました。

外部モデルとチャレンジャーの比較用データセットを追加¶

外部モデルとチャレンジャーを比較するには、実測値と予測結果の両方を含むデータセットを提供する必要があります。 比較用のデータセットをアップロードする際に、予測結果を含む列を指定することができます。

外部モデルチャレンジャー用に比較データセットを追加するには、モデル比較の生成プロセスに従い、モデル比較タブで、予測列識別子を持つ比較データセットをアップロードします。 指定する予測データセットに、予測列で識別された場所にある外部モデルによって生成された予測結果が含まれていることを確認します。

外部デプロイ用のチャレンジャーの管理¶

さまざまなアクションを使用して、リモートデプロイのチャレンジャーモデルを管理できます。

• チャレンジャーが使用する予測環境を編集するには、鉛筆アイコンを選択し、ドロップダウンから新しい予測環境を選択します。

• デプロイされたモデルをチャレンジャーで置き換えるには、チャレンジャーに互換性のある予測環境が必要です。 置換後、リモートモデルは不適格になるため、チャンピオンはチャレンジャーになりません。

チャレンジャーのチャンピオンへの昇格¶

デプロイのチャンピオンは、外部予測環境とDataRobot予測環境を切り替えることはできません。 チャレンジャーが外部予測環境で実行されているチャンピオンと置き換わる場合、そのチャレンジャーは前のチャンピオンの外部環境を引き継ぎます。 管理エージェントが外部予測環境で設定されていない場合、予測を続行するには、新しいチャンピオンを外部環境に手動でデプロイする必要があります。

チャンピオンのチャレンジャーへの降格¶

前のチャンピオンが外部モデルパッケージでない場合は、DataRobotホスティングと互換性があり、チャレンジャーになる可能性があります。 そのシナリオでは、前のチャンピオンはDataRobot予測環境に移動し、デプロイは前のチャンピオンに対してチャンピオンの予測を再生できます。