[チャレンジャー]タブ¶

モデルの開発中、運用環境にデプロイするモデルが選択されるまで多くのモデルを比較することがあります。チャレンジャータブを使用してデプロイ後のモデル比較を続行できます。デプロイされたモデルをシャドウするチャレンジャーモデルを送信し、デプロイされたモデルに対して行われた予測を再生できます。チャレンジャーモデルによって行われた予測を現在デプロイされているモデル（「チャンピオン」）と比較して、より適切な優れたDataRobotモデルがあるかどうかを判断できます。

チャレンジャーモデルを有効化¶

デプロイのチャレンジャーモデルを有効にするには、チャレンジャータブおよび予測行ごとの履歴保存を有効にする必要があります。この設定を有効にするには、デプロイの作成時、またはデプロイの配置時にデプロイのデータドリフトの設定を、設定 > データタブで変更する際に有効にします。チャレンジャーモデルを有効にすると、デプロイの予測行ごとの履歴保存も自動的に有効になります。その結果、このチャレンジャーモデルはチャレンジャーで必要となり、無効にすることはできません。

チャレンジャーモデルの選択¶

チャレンジャーモデルをデプロイに追加する前に、チャレンジャーとして追加するモデルを最初に作成する必要があります。モデリングプロセスを完了してリーダーボードからモデルを選択するか、モデルパッケージとしてカスタムモデルをデプロイします。チャレンジャーモデルを選択するときは、次の点に注意してください。

• チャンピオンモデルと同じターゲットタイプである必要があります
• チャンピオンモデルと同じ特徴量セットでトレーニングする必要はありませんが、いくつかの特徴量を共有する必要があります。ただし、予測の再生を正常に行うには、チャンピオンとチャレンジャーに必要なすべての特徴量の和集合を送信する必要があります
• チャンピオンモデルと同じプロジェクトから構築する必要はありません

チャレンジャーとして機能するモデルを選択したら、リーダーボードから予測 > デプロイに移動して、レジストリにモデルパッケージを追加するを選択します。選択したモデルのモデルパッケージがモデルレジストリに作成され、モデルをチャレンジャーとしてデプロイに追加できます。

デプロイへのチャレンジャーの追加¶

チャレンジャーモデルをデプロイに追加するには、チャレンジャータブに移動してチャレンジャーモデルを追加を選択します。各デプロイに最大5つのチャレンジャーを追加できます。

チャレンジャーモデルとして機能するモデルパッケージをレジストリから選択するように求めるモーダルが表示されます。追加するモデルを選択してモデルパッケージを選択をクリックします。

モデルが特徴量とターゲットタイプをチャンピオンモデルと共有していることをDataRobotが検証します。検証が完了したらチャレンジャーを追加をクリックします。モデルがチャレンジャーとしてデプロイに追加されます。

予測の再生¶

チャレンジャーモデルを追加したら、チャンピオンモデルで作成された保存済み予測をすべてのチャレンジャーに対して再生できます。これにより、各モデルの予測値、精度、データエラーなどのパフォーマンス指標を比較できます。

予測を再生するには、チャレンジャー予測を更新するを選択します。

チャンピオンモデルは、1時間あたり最大10万の予測行を計算して保存します。日付スライダーで指定した時間範囲内で、1時間ごとに行われた予測リクエストの最初の10,000行がチャレンジャーで再生されます。時系列デプロイの場合、この制限は適用されません。すべての予測データは、チャレンジャーが統計を比較するために使用されます。

予測が作成された後、日付スライダーの表示を更新をクリックして、チャレンジャーモデルのパフォーマンス指標の表示を更新します。

スケジュールされた予測の再生¶

手動で行う代わりに、定期的なスケジュールでチャレンジャーを使用して予測を再生できます。デプロイの設定 > チャレンジャータブをクリックします。トグルをオンにしてチャレンジャーの自動再生を有効にします。スケジュールされた再生を設定できるのは、デプロイのオーナーだけです。

予測を再生するための優先間隔と時刻を設定します。

有効にすると、すべてのチャレンジャーに対して設定された時間にリプレイがトリガーされます。過去に予測リクエストが作成されたデプロイがあり、チャレンジャーを追加した場合、スケジュールされたジョブは、次の実行サイクルで新しく追加されたチャレンジャーモデルをスコアリングします。

チャレンジャーモデルの概要¶

チャレンジャータブには、チャンピオンモデルと各チャレンジャーに関する情報が表示されます。

	要素	説明
	表示名	各モデルの表示名。鉛筆アイコンを使用して表示名を編集します。このフィールドは、各チャレンジャーの目的または戦略を説明するのに役立ちます（「リファレンスモデル」、「以前のチャンピオン」、「削減済み特徴量」など）。
	チャレンジャーモデル	チャレンジャーモデルのリスト。各モデルは色に関連付けられています。色により視覚化ツールを使用してモデルを比較できます。
	モデルデータ	各モデルのメタデータ（プロジェクト名、モデル名、実行環境タイプなど）。
	トレーニングデータ	モデルのトレーニングに使用されるデータのファイル名。
	アクション	各モデルで使用できるアクション： 置換：チャレンジャーをチャンピオン（現在デプロイされているモデル）に昇格することや、現在のチャンピオンをチャレンジャーモデルに降格することができます。 削除：チャレンジャーとしてデプロイからモデルが削除されます。削除できるのはチャレンジャーだけです。チャンピオンを削除するには、削除する前にチャレンジャーに降格する必要があります。

チャレンジャーのパフォーマンス指標¶

チャレンジャーモデルの予測データが再生された後、各モデルについて記録されたさまざまなパフォーマンス指標をキャプチャするチャートを調べることができます。

各モデルは、対応する色でリストされています。チャートへのモデルのパフォーマンスデータの表示を停止するには、モデルのボックスをオフにします。

予測チャート¶

予測チャートは、時間の経過に伴う各モデルのターゲットの平均予測値を記録します。ポイントにカーソルを合わせると、特定の時点での各モデルの平均値が比較されます。

二値分類プロジェクトの場合、クラスドロップダウンを使用して、平均予測値を分析するクラスを選択します。チャートには、連続モードと二値モードを切り替えるためのトグルも含まれています。連続モードは、Positiveクラス予測を0と1の間の確率として示します。予測しきい値は考慮に入れられません。バイナリモードでは、予測しきい値が考慮に入れられ、作成されたすべての予測の各クラスのパーセンテージが示されます。

精度チャート¶

精度チャートには、選択した精度指標値（この例ではLogLoss）の時間経過に伴う変化が表示されます。これらの指標は、デプロイ前にモデルの評価に使用される指標と同一です。精度指標を変更するには、ドロップダウンを使用します。デプロイのモデリングタイプでサポートされているいずれかの指標を選択できます。

データエラーチャート¶

データエラーチャートは、各モデルのデータエラー率を時系列に記録したものです。データエラー率は 4xxエラーが発生したリクエストの割合（予測リクエスト送信の問題）を測定します。

外部デプロイ用のチャレンジャー¶

リモート予測環境を使用した外部デプロイでも、チャレンジャータブを使用できます。リモートモデルをチャンピオンモデルに、DataRobotやカスタムモデルをチャレンジャーにして比較することができます。

チャレンジャーモデルを追加するための詳細なワークフローはほぼ同じですが、以下に概説する外部デプロイには固有の違いがあります。以下に示すようなユニークな違いがあります。

外部デプロイへのチャレンジャーモデルの追加¶

チャレンジャーのサポートを有効にするには、外部デプロイ（外部モデルパッケージで作成されたデプロイ）にアクセスします。設定タブのデータドリフトヘッダーで、チャレンジャーモデルと予測行ごとの履歴保存を有効にします。

これでチャレンジャータブにアクセスできるようになります。チャレンジャーモデルをデプロイに追加するには、タブに移動してチャレンジャーモデルを追加を選択します。

追加するチャレンジャーのモデルパッケージを選択します（カスタムモデルとDataRobotモデルのみ）。また、モデルパッケージで使用される予測環境を指定する必要もあります。これは、モデルが予測を実行する場所の詳細です。DataRobotまたはカスタムモデルは、チャレンジャーモデルにDataRobot予測環境のみ使用できます（チャンピオンモデルとは異なり、外部予測環境にデプロイされます）。目的の予測環境を選択したら、選択をクリックします。

タブが更新され、追加するモデルパッケージが表示されます。モデルパッケージで使用する特徴量がデプロイされたモデルと一致することを確認します。チャレンジャーを追加を選択します。

モデルパッケージは現在、リモートデプロイのチャレンジャーモデルとして機能するようになりました。

外部デプロイ用のチャレンジャーの管理¶

さまざまなアクションを使用して、リモートデプロイのチャレンジャーモデルを管理できます。

• チャレンジャーが使用する予測環境を編集するには、鉛筆アイコンを選択し、ドロップダウンから新しい予測環境を選択します。

• デプロイされたモデルをチャレンジャーで置き換えるには、チャレンジャーに互換性のある予測環境が必要です。置換後、リモートモデルは不適格になるため、チャンピオンはチャレンジャーになりません。