[信頼性]タブ¶

MLOpsでは、信頼性タブを使用してデプロイするための信頼性ルールを作成できます。

[信頼性]タブには、以下のタブが含まれています。

• ルールタブ：不確実性を監視し、管理するアクションを指定する信頼性ルールを設定します。
• サマリータブ：信頼性ルールを設定して信頼性監視を有効にした状態で予測を行った後、時間の経過に伴う信頼性データのサマリーを表示できます。
• 予測注意タブ（連続値プロジェクトのみ）：デプロイが外れ値で予測を生成した時点を検出する予測注意を設定します。

複数系列に使用できる特定の信頼性ルールは次のとおりです。 AutoMLプロジェクトと同じ信頼性ルールの一般的なワークフローに従っていますが、特定の設定やオプションがあります。

信頼性ルール¶

信頼性ルールを使うと、モデルが不確かな予測を行ったり、見たことのないデータを受信したりした時点をリアルタイムで認識することができます。 データドリフトとは異なり、モデルの信頼性は時間の経過に伴う幅広い統計プロパティを処理しません。代わりに、個々の予測に対してトリガーされ、さまざまなトリガーに依存するルールを使用して目的の動作を設定できます。

信頼性ルールを使用してトリガーおよび対応するアクションを予測に追加すると、運用環境でモデルのリスクを軽減するのに役立ちます。 信頼性ルールは、監視中にデータの整合性の問題を特定して処理し、不安定な予測の根本原因をより適切に特定するのに役立ちます。

信頼性ルールの作成¶

デプロイ用の信頼性ルールを作成するには：

1. デプロイを選択し、信頼性 > ルールタブに移動します。

   

2. モデルの信頼性をまだ有効にしていない場合は、信頼性を有効にするをオンに切り替えます。

3. + ルールを追加をクリックして新しいルールを作成します。 DataRobotによって提供される推奨されるルールを使用することもできます。

4. 鉛筆アイコンを使用してルールの名前を入力します。 次に、トリガーを選択し、選択したトリガーに基づいて取得するアクションを指定します。 トリガーはルール違反を検知し、アクションは違反する予測を処理します。

   

   ルールの設定が完了すると、ルールの下にルールの説明が表示され、設定されたトリガーとそれぞれのアクションで何が起こるかに関する説明が表示されます。

5. 追加をクリックしてルールを保存し、+新しいルールを追加をクリックして新しいルールを追加します。

6. ルールの追加と編集が終了したら、サブミットをクリックします。

   

   注意

   サブミットをクリックすることが、新しいルールとルール変更を恒久的に保存する唯一の方法です。 サブミットをクリックせずに信頼性タブから移動した場合、ルールとルールの編集は保存されません。

   備考

   ルールが既存のルールと重複している場合、保存できません。 この場合、サブミットをクリックすると、注意が表示されます。

   信頼性ルールを保存してサブミットした後、DataRobotは新しいルールと以前に作成されたルールを使用してデプロイを監視します。 ルールが作成された後、予測応答本文は信頼性オブジェクトを返します。 詳細については、予測APIドキュメントを参照してください。

ルールのトリガーを選択する¶

作成するルールのトリガーを選択します。 使用可能なトリガーは3つあります。

各トリガーには、特定の設定が必要です。 以下の表と次のセクションでは、これらの設定を説明します。

不確かな予測¶

不確実な予測トリガーを構成するには、予測値の下限と上限のしきい値を設定します。 これらの値を手動で入力するか、計算するをクリックして、モデルのホールドアウトパーティションから派生されたしきい値を使用します（DataRobotモデルでのみ使用可能）。 連続値モデルの場合、トリガーは設定されたしきい値の範囲外の値を検出します。 二値分類モデルの場合、トリガーは、しきい値の内側にある予測の確率値を検出します。 デプロイのモデルのタイプは、設定 > データタブで表示できます。

外れ値入力¶

範囲外の入力トリガーを設定するには、数値特徴量を選択し、その入力値の下限しきい値と上限しきい値を設定します。 値を手動で入力するか、計算するをクリックして、トレーニングデータから派生されたしきい値を使用します（DataRobotモデルでのみ使用可能）。

低観測値領域¶

低観測値領域トリガーを設定するには、カテゴリー特徴量を選択し、1つ以上の値を指定します。 指定された値と一致しない予測リクエストに表示される入力値は、アクションをトリガーします。

ルールのアクションを選択する¶

作成するルールのアクションを選択します。 トリガーがルール違反を示した場合に、DataRobotがアクションを適用します。 使用できるアクションは3つあります。

予測のオーバーライド¶

オーバーライドアクションを設定するには、トリガーに違反する予測の戻り値を上書きする値を設定します。 二値分類モデルと多クラスモデルの場合、示された値はモデルのクラスラベルのいずれかに設定できます（「True」または「False」など）。 連続値モデルの場合、手動で値を入力するか、DataRobotで提供される最大値、最小値、または平均値を使用します（DataRobotモデルにのみ提供されます）。

エラーを発生¶

エラーの発生アクションを設定するには、提供されているデフォルトのエラーメッセージを使用するか、独自のカスタムエラーメッセージを指定します。 このエラーメッセージは、予測とともに480 HTTPエラーに表示されます。

信頼性ルールの編集¶

オーナー権限がある場合は、信頼性 > ルールタブから既存のルールを編集または削除できます。

ルールの編集¶

1. ルールの鉛筆アイコンを選択します。

   

2. ルールのトリガー、アクション、および関連付けられた値を変更します。 終了したら、変更を保存をクリックします。

   

3. ルールを編集したら、サブミットをクリックします。 信頼性タブから離れる前にサブミットをクリックしなかった場合、編集は失われます。

ルールの削除¶

1. ルールのゴミ箱アイコンを選択します。

   

2. サブミットをクリックして削除操作を完了します。 サブミットをクリックせずに信頼性タブを離れた場合、ルールは削除されません。

ルールの並べ替え¶

リストされているルールを並べ替えるには、目的の順序にドラッグアンドドロップしてサブミットをクリックします。

ルールの適用順序¶

ルールが適用される順序は、リストに表示されるルールの順序によって決まります。 すべての信頼性ルールトリガーが適用されますが、複数のルールが予測応答のトリガーに一致する場合、リスト内の最初のルールが適用され、予測値が変更されます。 しかし、トリガーされるいずれかのルールに「エラーを発生」アクションがある場合、そのルールが優先されます。

たとえば、次のルールがあるデプロイを考えてみます。

予測が値100を返してきた場合、両方のルールがしきい値の外にある不確かな予測を検出するため、両方のルールがトリガーされます。 最初のルールであるルール1が優先されるので、予測値は55に上書きされます。値を66に上書きするアクション（ルール2に基づく）は無視されます。

別の例として、次のルールがあるデプロイを考えてみます。

予測が値50を返す場合、両方のルールがトリガーされます。 ただし、ルール2はエラーを返すように設定されているため、ルール1よりも優先されます。 エラーを返すアクションの優先度はルールの番号順よりも高いので、値は上書きされません。

時間の経過に伴う信頼性データの表示¶

ルールを設定し、信頼性の監視を有効にして予測を作成した後、デプロイから収集された信頼性のデータを信頼性 > サマリータブで表示できます。

X軸は、デプロイに対して予測が作成された時間の範囲を測定します。 Y軸は、特定の期間に信頼性ルールがトリガーされた回数を測定します。

コントロール（モデルバージョンおよびデータ時間範囲セレクター）は、データドリフトタブのコントロールと同様に機能します。

予測注意¶

信頼性 > 予測注意タブの連続値モデルデプロイに対して予測注意を有効にします。 予測注意を使用すると、予期された結果に予測が一致しないときを識別することによって、運用環境でのリスクを緩和し、モデルをより頑強にできます。 この機能では、いつ外れ値を含む予測がデプロイで生成されるかが検出され、その結果が予測と共にまとめてレポートされます。

予測注意は、信頼性監視の一部である不確かな予測トリガーと同じ機能を提供します。 しかし、予測注意の結果は時間経過に伴う予測チャート（データドリフトタブ）に統合されているので、両方の機能を有効にすることを検討してください。

予測注意を有効にする¶

1. 予測注意を有効にするには、信頼性 > 予測注意に移動します。

   備考

   予測注意タブは、連続値モデルデプロイにのみ表示されます。

2. 下限と上限を入力するか、または設定をクリックしてDataRobotに予測注意範囲を計算させます。

   

   DataRobotは、モデルのホールドアウトパーティションから予測注意範囲のしきい値を派生させます。 これらのしきい値は外れ値検知の境界です。これらの制限の外側にある予測がレポートされます。 ホールドアウトに基づくしきい値を受け入れるか、範囲を手動で定義することができます。

3. 必要な変更をした後、[保存範囲]をクリックします。

信頼性ルールが有効になり、予測がデプロイに対して生成された後、予測注意レポートを生成できます。 予測注意は、時間経過に伴う予測チャート（データドリフトタブ）にレポートされます。

推奨ルール¶

DataRobotでデプロイの一連のルールを推奨する場合は、新しい信頼性ルールを追加するときに推奨ルールを使用をクリックします。

このオプションでは、自動的に設定された2つの信頼性ルールが生成されます。

• ルール1：不確かな予測トリガーおよび操作なしアクション。
• ルール2：最も有用性の高い数値特徴量の外れ値の入力トリガー（特徴量のインパクトの結果に基づきます）および操作なしアクション。

どちらの推奨ルールでも、上限と下限のしきい値が自動的に計算されます。

予測注意レポートの生成¶

設定を保存した後、デプロイの予測> Pythonスコアリングコード タブに移動します。 予測注意のレポートを生成するには、[予測注意] ボックスにチェックを入れます。

チェックしたら、スニペットをコピーし、予測します。 予測注意を有効にすると、検出された外れ値を予測結果と共にレポートするスニペットが変更されます。

各予測結果には、isOutlierPredictionキーおよび結果が含まれ、外れ値が検知された場合はTrueとマーク付けされ、検知されなかった場合はFalseとマーク付けされます。

外れ値予測が検出された場合、外れ値を次の値で置き換えることを検討してください。

• トレーニングデータセットの最小または最大ターゲット値
• トレーニングデータセットの平均または中央値のターゲット値

複数系列の信頼性ルール¶

DataRobotは、履歴を部分的に使用するか全く使用せずに特徴量派生や予測を行える複数系列のブループリントをサポートしています。つまり、以前にトレーニングされておらず、精度の高い予測を行うのに十分なポイントがトレーニングデータセットに含まれていない系列にも対応しています。 これは、需要の予測などに役立ちます。 新製品が発表されたとき、最初の売上予測が必要になる場合があります。 「コールドスタートモデリング」（十分な履歴データがない系列のモデリング）と組み合わせることで、新しい系列について予測できるだけでなく、履歴のある系列で精度の高い予測を維持することもできます。

このサポートがあると、次のような信頼性ルールを設定できます。

• 新しい系列をトリガーする（トレーニングデータには存在しない）。
• 指定されたアクションを実行する。
• 必要に応じて、カスタムエラーメッセージを返す。

複数系列信頼性ルールの作成¶

1. デプロイインベントリからデプロイを選択し、信頼性をクリックします。 信頼性を有効にするをオンにします。

   

2. + 新しいルールを追加をクリックして、ルールの設定を開始します。 時系列デプロイでは、1つの信頼性ルールのみを適用できます。 既存のルールに変更を加える場合、クリックして編集します。

3. トリガーを選択します。 新しい系列データを含めるには、トリガーとして新しい系列を選択します。 このルールは、トレーニングデータに存在していなくて、かつ正確な予測に必要な十分な履歴が予測データにない系列が存在するかどうかを検出します。

4. アクションを選択します。

   

   次の表で説明するように、後続のオプションは選択したアクションによって異なります。

   アクション	新しい系列が検出された場合...	さらなるアクション
   操作なし	DataRobotはイベントを記録しますが、予測は変更されません。	N/A
   新しい系列に対応したモデルを使用	予測は、新しい系列に対応する選択されたモデルの予測でオーバーライドされます。	未知の系列モデリングに対応するモデルを選択します。 DataRobotは、対応するモデルをドロップダウンにプリロードします。
   グローバルに最も頻度なクラスを使用する（二値分類のみ）	予測値は、すべての系列で最も頻度の高いクラスに置き換えられます。	N/A
   すべての系列でターゲット平均を使用（連続値のみ）	予測値はすべての系列でグローバルターゲット平均値によってオーバーライドされます。	N/A
   予測のオーバーライド	予測値が指定した優先値に変更されます。	数値を入力して、新しい系列の予測値を置き換えます。
   エラーを戻す	480エラーでデフォルトまたはカスタムエラーが返されます。	デフォルトを使用するか、ボックスをクリックしてカスタムエラーメッセージを入力します。

終了したら、追加ボタンをクリックして新しいルールを作成するか、変更を保存します。

置換先モデルの選択¶

新しい系列対応モデルドロップダウンを展開すると、リーダーボードではなく、モデルレジストリから入手できるモデルのリストが表示されます。 レジストリから入手できるモデルを使用すると、プロジェクトからモデルが切り離され、パッケージがサポートされます。 この方法では、同じターゲットを使用し、同じ系列がある限り、互換性のある任意のプロジェクトのバックアップモデルを使用できます。

信頼性タブに関する注意事項¶

信頼性タブを使用する際は、以下の点に注意してください。

• デプロイに対して10以上の信頼性ルールを定義することはできません。
• 信頼性ルールを定義できるのはデプロイのオーナーだけです。 デプロイのユーザーはルールを表示できますが、ルールを編集することや新しいルールを定義することはできません。
• 「不確実な予測」トリガーは、連続値モデルと二値分類モデルでのみサポートされています。
• 多クラスモデルでサポートされるのは「予測のオーバーライド」だけです。