信頼性¶

設定 > 信頼性タブで信頼性ルールを設定し、信頼性監視を有効にして予測を行った後、モニタリング > 信頼性タブから、デプロイについて長期にわたって収集された信頼性データを表示できます。 X軸は、デプロイに対して予測が作成された時間の範囲を測定します。 Y軸は、特定の期間に信頼性ルールがトリガーされた回数を測定します。

信頼性データの表示¶

以下のコントロールを使用して、信頼性ダッシュボードを設定します。

予測警告を有効にする¶

信頼性 > 予測警告タブで、連続値モデルのデプロイに対して予測警告を有効にします。 予測警告を使用すると、予期された結果に予測が一致しないときを識別することによって、運用環境でのリスクを緩和し、モデルをより頑強にできます。 この機能では、いつ外れ値を含む予測がデプロイで生成されるかが検出され、その結果が予測と共にまとめてレポートされます。

予測警告は、信頼性監視の一部である不確かな予測トリガーと同じ機能を提供します。 しかし、予測警告の結果は時間経過に伴う予測チャート（データドリフトタブ）に統合されているので、両方の機能を有効にすることを検討してください。

1. 予測警告を有効にするには、軽減 > 信頼性 > 予測警告に移動します。

2. 下限と上限を入力するか、または設定をクリックしてDataRobotに予測警告範囲を計算させます。

   

   DataRobotは、モデルのホールドアウトパーティションから予測警告範囲のしきい値を派生させます。 これは外れ値検出の境界です。DataRobotは、この境界を超える予測結果を報告します。 ホールドアウトに基づくしきい値を受け入れるか、範囲を手動で定義することができます。

3. 必要な変更をした後、[保存範囲]をクリックします。

信頼性ルールが有効になった後、予測を行う際に予測外れ値の警告を含めることができます。 予測警告は、データドリフトタブの時間経過に伴う予測チャートに表示されます。