公平性のモニタリングを設定¶
デプロイの設定 > 公平性タブでは、デプロイにバイアスと公平性設定を定義して、二値分類モデルの予測動作のバイアスを特定できます。 モデルのデプロイ以前に公平性設定を定義した場合、フィールドは自動的に入力されます。 追加情報については、公平性テストの定義に関するセクションを参照してください。
備考
公平性の設定を行うには、デプロイのターゲット監視を有効にする必要があります。 ターゲット監視では、予測統計を保存することで、ターゲットの値や分布が時間とともにどのように変化するかをDataRobotが監視できます。 ターゲット監視がオフになっている場合、ターゲット監視を有効にするよう公平性タブにメッセージが表示されます。
公平性の基準と通知を設定することで、運用モデルのバイアスの根本原因を特定するのに役立ちます。 個々のモデルの公平性タブでは、DataRobotは保護された各特徴量に関してクラス別のバイアスと公平性を経時的に計算し、デプロイされたモデルが事前に定義された許容可能な基準を満たしていない理由を把握できるようにします。 公平性指標と用語については、バイアスと公平性のリファレンスのページを参照してください。
デプロイの公平性の設定ページでは、次の設定を行うことができます。
| フィールド | 説明 |
|---|---|
| セグメント化された分析 | |
| トレーニングデータと予測に対するセグメント化された分析のために属性を追跡 | DataRobotで、カテゴリー特徴量など、セグメント別にデプロイ予測を監視できるようにします。 |
| 公平性 | |
| 保護されている特徴量 | モデル予測の公平性を判定するために、保護された各特徴量のデータセット列を選択します。これらの特徴量はカテゴリー型でなければなりません。 |
| プライマリー公平性指標 | 公平性の評価に使用される平等性制約の統計的尺度を選択します。 |
| 好ましいターゲット結果 | ターゲットと比較して、保護されたクラスにとって好ましいと認識される結果値を選択します。 |
| 公平性のしきい値 | 保護されたクラスごとに適切な公平性の範囲内でモデルが実行されているかどうかを判定するための公平性のしきい値を選択します。 |
| 関連付けID | |
| 関連付けID | モデルの予測データセットで関連付けIDを含む列の名前を定義します。 プライマリー公平性指標の2つのオプション（好ましいクラスの再現率と好ましくないクラスの再現率の平等性と好ましいクラスの適合率と好ましくないクラスの適合率の平等性）を計算するには、関連付けIDが必要です。 関連付けIDは予測データセットの識別子として機能するので、後で出力データ（「実測値」）を予測に紐づけることができます。 |
| 予測リクエストで関連付けIDを要求 | 関連付けIDフィールドに入力した列名に一致する列名が予測データセットに存在する必要があります。 有効化したときに、列がない場合はエラーが表示されます。 This cannot be enabled with Enable automatic association ID generation for prediction rows. |
| 予測行での関連付けIDの自動生成を有効にする | With an association ID column name defined, allows DataRobot to automatically populate the association ID values. This cannot be enabled with Require association ID in prediction requests. |
| 定義 | |
| 定義を設定 | 監視通知のトリガーに必要な、公平性のしきい値を下回る保護クラスの数を設定します。 |
公平性指標の選択¶
DataRobotは、MLOpsにおいて以下の公平性指標をサポートしています。
重要
好ましいクラスの再現率と好ましくないクラスの再現率の平等性および好ましい的中率と好ましくない的中率の平等性を計算するには、デプロイに関連付けIDが必要です。
デプロイに適切な公平性指標がわからない場合は、選択の目安をクリックしてください。
公平性監視の通知を定義する¶
本番環境モデルが危険性にさらされていたり、事前定義済みの公平性基準を満たせなかったりした場合に注意する通知を設定します。 公平性タブで、公平性のステータスを視覚化できます。 公平性の監視では、プライマリー公平性指標と2つのしきい値（「注意」および「失敗」とみなされる保護されている特徴量）を使用して公平性を監視します。 指定されていない場合、DataRobotはデフォルトのしきい値を使用します。
備考
定義と通知セクションの設定にアクセスするには、公平性の設定を行って保存します。 公平性の監視設定を変更できるのは、デプロイオーナーだけです。ただし、ユーザーは通知が送信される条件を設定することができます。 コンシューマーは監視や通知の設定を変更できません。
各デプロイの公平性ステータスの計算に使用するルールをカスタマイズするには、公平性設定ページの定義セクションで、定義を設定をクリックし、公平性を監視するためのしきい値を設定します。
| しきい値 | 説明 |
|---|---|
| 注意 | バイアスしきい値未満の保護された特徴量の数を定義します。バイアスしきい値を超えると、デプロイを「注意」として分類し、通知をトリガーします。 注意のしきい値は、失敗のしきい値よりも低くする必要があります。 デフォルト値： 1 |
| 失敗 | バイアスしきい値未満の保護された特徴量の数を定義します。バイアスしきい値を超えると、デプロイを「失敗」として分類し、通知をトリガーします。 失敗のしきい値は、注意のしきい値よりも高くする必要があります。 デフォルト値： 2 |
備考
しきい値の変更は、デプロイの履歴全体にわたって予測が行われる期間に影響します。 これらの更新されたしきい値は、公平性タブでのパフォーマンス監視のビジュアライゼーションに反映されます。