公平性のモニタリングを設定¶
デプロイの設定 > 公平性タブでは、デプロイにバイアスと公平性設定を定義して、二値分類モデルの予測動作のバイアスを特定できます。 モデルのデプロイ以前に公平性設定を定義した場合、フィールドは自動的に入力されます。 追加情報については、公平性テストの定義に関するセクションを参照してください。
備考
公平性の設定を行うには、デプロイのターゲット監視を有効にする必要があります。 ターゲット監視では、予測統計を保存することで、ターゲットの値や分布が時間とともにどのように変化するかをDataRobotが監視できます。 ターゲット監視がオフになっている場合、ターゲット監視を有効にするよう公平性タブにメッセージが表示されます。
公平性の基準と通知を設定することで、運用モデルのバイアスの根本原因を特定するのに役立ちます。 個々のモデルの公平性タブでは、DataRobotは保護された各特徴量に関してクラス別のバイアスと公平性を経時的に計算し、デプロイされたモデルが事前に定義された許容可能な基準を満たしていない理由を把握できるようにします。 公平性指標と用語については、バイアスと公平性のリファレンスのページを参照してください。
デプロイの公平性の設定ページでは、次の設定を行うことができます。
| フィールド | 説明 |
|---|---|
| セグメント化された分析 | |
| トレーニングデータと予測に対するセグメント化された分析のために属性を追跡 | DataRobotで、カテゴリー特徴量など、セグメント別にデプロイ予測を監視できるようにします。 |
| 公平性 | |
| 保護されている特徴量 | モデル予測の公平性を判定するために、保護された各特徴量のデータセット列を選択します。これらの特徴量はカテゴリー型でなければなりません。 |
| プライマリー公平性指標 | 公平性の評価に使用される平等性制約の統計的尺度を選択します。 |
| 好ましいターゲット結果 | ターゲットと比較して、保護されたクラスにとって好ましいと認識される結果値を選択します。 |
| 公平性のしきい値 | 保護されたクラスごとに適切な公平性の範囲内でモデルが実行されているかどうかを判定するための公平性のしきい値を選択します。 |
| 関連付けID | |
| 関連付けID | モデルの予測データセットで関連付けIDを含む列の名前を定義します。 プライマリー公平性指標の2つのオプション（好ましいクラスの再現率と好ましくないクラスの再現率の平等性と好ましいクラスの適合率と好ましくないクラスの適合率の平等性）を計算するには、関連付けIDが必要です。 関連付けIDは予測データセットの識別子として機能するので、後で出力データ（「実測値」）を予測に紐づけることができます。 |
| 予測リクエストで関連付けIDを要求 | 関連付けIDフィールドに入力した列名に一致する列名が予測データセットに存在する必要があります。 有効化したときに、列がない場合はエラーが表示されます。 |
| 定義 | |
| 定義を設定 | 監視通知のトリガーに必要な、公平性のしきい値を下回る保護クラスの数を設定します。 |
| 通知 | |
| 通知を送信 | 公平性監視の通知チェックのスケジュールを設定します。 |
公平性指標の選択¶
DataRobotは、MLOpsにおいて以下の公平性指標をサポートしています。
重要
好ましいクラスの再現率と好ましくないクラスの再現率の平等性および好ましい的中率と好ましくない的中率の平等性を計算するには、デプロイに関連付けIDが必要です。
デプロイに適切な公平性指標がわからない場合は、選択の目安をクリックしてください。
公平性監視の通知を定義する¶
本番環境モデルが危険性にさらされていたり、事前定義済みの公平性基準を満たせなかったりした場合に注意する通知を設定します。 公平性タブで、公平性のステータスを視覚化できます。 公平性の監視では、プライマリー公平性指標と2つのしきい値（「注意」および「失敗」とみなされる保護されている特徴量）を使用して公平性を監視します。 指定されていない場合、DataRobotはデフォルトのしきい値を使用します。
備考
定義と通知セクションの設定にアクセスするには、公平性の設定を行って保存します。 公平性の監視設定を変更できるのは、デプロイオーナーだけです。ただし、ユーザーは通知が送信される条件を設定することができます。 コンシューマーは監視や通知の設定を変更できません。
To customize the rules used to calculate the fairness status for each deployment, on the Fairness Settings page, in the Definition section, click Set definition and configure the threshold settings for monitoring fairness:
| しきい値 | 説明 |
|---|---|
| 注意 | バイアスしきい値未満の保護された特徴量の数を定義します。バイアスしきい値を超えると、デプロイを「注意」として分類し、通知をトリガーします。 注意のしきい値は、失敗のしきい値よりも低くする必要があります。 デフォルト値： 1 |
| 失敗 | バイアスしきい値未満の保護された特徴量の数を定義します。バイアスしきい値を超えると、デプロイを「失敗」として分類し、通知をトリガーします。 失敗のしきい値は、注意のしきい値よりも高くする必要があります。 デフォルト値： 2 |
備考
しきい値の変更は、デプロイの履歴全体にわたって予測が行われる期間に影響します。 これらの更新されたしきい値は、公平性タブでのパフォーマンス監視のビジュアライゼーションに反映されます。
通知チェックのスケジュール¶
公平性監視のEメール通知を送信すべきかどうかを判断するために、定期的なチェックをスケジュールするには：
-
公平性の設定ページの通知セクションで、通知を送信を有効にします。
-
公平性通知の設定を行います。 次の表にスケジュールオプションを示します。 すべての時間はUTCで表示されます。
頻度 説明 毎時 各正時の選択した分数後。 毎日 各日の選択した時刻。 毎週 各選択日の選択した時刻。 毎月 各月の各選択日の選択した時刻。 月内で選択された日は、コンマ区切りのリストで数値（ 1から31）として表されます。毎四半期 四半期の各月の各選択日の選択した時刻。 各月の選択日は、コンマ区切りのリストで数値（ 1から31）として表されます。毎年 各選択月の、各選択日の選択した時刻。 各月の選択日は、コンマ区切りのリストで数値（ 1から31）として表されます。高度なスケジューラーを使用する 分 0から59の範囲の数値のコンマ区切りのリストで定義された各分（1時間全体の場合は*）。時間 0から23の範囲の数値のコンマ区切りのリストで定義された各正時（1日全体の場合は*）。日 1から31の範囲の数値のコンマ区切りのリストで定義された各日（1月全体の場合は*）。月 1から12の範囲の数値のコンマ区切りのリストで定義された各月（1年全体の場合は*）。曜日 0から6の範囲の数値のコンマ区切りのリストで定義された各曜日（すべての曜日の場合は*）。 -
スケジュール設定を更新したら、保存をクリックします。
重要
通知設定で指定した時間により、監視のタイプに応じたステータスチェックがスケジュールされます。 DataRobot only sends notifications to subscribers if a monitoring event occurred between checks; for example, if a fairness status change (from either passing to failing or failing to passing) occurs during the specified window.