公平性の監視¶

公平性の監視は、データセット内の保護された特徴量が事前定義された公平性の条件を満たすことができなかった場合に、モデルがリアルタイムで認識できるテストを設定するのに役立ちます。

デプロイ > 設定 > データページで公平性の監視を有効にします。

公平性の基準と通知を設定することで、運用モデルのバイアスの根本原因を特定するのに役立ちます。 個々のモデルの公平性タブでは、DataRobotは保護された各特徴量に関してクラス別のバイアスと公平性を経時的に計算し、デプロイされたモデルが事前に定義された許容可能な基準を満たしていない理由を把握できるようにします。

公平性指標と用語については、バイアスと公平性のリファレンスのページを参照してください。

公平性基準の定義¶

運用モデルの公平性を測定するには、デプロイ済みのモデルの設定 > データタブで、バイアスと公平性テストを設定する必要があります。 バイアスと公平性テストがデプロイ前にモデルに設定されていた場合、このフィールドは自動的に入力されます。

DataRobotは、MLOpsにおいて以下の公平性指標をサポートしています。

• 等価平等性
• 比例平等性
• 予測バランス
• 好ましいクラスの再現率と好ましくないクラスの再現率の平等性（True Positive率とTrue Negative率の平等性）
• 好ましい予測値と好ましくない予測値の平等性（陽性的中率と陰性的中率の平等性）

デプロイに適切な公平性指標がわからない場合は、選択の目安をクリックしてください。

公平性の設定を定義したら、監視タブをクリックして公平性の監視と通知の設定を行います。

公平性の監視¶

ガバナンスレンズでデプロイインベントリを表示すると、公平性の列には、設定 > データタブで設定した公平性テストに基づいて各デプロイのパフォーマンスを一目で把握できる情報が表示されます。

個々のモデルの詳細情報を表示したり、モデルが公平性テストに失敗した理由を調べるには、インベントリリストでデプロイをクリックして公平性タブに移動します。

バイアスの調査¶

公平性タブは、デプロイが公平性テストに失敗した理由、またどの保護されている特徴量が事前定義された公平性のしきい値を下回っているかを把握するのに役立ちます。 公平性テストに失敗した特徴量とその理由を特定するのに役立つ2つの情報をエクスポート可能な対話型の形式で視覚的に表示します。

	チャート	説明
	クラスごとのバイアスチャート	各クラスの公平性のしきい値と公平性スコアを使用して、モデルの予測動作時に特定のクラスでバイアスが発生しているかどうかを判断します。
	時間経過に伴う公平性チャート	時間の経過に伴う保護された特徴量の公平性スコアの分布の変化を示します。

特徴量が しきい値を下回る としてマークされた場合、この特徴量は事前定義された公平性の条件を満たしません。

左側の特徴量を選択すると、セグメント化された属性ごとに公平性スコアが表示され、特徴量内のバイアスが存在する場所をより良く理解できます。

表示をさらに変更するには、バージョンセレクターのドキュメントを参照してください。

クラスごとのバイアスの表示¶

クラスごとのバイアスチャートは、モデルにバイアスがあるかどうか、バイアスがある場合は、そのバイアスの程度と誰に対して好ましいまたは好ましくないバイアスかを特定するのに役立ちます。 詳細については、クラスごとのバイアスに関する既存のドキュメントを参照してください。

チャートのポイント上にカーソルを置くと、その詳細が表示されます。

時間の経過に伴う公平性の表示¶

公平性基準を設定し、公平性の監視を有効にして予測を行うと、保護された特徴量の公平性スコアまたは特徴量の値が、デプロイの時間経過とともにどのように変化したかを確認できます。 横軸はデプロイに対して予測が作成された時間の範囲を測定し、縦軸は公平性スコアを測定します。

チャートのポイント上にカーソルを置くと、その詳細が表示されます。

名前の横にあるボックスをオフにすることで、チャート内の特定の特徴量または特徴量の値を非表示にすることもできます。

コントロールはデータドリフトタブにあるものと同じように機能します。