Skip to content

アプリケーション内で をクリックすると、お使いのDataRobotバージョンに関する全プラットフォームドキュメントにアクセスできます。

バイアスと公平性

バイアスと公平性のテストでは、二値分類モデルの公平性を計算することや、モデルの予測動作におけるバイアスを特定することができます。DataRobotでは、バイアスは複数の異なる母集団(またはグループ)に対するモデルの予測間の相違を表し、公平性はモデルのバイアスの尺度になります。

モデル構築前に、またはリーダーボードから、データセットで保護された特徴量を選択し、適切な公平性指標を選択します。モデルが構築されると、バイアスと公平性のインサイトを活用して、モデルに含まれるバイアスを特定したり、モデルがトレーニングデータのどこからなぜバイアスを学習しているかといった根本原因分析の結果を視覚化することができます。

公平性テストの定義

ターゲットを選択したら、高度なオプションを表示をクリックしてバイアスと公平性タブを選択します。

バイアスと公平性を設定するには、ユースケースを定義する値を設定します。詳細については、バイアスと公平性のリファレンスで一般的な用語と指標の定義を参照してください。

  1. データセット内で保護されている特徴量を最大10個まで指定します。保護されている特徴量はカテゴリー型である必要があります。モデルの公平性は、データセットから選択された保護特徴量に対して計算されます。

  2. 好ましいターゲット結果(ターゲットと比較して保護クラスに有利と認識する結果)を定義します。以下の例では、ターゲットは「給与」であるため、「好ましいターゲット結果」の下に年収が一覧表示され、5万を超える給与が好ましい結果となります。

  3. 以下の5つのオプションから、ユースケースに最も適したプライマリーの公平性指標を選択します。不明な点がある場合は、選択の目安オプションを使用してください。

    指標 説明
    割合の平等性 各保護クラスについて、モデルから好ましい予測を受け取る確率はどれぐらいでしょうか?この指標(「統計的平等性」または「人口統計的平等性」とも呼ばれます)は、保護クラス間のモデルのターゲットの平等性に基づいています。
    同数の平等性 各保護クラスについて、モデルから好ましい予測を含むレコードの総数はどれぐらいでしょうか?この指標は、保護クラス間のモデルのターゲットの平等性に基づいています。
    予測バランス(好ましいクラスのバランスおよび好ましくないクラスのバランス 好ましい/好ましくない結果であったすべての実測値について、保護された各クラスの平均予測確率はどれぐらいでしょうか?この指標は、各保護クラスにおけるモデルの元の平均スコアの平等性に基づいており、一連の予測バランスの公平性指標セットに含まれています。
    好ましいクラスの再現率の平等性好ましくないクラスの再現率の平等性 保護された各クラスについて、モデルが好ましい/好ましくない結果のすべての実測値に対する好ましくない結果を予測する確率はどれぐらいでしょうか?この指標は、同等性誤差に基づいています。
    好ましいクラスの適合率の平等性好ましくないクラスの適合率の平等性 モデルが正しい(実際の結果が好ましい/好ましくない)確率はどれぐらいでしょうか?この指標(「正の予測値の平等性」とも呼ばれます)は、同等性誤差に基づいています。

    公平性指標は、計算された公平性スコア(保護クラスに対するモデルの公平性の数値計算)の根拠の役割をします。

  4. プロジェクトに公平性のしきい値を設定します。しきい値は、モデルの公平性スコアのベンチマークとして機能します。つまり、各保護クラスの適切な公平範囲内でモデルが実行されるかどうかを測定します。保護クラスの公平性スコアやパフォーマンスには影響しません。(詳細については、リファレンスセクションを参照してください。)

指標の選択

モデルに最適な指標がわからない場合は、選択の目安をクリックしてください。

DataRobotは、各質問が前の質問への回答で決定されるアンケートを提示します。完了すると、DataRobotは回答に基づいて指標を推奨します。

バイアスと公平性は倫理的に複雑なので、DataRobotの質問では各ユースケースの詳細のすべてを把握できるわけではありません。推奨の指標はガイドラインであり、ユースケースに適した正しい(または唯一の)指標であるとは限りません。さまざまな指標を選択して、質問への回答が推奨にどのように影響するかを観察します。

選択をクリックして、強調表示されたオプションをプライマリーの公平性指標フィールドに追加します。

リーダーボードからテストを定義

モデル構築の前にバイアスと公平性を設定しなかった場合、リーダーボードから公平性テストを設定できます。

  1. モデルを選択し、バイアスと公平性タブをクリックします。

  2. 高度なオプションで、バイアスと公平性の設定に関する指示に従ってください。

  3. 保存をクリックします。DataRobotは、これらの設定に基づいて、プロジェクト内のすべてのモデルの公平性テストを設定します。

更新しました April 28, 2022
Back to top