機械学習モデルにおけるバイアスの検出
ML 実験でトレーニングする機械学習モデルのバイアスを特定できます。バイアスが検出された場合は、偏りのある特徴量の削除、不適切なデータ収集の修正、またはトレーニング データセットの構造変更などで対処します。
バイアスについて
機械学習におけるバイアスとは、モデルが特定のグループを他のグループよりも優遇する、または優遇する可能性があるという望ましくない現象です。バイアスは公平性に悪影響を及ぼし、予測やそれに基づく意思決定において倫理的な問題を引き起こす可能性があります。バイアスは、トレーニング データ、トレーニング済みモデルによる予測結果、あるいはその両方で発生する可能性があります。
バイアスの例および意思決定への影響には、次のようなものがあります。
-
特定の所得層や健康状態が不当に偏ったデータでモデルをトレーニングし、その結果、保険金請求において不公平な決定が下される。
-
候補者の人種や性別に関して偏りのあるデータでモデルをトレーニングし、採用決定に影響を及ぼす。
-
郵便番号と信用力を関連付けてモデルをトレーニングする。
データ バイアス
データ バイアスは、モデルのトレーニングに使用されるデータが、特定のグループを他のグループよりも優遇するように偏っている場合に発生します。データ バイアスが発生する原因は、トレーニング データ内でのグループ間の代表性の不均衡です。
たとえば、採用結果を予測するデータセットにおいて、ある性別が他の性別よりも成功しているように見えるデータが含まれている場合があります。
データ バイアスは、次のようなさまざまな方法でトレーニング データに混入する可能性があります。
-
特定のグループが過小評価または過大評価されている不適切なデータ収集。
-
過去のパターンを正確に反映してはいるが、その傾向や慣行の根底にあるバイアスを露呈させているデータ。
以下のビジュアライゼーションのデータは、データ バイアスを示しています。
棒グラフで視覚化されたデータ バイアスの例。ソース データでは、所得水準に関して、特定の婚姻ステータスが他のステータスと比べて過大に代表されています。
モデル バイアス
モデル バイアス、またはアルゴリズム バイアスは、機械学習モデルによる予測が、特定のグループを他のグループよりも優遇する場合に発生します。モデル バイアスがある場合、モデルは特定のグループと結果の間に関連付けを行い、他のグループに悪影響を与えます。モデル バイアスは、不適切に収集されたデータや偏りのあるデータ、あるいは使用されているトレーニング アルゴリズムに固有の動作によって引き起こされる可能性があります。
たとえば、モデルが不公平な関連付けを行った結果、特定の年齢層に対して不釣り合いに低い採用率を予測することがあります。
ML 実験の [分析] タブからのビジュアライゼーションで、モデル バイアスを強調表示しています。ビジュアライゼーションでは、モデルが一部の婚姻ステータスに対して、他のグループよりも高い所得予測を出していることが示されています。
データ バイアス メトリクス
Qlik Predict では、データ バイアスは次を分析することで測定されます。
-
代表率: 特徴量内の各グループに属するデータの分布を、特徴量内の全データと比較します。計算されるメトリクスは、代表率パリティ比です。
-
条件付き分布パリティ比: 特徴量における各グループのデータのバランスを、ターゲット列の値に関して比較します。計算されるメトリクスは条件付き分布パリティ比です。
これらのメトリクスの許容値の詳細については、「バイアス メトリクスの許容値」を参照してください。
モデル バイアス メトリクス
Qlik Predict では、モデル バイアス メトリクスは、実験で使用しているモデルのタイプに応じて理解するのが最適です。大きく分けて、次のバイアス メトリクスのカテゴリがあります。
-
分類モデル メトリクス
-
回帰モデルと時系列モデルのメトリクス
これらのメトリクスの許容値の詳細については、「バイアス メトリクスの許容値」を参照してください。
分類モデル
二項分類モデルおよび多項分類モデルでは、予測されたターゲット値 (結果) を分析することでバイアスが測定されます。特に、グループ間のポジティブおよびネガティブな結果率の違いが比較されます (ここでの「ポジティブ」と「ネガティブ」は、好ましい結果と好ましくない結果を指します。たとえば、Hired ターゲット列の yes または no の値などです)。これらのモデルには、次のバイアス メトリクスがあります。
-
不均衡な影響
-
統計的パリティ差
-
機会均等差
不均衡な影響
不均衡な影響比率 (DI) は、機密性の高い特徴量のグループが、モデルの予測結果において優遇されているか、または不利益を被っているかを評価する指標です。各グループが予測値として選択される頻度を計算し、その特徴量内で最も優遇されるグループの選択率と比較することで測定されます。
統計的パリティ差
統計的パリティ差 (SPD) は、不均衡な影響と同様に、モデルの予測を評価して、個々のグループが優遇されているか不利益を被っているかを判断します。このメトリクスは、最大グループと最小グループ間のポジティブな結果の割合を比較することによって計算されます。
機会均等差
機会均等差 (EOD) は、他の 2 つの分類モデル バイアス メトリクスと似ています。EOD は、特徴量内のグループ間でもっとも高い真陽性率ともっとも低い真陽性率を比較します。
回帰モデルと時系列モデル
回帰モデルおよび時系列モデルにおけるバイアスは、モデルが予測において誤りを犯す頻度を比較することで測定され、予測結果の公平性を判断するためにパリティ比が使用されます。
次のバイアス メトリクスは、モデルの正確度の評価に一般的に用いられる誤差メトリクスを用いて計算されます。
バイアス メトリクスの許容値
| バイアス メトリクス | バイアス カテゴリ | 適用可能なモデル タイプ | 許容値 |
|---|---|---|---|
| 代表率のパリティ比率 | データのバイアス | すべて |
理想値: 0.8 ～ 1 の間。 比率が低いほど、不均衡な代表状況を示します。 |
| 条件付き分布パリティ比率 | データのバイアス | すべて |
理想値: 0.8 ～ 1 の間。 比率が低いほど、不均衡な代表状況を示します。 |
| 統計的パリティ差 (SPD) | モデルのバイアス | 二項分類、多項分類 |
理想値: 0。 0.2 を超える値は、不公平さを示す強い兆候です。 |
| 不均衡な影響 (DI) | モデルのバイアス | 二項分類、多項分類 |
理想値: 1。 0.8 を下回る値は不公平性を示します。 |
| 機会均等差 (EOD) | モデルのバイアス | 二項分類、多項分類 |
理想値: 0。 0.1 を超える値は不公平性を示します。 |
| MAE パリティ率 | モデルのバイアス | 回帰 |
理想値: 0.8 ～ 1 の間。 1.25 を超える値は不公平性を示します。 |
| MSE パリティ率 | モデルのバイアス | 回帰 |
理想値: 0.8 ～ 1 の間。 1.25 を超える値は不公平性を示します。 |
| RMSE パリティ率 | モデルのバイアス | 回帰 |
理想値: 0.8 ～ 1 の間。 1.25 を超える値は不公平性を示します。 |
| R2 ギャップ | モデルのバイアス | 回帰 |
理想値: 0。 0.2 を超える値は不公平性を示します。 |
| MASE パリティ率 | モデルのバイアス | 時系列 | 1.25 を超える値は不公平性を示します。 |
| MAPE パリティ率 | モデルのバイアス | 時系列 | 1.25 を超える値は不公平性を示します。 |
| SMAPE パリティ率 | モデルのバイアス | 時系列 | 1.25 を超える値は不公平性を示します。 |
バイアス検出の構成
バイアス検出は、実験バージョンのトレーニング特徴量ごとに構成されます。
次の手順を実行します。
-
ML 実験で、トレーニング構成パネルの [バイアス] を展開します。
-
バイアス検出を実行する特徴量を選択します。
または、
スキーマビューで、目的の特徴量のバイアス検出をオンにします。
バイアス結果のクイック分析
トレーニングが完了したら、 [モデル] タブでバイアス検出結果の概要をすぐに確認できます。
クイック分析項目を下にスクロールして、 [バイアス検出] を見つけます。
アイコンを使用してセクションを展開します。データおよびモデルのバイアスの可能性がある特徴量を分析できます。
[モデル] タブの [バイアス検出] セクションを使用してデータ バイアスを分析します。
メモ
-
優遇されているグループとは、バイアス メトリクスに基づいて、データまたはターゲットの予測結果において過剰に代表されているターゲット値または範囲のことです。不利益を被るグループとは、バイアス メトリクスに基づいて、データまたはターゲットの予測結果において過小に代表されているターゲット値または範囲のことです。
バイアス メトリクスの使用方法については、「バイアス メトリクスの許容値」を参照してください。
括弧内の数字は、メトリクスの計算に使用された基準を示します。たとえば、メトリクスが機会均等差 (EOD) の場合、女性 (10%) と男性 (80%)は、男性の真陽性率が 80%、女性の真陽性率が 10% であることを示します。
-
ターゲット 結果とは、モデルによって予測されるターゲット列の値のことです。
-
スペースの制限により、すべてのバイアス指標と値が [モデル] タブに表示されるわけではありません。例:
-
メトリクスとモデルのタイプによっては、一部のメトリクスとグループには最小値と最大値のみが表示される場合があります。
-
複数のメトリクスが特徴量のバイアスしきい値を超えている場合、もっとも不公平度が高いメトリクスが表示されます。
-
多項分類モデルにおけるバイアスのある特徴量については、もっとも不公平度が高いメトリクスのみが表示されます。
-
-
詳細な情報については、 [分析] タブおよびモデル トレーニング レポートで確認できます。「バイアス結果の詳細分析」を参照してください。
- このセクションの用語の詳細については、「このページの用語」を参照してください。
バイアス結果の詳細分析
[分析] タブで、バイアス結果をさらに詳しく調べることができます。
次の手順を実行します。
-
ML 実験でモデルを選択し、 [分析] タブに移動します。
-
[バイアス] シートを開きます。
-
目的の分析に応じて、 [データ バイアス] または [モデル バイアス] を選択します。
-
[潜在的なバイアスを含む特徴量] テーブルで、単一の特徴量を選択します。
バイアスの可能性を示すチャートとメトリクスは、赤い背景で表示されます。ビジュアライゼーションでクリックやドラッグをすると、特徴量を選択できます。
テーブル内のメトリクスは、標準的な特徴量に対応するバイアス メトリクスについては静的です。将来の特徴量については、時系列グループの選択に応じてバイアス メトリクスは動的に変化します。
選択した特徴量のモデル バイアスの分析を表示する [分析] タブ。バイアスの可能性があるチャートやメトリクスは、赤い背景で示されています。
詳細なモデル分析のナビゲートについては、「詳細なモデル分析の実行」を参照してください。
トレーニング レポートにおけるバイアス結果
バイアス メトリクスは、ML トレーニング レポートでも表示されます。メトリクスは、レポートの専用の [バイアス] セクションに含まれています。
トレーニング レポートの詳細については、「ML トレーニング レポートをダウンロードする」を参照してください。
バイアスへの対処
モデルのバイアス検出結果を分析した後、必要に応じて次の操作を実行できます。
-
バイアスが確認された特徴量を除外して、新しい実験バージョンを実行する。
-
バイアスを示すモデルは展開せず、バイアス メトリクスの推奨基準を満たすモデルを展開する。
-
不適切なデータ収集を修正するため、または不均等な代表率に対処するために、データセットを更新する。
-
構造化されたフレームワークを使用して、機械学習の問題を再定義する。たとえば、元の機械学習の質問自体にバイアスが含まれている場合、公平な予測を行うモデルは常に信頼性が低くなる可能性があります。
このページの用語
このページ、および Qlik Predict では、「グループ」という用語は文脈に応じて異なる意味を持ちます。
-
「グループ」とは、バイアス分析の対象となる特徴量の値または範囲を指します。たとえば、「婚姻状況」という特徴量には、トレーニング データに「既婚」、「離婚」、「別居」、「死別」の 4 つのグループが存在する可能性があります。
-
時系列実験では、「グループ」とは、互換性のある特徴量の特定の値についてターゲット結果を追跡できる機能を指します。このページでは、これらのグループを「時系列グループ」と呼びます。これらのグループの詳細については、「グループ」を参照してください。
制限事項
-
次の特徴量では、バイアス検出を有効化できません。
-
ターゲット特徴量。
-
フリー テキスト特徴量 (特徴量タイプをカテゴリに変更した場合でも不可)。
-
時系列実験で日付インデックスとして使用される日付特徴量。
-
自動設計の日付特徴量。これらの特徴量に対してバイアス検出を実行することはできますが、個別に有効化することはできません。代わりに、親となる日付特徴量でバイアス検出を有効化し、 自動生成された日付特徴量がトレーニングに含まれるようにしてください。
-