# 機械学習モデルにおけるバイアスの検出 ML 実験でトレーニングする機械学習モデルのバイアスを特定できます。また、バイアスの影響を受けやすい可能性がある特徴量について、大規模言語モデル (LLM) から推奨事項を取得することもできます。検出されたバイアスに対処するには、偏りのある特徴量を削除するか、不適切なデータ収集を修正するか、トレーニングデータセットの構造を変更します。 警告メモ Qlik は、バイアス検出結果の正確度、完全性、信頼性を保証するものではなく、地域、州、連邦、または国際的な法律、規制、業界標準への準拠を保証するものでもありません。ユーザーは、ツールの出力に基づいて行われたいかなる行動についても、すべてのリスクと責任を負うものとします。ツールの出力は、専門的な法的助言や独立した人間による監査の代わりとして使用すべきではありません。 警告メモ バイアス検出には、生成 AI (「GenAI」) を使用してバイアスの影響を受けやすい可能性がある特徴量を推奨するオプション コンポーネントがあります。GenAI の推奨内容の確認および検証、またその利用が特定のユースケースに適しているか、適用される法令に準拠しているかを評価することは、ユーザーの責任となります。 ## バイアスについて 機械学習におけるバイアスとは、モデルが特定のグループを他のグループよりも優遇する、または優遇する可能性があるという望ましくない現象です。バイアスは公平性に悪影響を及ぼし、予測やそれに基づく意思決定において倫理的な問題を引き起こす可能性があります。バイアスは、トレーニング データ、トレーニング済みモデルによる予測結果、あるいはその両方で発生する可能性があります。 バイアスの例および意思決定への影響には、次のようなものがあります。 * 特定の所得層や健康状態が不当に偏ったデータでモデルをトレーニングし、その結果、保険金請求において不公平な決定が下される。 * 候補者の人種や性別に関して偏りのあるデータでモデルをトレーニングし、採用決定に影響を及ぼす。 * 郵便番号と信用力を関連付けてモデルをトレーニングする。 ### データ バイアス データ バイアスは、モデルのトレーニングに使用されるデータが、特定のグループを他のグループよりも優遇するように偏っている場合に発生します。データ バイアスが発生する原因は、トレーニング データ内でのグループ間の代表性の不均衡です。 たとえば、採用結果を予測するデータセットにおいて、ある性別が他の性別よりも成功しているように見えるデータが含まれている場合があります。 データ バイアスは、次のようなさまざまな方法でトレーニング データに混入する可能性があります。 * 特定のグループが過小評価または過大評価されている不適切なデータ収集。 * 過去のパターンを正確に反映してはいるが、その傾向や慣行の根底にあるバイアスを露呈させているデータ。 以下のビジュアライゼーションのデータは、データ バイアスを示しています。 棒グラフで視覚化されたデータ バイアスの例。ソース データでは、所得水準に関して、特定の婚姻ステータスが他のステータスと比べて過大に代表されています。 棒グラフで視覚化されたデータ バイアスの例。ソース データでは、所得水準に関して、特定の婚姻ステータスが他のステータスと比べて過大に代表されています。 棒グラフで視覚化されたデータ バイアスの例。ソース データでは、所得水準に関して、特定の婚姻ステータスが他のステータスと比べて過大に代表されています。 ![機械学習モデルで使用した場合にデータ バイアスを引き起こす可能性がある、偏りのあるデータ。](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Resources/Images/ui_concepts-data-bias-example.png) ### モデル バイアス モデル バイアス、またはアルゴリズム バイアスは、機械学習モデルによる予測が、特定のグループを他のグループよりも優遇する場合に発生します。モデル バイアスがある場合、モデルは特定のグループと結果の間に関連付けを行い、他のグループに悪影響を与えます。モデル バイアスは、不適切に収集されたデータや偏りのあるデータ、あるいは使用されているトレーニング アルゴリズムに固有の動作によって引き起こされる可能性があります。 たとえば、モデルが不公平な関連付けを行った結果、特定の年齢層に対して不釣り合いに低い採用率を予測することがあります。 ML 実験の [分析] タブからのビジュアライゼーションで、モデル バイアスを強調表示しています。ビジュアライゼーションでは、モデルが一部の婚姻ステータスに対して、他のグループよりも高い所得予測を出していることが示されています。 ML 実験の [分析] タブからのビジュアライゼーションで、モデル バイアスを強調表示しています。ビジュアライゼーションでは、モデルが一部の婚姻ステータスに対して、他のグループよりも高い所得予測を出していることが示されています。 ML 実験の [分析分析] タブからのビジュアライゼーションで、モデル バイアスを強調表示しています。ビジュアライゼーションでは、モデルが一部の婚姻ステータスに対して、他のグループよりも高い所得予測を出していることが示されています。 ![モデル バイアスが表示されている ML 実験の「分析」タブ。](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Resources/Images/ui_ml-model-bias-example.png) ## データ バイアス メトリクス Qlik Predict では、データ バイアスは次を分析することで測定されます。 * 代表率: 特徴量内の各グループに属するデータの分布を、特徴量内の全データと比較します。計算されるメトリクスは、代表率パリティ比です。 * 条件付き分布パリティ比: 特徴量における各グループのデータのバランスを、ターゲット列の値に関して比較します。計算されるメトリクスは条件付き分布パリティ比です。 これらのメトリクスの許容値の詳細については、「[バイアス メトリクスの許容値](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/bias-detection.htm#Metrics)」を参照してください。 ## モデル バイアス メトリクス Qlik Predict では、モデル バイアス メトリクスは、実験で使用しているモデルのタイプに応じて理解するのが最適です。大きく分けて、次のバイアス メトリクスのカテゴリがあります。 * 分類モデル メトリクス * 回帰モデルと時系列モデルのメトリクス これらのメトリクスの許容値の詳細については、「[バイアス メトリクスの許容値](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/bias-detection.htm#Metrics)」を参照してください。 ### 分類モデル 二項分類モデルおよび多項分類モデルでは、予測されたターゲット値 (結果) を分析することでバイアスが測定されます。特に、グループ間のポジティブおよびネガティブな結果率の違いが比較されます (ここでの「ポジティブ」と「ネガティブ」は、好ましい結果と好ましくない結果を指します。たとえば、Hired ターゲット列の yes または no の値などです)。これらのモデルには、次のバイアス メトリクスがあります。 * 不均衡な影響 * 統計的パリティ差 * 機会均等差 #### 不均衡な影響 不均衡な影響比率 (DI) は、機密性の高い特徴量のグループが、モデルの予測結果において優遇されているか、または不利益を被っているかを評価する指標です。各グループが予測値として選択される頻度を計算し、その特徴量内で最も優遇されるグループの選択率と比較することで測定されます。 #### 統計的パリティ差 統計的パリティ差 (SPD) は、不均衡な影響と同様に、モデルの予測を評価して、個々のグループが優遇されているか不利益を被っているかを判断します。このメトリクスは、最大グループと最小グループ間のポジティブな結果の割合を比較することによって計算されます。 #### 機会均等差 機会均等差 (EOD) は、他の 2 つの分類モデル バイアス メトリクスと似ています。EOD は、特徴量内のグループ間でもっとも高い真陽性率ともっとも低い真陽性率を比較します。 ### 回帰モデルと時系列モデル 回帰モデルおよび時系列モデルにおけるバイアスは、モデルが予測において誤りを犯す頻度を比較することで測定され、予測結果の公平性を判断するためにパリティ比が使用されます。 次のバイアス メトリクスは、モデルの正確度の評価に一般的に用いられる誤差メトリクスを用いて計算されます。 * MAE パリティ率 [MAE](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/scoring-regression.htm#MAE) * MSE パリティ率 [MSE](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/scoring-regression.htm#MSE) * RMSE パリティ率 [RMSE](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/scoring-regression.htm#RMSE) * R2 ギャップ [R2](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/scoring-regression.htm#R2) * MASE パリティ率 [MASE](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/scoring-time-series.htm#MASE) * MAPE パリティ率 [MAPE](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/scoring-time-series.htm#MAPE) * SMAPE パリティ率 [SMAPE](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/scoring-time-series.htm#SMAPE) ## バイアス メトリクスの許容値 バイアス メトリクス - 許容範囲と値 | バイアス メトリクス | バイアス カテゴリ | 適用可能なモデル タイプ | 許容値 | | --- | --- | --- | --- | | 代表率のパリティ比率 | データのバイアス | すべて | 理想値: 0.8 ～ 1 の間。

比率が低いほど、不均衡な代表状況を示します。 | | 条件付き分布パリティ比率 | データのバイアス | すべて | 理想値: 0.8 ～ 1 の間。

比率が低いほど、不均衡な代表状況を示します。 | | 統計的パリティ差 (SPD) | モデルのバイアス | 二項分類、多項分類 | 理想値: 0。

0.2 を超える値は、不公平さを示す強い兆候です。 | | 不均衡な影響 (DI) | モデルのバイアス | 二項分類、多項分類 | 理想値: 1。

0.8 を下回る値は不公平性を示します。 | | 機会均等差 (EOD) | モデルのバイアス | 二項分類、多項分類 | 理想値: 0。

0.1 を超える値は不公平性を示します。 | | MAE パリティ率 | モデルのバイアス | 回帰 | 理想値: 0.8 ～ 1 の間。

1.25 を超える値は不公平性を示します。 | | MSE パリティ率 | モデルのバイアス | 回帰 | 理想値: 0.8 ～ 1 の間。

1.25 を超える値は不公平性を示します。 | | RMSE パリティ率 | モデルのバイアス | 回帰 | 理想値: 0.8 ～ 1 の間。

1.25 を超える値は不公平性を示します。 | | R2 ギャップ | モデルのバイアス | 回帰 | 理想値: 0。

0.2 を超える値は不公平性を示します。 | | MASE パリティ率 | モデルのバイアス | 時系列 | 1.25 を超える値は不公平性を示します。 | | MAPE パリティ率 | モデルのバイアス | 時系列 | 1.25 を超える値は不公平性を示します。 | | SMAPE パリティ率 | モデルのバイアス | 時系列 | 1.25 を超える値は不公平性を示します。 | ## バイアス検出の構成 バイアス検出は、実験バージョンのトレーニング特徴量ごとに構成されます。 次の手順を実行します。 1. ML 実験で、トレーニング構成パネルの [バイアス] を展開します。 2. バイアス検出用の特徴量を選択する前に、必要に応じて [推奨を取得する] をクリックし、生成 AI を使用して、バイアスを含む可能性のある特徴量の提案を受け取ることができます。「[生成AIを使用してバイアス検出の機能を推奨する](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/bias-detection.htm#UsingAI)」を参照してください。 3. バイアス検出を実行する特徴量を選択または選択解除します。 または、the スキーマビュー icon で、目的の特徴量のバイアス検出をオンにします。 ### 生成AIを使用してバイアス検出の機能を推奨する 大規模言語モデル (LLM) との組み込み統合を使用して、実験を実行する前に機密性が懸念される可能性のある特徴量を推奨として提示させることができます。 操作方法 * [推奨事項を取得] をクリックすると、LLM によって特徴量名およびデータ サンプルがスキャンされ、バイアス検出の対象として選択すべき特徴量がどれであるかが判定および推奨されます。 * 推奨は推論リクエストに応じて生成され、その処理は Qlik Cloud テナントのリージョン外で実行される場合があります。 情報メモ保存時および転送時には、データは常に暗号化されます。 * 推奨事項を取得した後、各推奨事項の根拠を確認できます。たとえば、潜在的な地理的バイアスのために特徴量が推奨されているかどうかを確認できます。 * LLM からの推奨事項は英語で表示されます。 [推奨を取得する] をクリックして、AI を使用してバイアス検出を実行する特徴量の提案を受け取ります。 [推奨を取得する] をクリックして、AI を使用してバイアス検出を実行する特徴量の提案を受け取ります。 [推奨を取得する推奨を取得する] をクリックして、AI を使用してバイアス検出を実行する特徴量の提案を受け取ります。 ![バイアス検出が推奨される特徴量に対する AI 推奨のレビュー。](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Resources/Images/ui_bias-llm.png) 管理者の要件 * この機能を使用できるようにするには、AI 機能 (クロスリージョン推論) がテナント管理者によって有効にされている必要があります。これは 管理 アクティビティ センターで実行されます。 詳細については、「[クロスリージョン推論の有効化](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/Admin/cross-region-data-processing.htm)」を参照してください。 * 実験を構成するための権限に加えて、GenAI の使用が許可されている場合、ユーザーは [ML 実験の管理] 権限を [許可] に設定する必要があります。詳細については、「[ML 実験における AI ツールの使用](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/who-can-work-with-automl.htm#CreateUseExpAI)」を参照してください。 ## バイアス結果のクイック分析 トレーニングが完了したら、 [モデル] タブでバイアス検出結果の概要をすぐに確認できます。 警告メモ Qlik は、バイアス検出結果の正確度、完全性、信頼性を保証するものではなく、地域、州、連邦、または国際的な法律、規制、業界標準への準拠を保証するものでもありません。ユーザーは、ツールの出力に基づいて行われたいかなる行動についても、すべてのリスクと責任を負うものとします。ツールの出力は、専門的な法的助言や独立した人間による監査の代わりとして使用すべきではありません。 クイック分析項目を下にスクロールして、 [バイアス検出] を見つけます。the ドロップダウン矢印 icon アイコンを使用してセクションを展開します。データおよびモデルのバイアスの可能性がある特徴量を分析できます。 [モデル] タブの [バイアス検出] セクションを使用してデータ バイアスを分析します。 [モデル] タブの [バイアス検出] セクションを使用してデータ バイアスを分析します。 [モデルモデル] タブの [バイアス検出バイアス検出] セクションを使用してデータ バイアスを分析します。 ![モデルタブのバイアス検出セクションを使用してデータ バイアスを分析します。](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Resources/Images/ui_ml-quick-analysis-data-bias.png) ### メモ * 優遇されているグループとは、バイアス メトリクスに基づいて、データまたはターゲットの予測結果において過剰に代表されているターゲット値または範囲のことです。不利益を被るグループとは、バイアス メトリクスに基づいて、データまたはターゲットの予測結果において過小に代表されているターゲット値または範囲のことです。 バイアス メトリクスの使用方法については、「[バイアス メトリクスの許容値](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/bias-detection.htm#Metrics)」を参照してください。 括弧内の数字は、メトリクスの計算に使用された基準を示します。たとえば、メトリクスが機会均等差 (EOD) の場合、女性 (10%) と男性 (80%)は、男性の真陽性率が 80%、女性の真陽性率が 10% であることを示します。 * ターゲット 結果とは、モデルによって予測されるターゲット列の値のことです。 * スペースの制限により、すべてのバイアス指標と値が [モデル] タブに表示されるわけではありません。例: * メトリクスとモデルのタイプによっては、一部のメトリクスとグループには最小値と最大値のみが表示される場合があります。 * 複数のメトリクスが特徴量のバイアスしきい値を超えている場合、もっとも不公平度が高いメトリクスが表示されます。 * 多項分類モデルにおけるバイアスのある特徴量については、もっとも不公平度が高いメトリクスのみが表示されます。 * 詳細な情報については、 [分析] タブおよびモデル トレーニング レポートで確認できます。「[バイアス結果の詳細分析](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/bias-detection.htm#Detailed)」を参照してください。 * このセクションの用語の詳細については、「[このページの用語](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/bias-detection.htm#Terminology)」を参照してください。 ## バイアス結果の詳細分析 [分析] タブで、バイアス結果をさらに詳しく調べることができます。 警告メモ Qlik は、バイアス検出結果の正確度、完全性、信頼性を保証するものではなく、地域、州、連邦、または国際的な法律、規制、業界標準への準拠を保証するものでもありません。ユーザーは、ツールの出力に基づいて行われたいかなる行動についても、すべてのリスクと責任を負うものとします。ツールの出力は、専門的な法的助言や独立した人間による監査の代わりとして使用すべきではありません。 次の手順を実行します。 1. ML 実験でモデルを選択し、 [分析] タブに移動します。 2. [バイアス] シートを開きます。 3. 目的の分析に応じて、 [データ バイアス] または [モデル バイアス] を選択します。 4. [潜在的なバイアスを含む特徴量] テーブルで、単一の特徴量を選択します。 バイアスの可能性を示すチャートとメトリクスは、赤い背景で表示されます。ビジュアライゼーションでクリックやドラッグをすると、特徴量を選択できます。 テーブル内のメトリクスは、標準的な特徴量に対応するバイアス メトリクスについては静的です。将来の特徴量については、[時系列グループ](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/bias-detection.htm#Terminology)の選択に応じてバイアス メトリクスは動的に変化します。 選択した特徴量のモデル バイアスの分析を表示する [分析] タブ。バイアスの可能性があるチャートやメトリクスは、赤い背景で示されています。 選択した特徴量のモデル バイアスの分析を表示する [分析] タブ。バイアスの可能性があるチャートやメトリクスは、赤い背景で示されています。 選択した特徴量のモデル バイアスの分析を表示する [分析分析] タブ。バイアスの可能性があるチャートやメトリクスは、赤い背景で示されています。 ![分析タブのバイアスシートを使用して、モデルのバイアスを詳細に分析します。](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Resources/Images/ui_ml-detail-analysis-model-bias.png) 詳細なモデル分析のナビゲートについては、「[詳細なモデル分析の実行](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/analyze-models-detailed.htm)」を参照してください。 ### トレーニング レポートにおけるバイアス結果 バイアス メトリクスは、ML トレーニング レポートでも表示されます。メトリクスは、レポートの専用の [バイアス] セクションに含まれています。 トレーニング レポートの詳細については、「[ML トレーニング レポートをダウンロードする](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/training-report.htm)」を参照してください。 ## バイアスへの対処 モデルのバイアス検出結果を分析した後、必要に応じて次の操作を実行できます。 * バイアスが確認された特徴量を除外して、新しい実験バージョンを実行する。 [新しいバージョンの構成](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/refining-models.htm#Configur) * バイアスを示すモデルは展開せず、バイアス メトリクスの推奨基準を満たすモデルを展開する。 [モデルの展開](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/deploying-models.htm) * 不適切なデータ収集を修正するため、または不均等な代表率に対処するために、データセットを更新する。 [トレーニング用のデータセットの準備](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/dataset-preparation.htm) * 構造化されたフレームワークを使用して、機械学習の問題を再定義する。たとえば、元の機械学習の質問自体にバイアスが含まれている場合、公平な予測を行うモデルは常に信頼性が低くなる可能性があります。 [機械学習の質問の定義](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/machine-learning-framework.htm) [多変量時系列予測の作業](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/machine-learning-framework-time-series.htm) ## このページの用語 このページ、および Qlik Predict では、「グループ」という用語は文脈に応じて異なる意味を持ちます。 * 「グループ」とは、バイアス分析の対象となる特徴量の値または範囲を指します。たとえば、「婚姻状況」という特徴量には、トレーニング データに「既婚」、「離婚」、「別居」、「死別」の 4 つのグループが存在する可能性があります。 * 時系列実験では、「グループ」とは、互換性のある特徴量の特定の値についてターゲット結果を追跡できる機能を指します。このページでは、これらのグループを「時系列グループ」と呼びます。これらのグループの詳細については、「[グループ](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/machine-learning-framework-time-series.htm#Groups)」を参照してください。 ## 制限事項 * バイアス検出がオンになっている場合、トレーニング データセットのサイズにはいくつかの制限があります。「[トレーニングデータセットとプロファイリングの制限](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/ml-limitations-capacities.htm#DatasetSizeCapacities)」を参照してください。 * 次の特徴量では、バイアス検出を有効化できません。 * ターゲット特徴量。 * フリー テキスト特徴量 (特徴量タイプをカテゴリに変更した場合でも不可)。 * 時系列実験で日付インデックスとして使用される日付特徴量。 * 自動設計の日付特徴量。これらの特徴量に対してバイアス検出を実行することはできますが、個別に有効化することはできません。代わりに、親となる日付特徴量でバイアス検出を有効化し、 自動生成された日付特徴量がトレーニングに含まれるようにしてください。 ## 詳細を見る * [実験の構成](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/configuring-experiments.htm) * [モデルのクイック分析の実行](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/analyze-models-quick.htm) * [詳細なモデル分析の実行](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/analyze-models-detailed.htm)