检测机器学习模型中的偏差
您可以识别在机器学习实验中训练的机器学习模型中的偏差。通过删除倾斜的特征、纠正不当的数据收集或更改训练数据集的结构来解决检测到的偏差。
了解偏差
在机器学习中，偏差是一种不希望出现的现象，其中模型偏向或可能偏向某些群体而非其他群体。偏见对公平性产生负面影响，并对预测及其所影响的决策产生伦理影响。偏见可能出现在训练数据中、训练模型预测的结果中，或两者兼有。
偏见的例子及其对决策的影响包括：
-
在不成比例地代表某些收入水平或健康状况的数据上训练模型，导致保险索赔的不公平决策。
-
在关于候选人种族和性别存在偏差的数据上训练模型，影响招聘决策。
-
训练将邮政编码与信用度关联起来的模型。
数据偏差
当用于训练模型的数据存在偏差，从而偏向某些群体而非其他群体时，就会出现数据偏差。数据偏差是由训练数据中群体之间不平等的代表性造成的。
例如，用于预测招聘结果的数据集可能包含将某一性别表示为比其他性别更成功的数据。
数据偏差可以通过多种方式引入训练数据，包括：
-
不当的数据收集，其中某些群体代表性不足或代表性过高。
-
准确反映历史模式的数据，但揭示了这些趋势和实践中潜在的偏见。
下方可视化中的数据表明数据偏差。
数据偏差的一个示例，通过条形图可视化。在源数据中，某些婚姻状况在收入水平方面代表性过高。
模型偏差
模型偏差（或算法偏差）是指机器学习模型做出的预测偏向某些群体而非其他群体。存在模型偏差时，模型会在某些群体和结果之间建立关联，从而对其他群体产生负面影响。模型偏差可能由收集不当或倾斜的数据以及所用训练算法的特定行为引起。
例如，模型可能会因为其做出的不公平关联，而预测某些年龄组的招聘率不成比例地偏低。
机器学习实验中分析选项卡的可视化，突出显示模型偏差。该可视化显示，模型对某些婚姻状况的收入预测高于其他婚姻状况。
数据偏差指标
在Qlik Predict中，通过分析以下内容来衡量数据偏差：
-
表示率：比较功能中每个组所属数据的分布，与功能中所有数据进行比较。计算出的指标是表示率奇偶比。
-
条件分布奇偶比：比较功能中每个组的数据平衡，相对于目标列的值。计算出的指标是条件分布奇偶比。
要详细了解这些指标的可接受值，请参阅偏差指标的可接受值。
模型偏差指标
在 Qlik Predict 中，模型偏差指标最好在针对实验的模型类型背景下理解。广义上讲，有以下偏差指标类别：
-
分类模型指标
-
回归和时间序列模型指标
要详细了解这些指标的可接受值，请参阅 偏差指标的可接受值。
分类模型
在二元和多类别分类模型中，偏差通过分析预测的目标值（结果）来衡量。特别是，比较了不同组别的正面和负面结果率的差异（此处“正面”和“负面”指的是有利与不利的结果——例如，是或否作为已聘用目标列的值）。这些模型具有以下偏差指标：
-
差异影响
-
统计奇偶性差异
-
机会均等差异为
差异影响
差异影响比 (DI) 评估敏感特征中的组别在模型的预测结果中是否受到偏袒或损害。通过计算每个组被选为预测值的频率来衡量，并将其与该功能中最受青睐的组的选择率进行比较。
统计奇偶性差异
与差异影响类似，统计均等差异 (SPD) 评估模型预测，以确定它们是否偏袒或损害任何个体群体。该指标通过比较最大组和最小组之间的积极结果率来计算。
机会均等差异为
平等机会差异 (EOD) 与其他两个分类模型偏差指标类似。EOD 比较某个功能中各组的最高和最低真阳性率。
回归和时间序列模型
在回归和时间序列模型中，偏差通过比较模型在其预测中犯错误的频率来衡量，使用奇偶比来确定预测结果的公平性。
关注以下偏差指标，这些指标使用常用于评估模型准确度的错误指标计算：
偏差指标的可接受值
| 偏差指标 | 偏差类别 | 适用模型类型 | 可接受值 |
|---|---|---|---|
| 表示率奇偶比 | 数据偏差 | 全部 |
理想值：介于 0.8 和 1 之间。 较低的比率表示表示不均衡。 |
| 条件分布奇偶比 | 数据偏差 | 全部 |
理想值：介于 0.8 和 1 之间。 较低的比率表示不成比例的代表性。 |
| 统计奇偶性差异 (SPD) | 模型偏差 | 二分类、多类别分类 |
理想值：0。 高于 0.2 的值是存在不公平的强烈信号。 |
| 差异影响 (DI) | 模型偏差 | 二分类、多类别分类 |
理想值：1。 低于 0.8 的值表明存在不公平。 |
| 机会均等差异为 (EOD) | 模型偏差 | 二分类、多类别分类 |
理想值：0。 值高于 0.1 表示不公平。 |
| MAE 奇偶比 | 模型偏差 | 回归 |
理想值：介于 0.8 和 1 之间。 值高于 1.25 表示不公平。 |
| MSE 奇偶比 | 模型偏差 | 回归 |
理想值：介于 0.8 和 1 之间。 高于 1.25 的值表示不公平。 |
| RMSE 奇偶比 | 模型偏差 | 回归 |
理想值：介于 0.8 和 1 之间。 高于 1.25 的值表示不公平。 |
| R2 间隙 | 模型偏差 | 回归 |
理想值：0。 高于 0.2 的值表示不公平。 |
| MASE 奇偶比 | 模型偏差 | 时间序列 | 高于 1.25 的值表示不公平。 |
| MAPE 奇偶比 | 模型偏差 | 时间序列 | 高于 1.25 的值表示不公平。 |
| SMAPE 奇偶比 | 模型偏差 | 时间序列 | 高于 1.25 的值表示不公平。 |
配置偏差检测
偏差检测在实验版本中针对每个训练功能进行配置。
执行以下操作：
-
在机器学习实验中，在训练配置面板中展开偏差。
-
选择要对其运行偏差检测的功能。
或者，在
架构视图中为所需功能开启偏差检测。
偏差结果的快速分析
训练完成后，您可以在模型选项卡中快速概览偏差检测结果。
向下滚动快速分析项以找到偏差检测。使用
图标展开部分。您可以分析可能存在数据和模型偏差的功能。
在模型选项卡中使用偏差检测部分分析数据偏差。
注释
-
受偏好组是基于偏差指标，在数据或目标的预测结果中过度表示的目标值或范围。受损害组是基于偏差指标，在数据或目标的预测结果中代表性不足的目标值或范围。
有关如何使用偏差指标的信息，请参阅偏差指标的可接受值。
括号中的数字描述了用于计算指标的条件。例如，如果指标是均等机会差异 (EOD)，女性 (10%) 和男性 (80%) 表示男性的真阳性率为 80%，女性的真阳性率为 10%。
-
目标结果 指模型预测的目标列的值。
-
并非所有偏差指标和值都显示在 模型 选项卡中，因为空间有限。例如：
-
根据指标和模型类型，某些指标和组可能只包含最小值和最大值。
-
如果多个指标超出某个功能的偏差阈值，则显示表示最高程度不公平的指标。
-
对于多类别分类模型中的有偏见特性，仅显示表示最高程度不公平的指标。
-
-
更详细的信息可在分析选项卡和模型训练报告中获取。请参阅偏见结果的详细分析。
- 有关本部分中术语的更多信息，请参阅该页面上的术语。
偏见结果的详细分析
您可以在分析选项卡中深入了解偏见结果。
执行以下操作：
-
在机器学习实验中，选择一个模型并转到分析选项卡。
-
打开偏差工作表。
-
根据所需的分析，在数据偏差和模型偏差之间进行选择。
-
在具有潜在偏差的特性表中，选择一个特性。
指示可能偏差的图表和指标以红色背景显示。您可以通过在可视化中单击和绘制来选择功能。
表中指标对于与标准功能对应的偏差指标是静态的。对于未来功能，偏差指标会根据时间序列组选择动态变化。
分析选项卡显示了针对所选功能的模型偏差分析。图表和指标的红色背景表示可能存在偏差。
有关导航详细模型分析的更多信息，请参阅执行 详细的模型分析。
训练报告中的偏差结果
偏差指标也呈现在 ML 训练报告中。它们包含在报告中专门的偏差部分。
关于训练报告的更多信息，请参阅下载 ML 训练报告。
解决偏差
在分析了模型的偏差检测结果后，您可能需要执行以下任何操作：
-
在删除有偏差的特性后，运行新的实验版本。
-
避免部署显示偏差的模型，而是部署满足偏差指标推荐标准的模型。
-
更新您的数据集，以纠正任何不当的数据收集或解决不平等的表示率。
-
使用结构化框架重新定义您的机器学习问题。例如，如果您的原始机器学习问题本身就存在偏差，那么模型在创建公平预测方面可能总是不可靠的。
该页面上的术语
在此页面上，以及在Qlik Predict中，“组”是一个根据上下文具有不同含义的术语：
-
“组”是指正在分析偏差的功能中的值或范围。例如，婚姻状况特性在训练数据中可能有四种可能的分组：已婚、离婚、分居或丧偶。
-
在时间序列实验中，“分组”是指允许针对兼容特性的特定值跟踪目标结果的功能。在此页面上，这些分组被称为“时间序列分组”。有关这些分组的更多信息，请参阅 组。
限制
-
您无法激活以下项的偏差检测：
-
目标特性。
-
自由文本特性（即使特性类型更改为分类）。
-
在时间序列实验中用作日期索引的日期特性。
-
自动工程日期特性。您可以在这些特性上运行偏差检测，但不能独立激活它们。相反，激活父日期功能以进行偏差检测，并确保将自动工程化的日期功能包含在训练中。
-