Mitigating Label Bias in Machine Learning: Fairness through Confident Learning
Hangzhou Dianzi University（杭州电子科技大学）；University of Technology Sydney（悉尼科技大学）；Huazhong University of Science and Technology（华中科技大学）；Renmin University of China（中国人民大学）
本文提出在置信学习框架内通过截断置信度得分和扩展概率阈值置信区间，并结合协同教学范式，从有偏标签数据中筛选公平实例，以缓解标签偏差并提升模型公平性。
2023-12-24 cs.CY cs.LG
Investigating Bias In Automatic Toxic Comment Detection: An Empirical Study
Georgia Institute of Technology（佐治亚理工学院）
随着在线平台的激增，用户通过评论和反应在这些平台上的参与度激增。很大一部分这样的文字评论是辱骂，粗鲁和冒犯观众。有了机器学习系统来检查这些进入平台的评论，训练数据中存在的偏见被传递到分类器中，导致对一组阶级、宗教和性别的歧视。在这项工作中，我们评估不同的分类器和功能，以估计这些分类器的偏差以及它们在毒性分类的下游任务上的性能。结果表明，自动有毒评论检测模型的性能改善与减轻这些模型中的偏差呈正相关。在我们的工作中，具有注意力机制的LSTM被证明是比CNN模型更好的建模策略。进一步的分析表明，在毒性评论检测的训练模型上，快速文本嵌入比手套嵌入略好。更深入的分析揭示了这样的发现，即这种自动模型特别偏向于特定的身份群体，即使该模型具有较高的AUC分数。最后，为了减轻毒性检测模型中的偏倚，使用毒性子类型的辅助任务训练的多任务设置被证明是有用的，导致AUC评分增加高达0.26%（6%相对）。
2021-08-14 cs.AI cs.CL cs.LG
Learning with Biased Complementary Labels
UBTECH Sydney AI Centre（优必选悉尼人工智能中心）；The University of Sydney（悉尼大学）；University of Pittsburgh（匹兹堡大学）；Carnegie Mellon University（卡内基梅隆大学）
在本文中，我们研究的分类问题，我们有机会很容易获得的替代品的真正的标签，即互补标签，指定类的意见不属于\textbf{not}。令$Y$和$\bar{Y}$分别为真标记和互补标记。我们首先通过转移概率$P(\bar{Y}=i|Y=j), i\neq j\in\{1,\cdots,c\}$对互补标签的注释进行建模，其中$c$是类的数量。先前的方法隐含地假设$P(\bar{Y}=i|Y=j), \forall i\neq j$是相同的，这在实践中是不正确的，因为人类偏向于他们自己的经验。例如，如图1所示，如果注释者在为猫鼬提供补充标签时对猴子比土拨鼠更熟悉，那么她更有可能使用“monkey”作为补充标签。因此，我们推断转移概率将不同。在本文中，我们提出了一个框架，贡献了三个主要的创新学习与\textbf{biased}互补标签：（1）估计转移概率没有偏见。(2)它提供了一种通用的方法来修改传统的损失函数，并扩展了标准的深度神经网络分类器，以使用有偏的互补标签进行学习。(3)它从理论上保证了用互补标签学习的分类器收敛到用真实标签学习的最优分类器。在多个基准数据集上的综合实验验证了该方法的优越性。
2018-08-08 cs.LG stat.ML
Jury Learning: Integrating Dissenting Voices into Machine Learning Models
Stanford University（斯坦福大学）；Apple Inc.（苹果公司）
机器学习（ML）算法应该学习模仿谁的标签？对于从在线评论毒性到错误信息检测再到医学诊断的ML任务，社会中的不同群体可能对地面真相标签存在不可调和的分歧。今天，受监督的ML使用多数投票隐含地解决了这些标签分歧，这覆盖了少数群体的标签。我们介绍了陪审团学习，这是一种监督式ML方法，通过陪审团的比喻来明确解决这些分歧：定义哪些人或群体，以什么比例，确定分类器的预测。例如，在线毒性的陪审团学习模型可能以女性和黑人陪审员为中心，他们通常是在线骚扰的目标。为了实现陪审团学习，我们贡献了一个深度学习架构，该架构对数据集中的每个注释者进行建模，从注释者的模型中采样以填充陪审团，然后运行推理进行分类。我们的架构使陪审团能够动态地调整他们的组成，探索反事实，并可视化异议。
2022-02-07 cs.AI cs.HC cs.LG
PUe: Biased Positive-Unlabeled Learning Enhancement by Causal Inference
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
研究正无标记学习问题，基于SAR-PU倾向加权框架提出PUe框架，运用归一化倾向得分和NIPW，有归一化逆概率加权风险公式等贡献，在多个数据集实验中，在非均匀标签分布下优于多个PU基线。
2026-07-16 cs.LG
Label noise in segmentation networks : mitigation must deal with bias
École Polytechnique de Montréal（蒙特利尔理工学院）
不完美的标签限制了深度神经网络学习的预测质量。这在医学图像分割中特别相关，其中参考注释很难收集并且即使在专家注释器之间也会有很大差异。先前关于减轻标签噪声的工作集中在大多数均匀噪声的简单模型上。在这项工作中，我们探讨有偏见和无偏见的错误，人为地引入到脑肿瘤的MRI数据的注释。我们发现，监督和半监督分割方法是强大的或相当强大的无偏误差，但有偏误差敏感。因此，重要的是要识别在医学图像标签中预期的错误的种类，特别是减轻有偏见的错误。
2021-07-05 cs.CV cs.LG
AutoDO: Robust AutoAugment for Biased Data with Label Noise via Scalable Probabilistic Implicit Differentiation
Panasonic AI Lab（松下人工智能实验室）；AIoli Labs（AIoli实验室）；Panasonic Technology Division（松下技术部门）
AutoAugment引发了人们对深度学习模型自动增强方法的兴趣。这些方法估计用于训练数据的图像变换策略，其改进了对测试数据的泛化。虽然最近的论文朝着降低策略搜索复杂性的方向发展，但我们发现这些方法在应用于有偏见和有噪声的数据时并不鲁棒。为了克服这些局限性，我们将AutoAugment重新定义为广义自动数据集优化（AutoDO）任务，该任务最大限度地减少了测试数据和扭曲的训练数据集之间的分布偏移。在我们的AutoDO模型中，我们显式地估计一组每点超参数，以灵活地改变训练数据的分布。特别是，我们包括用于增强，损失权重和软标签的超参数，这些超参数使用隐式微分联合估计。我们开发了一个理论概率解释这个框架，使用Fisher信息，并表明其复杂性与数据集大小呈线性关系。我们在SVHN、CIFAR-10/100和ImageNet分类上的实验显示，与之前的方法相比，带有标签噪声的有偏数据集的性能提高了9.3%，重要的是，对于代表性不足的SVHN类，性能提高了36.6%。
2021-03-11 cs.AI cs.CV cs.LG
Embracing Biased Transition Matrices for Complementary-Label Learning with Many Classes
National Taiwan University（国立台湾大学）；The University of Tokyo（东京大学）；RIKEN Center for Advanced Intelligence Project（日本理化学研究院先进智能项目中心）
本文提出了一种新的框架BICL，通过设计偏置的标签生成过程来克服传统互补标签学习在多类设置中的限制，从而在CIFAR-100和TinyImageNet-200上实现了传统方法的七倍以上准确率提升。
2026-05-18 cs.AI cs.CV cs.LG
Active learning with biased non-response to label requests
London School of Economics（伦敦政治经济学院）；Meta
本研究针对主动学习场景中有偏标注无响应损害模型性能的问题，提出基于成本的采样修正方法UCB-EU，经多场景实验及电商真实数据验证可有效缓解性能下降，同时明确了该方法仍存在局限的场景。
2024-03-11 cs.LG stat.ME stat.ML
Avoiding Biased Clinical Machine Learning Model Performance Estimates in the Presence of Label Selection
Stanford（斯坦福大学）
在评估临床机器学习模型的性能时，必须考虑部署人群。当具有观察标签的患者人群仅是部署人群（标签选择）的子集时，观察人群的标准模型性能估计可能会产生误导。在这项研究中，我们描述了三个类别的标签选择和模拟五个因果关系不同的情况下，以评估如何特定的选择机制偏见一套常用的二进制机器学习模型的性能指标。模拟结果表明，当选择的影响所观察到的功能，天真的模型歧视估计可能会误导。当选择受到标签的影响时，校准的天真估计无法反映现实。我们借用传统的加权估计因果推理文献，发现当选择概率被适当指定，他们恢复全部人口估计。然后，我们解决了监控部署的机器学习模型的性能的现实任务，这些模型与临床医生的交互反馈并影响标签的选择机制。我们训练三个机器学习模型来标记低产量的实验室诊断，并模拟它们减少浪费的实验室利用率的预期结果。我们发现，AUROC对观察到的人口的天真估计低于实际性能高达20%。这种差异可能大到足以导致错误地终止成功的临床决策支持工具。我们提出了一个改变的部署过程，一个注入的随机化与传统的加权估计相结合，并发现它恢复真正的模型性能。
2022-09-15 cs.LG
Adaptive Label Smoothing To Regularize Large-Scale Graph Training
Rice University（莱斯大学）；University of Georgia（佐治亚大学）；Samsung Research America（三星美国研究院）；Samsung Electronics（三星电子）
图神经网络（GNNs）通过递归地聚集来自其邻居的信息来学习节点表示，已经成为许多领域中的主要计算工具。为了处理大规模图，大多数现有方法将输入图划分为多个子图（例如，通过节点聚类）并应用批量训练以节省存储器成本。然而，这种批量训练会导致每个批次内的标签偏差，从而导致模型预测的过度自信。由于具有正相关标签的连接节点往往被分配在一起，传统的交叉熵最小化过程将参与批量中有偏类的预测，并可能加剧过拟合问题。为了克服标签偏差问题，我们提出了自适应标签平滑（ALS）方法，以取代一个热硬标签与平滑的，学习分配标签的信心从有偏见的类到其他。具体地说，ALS传播节点标签聚合的邻域标签分布在一个预处理步骤，然后更新的最佳平滑标签在线，以适应特定的图结构。在真实数据集上的实验表明，ALS可以普遍应用于主要的可扩展学习框架，以校准有偏的标签，提高泛化性能。
2021-08-30 cs.AI cs.LG
Unbiased Learning to Rank with Biased Continuous Feedback
Tencent（腾讯）
这是一个众所周知的挑战，学习一个公正的排名与偏见的反馈。无偏学习排名（LTR）算法，这是验证模型的相对相关性准确的基础上嘈杂的反馈，是有吸引力的候选人，并已被应用于许多应用程序与单一的分类标签，如用户点击信号。然而，现有的无偏LTR方法不能正确地处理连续反馈，这是必不可少的许多工业应用，如内容推荐系统。为了提供个性化的高质量推荐结果，推荐系统需要对分类和连续的有偏反馈（如点击和停留时间）进行建模。因此，我们设计了一种新的无偏LTR算法来解决这些挑战，该算法创新性地以成对的方式对位置偏差进行建模，并引入成对的信任偏差来明确地分离位置偏差，信任偏差和用户相关性，并且可以用于连续和分类反馈。在公共基准数据集和腾讯新闻大规模推荐系统的内部实时流量上的实验结果表明，该方法在连续标签上具有较好的效果，在分类标签上也具有较好的性能。
2023-03-08 cs.IR cs.LG
Fairness and Bias in Truth Discovery Algorithms: An Experimental Analysis
University of Illinois Chicago（伊利诺伊大学芝加哥分校）；QCRI, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）
本文系统实验分析众包真值发现算法的偏见与公平性，发现不公平工作者会影响共识标签和下游ML任务，且现有TD及传统纠偏方法效果有限。
2023-04-25 cs.CY cs.DB cs.LG
SelecMix: Debiased Learning by Contradicting-pair Sampling
Seoul National University（首尔国立大学）；University of Tübingen（图宾根大学）；Idiap Research Institute（Idiap研究所）；NAVER AI Lab（NAVER人工智能实验室）
用ERM（经验风险最小化）训练的神经网络有时会学习非预期的决策规则，特别是当它们的训练数据有偏差时，即，当训练标签与不期望的特征强烈相关时。为了防止网络学习这样的特征，最近的方法增加了训练数据，使得显示虚假相关性的示例（即，偏见一致的例子）成为少数，而另一个，偏见冲突的例子变得普遍。然而，这些方法有时难以训练和扩展到真实世界的数据，因为它们依赖于生成模型或分离表示。我们提出了一种基于mixup的替代方案，这是一种流行的增强方法，可以创建训练样本的凸组合。我们的方法称为SelecMix，将mixup应用于矛盾的示例对，定义为显示（i）相同的标签但不相似的偏置特征，或（ii）不同的标签但相似的偏置特征。识别这样的对需要比较关于未知的偏置特征的示例。为此，我们利用了一个辅助对比模型，该模型具有流行的启发式，即在训练过程中优先学习有偏见的特征。标准基准测试的实验表明，该方法的有效性，特别是当标签噪声复杂的偏见冲突的例子识别。
2022-11-04 cs.AI cs.CV cs.LG
Learning Debiased Classifier with Biased Committee
Pohang University of Science and Technology (POSTECH)（浦项科技大学）
针对神经网络易受训练数据虚假相关性影响而泛化能力差的问题，提出无需虚假属性标签的去偏分类器训练方法，通过有偏分类器委员会识别加权偏置冲突数据并结合主分类器知识迁移，在五个数据集上性能优于同类无标签方法，部分超过有偏置标签的方法。
2023-05-01 cs.CV cs.LG
Towards Transfer Unlearning: Empirical Evidence of Cross-Domain Bias Mitigation
The University of Tokyo（东京大学）；The University of Edinburgh（爱丁堡大学）；RIKEN AIP（理化学研究所人工智能项目）
本文提出一种基于掩码语言建模的遗忘技术，通过对仇恨言论执行梯度上升来选择性遗忘有害内容，有效缓解LLMs偏见并保持语言能力，且揭示了跨领域迁移遗忘的潜力。
2024-07-24 cs.CL cs.LG
A Statistical Framework for Alignment with Biased AI Feedback
Center for Data Science, Zhejiang University（浙江大学数据科学中心）；Department of Electrical and Computer Engineering, Rutgers University（罗格斯大学电气与计算机工程系）；Department of Statistics, Rutgers University（罗格斯大学统计学系）；Faculty of Business and Economics, The University of Hong Kong（香港大学商学院）
本文提出两种去偏对齐方法，DDPO通过残差修正和密度比重加权提升效率，DIPO直接估计人类偏好概率，实验证明其在情感生成、摘要和对话任务中提升了对齐效率并接近全人类标注数据性能。
2026-02-09 cs.LG stat.ML
Designing Closed-Loop Models for Task Allocation
Yale University（耶鲁大学）；Fiddler AI；University of Texas at Austin（得克萨斯大学奥斯汀分校）
本文提出利用人-任务相似性的弱先验信息引导闭环任务分配模型训练，以应对无神谕且人类决策可能出错和偏见的现实场景，并通过理论分析与实验验证了该方法能提升分配准确性。
2023-05-31 cs.HC cs.LG
Becoming More Robust to Label Noise with Classifier Diversity
Brigham Young University（杨百翰大学）
在机器学习社区中众所周知，类噪声可能（并且经常）不利于诱导数据的模型。许多当前的方法使用单个的、通常有偏差的测量来确定实例是否有噪声。有偏差的度量可能在某些数据集上工作得很好，但在更广泛的数据集上也可能不太有效。在本文中，我们提出了噪声识别使用分类器多样性（NICD）-一种方法，用于获得一个更少的偏见噪声测量，并将其集成到学习过程。为了减少噪声度量的偏差，NICD选择了一组不同的分类器（基于它们对新实例的预测）来确定哪些实例是有噪声的。我们研究NICD作为一种技术，用于过滤，实例加权，并选择一个投票合奏的基础分类。我们比较NICD与其他几种噪声处理技术，不考虑分类器的多样性，一组54个数据集和5个学习算法。NICD显著提高了分类准确性，并且在广泛的数据集和学习算法中有效。
2014-03-07 cs.AI cs.LG stat.ML
Bias in LLMs as Annotators: The Effect of Party Cues on Labelling Decision by Large Language Models
University of Western Ontario（西安大略大学）；University of Vienna（维也纳大学）
通过复现实验发现，LLM作为标注者会利用政党线索判断政治声明并反映训练数据偏见，且比人类更易在温和政党声明上表现出显著偏见。
2024-08-28 cs.CL cs.LG
AUC Maximization from Biased Positive-unlabeled Data with Confidence
NTT, Inc.（日本电信电话公司）
针对有偏正类-未标注数据，提出利用置信度估计AUC风险，实现AUC最大化，并在八个真实数据集上验证有效性。
2026-09-11 cs.AI cs.LG stat.ML
Subtle Data Crimes: Naively training machine learning algorithms could lead to overly-optimistic results
UC Berkeley（加州大学伯克利分校）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
虽然开放数据库是深度学习（DL）时代的重要资源，但它们有时会被“标签外”使用：为一个任务发布的数据被用于训练另一个任务的算法。这项工作旨在强调，在某些情况下，这种常见的做法可能会导致偏见，过于乐观的结果。我们证明了这种现象的反问题求解器，并显示他们的偏见的性能源于隐藏的数据预处理管道。我们描述了两个典型的开放访问数据库的预处理管道，并研究它们对三个成熟的磁共振成像（MRI）重建算法的影响：压缩感知（CS），字典学习（DictL）和DL。在这项大规模的研究中，我们进行了大量的计算。我们的研究结果表明，CS，DictL和DL算法在对适当的数据进行天真训练时会产生系统性的偏差结果：归一化均方根误差（NRMSE）与预处理程度一致，在某些情况下人为增加了25%-48%。由于这种现象通常是未知的，有偏见的结果有时会作为最先进的技术发表;我们将其称为微妙的数据犯罪。因此，这项工作对大数据的幼稚标签外使用提出了警告，并揭示了现代逆问题求解器对由此产生的偏见的脆弱性。
2021-12-14 cs.LG
How to be fair? A study of label and selection bias
University of Antwerp（安特卫普大学）
本文研究标签偏差与选择偏差，通过建立偏差类型与缓解技术有效性之间的关系，根据优化的偏差度量对技术进行分类，从理论上分析了偏差缓解方法的有效条件并解释了现有实验结果。
2024-03-21 cs.AI cs.CY cs.LG
Designing Closed Human-in-the-loop Deferral Pipelines
Yale University（耶鲁大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Amazon AWS AI（亚马逊云服务人工智能）；Fiddler AI
在混合人机延迟框架中，分类器可以将不确定的情况推迟给人类决策者（他们自己往往也会犯错）。在同时训练这种分类器和延迟模型方面，以前的工作通常假设在训练期间可以访问oracle，以获得训练样本的真实类标签，但实际上通常没有这样的oracle。相比之下，我们考虑一个“封闭”的决策管道，其中在延迟中使用的相同的易犯错的人类决策者也提供训练标签。如何使用不完美和有偏见的人类专家标签来训练公平和准确的延期框架？我们的关键见解是，通过利用弱先验信息，我们可以将专家与输入示例相匹配，以确保所产生的延迟框架的公平性和准确性，即使在使用不完美和有偏见的专家代替地面真值标签时也是如此。理论分析和两个任务的评价都表明了我们方法的有效性。
2022-02-09 cs.HC cs.LG
Model Debiasing by Learnable Data Augmentation
Istituto Italiano di Tecnologia（意大利技术研究院）；University of Verona（维罗纳大学）
针对未知偏差导致模型学习虚假关联的问题，提出两阶段可学习数据增强流程，先识别有偏样本，再学习混合参数进行正则化，在多类数据集上取得最优分类准确率并提升泛化性。
2024-08-09 cs.CV cs.LG
Mitigating Spurious Correlations via Disagreement Probability
Seoul National University（首尔大学）；NextQuantum；Hodoo AI Labs（Hodoo AI实验室）
针对无偏差标签下的虚假相关问题，提出基于分歧概率的重采样去偏差方法（DPR），利用目标标签与偏差模型预测的分歧识别并上采样偏差冲突样本，在多个基准上达到SOTA性能。
2024-12-20 cs.AI cs.LG stat.ML
Group Fairness by Probabilistic Modeling with Latent Fair Decisions
University of California, Los Angeles（加州大学洛杉矶分校）
机器学习系统越来越多地用于做出有影响力的决策，例如贷款申请和刑事司法风险评估，因此，确保这些系统的公平性至关重要。这通常具有挑战性，因为数据中的标签是有偏见的。本文研究了通过显式建模一个代表隐藏的无偏标签的潜在变量来从有偏数据中学习公平的概率分布。特别是，我们的目标是通过在学习模型中强制执行某些独立性来实现人口均等。我们还表明，只有当用于提供这些保证的分布确实捕获了真实世界的数据时，组公平性保证才有意义。为了密切的数据分布模型，我们采用概率电路，一个富有表现力和易处理的概率模型，并提出了一个算法来学习他们从不完整的数据。我们在一个合成数据集上评估了我们的方法，在这个数据集上观察到的标签确实来自公平标签，但有额外的偏见，并证明了公平标签被成功检索。此外，我们在现实世界的数据集上表明，我们的方法不仅是一个比现有的数据生成方法更好的模型，而且还达到了有竞争力的准确性。
2020-12-17 cs.AI cs.LG stat.ML
Don't Throw it Away! The Utility of Unlabeled Data in Fair Decision Making
MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；Saarland University（萨尔大学）；MPI for Software Systems（马克斯·普朗克软件系统研究所）；ETH Zürich（苏黎世联邦理工学院）
在实践中，决策算法通常是在表现出各种偏见的数据上训练的。决策者通常旨在根据一些假设或预期是无偏见的地面实况目标做出决策，即，平均分布在社会显著群体中。在许多实际环境中，地面实况不能直接观察到，相反，我们必须依赖地面实况的有偏见的代理测量，即，有偏见的标签。此外，数据通常被选择性地标记，即，甚至仅对于接收到肯定判决的数据的一小部分观察到有偏标签。为了克服标签和选择偏差，最近的工作提出了学习随机，通过i）在每个时间步在线训练新策略和ii）强制公平性作为对性能的约束来探索决策策略。然而，现有的方法只使用标记的数据，忽略了大量的未标记的数据，从而遭受高不稳定性和变化的学习决策政策在不同的时间。在本文中，我们提出了一种新的方法的基础上变分自动编码器的实际公平决策。我们的方法学习一个无偏的数据表示，利用标记和未标记的数据，并使用表示学习在线过程中的策略。使用合成数据，我们实证验证，我们的方法收敛到最佳（公平）的政策，根据地面真理与低方差。在现实世界的实验中，我们进一步表明，我们的训练方法不仅提供了一个更稳定的学习过程，而且产生的政策比以前的方法具有更高的公平性和实用性。
2022-07-04 cs.AI cs.HC cs.LG
Classification from Positive, Unlabeled and Biased Negative Data
École Normale Supérieure（巴黎高等师范学院）；RIKEN（理化学研究所）；The University of Tokyo（东京大学）
在二进制分类中，存在负（N）数据过于多样化而无法完全标记的情况，在这些情况下，我们通常采用正未标记（PU）学习。然而，收集仅包含所有可能的N个数据的一小部分的非代表性N个集合在实践中通常容易得多。本文研究了一种新的分类框架，它将这种有偏N（bN）的数据在PU学习。我们提供了一种基于经验风险最小化的方法来解决这个PUbN分类问题。我们的方法可以被视为一种新的示例加权算法，每个示例的权重通过从PU学习中汲取灵感的初步步骤来计算。我们还推导出所提出的方法的估计误差界。实验结果表明，我们的算法的有效性，不仅在PUbN学习的情况下，而且在几个基准数据集上的普通PU学习的情况下。
2019-07-13 cs.LG stat.ML
CLImage: Human-Annotated Datasets for Complementary-Label Learning
Department of Computer Science and Information Engineering National Taiwan University（国立台湾大学计算机科学与信息工程系）
针对现有互补标签学习算法仅在合成数据集评估、缺乏真实数据验证的问题，研究者构建了首批人工标注的真实世界CLL数据集CLImage，实验发现标注噪声等因素导致算法性能下降，为鲁棒性算法研发提供支撑。
2025-06-14 cs.CV cs.LG
