SimFair: A Unified Framework for Fairness-Aware Multi-Label Classification
Purdue University（普渡大学）
近年来，人们越来越关注机器学习算法做出的不公平决策。为了提高模型决策的公平性，人们提出了各种公平性概念，并开发了许多公平性感知方法。然而，大多数现有的定义和方法只关注单标签分类。多标签分类的公平性，其中每个实例与多个标签相关联，仍然有待建立。为了填补这一空白，本文研究了公平感知的多标签分类。我们首先扩展人口均等（DP）和机会均等（EOP），两个流行的公平概念，多标签分类的情况下。通过系统的研究，我们表明，在多标签数据，由于不均匀分布的标签，EOp通常无法构建一个可靠的估计标签的实例很少。然后，我们提出了一个新的框架命名为相似性$s$ -诱导公平（$s_γ$ -SimFair）.这个新的框架在估计特定标签组的公平性时利用具有相似标签的数据以获得更好的稳定性，并且可以统一DP和EOp。理论分析和在真实数据集上的实验结果表明，与现有的多标签分类方法$s_γ$ -SimFair相比，该方法具有更好的分类性能.
2023-02-22 cs.LG
Systematic analysis of the impact of label noise correction on ML Fairness
Faculdade de Engenharia da Universidade do Porto（波尔图大学工程学院）；Laboratory for Artificial Intelligence and Computer Science（人工智能与计算机科学实验室）；Fraunhofer Portugal AICOS（弗劳恩霍夫葡萄牙人工智能与计算机科学研究所）；Carnegie Mellon University（卡内基梅隆大学）
本研究提出一种实证方法，系统评估标签噪声校正技术在有偏见数据集上确保模型公平性的有效性，发现Hybrid Label Noise Correction方法在预测性能与公平性间实现最佳权衡。
2023-06-28 cs.CY cs.LG
Looking Beyond What You See: An Empirical Analysis on Subgroup Intersectional Fairness for Multi-label Chest X-ray Classification Using Social Determinants of Racial Health Inequities
Massachusetts Institute of Technology（麻省理工学院）；University at Buffalo（布法罗大学）
本文针对胸部X光多标签分类中的交叉群体公平性问题，提出通过平衡数据集重训练预训练模型最后一层并结合公平约束与类别平衡微调的框架，在MIMIC-CXR上实现了准确性与公平性的最优权衡。
2024-03-27 cs.AI cs.CV cs.CY
Mitigating Label Bias in Machine Learning: Fairness through Confident Learning
Hangzhou Dianzi University（杭州电子科技大学）；University of Technology Sydney（悉尼科技大学）；Huazhong University of Science and Technology（华中科技大学）；Renmin University of China（中国人民大学）
本文提出在置信学习框架内通过截断置信度得分和扩展概率阈值置信区间，并结合协同教学范式，从有偏标签数据中筛选公平实例，以缓解标签偏差并提升模型公平性。
2023-12-24 cs.CY cs.LG
Bias-Tolerant Fair Classification
Data Science Institute（数据科学研究所）；University of Technology Sydney（悉尼科技大学）；Tsinghua University（清华大学）
标签偏差和选择偏差被认为是阻碍机器学习结果公平性的两个原因。当标签决策受到敏感特征的干扰时，会出现标签偏差，而当数据采样过程中存在主观偏差时，会出现选择偏差。更糟糕的是，在这些数据上训练的模型可能会继承甚至加剧歧视。大多数算法公平性方法执行具有预定义公平性约束的经验风险最小化，其倾向于权衡公平性的准确性。然而，这种方法将实现所需的公平水平，牺牲受偏见影响的个人的利益（获得积极的结果）。因此，我们提出了一个Bias-TolerantFAirRegularizedLoss（B-FARL），它试图使用受标签偏差和选择偏差影响的数据来重新获得好处。B-FARL将有偏见的数据作为输入，调用一个模型，该模型近似于用公平但潜在的数据训练的模型，从而在不需要约束的情况下防止歧视。此外，我们通过分解B-FARL来显示有效组件，并利用元学习框架进行B-FARL优化。在真实世界数据集上的实验结果表明，我们的方法在提高真实但潜在标签方向的公平性方面是经验有效的。
2021-07-07 cs.CY cs.LG
Group Fairness by Probabilistic Modeling with Latent Fair Decisions
University of California, Los Angeles（加州大学洛杉矶分校）
机器学习系统越来越多地用于做出有影响力的决策，例如贷款申请和刑事司法风险评估，因此，确保这些系统的公平性至关重要。这通常具有挑战性，因为数据中的标签是有偏见的。本文研究了通过显式建模一个代表隐藏的无偏标签的潜在变量来从有偏数据中学习公平的概率分布。特别是，我们的目标是通过在学习模型中强制执行某些独立性来实现人口均等。我们还表明，只有当用于提供这些保证的分布确实捕获了真实世界的数据时，组公平性保证才有意义。为了密切的数据分布模型，我们采用概率电路，一个富有表现力和易处理的概率模型，并提出了一个算法来学习他们从不完整的数据。我们在一个合成数据集上评估了我们的方法，在这个数据集上观察到的标签确实来自公平标签，但有额外的偏见，并证明了公平标签被成功检索。此外，我们在现实世界的数据集上表明，我们的方法不仅是一个比现有的数据生成方法更好的模型，而且还达到了有竞争力的准确性。
2020-12-17 cs.AI cs.LG stat.ML
How to be fair? A study of label and selection bias
University of Antwerp（安特卫普大学）
本文研究标签偏差与选择偏差，通过建立偏差类型与缓解技术有效性之间的关系，根据优化的偏差度量对技术进行分类，从理论上分析了偏差缓解方法的有效条件并解释了现有实验结果。
2024-03-21 cs.AI cs.CY cs.LG
Noise-tolerant fair classification
Columbia University（哥伦比亚大学）；Google（谷歌）
公平感知学习涉及设计不区分某些敏感特征（例如，种族或性别）。现有的工作对这个问题的假设下，在一个人的训练样本中的敏感功能是完全可靠的。在许多现实情况下，这一假设可能会被违反：例如，调查的受访者可能会出于对潜在歧视的恐惧而选择隐藏或模糊其群体身份。这就提出了一个问题，是否仍然可以学习公平的分类噪声敏感的功能。在本文中，我们回答这个问题是肯定的：我们表明，如果一个措施的公平性使用的均值差得分，和敏感的功能受到噪声的相互污染的学习模型，然后由于一个简单的身份，我们只需要改变所需的公平性宽容。所需的公差可以估计利用现有的噪声率估计从标签噪声文献。我们最后表明，我们的程序是经验有效的两个案例研究涉及敏感特征审查。
2020-01-09 cs.AI cs.CY cs.LG
Fair-OBNC: Correcting Label Noise for Fairer Datasets
Feedzai；Universidade do Porto（波尔图大学）；Fraunhofer Portugal AICOS（弗劳恩霍夫葡萄牙AICOS）
本文提出考虑公平性的标签噪声纠正方法 Fair-OBNC，通过调整排序标准生成具有可衡量 demographic parity 的训练数据集，使模型公平性平均提升150%。
2024-10-14 cs.LG
FairNVT: Fair Classification via Noise Injection in Vision Transformers
University of British Columbia（不列颠哥伦比亚大学）；RBC Borealis；Simon Fraser University（西蒙 Fraser大学）
FairNVT通过在视觉变换器中注入噪声，提升表示和预测层面的公平性，同时保持任务准确性，采用轻量适配器学习任务相关和敏感嵌入，并通过校准高斯噪声和正交约束减少敏感属性泄露。
2026-08-19 cs.AI cs.CV cs.LG
Optimal Fair Aggregation of Crowdsourced Noisy Labels using Demographic Parity Constraints
University of California, Berkeley（加州大学伯克利分校）；Université de Paris（巴黎大学）；CNRS（国家科学研究中心）
针对众包标签聚合中的公平性问题，提出在ε-公平框架下分析多数投票和最优贝叶斯聚合的公平性差距，并推广多类公平后处理算法以强制执行人口统计平价约束。
2026-06-07 cs.LG
Semi-FairVAE: Semi-supervised Fair Representation Learning with Adversarial Variational Autoencoder
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）
对抗学习是公平表示学习中广泛使用的一种技术，用于消除数据表示中敏感属性的偏差。它通常需要将敏感属性标签作为预测目标。然而，在许多场景下，许多样本的敏感属性标签可能是未知的，并且很难基于具有观察到的属性标签的稀缺数据训练一个强的分类器，这可能导致产生不公平的表示。本文提出了一种基于对抗性变分自编码器的半监督公平表示学习方法，该方法可以减少对抗性公平模型对带有标签敏感属性的数据的依赖。更具体地说，我们使用一个偏见感知模型，通过准确地预测敏感属性从输入数据捕捉敏感属性的固有偏见信息，我们使用一个无偏见的模型，学习去偏见的公平表示，通过使用对抗学习，以消除偏见信息。由两个模型学习的隐藏表示被正则化为正交的。此外，两个模型预测的软标签被进一步集成到一个半监督的变分自编码器中，以重建输入数据，我们应用了一个额外的熵正则化，以鼓励从无偏模型推断的属性标签是高熵的。通过这种方式，如果输入数据被很好地重构，则偏差感知模型可以更好地捕获属性信息，而无偏差模型对敏感属性的区分性较低。在两个不同任务的数据集上进行的大量实验验证了该方法在有限数据和敏感属性标签的情况下可以实现良好的表示学习公平性。
2022-04-01 cs.LG
Fair Labeled Clustering
University of Maryland, College Park（马里兰大学帕克分校）；Wellesley College（韦尔斯利学院）
本文研究带标签决策场景下的群体公平聚类，提出按标签保证比例代表的高效算法，并分析自由贴标签情形的计算边界及期望公平随机算法。
2023-06-04 cs.AI cs.DS cs.LG
Avoiding Structural Failure Modes in Tabular Fair SSL: Online Primal-Dual Allocation under Confidence Gating
College of Computer Science and Technology, Jilin University, China（吉林大学计算机科学与技术学院）；Key Laboratory of Symbolic Computation and Knowledge Engineering of the Ministry of Education, Jilin University, China（教育部符号计算与知识工程重点实验室）
针对表格公平半监督学习中的结构冲突，提出在线原始-对偶分配（OPDA）方法，通过动态调度公平性和熵稳定性惩罚，避免掩码崩溃和平凡饱和两种失效模式，在多个基准上实现非退化运行点。
2026-06-01 cs.AI cs.LG
Towards A Scalable Solution for Improving Multi-Group Fairness in Compositional Classification
Google（谷歌）；OpenAI（开放人工智能研究中心）
针对多分类器组合且涉及多群体的复杂系统，本文提出任务过度条件化与群体交错两种技术，使多群体多标签公平性修复实现恒定扩展，并通过实验验证其有效性。
2023-07-11 cs.AI cs.CY cs.LG
FairHome: A Fair Housing and Fair Lending Dataset
Zillow Group（齐洛集团）
本文发布覆盖9类受保护属性、约7.5万样本的FairHome公平住房与贷款合规风险数据集，并训练分类器检测房地产交易中LLM的潜在违规，其F1达0.91，优于多款主流大模型。
2024-09-09 cs.CY cs.LG
Who Decides if AI is Fair? The Labels Problem in Algorithmic Auditing
The University of Chicago（芝加哥大学）；EquiTech Futures
标记的“地面实况”数据集通常用于评估和审计在高风险环境中应用的人工智能算法。然而，这些数据集中的标签质量并不存在被广泛接受的基准。我们提供的经验证据表明，标签的质量可以显着扭曲在现实世界中的算法审计的结果。使用印度人工智能公司通常雇佣的数据注释器，我们表明，地面真实数据的保真度可能导致城市和农村人口之间ASR性能的虚假差异。经过严格的，虽然昂贵的，标签清洗过程，这些群体之间的差异消失。我们的研究结果强调了标签质量和数据注释成本之间的权衡如何在实践中使算法审计复杂化。他们还强调，需要制定共识驱动的，广泛接受的标签质量基准。
2021-11-16 cs.AI cs.CL cs.HC
A Ranking Approach to Fair Classification
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Saarland University（萨尔大学）
决策系统越来越多地用于招聘、入学或贷款审批等领域。通常，这些系统依赖于标记数据来训练分类模型。然而，在许多情况下，地面实况标签是不可用的，相反，我们只能访问不完美的标签作为（可能有偏见的）人为决策的结果。尽管不完美，历史决策往往包含一些有用的信息，对未观察到的真实标签。在本文中，我们专注于只有不完美的标签的情况下，提出了一个新的公平的排名为基础的决策系统的基础上，合法的功能和结果之间的单调关系。我们的方法既直观又易于实现，因此特别适合在现实世界中采用。更详细地说，我们引入了一个基于距离的决策标准，它结合了有用的信息，从历史的决定和帐户不必要的相关性之间的保护和合法的功能。通过对合成数据和真实数据的广泛实验，我们证明了我们的方法是公平的，因为a）它将理想的结果分配给最合格的个体，b）它消除了决策中的刻板印象的影响，从而优于传统的分类算法。此外，我们能够从理论上证明，我们的方法与个人公平的一个突出概念是一致的，即“相似的个人应该得到相似的对待。"
2021-07-16 cs.AI cs.LG
On Comparing Fair Classifiers under Data Bias
IIIT Delhi（德里印度理工学院信息技术学院）；Microsoft Research India（微软印度研究院）
该研究通过向训练数据注入不同程度的代表性不足与标签偏差，审计三类公平分类器的性能，发现多数分类器性能随偏差上升下降，简单逻辑回归与少数公平技术表现更稳定，并给出实际部署的偏差风险整合方案。
2023-12-10 cs.AI cs.LG
Fair for a few: Improving Fairness in Doubly Imbalanced Datasets
Leibniz Supercomputing Centre (LRZ)（莱比锡超算中心）
针对标签和敏感属性群体均不平衡的双重不平衡数据集去偏效果差的问题，本文通过探索性分析明确其局限性，提出多准则方案以兼顾公平性与分类准确率，优化采样及分布选择。
2025-06-17 cs.CY cs.LG
On the Impact of Data Quality on Image Classification Fairness
The University of Queensland（昆士兰大学）
该研究在监督图像分类场景下，通过向多个数据集的标签及数据本身添加不同程度的噪声，结合多种算法测量公平性指标，探究训练数据质量与模型公平性的关联。
2023-05-02 cs.CV cs.CY cs.LG
Why Fair Labels Can Yield Unfair Predictions: Graphical Conditions for Introduced Unfairness
Alan Turing Institute（艾伦·图灵研究所）；University of Oxford（牛津大学）；DeepMind（深度思维）
除了在训练数据中再现歧视性关系之外，机器学习系统还可以引入或放大歧视性效果。我们把这称为引入的不公平，并调查它可能出现的条件。为此，我们建议引入总变差作为引入不公平的措施，并建立图形条件下，它可能会被激励发生。这些标准意味着，添加敏感属性作为一个功能，消除了在良好的损失函数下引入变化的动机。此外，从因果关系的角度来看，引入的路径特定效应揭示了特定路径何时应被视为公平的问题。
2022-02-23 cs.LG
Mitigating Voter Attribute Bias for Fair Opinion Aggregation
Kyoto University（京都大学）
针对投票者属性偏见导致意见聚合不公的问题，提出Soft D&S模型提升软标签估计精度，结合多种公平选项实验验证了不同数据密度下的最优公平聚合方案。
2023-07-20 cs.CY cs.HC cs.LG
Learning Fair Domain Adaptation with Virtual Label Distribution
1 School of Artificial Intelligence, University of Chinese Academy of Sciences 2 NLPR \& MAIS, Institute of Automation, Chinese Academy of Sciences 3 University of Science
本文提出VILL框架，通过自适应加权和KL散度策略提升领域适应中的类别公平性，有效改善最差类别性能同时保持高准确率。
2026-01-26 cs.LG
FairSAM: Fair Classification on Corrupted Image Data Through Sharpness-Aware Minimization
Clemson University（克莱姆森大学）
针对图像分类模型在数据损坏时性能下降且不公平的问题，提出FairSAM框架，将公平性策略融入锐度感知最小化，平衡鲁棒性与公平性。
2026-06-23 cs.AI cs.LG
A Self-Supervised Learning Pipeline for Demographically Fair Facial Attribute Classification
Wichita State University（威奇托州立大学）；University of North Texas（北得克萨斯大学）
针对人脸属性分类的人口统计偏差及现有监督学习偏差缓解方法的标注局限，提出融合伪标注、数据筛选与元学习加权对比学习的全自监督公平分类流程，在FairFace和CelebA上优于基线，设立该领域SSL新基准。
2024-07-14 cs.AI cs.CV cs.CY
How Far Can Fairness Constraints Help Recover From Biased Data?
IIIT Delhi（德里印度信息技术学院）；Microsoft Research India（微软研究院印度分部）
本文提出一种通用方法，将公平分类的恢复结果扩展至不同公平性约束、数据偏差模型、数据分布与假设类，证明在偏差参数满足简单条件时，可从有偏数据中恢复最优且公平的分类器。
2024-06-01 cs.AI cs.LG
Identifying and Correcting Label Bias in Machine Learning
Google Research（谷歌研究院）；Google Brain（谷歌大脑）
数据集通常包含不公平地使某些群体处于不利地位的偏见，并且在这些数据集上训练的分类器可以继承这些偏见。在本文中，我们提供了一个数学公式，这种偏见是如何产生的。我们通过假设存在潜在的、未知的和无偏见的标签来做到这一点，这些标签被一个意图提供准确标签但可能对某些群体有偏见的代理所覆盖。尽管我们只观察到有偏差的标签，但我们能够证明，在不改变标签的情况下，通过重新加权数据点，可以纠正偏差。我们证明，在理论保证下，在重新加权的数据集上的训练对应于在未观察到但无偏的标签上的训练，从而导致无偏的机器学习分类器。我们的程序是快速和强大的，几乎可以用于任何学习算法。我们评估了一些标准的机器学习公平性数据集和各种公平性概念，发现我们的方法在实现公平分类方面优于标准方法。
2019-01-15 cs.AI cs.LG stat.ML
Falcon: Fair Active Learning using Multi-armed Bandits
KAIST（韩国科学技术院）；Georgia Institute of Technology（佐治亚理工学院）
本文提出可扩展的公平主动学习框架 Falcon，通过试错样本选择与对抗式多臂老虎机自动权衡信息量和推迟率，在公平性、准确率及效率上显著超越现有方法。
2024-01-24 cs.LG
Don't Throw it Away! The Utility of Unlabeled Data in Fair Decision Making
MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；Saarland University（萨尔大学）；MPI for Software Systems（马克斯·普朗克软件系统研究所）；ETH Zürich（苏黎世联邦理工学院）
在实践中，决策算法通常是在表现出各种偏见的数据上训练的。决策者通常旨在根据一些假设或预期是无偏见的地面实况目标做出决策，即，平均分布在社会显著群体中。在许多实际环境中，地面实况不能直接观察到，相反，我们必须依赖地面实况的有偏见的代理测量，即，有偏见的标签。此外，数据通常被选择性地标记，即，甚至仅对于接收到肯定判决的数据的一小部分观察到有偏标签。为了克服标签和选择偏差，最近的工作提出了学习随机，通过i）在每个时间步在线训练新策略和ii）强制公平性作为对性能的约束来探索决策策略。然而，现有的方法只使用标记的数据，忽略了大量的未标记的数据，从而遭受高不稳定性和变化的学习决策政策在不同的时间。在本文中，我们提出了一种新的方法的基础上变分自动编码器的实际公平决策。我们的方法学习一个无偏的数据表示，利用标记和未标记的数据，并使用表示学习在线过程中的策略。使用合成数据，我们实证验证，我们的方法收敛到最佳（公平）的政策，根据地面真理与低方差。在现实世界的实验中，我们进一步表明，我们的训练方法不仅提供了一个更稳定的学习过程，而且产生的政策比以前的方法具有更高的公平性和实用性。
2022-07-04 cs.AI cs.HC cs.LG
Fair Decisions Despite Imperfect Predictions
Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Cambridge（剑桥大学）
复杂的数据驱动的预测模型越来越多地为后续决策提供信息。然而，为了始终如一地学习准确的预测模型，人们需要访问地面实况标签。不幸的是，在实践中，标签可能只存在于某些决定的条件下-如果贷款被拒绝，个人甚至没有偿还贷款的选择。因此，观察到的数据分布取决于如何做出决策。在本文中，我们表明，在这种选择性的标签设置，学习预测直接只从可用的标记数据是次优的公平性和效用。为了避免这种不良行为，我们建议直接学习决策策略，在公平约束下最大化效用，从而考虑决策如何影响未来观察到的数据。我们的研究结果表明，在公平的机器学习的背景下，需要从目前流行的简单地通过风险最小化从单个静态数据集构建预测模型的想法，到一个更具交互性的概念"学习决策"的范式转变。特别是，这样的政策不应该完全忽略输入空间的一部分，绘制连接来探索/利用强化学习中的权衡，数据缺失和因果推理中的潜在结果。对合成数据和真实数据的实验说明了学习在效用和公平性方面的有利特性。
2020-10-16 cs.CY cs.LG stat.ML
How Robust is your Fair Model? Exploring the Robustness of Diverse Fairness Strategies
RMIT University（皇家墨尔本理工大学）；University of Michigan（密歇根大学）；ETH Zurich（苏黎世联邦理工学院）；UNSW Sydney（新南威尔士大学悉尼分校）；ARC Centre of Excellence for Automated Decision-Making and Society（自动化决策与社会卓越研究中心）；School of Computing Technologies, RMIT University（皇家墨尔本理工大学计算技术学院）；Department of Mathematics, University of Michigan（密歇根大学数学系）；Department of Computer Science, ETH Zurich（苏黎世联邦理工学院计算机科学系）；School of Computer Science and Engineering, UNSW Sydney（新南威尔士大学悉尼分校计算机科学与工程学院）
本文提出了一种名为鲁棒性比率的新标准，通过在五个基准数据集上评估三种公平策略和四种公平定义，首次定量分析了公平优化策略对噪声的鲁棒性，为不同数据集选择合适的公平策略提供了指导。
2024-05-31 cs.CY cs.LG
Tuning Fairness by Balancing Target Labels
University of Sussex（萨塞克斯大学）；University of Exeter（埃克塞特大学）
机器学习模型中的公平性问题最近吸引了很多关注，因为确保它将确保公众对机器学习系统部署的持续信心。我们专注于减轻有偏见的机器学习系统所造成的伤害，该系统为某些群体提供比其他群体更好的输出（例如贷款，工作面试）。我们表明，在输出中的偏差可以自然地控制概率模型，通过引入一个潜在的目标输出。这个公式有几个优点：第一，它是一个统一的框架，几个群体公平的概念，如人口均等和机会均等;第二，它被表达为一个边缘化，而不是一个受约束的问题;第三，它允许编码我们的知识应该是什么样的无偏输出。实际上，第二个允许我们避免不稳定的约束优化程序，并重用现成的工具箱。后者转化为通过直接改变公平目标速率来控制公平水平的能力。相比之下，现有的方法依赖于中间，可以说是不直观的，控制参数，如协方差阈值。
2021-02-23 cs.LG stat.ML
Hyper-parameter Tuning for Fair Classification without Sensitive Attribute Access
New York University（纽约大学）；University of Maryland College Park（马里兰大学帕克分校）；JP Morgan Chase AI Research（摩根大通人工智能研究院）
提出Antigone框架，通过训练有偏分类器生成伪敏感属性，在训练和验证数据均无敏感属性的情况下实现公平分类器的超参数调优，在理论和实验上证明该方法能在平均准确率约束下最大化公平性。
2024-03-21 cs.AI cs.LG
Can Less be More? When Increasing-to-Balancing Label Noise Rates Considered Beneficial
University of California, Santa Cruz（加州大学圣克鲁兹分校）
在本文中，我们回答了插入标签噪声（信息量较少的标签）何时可以返回更准确和公平的模型。我们主要受到三个观察结果的启发：1）与降低标签噪声率相比，增加噪声率更容易实现; 2）增加某类实例的标签噪声以平衡噪声率（增加到平衡）导致更容易的学习问题; 3）增加到平衡提高了对标签偏见的公平性保证。在本文中，我们首先量化的权衡引入增加一定组的实例的标签噪声率w.r.t.标签信息量的损失和学习难度的降低。我们分析表明，当这样的增加是有益的，无论是提高泛化能力或公平性保证。然后，我们提出了一种方法来插入标签噪声正确的学习任务与嘈杂的标签，无论是没有或有公平性约束。我们面临的主要技术挑战是由于我们不知道哪些数据实例受到更高噪声的影响，并且我们没有地面真值标签来验证任何可能的假设。我们提出了一种检测方法，该方法可以在不使用地面真实标签的情况下通知我们哪组标签可能会遭受更高的噪声。我们正式建立所提出的解决方案的有效性，并证明了它与广泛的实验。
2021-11-08 cs.LG stat.ML
Robustness to Label Noise Depends on the Shape of the Noise Distribution in Feature Space
Los Alamos National Lab（洛斯阿拉莫斯国家实验室）
机器学习分类器已经在经验和理论上被证明在某些条件下对标签噪声具有鲁棒性-特别是典型的假设是标签噪声与给定类别标签的特征无关。我们提供了一个理论框架，通过将标签噪声建模为特征空间上的分布来概括这种典型的假设。我们发现，规模和形状的噪声分布的影响后验似然和形状的噪声分布有一个更强的影响分类性能，如果噪声集中在特征空间的决策边界可以移动。对于均匀标签噪声的特殊情况下（独立的功能和类标签），我们表明，贝叶斯最佳分类器的$c$类是强大的标签噪声，直到噪声样本的比例超过$\frac{c-1}{c}$（例如90%的10类），我们称之为临界点。然而，对于类相关标签噪声的特殊情况（与给定类标签的特征无关），临界点可以低至50%。最重要的是，我们表明，当噪声分布的目标决策边界（标签噪声直接依赖于特征空间），分类鲁棒性可以下降，即使在一个小规模的噪声。即使在评估最近的标签噪声缓解方法时，我们也会看到标签噪声依赖于特征时的准确性降低。这些发现解释了为什么如果噪声分布在特征空间中是均匀的，机器学习通常可以很好地处理标签噪声;但它也指出了当标签噪声集中在决策边界可以移动的特征空间区域时，克服标签噪声的困难。
2022-06-02 cs.AI cs.LG
FairDP: Certified Fairness with Differential Privacy
New Jersey Institute of Technology（新泽西理工学院）；University of Virginia（弗吉尼亚大学）；Qatar Computing Research Institute (QCRI)（卡塔尔计算研究所）；University of Florida（佛罗里达大学）；University of Pennsylvania（宾夕法尼亚大学）
本文提出FairDP机制，通过独立训练组模型、添加DP噪声并整合组知识，实现模型决策的组公平性认证与数据隐私保护，在基准数据集上显著提升公平性且效用损失小。
2025-02-10 cs.CR cs.CY cs.LG
On Adversarial Bias and the Robustness of Fair Machine Learning
National University of Singapore（新加坡国立大学）；Google（谷歌）
优化预测准确性可能会以牺牲公平性为代价。为了最大限度地减少对群体的歧视，公平机器学习算法通过对模型施加公平约束，努力使模型在不同群体中的行为相等。然而，我们表明，给予不同大小和分布的组相同的重要性，以抵消训练数据中的偏差的影响，可能与鲁棒性相冲突。我们分析了基于组的公平机器学习的数据中毒攻击，重点是均衡的赔率。一个可以控制一小部分训练数据的采样或标记的对手，可以大大降低测试精度，超过他在无约束模型上所能达到的精度。对抗性采样和对抗性标记攻击也会恶化模型在测试数据上的公平性差距，即使模型在训练数据上满足公平性约束。我们通过对多个算法和基准数据集的攻击的经验评估来分析公平机器学习的鲁棒性。
2020-06-15 cs.CR cs.CY cs.LG
No evaluation without fair representation : Impact of label and selection bias on the evaluation, performance and mitigation of classification models
Université catholique de Louvain（比利时列日天主大学）；Institute of Information and Communication Technologies, Electronics and Applied Mathematics（信息与通信技术、电子与应用数学研究所）；Universiteit Antwerpen（安特卫普大学）；Adrem Data Lab（Adrem数据实验室）；Louvain Research Institute in Management and Organizations（列日管理与组织研究 institute）
研究探讨了标签和选择偏见对分类模型评估和缓解方法的影响，揭示了偏见对模型性能的不同影响及公平性与准确性之间的无权衡关系。
2026-03-10 cs.LG
Improving Fair Training under Correlation Shifts
KAIST（韩国科学技术院）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
模型公平性是可信AI的基本要素。虽然已经提出了许多模型公平性的技术，但大多数技术都假设训练和部署数据分布是相同的，这在实践中往往是不正确的。特别是，当标签和敏感群体之间的偏差发生变化时，训练模型的公平性会受到直接影响，并可能恶化。我们为解决这一问题做出了两点贡献。首先，我们分析表明，现有的处理公平算法的准确性和组公平性的基本限制。我们引入了相关位移的概念，它可以明确地捕捉到上述偏差的变化。其次，我们提出了一种新的预处理步骤，采样的输入数据，以减少相关位移，从而使在处理方法，以克服其局限性。我们制定了一个优化问题，以调整标签和敏感组之间的数据比例，以反映移位的相关性。我们的方法的一个关键好处在于解耦预处理和处理方法的作用：通过预处理进行相关性调整，通过处理中对处理后的数据进行不公平缓解。实验表明，该框架有效地改进了现有的处理中公平算法.准确性和公平性，无论是在合成和真实的数据集。
2023-02-05 cs.AI cs.LG stat.ML
Open-set Label Noise Can Improve Robustness Against Inherent Label Noise
Nanyang Technological University（南洋理工大学）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
在弱监督学习中，带噪声标签的学习是一个具有实际挑战性的问题。在现有的文献中，开集噪声一直被认为是有毒的推广，类似于闭集噪声。在本文中，我们经验表明，开集噪声标签可以是无毒的，甚至有利于对固有的噪声标签的鲁棒性。受观察结果的启发，我们提出了一种简单而有效的正则化方法，将带有动态噪声标签（ODNL）的开集样本引入训练。使用ODNL，神经网络的额外容量可以以不干扰从干净数据中学习模式的方式大量消耗。通过SGD噪声的镜头，我们表明，我们的方法引起的噪声是随机方向，无冲突和有偏的，这可能有助于模型收敛到一个平坦的最小值具有优越的稳定性，并迫使模型产生保守的预测分布外的实例。在含有不同类型噪声标签的基准数据集上的大量实验结果表明，该方法不仅提高了许多现有鲁棒算法的性能，而且即使在标签噪声环境下也能显著改善分布外检测任务。
2021-11-19 cs.AI cs.LG
A Second-Order Approach to Learning with Instance-Dependent Label Noise
University of California Santa Cruz（加州大学圣克鲁兹分校）；The University of Sydney（悉尼大学）
标签噪声的存在经常误导深度神经网络的训练。与最近的文献在很大程度上假设标签噪声率仅由真实标签类别确定不同，人类注释标签中的错误更可能取决于任务的难度水平，从而导致具有实例相关标签噪声的设置。我们首先提供的证据表明，异构的实例相关的标签噪声是有效地降低权重的例子与较高的噪声率在一个非均匀的方式，从而导致不平衡，呈现的策略，直接适用于类相关的标签噪声的方法值得怀疑。基于最近的工作对等损失[24]，我们提出并研究了二阶方法的潜力，该方法利用了在依赖于实例的噪声率和贝叶斯最优标签之间定义的几个协方差项的估计。我们表明，这组二阶统计成功地捕捉到诱导的不平衡。我们进一步表明，与估计的二阶统计量的帮助下，我们确定了一个新的损失函数的分类器的预期风险下的实例相关的标签噪声相当于一个新的问题，只有类相关的标签噪声。这一事实使我们能够应用现有的解决方案来处理这个更好的研究设置。我们提供了一个有效的程序来估计这些二阶统计量，而无需访问地面真值标签或噪声率的先验知识。实验CIFAR10和CIFAR100与合成的实例相关的标签噪声和Clothing1M与现实世界的人类标签噪声验证我们的方法。我们的实现可以在https://github.com/UCSC-REAL/CAL上获得。
2021-03-30 cs.AI cs.LG
Bayesian Learning to Select Fair Classifiers
University of California, Irvine（加州大学尔湾分校）；New York University（纽约大学）；Weill Cornell Medicine（威尔康奈尔医学院）
该研究针对在线场景下需平衡预测性能与子群体公平性的分类器选择问题，将其建模为贝叶斯多臂老虎机问题并采用汤普森采样，经实证评估与理论分析验证了方法的有效性。
2026-10-14 cs.LG
DS FedProxGrad: Asymptotic Stationarity Without Noise Floor in Fair Federated Learning
DS FedProxGrad通过改进的渐近收敛分析，在公平联邦学习中实现了无需噪声地板的渐近站静。
2026-01-21 cs.LG stat.ML
Fairness Under Group-Conditional Prior Probability Shift: Invariance, Drift, and Target-Aware Post-Processing
Amir Asiaee（阿米尔·阿西耶）；Kaveh Aryan（凯夫·阿里扬）
本文研究了组条件先验概率偏移下的公平性问题，证明了基于误差率的公平性标准具有不变性，而基于接受率的标准可能漂移，并提出TAP-GPPS算法实现目标域公平性。
2026-02-05 cs.LG
PFSL: Personalized & Fair Split Learning with Data & Label Privacy for thin clients
Indian Institute of Technology, Bhilai（印度理工学院比莱分校）
传统的联邦学习（FL）框架要求每个客户端在每次迭代中重新训练他们的模型，这使得资源受限的移动设备无法训练深度学习（DL）模型。分裂学习（SL）通过使用集中式服务器来卸载模型子集的激活和梯度的计算提供了一种替代方案，但存在收敛速度慢和精度较低的问题。在本文中，我们实现了PFSL，一个新的分布式分裂学习框架，大量的瘦客户端并行执行迁移学习，从一个预先训练的DL模型开始，而不与中央服务器共享数据或标签。我们实现了客户端模型个性化的轻量级步骤，为各自的数据分布提供高性能。此外，我们评估的工作公平性约束下的非i.i.d.的各种情况下，客户端之间的性能公平性。数据分布和样本量不等。我们的准确性远远超过了目前的SL算法，并且非常接近于几个现实生活中的基准集中式学习。与FL变体相比，它具有非常低的计算成本，并承诺将DL的全部优势提供给极瘦，资源受限的客户端。
2023-03-19 cs.DC cs.LG
Null-sampling for Interpretable and Fair Representations
University of Sussex（萨塞克斯大学）
我们建议在数据域中学习不变表示，以实现算法公平性的可解释性。不变性意味着高水平的选择性，相关的相关性w.r.t.类别标签注释，以及对与受保护特征（诸如种族或性别）的不相关相关性的鲁棒性。我们引入了一个非平凡的设置，其中训练集表现出很强的偏见，使类标签注释是不相关的，虚假的相关性无法区分。为了解决这个问题，我们引入了一个逆向训练的模型与零采样过程中产生不变的表示在数据域。为了能够解开纠缠，使用部分标记的代表集。通过将表示放置到数据域中，模型所做的更改可以很容易地被人工审计员检查。我们展示了我们的方法在图像和表格数据集上的有效性：彩色MNIST，CelebA和成人数据集。
2020-08-12 cs.LG stat.ML
Rethinking Noisy Label Models: Labeler-Dependent Noise with Adversarial Awareness
Rowan University（罗文大学）
大多数关于从噪声标签中学习的研究都依赖于不切实际的i.i.d.模型。标签噪声，例如类条件转移矩阵。最近关于实例相关噪声模型的工作更现实，但假设整个数据集上的标签噪声的单个生成过程。我们提出了一个更有原则的标签噪声模型，该模型将实例相关噪声推广到多个标签，基于现代数据集通常使用分布式众包方法进行注释的观察。在我们的标签依赖模型下，标签噪声表现在两种模式下：善意标签的自然错误和恶意行为者提供的对抗性标签。我们提出了两个对抗攻击向量，更准确地反映了在现实世界中可能遇到的标签噪声，并证明了在我们的多模态噪声标签模型下，对抗性标签攻击击败了从噪声标签中学习的最先进的方法。最后，我们提出了一个多阶段的，标签感知的，模型不可知的框架，可靠地过滤噪声标签，利用知识，哪些数据分区被标记的标签，并表明我们提出的框架仍然是强大的，即使在极端的对抗性标签噪声的存在。
2021-06-05 cs.AI cs.HC cs.LG
FedPCA: Noise-Robust Fair Federated Learning via Performance-Capacity Analysis
The Hong Kong Polytechnic University（香港理工大学）；Huazhong University of Science and Technology（华中科技大学）
针对公平联邦学习中稀有客户端与错误标注客户端损失模式同质、公平性和鲁棒性相互冲突的问题，提出FedPCA，利用损失与特征离散度进行性能-容量分析并识别噪声客户端，从而同时提升公平性与鲁棒性。
2025-03-13 cs.LG
Learning under Temporal Label Noise
University of Toronto（多伦多大学）；MIT（麻省理工学院）；Broad Institute（布罗德研究所）；UCSD（加利福尼亚大学圣迭戈分校）；University of Virginia（弗吉尼亚大学）
本文形式化时间标签噪声问题，证明建模其时变特性的必要性，并提出直接从数据估计噪声函数以训练噪声容忍分类器的方法，在真实数据集上达到最先进性能。
2025-03-16 cs.AI cs.LG stat.ML
PatchAlign:Fair and Accurate Skin Disease Image Classification by Alignment with Clinical Labels
Indian Institute of Science Education and Research, Bhopal（印度博帕尔科学教育与研究学院）；Indian Institute of Technology, Bhilai（印度比莱印度理工学院）
本文提出 PatchAlign，利用 GOT 损失及可学习掩码图最优传输对齐皮肤病图像与临床文本表示，在 Fitzpatrick17k 和 DDI 上提升分类准确率并改善不同肤色间的公平性。
2024-09-08 cs.CV cs.LG
Label Noise in Adversarial Training: A Novel Perspective to Study Robust Overfitting
University of California, San Diego（加州大学圣地亚哥分校）；Microsoft Research（微软研究院）
本文揭示对抗训练中标签噪声源于对抗扰动扭曲真实标签分布，并由此解释鲁棒过拟合现象，提出自动校准标签的方法，在多种模型和数据集上实现性能提升。
2023-10-13 cs.AI cs.LG stat.ML
Fair Minimum Labeling: Efficient Temporal Network Activations for Reachability and Equity
University of Liverpool（利物浦大学）
该研究针对网络系统提出公平最小标注（FML）问题，证明其计算复杂性并设计近似算法，其中图原生变体可提升可扩展性，同时实现组级公平性与有竞争力的激活成本。
2026-09-02 cs.DS cs.LG cs.SI
What Must a Fairness Audit Report When Demographic Data Is Incomplete?
Purdue University（普渡大学）
研究受保护标签缺失对公平性缓解审计的影响，提出种子校准压力测试区分缺失效应与随机波动，发现正可用性缺失通常不改变缓解方法效果，但无标签端点表现不同，且阈值优化可能将单轴公平性增益转化为交叉危害。
2026-07-31 cs.LG stat.ML
