New Benchmarks for Learning on Non-Homophilous Graphs
Cornell University（康奈尔大学）；Facebook AI（脸书人工智能研究院）
许多具有图结构的数据都满足同质性原则，这意味着连接的节点在特定属性方面往往是相似的。因此，用于图机器学习任务的无处不在的数据集通常是高度同质的，奖励利用同质性作为归纳偏差的方法。最近的工作已经指出了这个特别的焦点，因为新的非同质数据集已经引入，更适合于低同质性设置的图表示学习模型已经开发出来。然而，这些数据集很小，不适合真正测试新方法在非同性恋环境中的有效性。我们提出了一系列改进的图数据集的节点标签关系，不满足同伦原则。与此同时，我们引入了一个新的措施的存在或不存在的同质性，比现有的措施更适合在不同的制度。我们在我们提出的数据集上对一系列简单的方法和图神经网络进行了基准测试，为进一步的研究提供了新的见解。数据和代码可以在https://github.com/CUAI/Non-Homophily-Benchmarks上找到。
2021-07-05 cs.LG cs.SI
FairDrop: Biased Edge Dropout for Enhancing Fairness in Graph Representation Learning
Sapienza University of Rome（罗马第一大学）；Edinburgh Napier University（爱丁堡龙比亚大学）
图表示学习已经成为许多场景中无处不在的组件，从社会网络分析到智能电网中的能量预测。在一些应用中，确保节点（或图）表示相对于某些受保护属性的公平性对于它们的正确部署至关重要。然而，图深度学习的公平性仍然没有得到充分的探索，几乎没有可用的解决方案。特别地，类似节点在几个真实世界图上聚类的趋势（即，同性恋）可以大大恶化这些程序的公平性。在本文中，我们提出了一种新的偏边丢弃算法（FairDrop），以对抗同伦和改善图表示学习的公平性。FairDrop可以很容易地插入到许多现有的算法中，它是高效的，适应性强的，并且可以与其他公平诱导解决方案相结合。在描述了一般算法之后，我们展示了它在两个基准任务上的应用，具体地，作为用于产生节点嵌入的随机游走模型，以及用于链接预测的图卷积网络。我们证明，该算法可以成功地提高所有模型的公平性，以一个小的或可忽略不计的准确性下降，并与现有的最先进的解决方案相比。在消融研究中，我们证明了我们的算法可以灵活地插在偏向公平和无偏边缘辍学之间。此外，为了更好地评估收益，我们提出了一个新的二元组的定义来衡量一个链接预测任务时，与基于组的公平性度量配对的偏见。特别是，我们扩展了用于测量节点嵌入中的偏差的度量，以考虑图结构。
2021-12-27 cs.LG stat.ML
Subgraph Filtering for Fair Graph Neural Networks
Molly Wardaguga Institute for First Nations Birth Rights, Charles Darwin University（查尔斯·达尔文大学莫莉·瓦达古加原住民生育权研究所）；The University of Sydney（悉尼大学）
针对GNN因敏感同质性导致的结构偏见问题，提出轻量级架构无关的SF-GNN框架，通过识别并过滤易产生偏见的边，在多基准数据集上实现更优的公平性-准确率权衡。
2026-08-28 cs.LG
Fairness-aware PageRank via Edge Reweighting
KTH Royal Institute of Technology（皇家理工学院）；Digital Futures（数字未来）
本文提出基于边重新加权的公平性PageRank算法，通过优化转移矩阵实现公平性提升，无需修改网络拓扑。
2025-12-12 cs.LG cs.SI
Fairness in Link Prediction Beyond Demographic Parity: A Reproducibility Study
University of Amsterdam（阿姆斯特丹大学）
本研究复现并验证了 Mattos 等人关于人口 parity（Δ_DP）无法检测链接预测曝光偏差的观点，提出 NDKL 可检测此类偏差，复现 MORAL 的有效性并评估其鲁棒性，证实 MORAL 能减少隐藏偏差且效用损失极小。
2026-08-11 cs.LG cs.SI
Truncated Affinity Maximization: One-class Homophily Modeling for Graph Anomaly Detection
School of Computing and Information Systems, Singapore Management University（新加坡管理大学计算与信息系统学院）
该研究针对图异常检测中被忽略的单类同质性现象，提出局部节点亲和度评分与TAM方法，通过迭代截断非同质性边并最大化局部亲和度学习表示，在10个数据集上显著优于七种基线。
2024-04-04 cs.AI cs.LG cs.SI
Graph Negative Feedback Bias Correction Framework for Adaptive Heterophily Modeling
本文提出GNFBC框架，通过负反馈机制校正GNNs在异质图上的偏差，提升模型性能。
2026-03-04 cs.AI cs.LG
Evaluating Fairness in Transaction Fraud Models: Fairness Metrics, Bias Audits, and Challenges
University of Cambridge（剑桥大学）
本文首次利用公开合成数据集审计交易欺诈模型的算法偏见，揭示类别不平衡、服务质量与欺诈防护指标中的偏见及移除敏感属性失效等问题。
2024-09-06 cs.LG
Are Your Models Still Fair? Fairness Attacks on Graph Neural Networks via Node Injections
Huazhong University of Science and Technology（华中科技大学）
针对现有GNN公平性攻击需修改已有节点连接、不贴合实际的问题，提出基于节点注入的NIFA攻击方法，结合两项设计原则与特征优化，仅注入1%节点即可显著破坏主流及公平感知GNN的公平性，为GNN公平性防御研究提供参考。
2024-10-30 cs.LG
k-hop Fairness: Addressing Disparities in Graph Link Prediction Beyond First-Order Neighborhoods
LTCI, Télécom Paris（LTCI，巴黎电信学院）；i3, Télécom Paris（i3，巴黎电信学院）
本文提出k-hop公平性方法，用于解决图链接预测中超越一阶邻域的结构性不平等问题，通过预处理和后处理策略提升公平性与性能的平衡。
2026-03-04 cs.LG
Downstream Fairness Caveats with Synthetic Healthcare Data
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Research（IBM研究院）
本文评估综合生成的医疗数据的偏见，并调查公平缓解技术效用公平的影响。隐私法限制对电子病历（EMR）等健康数据的访问，以保护患者隐私。尽管这些法律是必要的，但它们阻碍了研究的可重复性。合成数据是一种可行的解决方案，可以在没有隐私风险的情况下访问类似于真实医疗数据的数据。医疗保健数据集可能存在偏见，某些受保护的群体可能会比其他群体经历更糟糕的结果。由于真实数据存在偏差，综合生成的健康数据的公平性受到质疑。在本文中，我们评估了在两个医疗数据集上生成的性别和种族偏见模型的公平性。我们使用名为HealthGAN的生成对抗网络生成数据集的合成版本，并比较真实和合成模型的平衡准确性和公平性得分。我们发现，合成数据具有不同的公平性相比，真实数据和公平缓解技术的表现不同，突出表明，合成数据是没有偏见的。
2022-03-09 cs.LG
Bias Mitigation Post-processing for Individual and Group Fairness
IBM Research（IBM研究院）；IBM Watson AI Platform（IBM沃森人工智能平台）
鉴于以前的后处理方法，以增加有偏见的分类器的预测的公平性只解决组公平性，我们提出了一种方法，以增加个人和组公平性。我们的新框架包括一个单独的偏见检测器，用于在偏见缓解算法中优先考虑数据样本，旨在提高不同影响的组公平性度量。我们在信用、就业和刑事司法等应用中的几个真实数据集上，在分类准确性、个人公平性和群体公平性的结合方面表现出了优于以往工作的性能。
2018-12-14 cs.CY cs.LG stat.ML
Bias, Fairness, and Accountability with AI and ML Algorithms
Wells Fargo（富国银行）
AI和ML算法的出现带来了机遇和挑战。在本文中，我们概述了使用ML算法时出现的偏见和公平性问题。我们描述了数据偏差的类型和来源，并讨论了算法不公平的性质。其次是公平性指标在文献中的审查，讨论其局限性，并在模型的生命周期中的去偏置（或缓解）技术的描述。
2021-05-13 cs.LG stat.ML
FairAIED: Navigating Fairness, Bias, and Ethics in Educational AI Applications
Florida International University（佛罗里达国际大学）；TERRA Environmental Research Institute（TERRA环境研究研究所）
本综述系统回顾了教育AI中的算法公平性，提出了一个以教育为中心的框架，整合偏见来源、公平性定义、缓解策略、评估资源和伦理考量，以弥合技术公平研究与教育应用的差距。
2025-11-02 cs.LG
Redesigning graph filter-based GNNs to relax the homophily assumption
King Juan Carlos University（胡安·卡洛斯国王大学）；Rice University（莱斯大学）
针对传统GNN隐含同质性假设、在异质性数据上性能下降的问题，提出重新诠释图滤波器作用的卷积GNN架构，兼具强归纳偏置与高表达能力，可适配同/异质性数据、缓解过平滑，且经理论证明具置换等变性，实验表现优于多个SOTA基线。
2024-09-13 cs.LG
Assessing Classifier Fairness with Collider Bias
University of South Australia（南澳大学）；Simon Fraser University（西蒙菲莎大学）
随着机器学习技术在日常决策过程中的应用越来越广泛，人们开始关注算法决策的公平性。本文研究了公平性评估中产生虚假关联的碰撞者偏差问题，并给出了避免碰撞者偏差的公平性评估定理。我们认为一个真实世界的应用程序的审计培训分类的审计机构。我们提出了一个公正的评估算法，利用发达国家的定理，以减少碰撞偏见的评估。实验和仿真结果表明，该算法在评估中显著降低了碰撞者偏差，在审计训练分类器方面具有良好的应用前景。
2022-01-28 cs.AI cs.LG
Measuring Fairness with Biased Rulers: A Survey on Quantifying Biases in Pretrained Language Models
KU Leuven（鲁汶大学）；University of Antwerp（安特卫普大学）；TU Berlin（柏林工业大学）
随着人们对自然语言处理资源（如BERT）中有偏模式的认识不断提高，许多度量标准开始量化“偏”和“公平”。但是，比较不同指标的结果和用这些指标评估的作品仍然很困难，如果不是完全不可能的话。我们调查了现有的文献公平性指标的预训练语言模型和实验评估兼容性，包括在语言模型的偏见，在他们的下游任务。我们采用传统的文献调查和相关分析相结合的方法，并进行了实证评估。我们发现，许多指标是不兼容的，高度依赖于（i）模板，（ii）属性和目标种子和（iii）嵌入的选择。这些结果表明，公平性或偏见评估仍然具有挑战性的上下文语言模型，如果不是至少高度主观。为了改善未来的比较和公平性评估，我们建议避免基于嵌入的度量，并专注于下游任务中的公平性评估。
2021-12-14 cs.CL cs.CY cs.LG
Software Fairness Dilemma: Is Bias Mitigation a Zero-Sum Game?
Nanyang Technological University（南洋理工大学）；Peking University（北京大学）；King's College London（伦敦大学国王学院）；Fudan University（复旦大学）
本研究评估八种表格数据偏见缓解方法，发现其呈零和效应，并提出仅对弱势群体应用最先进方法，可无零和代价提升公平性。
2025-08-05 cs.LG
Robust Fairness-aware Learning Under Sample Selection Bias
University of Arkansas（阿肯色大学）
许多机器学习算法的基本假设是训练数据和测试数据来自相同的分布。然而，由于训练数据和测试数据之间的样本选择偏差，这一假设在现实世界中经常被违反。以往的研究工作主要集中在对有偏差的训练数据进行重新加权以匹配测试数据，然后在重新加权的训练数据上建立分类模型。然而，如何实现公平的分类模型是不够的探索。在本文中，我们提出了一个框架下的样本选择偏差的鲁棒性和公平的学习。我们的框架采用重加权估计方法的偏差校正和极小极大鲁棒估计方法实现预测精度的鲁棒性。此外，在极大极小优化过程中，在最坏情况下实现了公平性，保证了模型在测试数据上的公平性。我们进一步开发了两种算法来处理样本选择偏差时，测试数据是可用的和不可用的。我们在两个真实世界的数据集上进行了实验，实验结果证明了它在效用和公平性度量方面的有效性。
2021-05-24 cs.CY cs.LG
Increasing Fairness in Predictions Using Bias Parity Score Based Loss Function Regularization
越来越多地使用基于机器学习的决策支持系统强调了对所有利益相关者的准确和公平的预测的需要。在这项工作中，我们提出了一种新的方法来增加神经网络模型的公平性在训练过程中。我们引入了一系列增强公平性的正则化组件，我们将其与传统的基于二进制交叉熵的准确性损失结合使用。这些损失函数基于偏差奇偶性分数（BPS），该分数有助于用单个数字量化模型中的偏差。在目前的工作中，我们调查的行为和影响，这些正则化组件的偏见。我们将它们部署在累犯预测任务以及基于人口普查的成人收入数据集的背景下。结果表明，通过合理选择公平性损失函数，即使在不平衡数据集上，也可以在不降低精度的情况下降低训练模型的偏差。
2021-11-05 cs.AI cs.LG
Metric-Free Individual Fairness with Cooperative Contextual Bandits
George Mason University（乔治梅森大学）
数据采掘算法越来越多地用于日常生活中各行各业的自动决策。不幸的是，正如几项研究所报告的那样，这些算法注入了来自数据和环境的偏见，导致不公平和不公平的解决方案。为了减轻机器学习中的偏差，已经提出了公平性的不同形式化，其可以被分类为群体公平性和个体公平性。群体公平性要求不同的群体应该得到类似的对待，这可能对群体中的某些人不公平。另一方面，个体公平要求相似的个体受到相似的对待。然而，个人的公平性仍然研究不足，由于其依赖于特定问题的相似性度量。我们提出了一个无度量的个人公平性和合作上下文土匪（CCB）算法。CCB算法利用公平性作为奖励并试图最大化它。将公平性视为奖励的优点是公平性标准不需要是可微的。该算法在多个真实世界的基准数据集上进行了测试。结果表明，该算法在减轻偏见，实现个人和群体的公平性的有效性。
2020-11-13 cs.LG
Addressing Fairness, Bias and Class Imbalance in Machine Learning: the FBI-loss
Scuola Normale Superiore（比萨高等师范学校）；University of Pisa, Department of Computer Science（比萨大学计算机科学系）
对类别不平衡和混淆偏见的弹性，以及对公平性保证的保证，是具有现实影响的自主决策系统的非常理想的属性。为分别解决这三个问题，提出了许多不同的有针对性的解决方案，但似乎缺乏统一的观点。通过这项工作，我们提供了一个一般的形式化，表明它们是不平衡的不同表达。根据这种直觉，我们制定了一个统一的损失校正，以解决与公平，偏见和不平衡（FBI损失）相关的问题。所提出的方法的校正能力进行评估的三个现实世界的基准，每个相关的一个正在考虑的问题，并在一个家庭的合成数据，以更好地调查我们的损失的有效性与不同的复杂性的任务。实证结果强调，灵活制定的联邦调查局的损失也导致竞争力的表现相对于文献的解决方案专门为单一的问题。
2021-05-13 cs.LG
Evaluating Fairness Metrics in the Presence of Dataset Bias
Civis Analytics（西维斯分析公司）
数据驱动的算法在各个行业的决策中发挥着重要作用。这些算法越来越多地被用于做出对人们的社会和经济福祉有重大影响的决策，例如在判刑，贷款审批和警务方面。随着这种制度的扩散，人们越来越担心它们可能产生的歧视性影响。特别是，在有偏见的数据上训练的机器学习系统有可能学习并延续这些偏见。因此，从业者面临的一个核心挑战是确定他们的模型是否显示出歧视性偏见。在这里，我们提出了一个案例研究中，我们框架的偏差检测问题作为一个因果推理问题与观测数据。我们列举了两个主要原因的偏见，抽样偏见和标签偏见，我们调查的能力，六种不同的公平性指标，以检测每种偏见类型。基于这些调查，我们提出了一套最佳实践准则，以选择最有可能检测到偏见的公平性度量。此外，我们的目标是确定某些公平性指标可能无法检测到偏见的条件，而是给从业者一个错误的信念，即他们的偏见模型正在做出公平的决定。
2018-09-24 cs.LG stat.ML
Model-agnostic bias mitigation methods with regressor distribution control for Wasserstein-based fairness metrics
Discover Financial Services（发现金融服务公司）
这篇文章是我们早期工作Miroshnikov et al.（2021）关于公平性可解释性的姊妹篇，其中介绍了偏见解释。在目前的工作中，我们提出了一个偏见缓解方法的基础上，建设后处理模型，更公平的回归分布的Wasserstein为基础的公平性指标。通过识别对偏差贡献最大的预测因子列表，我们通过减轻源自这些预测因子的偏差来降低问题的维度。后处理方法包括通过平衡正偏差和负偏差解释来重塑预测分布，并允许回归偏差降低。我们设计了一个算法，使用贝叶斯优化构造的偏差性能的有效前沿的家庭后处理模型，从其中选择一个最佳的模型。我们的新方法在低维空间中进行优化，避免了昂贵的模型再训练。
2021-11-19 cs.LG math.PR
Ensuring Equitable Financial Decisions: Leveraging Counterfactual Fairness and Deep Learning for Bias
Nihilent Technologies Ltd.（Nihilent科技有限公司）
本文针对机器学习模型在贷款审批等关键决策中的性别偏见问题，提出结合反事实公平与数据增强的偏见缓解技术，并在偏斜金融数据集上验证了其能有效实现更公平的决策结果。
2024-08-27 cs.AI cs.LG
Social Bias Meets Data Bias: The Impacts of Labeling and Measurement Errors on Fairness Criteria
The Ohio State University（俄亥俄州立大学）
该研究探究标注与测量两类数据偏差下多种人口统计学公平性准则的鲁棒性，通过理论分析与三个真实数据集实验验证不同准则的抗偏差异，为有偏数据场景下公平性准则的选择与设计提供指导。
2023-05-02 cs.CY cs.LG
How Biased are Your Features?: Computing Fairness Influence Functions with Global Sensitivity Analysis
National University of Singapore（新加坡国立大学）；Univ. Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）
本文提出公平性影响函数（FIF），通过全局敏感性分析和方差分解量化数据集中单一及交叉特征对分类器偏见的影响，并实例化FairXplainer算法进行估计，实验证明其能更好地近似偏见并检测公平性干预的效果。
2023-07-03 cs.AI cs.LG
Comparative assessment of fairness definitions and bias mitigation strategies in machine learning-based diagnosis of Alzheimer's disease from MR images
National Technical University of Athens（雅典国家技术大学）；University of Pennsylvania（宾夕法尼亚大学）
本研究全面分析了基于MRI诊断阿尔茨海默病的机器学习模型的公平性，评估了多种偏见缓解策略，并提出了一种量化公平性与性能权衡的新复合度量。
2025-05-29 cs.LG
Integrating Psychometrics and Computing Perspectives on Bias and Fairness in Affective Computing: A Case Study of Automated Video Interviews
University of Colorado Boulder（科罗拉多大学博尔德分校）；Purdue University（普渡大学）
本文整合心理测量学与计算机视角，拓展人际沟通框架识别情感计算中的偏见来源，讨论公平性衡量方法及美国法律语境影响，并以视频面试多模态数据的人格与可雇佣性推断为案例展开验证，呼吁研究者与从业者重视公平性建设。
2023-05-04 cs.CY cs.LG
Adversarial Bias: Data Poisoning Attacks on Fairness
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本研究针对机器学习系统的公平性脆弱性问题，提出一种简单的对抗性数据投毒策略，通过注入精心设计的数据点破坏模型公平性，实验表明该方法在多模型多数据集上的攻击效果显著优于现有方法，且对准确性影响小。
2025-11-11 cs.LG
Intra-Fairness Dynamics: The Bias Spillover Effect in Targeted LLM Alignment
Department of Applied Mathematics and Computer Science, Technical University of Denmark（应用数学与计算机科学系，丹麦技术大学）；Department of Mathematical Sciences, University of Copenhagen（数学科学系，哥本哈根大学）
本文研究了定向性别对齐对多敏感属性公平性的影响，发现改善某一属性公平性可能加剧其他属性的不平等，强调了多属性、情境感知公平性评估的重要性。
2026-02-18 cs.AI cs.LG
Fairness and Explainability: Bridging the Gap Towards Fair Model Explanations
Vanderbilt University（范德堡大学）
虽然机器学习模型在现实世界的应用中取得了前所未有的成功，但它们可能会对特定的人口群体做出有偏见/不公平的决定，从而导致歧视性的结果。虽然研究工作一直致力于测量和减轻偏见，他们主要是从结果导向的角度来研究偏见，而忽略了编码在决策过程中的偏见。这导致他们无法捕获面向程序的偏倚，因此限制了完全去偏倚方法的能力。幸运的是，随着可解释的机器学习的快速发展，现在可以通过对预测的解释来深入了解该过程。在这项工作中，我们提出了一个新的视角，面向程序的公平性的基础上的解释，弥合公平性和可解释性之间的差距。我们通过基于比率和基于价值的解释公平性测量不同群体之间的解释质量差距来识别基于程序的偏见。新的指标进一步促使我们设计一个优化目标，以减轻基于程序的偏差，我们观察到它也将减轻预测的偏差。基于我们设计的优化目标，我们提出了一个综合公平算法（CFA），它同时满足多个目标-提高传统的公平性，满足解释公平性，并保持效用性能。对真实世界数据集的广泛实验证明了我们提出的CFA的有效性，并强调了从可解释性角度考虑公平性的重要性。我们的代码可在https://github.com/YuyingZhao/FairExplanations-CFA上公开获取。
2022-12-07 cs.CY cs.LG
Bias and Fairness on Multimodal Emotion Detection Algorithms
University of Southern California（南加州大学）
许多研究表明，机器学习算法可以锁定受保护的属性，如种族和性别，并生成系统地歧视一个或多个群体的预测。迄今为止，大多数的偏见和公平性的研究一直是单峰模型。在这项工作中，我们探讨了情感识别系统中存在的偏见与所使用的模态的关系，并研究多模态方法如何影响系统的偏见和公平性。我们考虑音频，文本和视频模态，以及所有可能的多模态组合，并发现文本本身具有最小的偏见，并占大多数模型的性能，提出了怀疑的价值多模态情感识别系统时，偏见和公平的期望模型性能。
2022-05-11 cs.AI cs.CL cs.CV
On the Origins of Sampling Bias: Implications on Fairness Measurement and Mitigation
University of Doha for Science and Technology (UDST)（多哈科技大学）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）；Université Claude Bernard Lyon 1（里昂第一大学）；Université de Sousse（苏塞大学）
本文针对采样偏差术语使用不一致的问题，明确定义样本量偏差与代表性不足偏差两类变体，通过基准数据集和主流算法的大量实验得出观测结论，并整理为公平性评估相关的可操作实践建议。
2025-03-23 cs.LG
ES-GNN: Generalizing Graph Neural Networks Beyond Homophily with Edge Splitting
University of Liverpool（利物浦大学）；Xi’an Jiaotong-Liverpool University（西交利物浦大学）；Duke Kunshan University（昆山杜克大学）；Southeast University（东南大学）
针对图神经网络依赖同配性偏置、在异配图上泛化性差且鲁棒性不足的问题，提出ES-GNN框架通过自适应边拆分动态构建互补子图并交替传播与拆分，解耦任务相关与无关特征，在多个数据集上实现优异性能与鲁棒性，缓解过平滑问题。
2024-09-17 cs.LG
Does enforcing fairness mitigate biases caused by subpopulation shift?
University of Michigan（密歇根大学）；IBM Research（IBM研究院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
许多算法偏差的例子是由亚群变化引起的。例如，ML模型在训练数据中代表性不足的人口统计组上的表现往往更差。在本文中，我们研究是否在训练过程中执行算法的公平性提高了性能的训练模型中的\emph{target domain}。一方面，我们设想的情况下，强制执行公平性并不能提高目标域的性能。事实上，它甚至可能损害性能。另一方面，我们推导出必要和充分条件下，强制执行算法的公平性导致贝叶斯模型在目标域。我们还说明了我们的理论结果在模拟和实际数据的实际影响。
2021-10-26 cs.LG stat.ML
Exacerbating Algorithmic Bias through Fairness Attacks
University of Southern California（南加州大学）；Information Sciences Institute（信息科学研究所）
近年来，算法公平性引起了人们的广泛关注，提出了许多定量的度量方法来表征不同机器学习算法的公平性。尽管有这种兴趣，这些公平措施的鲁棒性方面的故意对抗攻击尚未得到适当的解决。事实上，大多数对抗性机器学习都专注于恶意攻击对系统准确性的影响，而不考虑系统的公平性。我们提出了新类型的数据投毒攻击，对手故意针对系统的公平性。具体来说，我们提出了两个家庭的攻击目标的公平措施。在锚定攻击中，我们通过将中毒点放置在特定目标点附近来扭曲决策边界，从而使结果产生偏差。在对公平性的影响攻击中，我们的目标是最大化敏感属性与决策结果之间的协方差，并影响模型的公平性。我们进行了大量的实验，表明我们提出的攻击的有效性。
2020-12-16 cs.AI cs.CR cs.LG
Data Preparation for Fairness-Performance Trade-Offs: A Practitioner-Friendly Alternative?
University of Salerno（萨勒诺大学）
本文提出FATE优化技术，通过在ML生命周期早期选择最优的公平性感知数据准备管道，实证评估其在提升公平性与性能方面是否优于标准预处理偏见缓解方法。
2024-12-20 cs.LG cs.SE
Aequitas: A Bias and Fairness Audit Toolkit
Center for Data Science and Public Policy（数据科学与公共政策中心）；University of Chicago（芝加哥大学）
最近的工作引起了人们对当今使用的人工智能系统中存在意外偏见的风险的担忧，这些偏见可能会基于种族，性别或宗教等可能的特征对个人产生不公平的影响。虽然近年来已经提出了许多偏见指标和公平性定义，但对于应该使用哪个指标/定义没有达成共识，并且很少有可用资源来操作它们。因此，尽管最近意识到，在开发和部署人工智能系统时对偏见和公平性进行审计还不是一种标准做法。我们提出了Aequitas，一个开源的偏见和公平性审计工具包，它是机器学习工作流程的一个直观且易于使用的补充，使用户能够无缝地测试模型的几个偏见和公平性指标，与多个人口子组。Aequitas为数据科学家、机器学习研究人员和政策制定者开发和部署算法决策系统提供了明智和公平的决策。
2019-04-29 cs.AI cs.CY cs.LG
A Confidence-Based Approach for Balancing Fairness and Accuracy
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
我们在算法公平性的背景下研究了三种经典的机器学习算法：自适应提升，支持向量机和逻辑回归。我们的目标是保持这些学习算法的高准确性，同时减少他们歧视个人的程度，因为他们在一个受保护的群体的成员。我们的第一个贡献是一种方法，通过改变受保护组的决策边界来实现公平。该方法是基于提高的理论的边缘。我们的方法在准确性和低歧视性方面表现优于或优于公平性文献中以前的算法，同时允许快速和透明地量化偏差和误差之间的权衡。我们的第二个贡献解决了大多数算法公平性文献中研究的偏差误差权衡的缺点。我们证明，即使是无可救药的天真的修改有偏见的算法，这不能合理地说是公平的，仍然可以实现低偏差和高精度。为了帮助区分这些天真的算法和更明智的算法，我们提出了一个新的公平性措施，称为弹性随机偏差（RRB）。我们证明，RRB区分我们的天真和明智的公平算法。RRB与偏差和准确性一起提供了算法公平性的更完整的画面。
2016-01-21 cs.CY cs.LG
FALE: Fairness-Aware ALE Plots for Auditing Bias in Subgroups
Athena Research Center（雅典娜研究中心）；Université Libre de Bruxelles（布鲁塞尔自由大学）
本文提出FALE（公平性感知累积局部效应）图方法，通过扩展ALE图来识别和可视化子群中的潜在偏见，作为检测子群公平性问题的初级工具。
2024-04-29 cs.CY cs.LG
Improving Fairness of AI Systems with Lossless De-biasing
University of Texas at Dallas（德克萨斯大学达拉斯分校）；Purdue University（普渡大学）
在当今社会，人工智能系统越来越多地用于做出关键决策，如信用评分和患者分流。然而，人工智能系统带来的巨大便利伴随着对代表性不足群体的偏见的普遍存在。减轻人工智能系统中的偏见以提高整体公平性已成为一项重要挑战。现有关于减轻人工智能系统偏见的研究集中在消除数据中嵌入的敏感人口统计信息。考虑到公平性概念化的时间和上下文复杂性，人口统计信息的有损处理可能会导致准确性和公平性之间不必要的权衡，特别是当人口统计属性和类别标签相关时。在本文中，我们提出了一个信息无损去偏置技术，针对弱势群体的数据稀缺。与现有的工作不同，我们从理论上和经验上证明，对代表性不足的群体进行过采样不仅可以减轻AI系统中的算法偏见，这些系统始终预测某个群体的有利结果，而且可以通过减轻数据中的类别不平衡来提高整体准确性，从而导致对大多数类别的偏见。我们证明了我们的技术在真实数据集上使用各种公平性指标的有效性。
2021-05-10 cs.AI cs.CY cs.LG
Operationalizing Fairness in Text-to-Image Models: A Survey of Bias, Fairness Audits and Mitigation Strategies
AImotion Bavaria, Technische Hochschule Ingolstadt（AImotion巴伐利亚、因戈尔施塔特技术大学）；School of Transformation and Sustainability, Catholic University of Eichstätt-Ingolstadt（转型与可持续性学院，埃施塔特-因戈尔施塔特天主教大学）；Chair of Economic and Social Ethics, University of Hohenheim（经济与社会伦理系，霍亨海姆大学）
本文综述了文本到图像模型中的公平性研究，分析了偏见类型和公平性概念的分类，指出现有研究在目标公平与阈值公平之间的差距，并提出新的公平性操作框架。
2026-04-15 cs.CV cs.LG cs.MM
Explanations as Bias Detectors: A Critical Study of Local Post-hoc XAI Methods for Fairness Exploration
University of Ioannina（伊奥安纳大学）；Archimedes / Athena RC Greece（阿基米德/亚特兰蒂斯研究所以及希腊）；Freie Universität Berlin（柏林自由大学）；Universität der Bundeswehr München（联邦国防军大学慕尼黑）
本文提出了一种集成局部事后解释方法的流水线来检测和解释AI系统中的不公平性，并批判性地分析了将解释作为偏见检测器时需考虑的关键问题与挑战。
2025-05-01 cs.AI cs.LG
On Comparing Fair Classifiers under Data Bias
IIIT Delhi（德里印度理工学院信息技术学院）；Microsoft Research India（微软印度研究院）
该研究通过向训练数据注入不同程度的代表性不足与标签偏差，审计三类公平分类器的性能，发现多数分类器性能随偏差上升下降，简单逻辑回归与少数公平技术表现更稳定，并给出实际部署的偏差风险整合方案。
2023-12-10 cs.AI cs.LG
Certifying the Fairness of KNN in the Presence of Dataset Bias
University of Southern California（南加州大学）
针对训练数据存在受保护少数群体系统性错标导致的历史偏差问题，提出首个基于三种公平性定义变体、采用抽象解释降低计算成本的KNN公平性认证方法，经六个常用数据集验证可有效为大量测试输入提供公平性认证。
2023-07-17 cs.CY cs.LG cs.SE
Bias-Tolerant Fair Classification
Data Science Institute（数据科学研究所）；University of Technology Sydney（悉尼科技大学）；Tsinghua University（清华大学）
标签偏差和选择偏差被认为是阻碍机器学习结果公平性的两个原因。当标签决策受到敏感特征的干扰时，会出现标签偏差，而当数据采样过程中存在主观偏差时，会出现选择偏差。更糟糕的是，在这些数据上训练的模型可能会继承甚至加剧歧视。大多数算法公平性方法执行具有预定义公平性约束的经验风险最小化，其倾向于权衡公平性的准确性。然而，这种方法将实现所需的公平水平，牺牲受偏见影响的个人的利益（获得积极的结果）。因此，我们提出了一个Bias-TolerantFAirRegularizedLoss（B-FARL），它试图使用受标签偏差和选择偏差影响的数据来重新获得好处。B-FARL将有偏见的数据作为输入，调用一个模型，该模型近似于用公平但潜在的数据训练的模型，从而在不需要约束的情况下防止歧视。此外，我们通过分解B-FARL来显示有效组件，并利用元学习框架进行B-FARL优化。在真实世界数据集上的实验结果表明，我们的方法在提高真实但潜在标签方向的公平性方面是经验有效的。
2021-07-07 cs.CY cs.LG
Identifying biases in legal data: An algorithmic fairness perspective
University of Michigan（密歇根大学）；Princeton University（普林斯顿大学）；Claudius Legal Intelligence（克劳迪乌斯法律智能公司）
解决法律案件数据中的代表偏见和量刑差异的必要性早已得到承认。在这里，我们从算法公平性的角度研究了识别和测量大规模法律案件数据中的偏差的问题。我们的方法利用两个回归模型：一个基线，代表了一个“典型”的判断，由数据和“公平”的判断，适用于三个公平的概念之一。比较“典型”法官和“公正”法官的决定可以量化人口群体之间的偏见，正如我们在库克县（伊利诺伊州）的犯罪数据的四个案例研究中所证明的那样。
2021-09-21 cs.AI cs.CY cs.LG
Let's Unlearn Stereotypes Before Decision-Making: Assessing the Impact of Intrinsic Bias Mitigation on Downstream Fairness in LLMs
本研究提出公平感知概念忘却（FACU）方法，在保留预测性能的同时缓解LLM内在偏差，可提升下游公平性，结合反事实数据增强效果更佳，为LLM公平性优化提供了新路径。
2026-08-10 cs.CL cs.CY cs.LG
Fix Fairness, Don't Ruin Accuracy: Performance Aware Fairness Repair using AutoML
Iowa State University（爱荷华州立大学）；Carnegie Mellon University（卡内基梅隆大学）
本研究提出Fair-AutoML，利用AutoML改进优化函数和公平性感知搜索空间，在几乎不损失准确性的前提下修复ML模型偏见，实验显示显著优于现有方法。
2023-08-29 cs.LG cs.SE
Adapting Static Fairness to Sequential Decision-Making: Bias Mitigation Strategies towards Equal Long-term Benefit Rate
University of Maryland, College Park（马里兰大学帕克分校）；University of Southern California（南加州大学）
针对机器学习序贯决策中的长期公平性问题，提出平等长期收益率（ELBERT）概念及偏差缓解方法ELBERT-PO，通过将长期公平性纳入MDP并简化策略梯度，在保持高实用性的同时显著降低偏差。
2024-05-28 cs.CY cs.LG
Augmented Fairness: An Interpretable Model Augmenting Decision-Makers' Fairness
University of Iowa（爱荷华大学）；University of Texas at Austin（得克萨斯大学奥斯汀分校）
我们提出了一种模型不可知的方法，用于减轻黑盒决策者，特别是人类决策者的预测偏差。我们的方法在特征空间中检测黑盒决策者有偏见的地方，并用一些简短的决策规则代替它，充当“公平代理”。基于规则的代理模型在两个目标下训练，预测性能和公平性。我们的模型侧重于一个设置，在实践中是常见的，但不同于其他文献的公平性。我们只能黑盒访问模型，并且在预算约束下只能查询有限的真标签集。我们制定了一个多目标优化建立一个代理模型，我们同时优化预测性能和偏差。为了训练模型，我们提出了一种新的训练算法，结合非支配排序遗传算法与主动学习。我们在公共数据集上测试我们的模型，在那里我们模拟各种有偏见的“黑盒”分类器（决策者），并将我们的方法应用于可解释的增强公平性。
2020-11-17 cs.HC cs.LG
Fairpriori: Improving Biased Subgroup Discovery for Deep Neural Network Fairness
The University of Sydney（悉尼大学）；CSIRO（联邦科学与工业研究组织）
本文提出 Fairpriori，利用频繁项集生成快速计算多类公平性指标并发现有偏子群，在易用性、解释性、适用范围和效率上优于现有方法。
2024-06-25 cs.CY cs.LG cs.SE
Explainable post-training bias mitigation with distribution-based fairness metrics
Discover Financial Services（Discover金融服务公司）
提出一种基于随机梯度下降的训练后偏差缓解框架，利用分布公平性约束高效生成人口统计学盲且可解释的模型，并设计可微全局公平性度量，在多数据集上验证了其有效性。
2025-10-29 cs.LG math.PR
