Learning with Impartiality to Walk on the Pareto Frontier of Fairness, Privacy, and Utility
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
部署机器学习（ML）模型通常需要公平性和隐私保证。这两个目标都提出了独特的权衡与效用（例如，模型的准确性。然而，公平、隐私和效用之间的相互作用还不太清楚。因此，通常只有一个目标被优化，而其他目标则被调整为超参数。因为它们隐含地优先考虑某些目标，这样的设计以有害的、不可检测的方式使模型产生偏差。为了解决这个问题，我们采用公正性作为原则：ML管道的设计不应该偏向于一个目标。我们提出了公平指定的模型，它为我们提供了准确的帕累托边界，显示目标之间的内在权衡。扩展了两个用于隐私保护学习的规范ML框架，我们提供了两种方法（FairDP-SGD和FairPATE）来训练公平指定的模型并恢复Pareto边界。通过理论隐私分析和全面的实证研究，我们提供了一个答案的问题，公平缓解应该集成在一个隐私感知ML管道。
2023-02-17 cs.AI cs.CY cs.LG
Empirical Analysis of Asynchronous Federated Learning on Heterogeneous Devices: Efficiency, Fairness, and Privacy Trade-offs
RISE Research Institutes of Sweden（瑞典RISE研究机构）；Mälardalen University（马尔默大学）
本文通过五设备边缘测试平台比较FedAvg与FedAsync，结合LDP和Moments Accountant量化隐私损失，揭示异步FL提升效率但加剧公平性与隐私差异。
2025-05-11 cs.AI cs.DC cs.LG
Benchmarking Fairness-aware Graph Neural Networks in Knowledge Graphs
The University of Osaka（大阪大学）
该研究针对现有公平感知图神经网络（GNN）缺乏知识图谱场景评估的空白，基于YAGO等三个大规模知识图谱构建新数据集，在不同GNN骨干和早停条件下测试预处理与处理中公平方法，揭示了知识图谱上准确率与公平性的权衡规律及不同方法的效果差异。
2025-10-21 cs.AI cs.LG
Differential Privacy, Linguistic Fairness, and Training Data Influence: Impossibility and Possibility Theorems for Multilingual Language Models
University of Copenhagen（哥本哈根大学）
本文研究多语言语言模型中差分隐私、语言公平性、压缩与训练数据影响透明性能否共存，通过定理证明与两类NLP实验揭示隐私与影响稀疏性的冲突。
2023-08-17 cs.AI cs.CL cs.CR
SAFES: Sequential Privacy and Fairness Enhancing Data Synthesis for Responsible AI
Lucy Family Institute for Data & Society（数据与社会卢西家族研究所）；University of Notre Dame（北德克萨斯大学）；Department of Applied and Computational Mathematics and Statistics（应用与计算数学与统计系）
提出 SAFES 序贯数据合成框架，将差分隐私合成与公平感知预处理结合，支持在隐私、公平性和效用间灵活权衡，并在真实数据集上验证其低效用损失下显著改善公平性。
2025-10-20 cs.CR cs.LG
Privacy, Robustness, and Fairness Trade-offs in Federated Intrusion Detection: Geometric Indistinguishability at the Aggregation Interface
Bangladesh University of Business and Technology (BUBT)（孟加拉国商业与技术大学（BUBT））；Jagannath University（贾格纳特大学）；University of New South Wales (UNSW)（新南威尔士大学（UNSW））
本文挑战了联邦入侵检测中隐私、鲁棒性等属性可独立组合的假设，发现隐私与鲁棒聚合的结合会降低稀有攻击检测性能，提出应将三者作为整体研究。
2026-09-04 cs.AI cs.CR cs.LG
Federated Fairness without Access to Sensitive Groups
University College London（伦敦大学学院）；IBM Research（IBM研究院）；Amazon Web Services（亚马逊网络服务）；Duke University（杜克大学）；Apple（苹果公司）
本文提出一种无需预定义敏感群体或额外标签的联邦学习公平性方法，通过单一超参数在群体规模约束下实现帕累托高效的最坏情况群体公平与效用权衡，并给出具有收敛性和超额风险保证的联邦优化算法。
2024-02-22 cs.AI cs.CY cs.DC
Fairness Meets Privacy: Integrating Differential Privacy and Demographic Parity in Multi-class Classification
Sorbonne Universite（索邦大学）
本文提出DP2DP算法，通过整合差分隐私与人口平等，实现多类分类中的隐私保护与公平性保障。
2025-11-24 cs.LG stat.ML
Federated Fairness Analytics: Quantifying Fairness in Federated Learning
University of Bristol（布里斯托尔大学）
针对联邦学习中公平性定义与量化指标缺失的问题，提出包含四类概念及对应新指标的联邦公平性分析方法，实验验证其可助力从业者获取不同粒度的系统公平性洞察，相关工作已开源。
2024-08-15 cs.AI cs.DC cs.GT
No-Free-Fairness: Fundamental Limits and Trade-offs in Learning Systems
Hanoi University of Science and Technology（河内科技大学）
本文提出无免费公平定理，揭示学习系统中三个固有差异来源：任务固有成本导致性能与公平的权衡、有限样本诱导子群差异、模型类表达力限制导致公平不可达，表明不公平源于决策问题结构、数据有限性和模型表达力。
2026-06-17 cs.AI cs.LG
Fairness-aware Differentially Private Collaborative Filtering
Etsy Inc（Etsy公司）；Rutgers University（罗格斯大学）；University at Albany, SUNY（纽约州立大学奥尔巴尼分校）
最近，越来越多地采用差分隐私引导算法用于隐私保护机器学习任务。然而，这种算法的使用伴随着算法公平性方面的权衡，这已经被广泛承认。具体来说，我们已经经验性地观察到，经典的协同过滤方法，训练的差分私人随机梯度下降（DP-SGD），结果在不同的用户参与度方面的不同影响用户组。这反过来又导致原来的不公平模型对不活跃用户的偏见更大。为了解决上述问题，我们提出了\textbf{DP-Fair}，一个两阶段的框架为基础的协同过滤算法。具体而言，它将差分隐私机制与公平性约束相结合，在保证推荐公平的同时保护用户隐私。基于Amazon数据集和Etsy（最大的电子商务平台之一）收集的用户历史日志的实验结果表明，与vanilla DP-SGD相比，该方法在浅层和深层推荐模型上的整体准确性和用户组公平性方面都具有更好的性能。
2023-03-16 cs.CR cs.IR cs.LG
First-See-Then-Design: A Multi-Stakeholder View for Optimal Performance-Fairness Trade-Offs
Department of Computer Science, Saarland University（萨尔兰大学计算机科学系）；Zurich University of Applied Sciences（苏黎世应用科学大学）
本文提出多利益相关者框架，通过福利经济学和分配正义理论，建模决策者与决策主体的效用，定义公平性为社会规划者的效用，探讨决策策略对性能-公平性权衡的影响。
2026-04-15 cs.AI cs.LG
Is It Still Fair? Investigating Gender Fairness in Cross-Corpus Speech Emotion Recognition
National Tsing Hua University（国立清华大学）
本文研究跨语料库语音情感识别中性别公平性的泛化问题，提出组合公平性适配机制以同时处理源和目标性别，从而在迁移学习任务中提升性别公平性。
2025-01-02 cs.LG
Understanding and Improving Fairness-Accuracy Trade-offs in Multi-Task Learning
Google Research（谷歌研究院）
随着多任务模型在更广泛的机器学习应用中越来越受欢迎，从业者理解与这些模型相关的公平性含义变得越来越重要。大多数现有的公平性文献都专注于更公平地学习单个任务，而ML公平性如何在联合学习环境中与多个任务相互作用则在很大程度上未得到充分探索。在本文中，我们关注的是群体公平性（例如，平等的机会，平等的赔率）作为ML公平概念在多任务场景中发挥作用。在多任务学习中，多个任务被联合学习，以利用任务相关性来实现更有效的归纳转移。这呈现了多维帕累托边界（1）关于每个任务的组公平性和准确性之间的权衡，以及（2）跨多个任务的权衡。我们的目标是提供一个更深入的了解如何组公平性与准确性在多任务学习，我们表明，传统的方法，主要集中在优化帕累托边界的多任务准确性可能不会表现良好的公平性目标。我们提出了一组新的指标，以更好地捕捉多维帕累托边界的公平性，准确性权衡独特的多任务学习设置。我们进一步提出了多任务感知公平性（MTA-F）方法来提高多任务学习的公平性。几个真实世界的数据集上的实验证明了我们所提出的方法的有效性。
2021-06-04 cs.LG
Evaluation of Fairness Trade-offs in Predicting Student Success
Cornell University（康奈尔大学）
早期识别有风险学生的预测模型可以帮助教学人员引导资源，以更好地支持他们，但人们越来越担心教育中算法系统的公平性。预测模型可能会无意中在谁获得支持方面引入偏见，从而加剧现有的不平等。我们通过建立一个基于大学行政记录的学生成功预测模型来研究这个问题。我们发现，该模型表现出性别和种族偏见的三分之二的公平措施考虑。然后，我们应用事后调整，以提高模型的公平性，突出三个公平措施之间的权衡。
2020-06-30 cs.CY cs.LG
Utility-Fairness Trade-Offs and How to Find Them
Michigan State University（密歇根州立大学）
本文研究了分类系统中效用与公平性的最优权衡问题，提出了两种权衡方法及U-FaTE量化算法，并引入新的评估方案，发现现有方法远未达到可实现的权衡边界。
2024-04-24 cs.CV cs.CY cs.LG
You Only Debias Once: Towards Flexible Accuracy-Fairness Trade-offs at Inference Time
Case Western Reserve University（凯斯西储大学）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；North Carolina State University（北卡罗来纳州立大学）；Texas A&M University（德克萨斯农工大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Rice University（莱斯大学）
本文提出YODO方法，通过单次训练在权重空间中找到连接准确率最优点与公平性最优点的“线”，从而在推理时以极低开销实现任意灵活可调的准确率-公平性权衡。
2025-03-10 cs.LG
FACT: A Diagnostic for Group Fairness Trade-offs
Carnegie Mellon University（卡内基梅隆大学）；JP Morgan（摩根大通）；JP Morgan AI Research（摩根大通人工智能研究院）；Determined AI
群体公平性是一类公平性概念，衡量不同群体的个人如何根据其受保护的属性受到不同的对待，已被证明是相互冲突的，通常会损失模型的预测性能。我们提出了一个通用的诊断，使这些权衡组公平性的系统特征。我们观察到，大多数组公平性概念可以通过公平混淆张量来表达，这是根据受保护的属性值分裂的混淆矩阵。我们构建了几个优化问题，这些优化问题直接优化了该张量元素的准确性和公平性目标，从而为理解包括组公平性不兼容性在内的多种权衡提供了一个总体视角。它还提出了一种替代的后处理方法，设计公平的分类。在合成和真实数据集上，我们展示了我们诊断的用例，特别是在理解准确性和公平性之间的权衡方面。
2020-07-07 cs.CY cs.LG stat.ML
Fairness-Aware Reinforcement Learning (FAReL): A Framework for Transparent and Balanced Sequential Decision-Making
Vrije Universiteit Brussel（布鲁塞尔自由大学）；Technische Universiteit Delft（代尔夫特理工大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；Universiteit Leiden（莱顿大学）；Universiteit Hasselt（哈塞尔特大学）
本文提出公平感知强化学习框架FAReL，通过扩展MDP（$f$MDP）显式建模个体与群体，在招聘和欺诈检测场景中实现性能与公平性的可探索权衡，以轻微性能损失换取更公平的策略。
2025-09-26 cs.AI cs.LG
Efficiency vs. Alignment: Investigating Safety and Fairness Risks in Parameter-Efficient Fine-Tuning of LLMs
IID, Laval University（拉瓦尔大学IID）；McGill University（麦吉尔大学）
该研究发现良性参数高效微调会改变大语言模型的安全与公平性，基于适配器的方法更安全，基础模型和PEFT类型会影响对齐偏移，需按类别审计安全与公平性。
2026-08-04 cs.AI cs.LG
People-Centred Medical Image Analysis via Fairness-Aware Human-AI Cooperation
提出PecMan框架，联合建模子群依赖可靠性、决策分配和协作预测，通过门控与整合机制动态分配病例给自动模型或人类专家，无需测试时敏感属性，实现公平感知的人机协作分类。
2026-06-09 cs.AI cs.LG
FACEGroup: Feasible and Actionable Counterfactual Explanations for Group Fairness
University of Ioannina（伊奥安纳大学）；Archimedes, Athena Research Center（阿基米德研究所）；Boston University（波士顿大学）
本文提出基于图的FACEGroup框架，通过建模可行性约束、识别相似子群并捕捉权衡，生成可行的群体反事实解释以审计群体公平性，并引入新指标量化公平性差异。
2025-09-08 cs.AI cs.LG stat.ME
Accuracy and Fairness Trade-offs in Machine Learning: A Stochastic Multi-Objective Approach
Lehigh University（理海大学）；University of Coimbra（科英布拉大学）
在将机器学习应用于现实生活中的决策系统中，例如，信用评分和刑事司法，预测结果可能会歧视具有敏感属性的人，导致不公平。公平机器学习中常用的策略是将公平性作为预测损失最小化的约束或惩罚项，这最终限制了提供给决策者的信息。在本文中，我们介绍了一种新的方法来处理公平性，制定一个随机多目标优化问题，相应的帕累托前沿唯一和全面定义的准确性，公平性权衡。然后，我们应用了随机近似型方法，有效地获得良好的传播和准确的帕累托前沿，这样做，我们可以处理训练数据到达流的方式。
2022-03-18 cs.LG stat.ML
Is Fairness Truly Fair? Towards Reliable Lipschitz Fairness in Multi-Task Learning via Fixed-\texorpdfstring{$δ$}{delta} Alignment
Beijing University of Chemical Technology（北京化工大学）
针对多任务学习中Lipschitz个体公平性评估受表示尺度干扰的问题，提出固定δ审计与受控正则化框架ReLiF，实现语义一致的公平性评估与权衡。
2026-06-09 cs.AI cs.LG
Out of Context: Investigating the Bias and Fairness Concerns of "Artificial Intelligence as a Service"
University of Cambridge（剑桥大学）
“AI即服务”（AIaaS）是一个快速增长的市场，提供各种即插即用的AI服务和工具。AIaaS使其客户（用户）-他们可能缺乏开发自己系统的专业知识，数据和/或资源-能够轻松构建AI功能并将其集成到应用程序中。然而，众所周知，人工智能系统可以封装可能产生社会影响的偏见和不平等。本文认为，公平性的上下文敏感性通常与AIaaS的“一刀切”方法不兼容，导致问题和紧张局势。具体来说，我们通过基于提供给用户的自治级别提出AI服务的分类来审查和系统化AIaaS空间。然后，我们批判性地研究了不同类别的AIaaS，概述了这些服务如何在最终用户应用程序的上下文中导致偏见或其他有害因素。在这样做的时候，我们试图提请研究注意这一新兴领域的挑战。
2023-02-02 cs.AI cs.CY cs.LG
Fairly Private: Investigating The Fairness of Visual Privacy Preservation Algorithms
Vienna University of Technology（维也纳技术大学）；University of Alicante（阿利坎特大学）
随着摄像头监控和面部识别带来的隐私风险越来越大，对隐私保护算法的研究也越来越多。其中，视觉隐私保护算法试图通过模糊隐私敏感区域来将身体隐私赋予视觉对象。虽然不同表型的面部识别系统的不同性能是许多研究的主题，但其对应的隐私保护通常不会从公平的角度进行分析。本文通过人脸识别模型在模糊图像上的表现，研究了常用的视觉隐私保护算法的公平性。PubFig数据集上的实验清楚地表明，所提供的隐私保护在不同群体之间是不平等的。
2023-01-12 cs.CR cs.CV cs.LG
Learning Optimal Fair Classification Trees: Trade-offs Between Interpretability, Fairness, and Accuracy
USC Center for AI in Society（南加州大学人工智能与社会中心）；University of Southern California（南加州大学）
提出混合整数优化框架学习最优公平分类树，引入决策复杂度度量，权衡可解释性、公平性与准确性，在固定差异阈值下可解释性代价约4.2个百分点，但能实现几乎完全公平。
2023-07-25 cs.AI cs.LG math.OC
Superhuman Fairness
University of Illinois Chicago（伊利诺伊大学芝加哥分校）
基于机器学习的决策的公平性已经成为监督机器学习方法设计中越来越重要的焦点。大多数公平性方法优化性能度量（例如，准确性、对数损失或AUC）和公平性度量（例如，人口均等，均等赔率）。这就引出了一个问题：是否指定了正确的性能-公平性权衡？相反，我们通过引入超人的公平性，将公平机器学习重新转换为一种模仿学习任务，这种公平性旨在同时在多个预测性能和公平性指标上超越人类决策。我们证明了这种方法的好处次优决策。
2023-01-31 cs.AI cs.LG
MMM-fair: An Interactive Toolkit for Exploring and Operationalizing Multi-Fairness Trade-offs
University of the Bundeswehr（德国联邦国防军大学）；Free University Berlin（柏林自由大学）
本文介绍mmm-fair，一个开源交互式工具包，通过提升集成方法实现多目标优化，联合最小化分类错误与公平性违规，支持无代码界面、LLM解释和帕累托探索，以探索和操作多公平性权衡。
2025-09-09 cs.CY cs.LG
Scoring Is Not Enough: Addressing Gaps in Utility-fairness Trade-offs for Ranking
Department of Computer Science（计算机科学系）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）；Department of Electrical and Computer Engineering（电气与计算机工程系）
本文证明评分函数在实现效用与公平的权衡中存在本质缺陷，并提出半贪婪后处理方法可接近最优权衡。
2026-06-26 cs.CY cs.IR cs.LG
Trade-offs Between Individual and Group Fairness in Machine Learning: A Comprehensive Review
Departamento de Estadística, Universidad Carlos III de Madrid（统计系，卡洛斯三世大学）；uc3m-Santander Big Data Institute (IBiDat), Universidad Carlos III de Madrid（圣安德烈斯-卡洛斯三世大学大数据研究所）；Department of Statistics and O.R., Universidad Nacional de Educación a Distancia (UNED), Madrid, Spain（统计与运筹学系，国家远程教育大学）
本文综述了机器学习中个体公平与群体公平的权衡，探讨了混合公平性方法的理论基础、优化机制及应用挑战。
2026-01-23 cs.CY cs.LG
Data Preparation for Fairness-Performance Trade-Offs: A Practitioner-Friendly Alternative?
University of Salerno（萨勒诺大学）
本文提出FATE优化技术，通过在ML生命周期早期选择最优的公平性感知数据准备管道，实证评估其在提升公平性与性能方面是否优于标准预处理偏见缓解方法。
2024-12-20 cs.LG cs.SE
Empirical observation of negligible fairness-accuracy trade-offs in machine learning for public policy
Carnegie Mellon University（卡内基梅隆大学）
在政策和社会影响环境中越来越多地使用机器学习，引起了人们对公平影响的担忧，特别是对少数民族。这些问题引起了机器学习和人工智能研究人员的极大兴趣，他们开发了新的方法并建立了提高公平性的理论界限，重点关注源数据，正则化和模型训练，或对模型分数的事后调整。然而，很少有工作研究在现实世界中的公平性和准确性之间的实际权衡，以了解这些界限和方法如何转化为政策选择和对社会的影响。我们的实证研究填补了这一空白，通过调查减少差异对准确性的影响，重点是使用机器学习的共同背景，以告知教育，心理健康，刑事司法和住房安全等资源受限项目的利益分配。在这里，我们描述的应用工作中，我们发现公平性和准确性的权衡是可以忽略不计的实践。在研究的每一个设置中，明确地关注实现公平，并使用我们提出的事后差异缓解方法，公平性得到了大幅提高，而不牺牲准确性。这一观察结果在所研究的政策背景、可用于干预的资源规模、时间和受保护群体的相对规模方面都是稳健的。这些实证结果挑战了一个普遍持有的假设，即减少差异要么需要接受一个明显的下降，准确性或开发新的，复杂的方法，使减少这些应用程序中的差异更实际。
2021-09-03 cs.CY cs.LG
Does Privacy Always Harm Fairness? Data-Dependent Trade-offs via Chernoff Information Neural Estimation
University of California Santa Barbara（加州大学圣芭芭拉分校）；JP Morgan Chase Global Technology Applied Research（摩根大通全球技术应用研究）
本文通过Chernoff信息理论分析隐私与公平性之间的数据依赖性权衡，提出Chernoff差异及其噪声变体，并开发神经网络估计器CINE以实现实世界数据集的分析。
2026-03-24 cs.AI cs.IT cs.LG
Investigating the Relationship Between Debiasing and Artifact Removal using Saliency Maps
Institute of Computing Science, Poznan University of Technology（计算科学研究所，波兹南技术大学）
本文通过引入基于显著性图的XAI度量，揭示去偏与伪影移除间的双向联系，证明去偏方法能转移模型关注点，且伪影移除技术可有效提升公平性。
2025-04-24 cs.AI cs.CY cs.LG
Fairness-Accuracy Trade-Offs: A Causal Perspective
Columbia University（哥伦比亚大学）
本研究首次从因果视角分析公平性与准确性的权衡，引入路径特定超额损失（PSEL）将总超额损失（TEL）分解为局部成分，并提出因果公平性/效用比指标，同时开发了一种新的因果约束公平学习神经方法。
2024-12-20 cs.AI cs.LG stat.ML
Inherent Trade-offs in the Fair Allocation of Treatments
University of Southern California（南加利福尼亚大学）；USC Information Sciences Institute（南加利福尼亚大学信息科学研究所）
显性和隐性的偏见蒙蔽了人的判断，导致对少数群体的歧视性待遇。算法公平性的一个基本目标是通过学习改善总体结果的策略，同时为受保护的类提供公平待遇，从而避免人类判断中的陷阱。在本文中，我们提出了一个因果框架，学习最优的干预政策，从数据的公平性约束。我们定义了两种治疗偏倚的测量方法，并推断出最佳治疗分配，最大限度地减少偏倚，同时优化总体结局。我们证明，有一个平衡的公平和整体利益的困境，但是，允许优惠待遇，在某些情况下（平权行动）的保护类可以显着提高整体利益，同时也保持公平。我们将我们的框架应用于包含学生标准化考试成绩的数据，并展示了如何使用它来设计现实世界的政策，以公平地提高学生的考试成绩。我们的框架提供了一种原则性的方法来学习现实世界中的公平待遇政策。
2020-10-30 cs.AI cs.CY cs.LG
Investigating Fairness of Ocular Biometrics Among Young, Middle-Aged, and Older Adults
School of Computing Wichita State University（威奇托州立大学计算机学院）
许多研究表明，面部生物识别技术存在偏见，即，人脸识别和软生物特征估计方法，跨性别，种族和年龄组。最近有一种迫切的要求，调查不同的生物识别方式的偏见，对公平和值得信赖的生物识别解决方案的部署。由于其高准确性、安全性、隐私性和在移动设备中的易用性，眼睛生物识别技术已经获得学术界和工业界越来越多的关注。$2020$最近的一项研究也表明了男性和女性之间基于视觉的用户识别的公平性。本文的目的是评估公平的眼睛生物测定在可见光谱中的年龄组;年轻人，中年人和老年人。由于最新的大规模2020年UFPR眼部生物特征数据集的可用性，受试者的年龄范围为18 - 79岁，以促进这项研究。实验结果表明，在用户验证和性别分类中，不同性别和年龄组的眼部生物特征识别的整体性能相当。在用户验证和年龄分类时，分别注意到老年人和年轻人在较低错误匹配率下的性能差异。这可能是由于这些年龄组的生物特征数据的固有特征影响了特定的应用，这表明需要在传感器技术和软件解决方案方面取得进展。
2021-10-04 cs.AI cs.CV cs.LG
Overcoming Fairness Trade-offs via Pre-processing: A Causal Perspective
Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
本文从因果视角提出FiND世界框架，通过因果预处理方法近似该世界，在理论上证明并实证验证了该方法能同时解决公平性与准确性权衡以及不同公平性指标间的不兼容性。
2025-01-24 cs.LG stat.ML
A Multi-Objective Evaluation Framework for Analyzing Utility-Fairness Trade-Offs in Machine Learning Systems
Idiap Research Institute（Idiap研究 institute）；École Polytechnique Fédérale de Lausanne（瑞士联邦理工学院）；Federal University of São Paulo（圣保罗联邦大学）
本文提出了一种多目标评估框架，用于分析机器学习系统中效用与公平性之间的权衡，适用于医疗影像等对公平性要求较高的领域。
2026-02-28 cs.CV cs.LG
Investigating Gender Fairness in Machine Learning-driven Personalized Care for Chronic Pain
Eindhoven University of Technology（埃因霍温理工大学）；University of Michigan（密歇根大学）
本文研究RL个性化慢性疼痛护理建议中的性别公平性，发现特征选择会影响公平性，并提出NestedRecommendation以自适应选择兼顾效用与公平的特征且利用临床专家知识加速优化。
2024-06-14 cs.CY cs.LG
Investigating Data Interventions for Subgroup Fairness: An ICU Case Study
University of California, Berkeley（加州大学伯克利分校）；Stanford University（斯坦福大学）
本文通过ICU案例研究探讨数据干预对子群体公平性的影响，发现数据添加可能同时提升和损害模型公平性，结合数据与模型方法更有效。
2026-04-03 cs.LG
SoFaiR: Single Shot Fair Representation Learning
George Mason University（乔治梅森大学）
为了避免对数据的歧视性使用，组织可以学习将它们映射到一个表示中，过滤掉与敏感属性相关的信息。然而，所有现有的方法在公平表示学习产生一个公平信息的权衡。为了达到公平信息平面上的不同点，必须训练不同的模型。在本文中，我们首先证明，公平信息权衡率失真权衡充分的特点。然后，我们使用这个关键结果，并提出SoFaiR，一个Single Shot公平的表示学习方法，用一个训练模型生成公平信息平面上的许多点。除了节省计算，我们的单次方法是，就我们所知的范围内，第一个公平的表示学习方法，解释了什么信息是受影响的公平性/失真属性的变化表示。从经验上讲，我们发现在三个数据集上，SoFaiR实现了与其多镜头对应物类似的公平信息权衡。
2022-04-26 cs.CY cs.LG
Investigating Practices and Opportunities for Cross-functional Collaboration around AI Fairness in Industry Practice
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）；Microsoft Research（微软研究院）
本研究通过访谈和工作坊调研23名行业从业者，探究AI公平性跨职能协作的现有实践与问题，揭示从业者的衔接、依托策略及隐形劳动，为优化相关协作提供方向。
2023-06-10 cs.CY cs.HC cs.LG
Investigating the Effects of Fairness Interventions Using Pointwise Representational Similarity
MPI-SWS（马克斯·普朗克所社会科学研究院）
本文提出点式归一化核对齐（PNKA）度量，用于细粒度评估去偏方法对个体表征的影响，揭示群体公平性影响少数人群而个体公平性影响全体，并指出现有去偏方法在语言嵌入中效果不足。
2025-05-22 cs.LG
Selecting for Less Discriminatory Algorithms: A Relational Search Framework for Navigating Fairness-Accuracy Trade-offs in Practice
Responsible AI Lab, National Fair Housing Alliance（负责任人工智能实验室，国家公平住房联盟）；Department of Mathematical Sciences, Durham University（数学科学系，达勒姆大学）
本文提出一种关系搜索框架，用于在现实世界中选择更少歧视性算法，以平衡公平性和准确性。
2025-12-12 cs.CY cs.LG
Fairness Through Robustness: Investigating Robustness Disparity in Deep Learning
University of Maryland（马里兰大学）；MPI-SWS（马克斯·普朗克软件系统研究所）
深度神经网络（DNN）越来越多地用于现实世界的应用（例如面部识别）。这导致了人们对这些模型所做决定的公平性的担忧。人们提出了各种公平的概念和措施，以确保决策制度不会不成比例地损害（或有利于）人口中的特定亚群体。在本文中，我们认为，传统的公平性的概念，只基于模型的输出是不够的，当模型容易受到对抗攻击。我们认为，在某些情况下，攻击者可能更容易针对特定的子组，从而导致\textit{robustness bias}的形式。我们证明了测量鲁棒性偏差对DNN来说是一项具有挑战性的任务，并提出了两种方法来测量这种形式的偏差。然后，我们对最先进的神经网络在常用的现实世界数据集（如CIFAR-10，CIFAR-100，Adience和UTKFace）上进行了实证研究，并表明在几乎所有情况下，都存在鲁棒性较差的子组（在某些情况下，基于种族，性别等敏感属性），因此处于不利地位。我们认为，这种偏见的出现是由于数据分布和学习的决策边界在DNN的情况下，高度复杂的性质，从而使减轻这种偏见的一个不平凡的任务。我们的研究结果表明，鲁棒性偏差是审计依赖DNN进行决策的真实世界系统时需要考虑的一个重要标准。代码重现我们所有的结果可以在这里找到：\url{https://github.com/nvedant07/Fairness-Through-Robustness}
2021-01-21 cs.CY cs.LG
Investigating Fairness Disparities in Peer Review: A Language Model Enhanced Approach
University of Pennsylvania（宾夕法尼亚大学）；Tencent AI Lab（腾讯人工智能实验室）；Columbia University（哥伦比亚大学）；AWS AI Labs（亚马逊云服务人工智能实验室）
双盲同行评议机制已成为包括计算机科学在内的多个学科学术研究的框架，但一些研究质疑同行评议的质量，并对该过程中潜在的偏见表示担忧。本文借助大语言模型对同行评议中的公平性差异进行了深入细致的研究。我们从2017年至今，通过聚合来自OpenReview、Google Scholar、arXiv和CSRanking的数据，并使用语言模型提取高级特征，为国际学习表征会议（ICLR）收集、组装和维护一个全面的关系数据库。我们假设和研究的公平差异的多重保护属性的利益，包括作者性别，地理，作者和机构的声望。我们观察到差异的水平不同，文本特征在减少预测建模中的偏差方面至关重要。我们从我们的分析中提炼出几个见解，在大型LM的帮助下研究同行评审过程。我们的数据库还提供了研究新的自然语言处理（NLP）方法的途径，这些方法有助于理解同行评审机制。我们研究了一个具体的例子，对自动机器审查系统，并提供基线模型的审查生成和评分任务，使数据库可以作为一个基准。
2022-11-07 cs.CL cs.CY cs.LG
Causality-Aided Trade-off Analysis for Machine Learning Fairness
The Hong Kong University of Science and Technology（香港科技大学）；Nanjing University（南京大学）
本文提出基于因果分析的 ML 公平性权衡框架，通过领域优化和统一接口分析公平参数与关键指标，并在三个真实数据集上验证其方法选择价值。
2023-10-03 cs.LG cs.SE
A Unifying Human-Centered AI Fairness Framework
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
本文提出一个统一的人本AI公平性框架，整合八种公平性度量标准，通过权重分配实现多利益相关者妥协，应用于四个真实数据集展示其在实际部署中的价值。
2025-12-07 cs.AI cs.CY cs.LG
VirnyFlow: Optimizing ML Pipelines for Accuracy, Fairness, and Stability at Scale
Ukrainian Catholic University（乌克兰天主教大学）；New York University（纽约大学）
VirnyFlow是兼顾准确率、公平性与稳定性的大规模ML流水线优化系统，可扩展至多节点，在真实数据集上性能优于主流AutoML系统，支持人类在环迭代调整优化目标。
2026-08-18 cs.AI cs.CY cs.LG
Gender Bias in Explainability: Investigating Performance Disparity in Post-hoc Methods
Technical University of Munich（慕尼黑技术大学）；School of Computation, Information and Technology（计算、信息与技术学院）；Department of Computer Science（计算机科学系）；Technische Universität Berlin（柏林技术大学）；BIFOLD – Berlin Institute for the Foundations of Learning and Data（柏林学习与数据基础研究所）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
本文发现广泛使用的事后特征归因方法在三项任务和五个语言模型上表现出显著的性别差异，即使使用无偏见数据集训练依然存在，强调了在可解释性方法中解决解释公平性的重要性。
2025-05-02 cs.AI cs.CL cs.LG
Fair Classification with Efficient and Post-hoc Controllable Fairness-Accuracy Trade-off
University of Tsukuba, Japan（茨口大学）；RIKEN AIP, Japan（日本理化学研究所）
提出一种基于梯度优化的公平分类算法，通过学习有效特征表示，在无需重新训练的情况下实现与处理中方法相当甚至更优的公平性-准确性权衡效率。
2026-06-29 cs.LG
Continuous Fair SMOTE -- Fairness-Aware Stream Learning from Imbalanced Data
Machine Learning Group Bielefeld University（比勒菲尔德大学机器学习组）
针对流式学习中类别不平衡与算法偏见并存的问题，提出公平感知预处理方法CFSMOTE，通过过采样时的情境测试与群体平衡同时解决两类问题，在保持性能的同时显著提升了多项群体公平指标。
2025-05-19 cs.AI cs.LG
