Algorithmic Fairness in Education
Cornell University（康奈尔大学）
数据驱动的预测模型越来越多地用于教育，以支持学生，教师和管理员。然而，人们担心这些算法系统的预测和使用的公平性。在这篇教育领域算法公平性的介绍中，我们与之前关于教育机会、偏见和歧视的文献进行了比较，并研究了算法系统的核心组成部分（测量、模型学习和行动），以确定开发和部署这些系统过程中的偏见和歧视来源。统计，相似性为基础的，和因果关系的公平概念进行审查和对比的方式，他们在教育环境中的应用。对教育技术的政策制定者和开发者的建议为如何促进教育中的算法公平性提供了指导。
2021-04-11 cs.AI cs.CY cs.LG
Algorithmic Fairness in AI Surrogates for End-of-Life Decision-Making
The Department of Computing & Software Systems University of Washington Bothell Harborview Medical Center, UW Medicine（计算与软件系统系华盛顿大学Bothell分校哈佛湾医疗中心，华盛顿大学医学部）
针对临终决策 AI 替代者，本文将主要公平概念映射到现实临终场景并跨道德传统考察，提出公平应包含道德代表性及对患者价值观、关系与世界观的忠实。
2025-10-16 cs.AI cs.CY cs.LG
Re-imagining Algorithmic Fairness in India and Beyond
Google Research（谷歌研究院）
传统的算法公平性是以西方为中心的，这体现在它的子群体、价值观和方法上。在本文中，我们去中心化算法公平性并分析印度的AI力量。基于36个定性访谈和在印度的算法部署的话语分析，我们发现，算法公平性的几个假设受到挑战。我们发现，在印度，由于社会经济因素，数据并不总是可靠的，机器学习制造商似乎遵循双重标准，人工智能唤起了毫无疑问的愿望。我们认为，在印度，模特和受压迫社区之间的距离很大，仅本地化模特公平性就可以是橱窗装饰。相反，我们重新设想印度的算法公平性，并提供路线图来重新调整数据和模型，赋予受压迫的社区权力，并启用Fair-ML生态系统。
2021-01-27 cs.AI cs.CL cs.CY
The Intersectionality Problem for Algorithmic Fairness
Syracuse University（雪城大学）；University of San Francisco（旧金山大学）；University of Chicago（芝加哥大学）
本文探讨了算法公平性中的交叉性问题，通过制定期望标准并基于简单假设检验提出解决方案，结合经验评估验证其有效性。
2024-11-16 cs.AI cs.CY cs.LG
A Sociotechnical View of Algorithmic Fairness
University of Zurich（苏黎世大学）；LMU Munich（慕尼黑大学）
算法公平性被定义为一种新兴的技术，它可以减轻自动决策中的系统性歧视，为改善信息系统（IS）的公平性提供了机会。然而，基于国家的最先进的文献综述，我们认为，公平是一个固有的社会概念和技术的算法公平性，因此应通过社会技术的镜头。我们推进算法公平性作为一种社会技术现象的话语。我们的研究目标是嵌入AF的社会技术观点的IS。具体来说，我们详细说明了为什么使用算法手段来确保公平的系统的结果取决于技术和社会结构之间的相互影响。这种观点可以产生新的见解，整合来自技术领域和社会研究的知识。此外，它还为IS辩论提出了新的方向。我们的贡献如下：首先，我们质疑的基本假设，在当前的话语算法公平性的基础上，系统地分析了310篇文章。其次，我们回应这些假设的理论算法公平性作为一个社会技术的建设。第三，我们提出的方向是研究人员，以提高他们的影响，追求独特的理解社会技术算法公平性。我们呼吁并采取整体方法来解决AF。从社会技术的角度看待算法公平性可以为系统性偏见和歧视提供整体解决方案。
2021-09-27 cs.CY cs.LG stat.ML
Towards Substantive Conceptions of Algorithmic Fairness: Normative Guidance from Equal Opportunity Doctrines
New York University（纽约大学）；Surveillance Technology Oversight Project（监控技术监督项目）
在这项工作中，我们使用平等机会（EO）的政治哲学学说，明确的规范性判断嵌入在不同的概念算法公平性。我们对比正式的EO方法，狭隘地集中在公平的竞争在离散的决策点，与实质性的EO学说，看看人们的公平生活的机会，更全面地在一生中。我们使用这种分类法来提供一个道德解释的不可能的结果之间的不相容的公平竞争的不同概念-向前看与向后看-当人们没有公平的生活机会。我们用这个结果来激发实质性的概念算法公平性和概述两个合理的程序的基础上的运气平等主义学说的EO，罗尔斯的公平机会均等的原则。
2022-07-11 cs.AI cs.CY cs.LG
Algorithmic Fairness
Tel-Aviv University（特拉维夫大学）
越来越多的关于人类日常生活的决策正在由人工智能（AI）算法控制，从医疗保健，交通和教育到大学招生，招聘，提供贷款等领域。由于它们现在涉及我们生活的许多方面，因此开发不仅准确而且客观公正的人工智能算法至关重要。最近的研究表明，算法决策可能是固有的倾向于不公平的，即使是没有intention.This本文提出了一个概述的主要概念，识别，测量和改善算法公平性时，使用AI算法。本文首先讨论了算法偏见和不公平的原因，以及公平性的常用定义和度量。然后，公平性增强机制进行了审查，并分为预处理，过程中和后处理机制。然后对这些机制进行全面比较，以便更好地了解在不同情况下应使用哪些机制。然后，本文介绍了最常用的公平性相关的数据集在这一领域。最后，本文通过回顾几个新兴的研究子领域的算法公平性结束。
2020-01-21 cs.AI cs.CY cs.LG
Auditing LLMs for Algorithmic Fairness in Casenote-Augmented Tabular Prediction
本文研究了在住房安置预测任务中，结合街道走访案例笔记的大型语言模型在算法公平性方面的表现，发现通过案例笔记摘要微调模型可提升准确性并减少公平性差异。
2026-04-21 cs.CY cs.LG
Algorithmic Fairness: A Tolerance Perspective
University of New South Wales（新南威尔士大学）；La Trobe University（拉筹伯大学）；University of Technology Sydney（悉尼科技大学）
该综述从容忍度视角切入算法公平性研究，提出基于容忍度的全新分类体系，覆盖多行业研究现状，梳理新兴挑战并给出未来研究与政策方向，助力构建更公平的算法系统。
2024-04-26 cs.AI cs.CY cs.IR
Fairness vs Performance: Characterizing the Pareto Frontier of Algorithmic Decision Systems
Zurich University of Applied Sciences / University of Zurich（应用科学大学苏黎世分校 / 苏黎世大学）；Zurich University of Applied Sciences（应用科学大学苏黎世分校）
研究探讨算法决策系统中公平性与性能的权衡，通过多目标优化分析决策者效用与群体公平性，揭示帕累托前沿由确定性阈值规则构成，扩展了现有公平性约束下的最优定理。
2026-05-11 cs.AI cs.CY cs.LG
Non-portability of Algorithmic Fairness in India
Google Research（谷歌研究院）
传统的算法公平性在其子组、值和优化方面是西方的。在本文中，我们问如何移植的假设，这主要是西方采取的算法公平性是一个不同的地理文化背景，如印度。基于对印度学者的36次专家访谈，以及对印度新兴算法部署的分析，我们确定了三组挑战，这些挑战吞噬了机器学习模型与印度受压迫社区之间的巨大距离。我们认为，仅仅将技术公平工作翻译到印度子群体可能只是一种装饰，相反，需要通过重新构建数据和模型，赋予受压迫社区权力，更重要的是，使生态系统能够集体重新想象公平机器学习。
2020-12-08 cs.CY cs.LG
Identifying biases in legal data: An algorithmic fairness perspective
University of Michigan（密歇根大学）；Princeton University（普林斯顿大学）；Claudius Legal Intelligence（克劳迪乌斯法律智能公司）
解决法律案件数据中的代表偏见和量刑差异的必要性早已得到承认。在这里，我们从算法公平性的角度研究了识别和测量大规模法律案件数据中的偏差的问题。我们的方法利用两个回归模型：一个基线，代表了一个“典型”的判断，由数据和“公平”的判断，适用于三个公平的概念之一。比较“典型”法官和“公正”法官的决定可以量化人口群体之间的偏见，正如我们在库克县（伊利诺伊州）的犯罪数据的四个案例研究中所证明的那样。
2021-09-21 cs.AI cs.CY cs.LG
Emergent Unfairness in Algorithmic Fairness-Accuracy Trade-Off Research
Cornell University（康奈尔大学）
在机器学习（ML）的子学科中，研究人员做出明确的数学假设，以便于证明写作。我们注意到，特别是在公平性-准确性权衡优化奖学金领域，类似的注意力并没有支付给这种方法的基础规范性假设。这些假设假定：1）准确性和公平性是内在对立的; 2）严格的数学等式概念可以充分模拟公平性; 3）可以独立于历史背景来衡量决策的准确性和公平性; 4）收集更多关于边缘化个体的数据是减轻权衡影响的合理解决方案。我们认为，这些假设，这往往是隐含的和未经检验的，导致不一致的结论：虽然这项工作的预期目标可能是提高机器学习模型的公平性，这些未经检验的，隐含的假设实际上可能导致紧急不公平。最后，我们提出了实现潜在解决方案的具体途径。
2021-09-07 cs.AI cs.CY cs.LG
Principal Fairness for Human and Algorithmic Decision-Making
Harvard University（哈佛大学）；Institute for Quantitative Social Science（定量社会科学研究所）；University of Massachusetts（马萨诸塞大学）
利用因果推理文献中的主要分层概念，我们引入了一个新的公平性概念，称为主要公平性，用于人类和算法决策。关键的想法是，人们不应该歧视那些同样受到决定影响的个人。与现有的公平性统计定义不同，主要公平性明确说明了个人可能受到决策影响的事实。此外，我们解释了如何从现有的cabetity为基础的公平标准的主要公平不同。例如，与反事实公平标准相反，主要公平考虑的是有关决定的影响，而不是受保护的利益属性的影响。我们简要地讨论了如何处理经验评估和策略学习问题下提出的主要公平标准。
2022-03-24 cs.CY cs.LG stat.ML
Towards Algorithmic Fairness by means of Instance-level Data Re-weighting based on Shapley Values
ELLIS Alicante（埃利斯阿利坎特机构）
本文提出FairShap，一种基于Shapley值的实例级数据重加权方法，通过量化每个训练样本对公平性指标的贡献，在保持准确率的同时提升模型公平性，并兼具模型无关性和可解释性。
2024-06-10 cs.AI cs.CY cs.LG
Algorithmic Fairness: Not a Purely Technical but Socio-Technical Property
University of Copenhagen（哥本哈根大学）；Technical University of Denmark（丹麦技术大学）；The University of Osaka（大阪大学）；Kyoto University（京都大学）
本文批判了将算法公平性视为纯粹技术属性的观点，通过概念分析与实证说明揭示现有公平性度量在复杂现实场景中的局限，并提出设计公平性度量的三项原则，以弥合技术形式化与社会现实之间的差距。
2025-09-18 cs.AI cs.CY cs.LG
Dimensions of Diversity in Human Perceptions of Algorithmic Fairness
Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）；Max Planck Institute for Research on Collective Goods（马克斯·普朗克集体商品研究所）；KAIST（韩国科学技术院）；Institute for Basic Science（基础科学研究院）；University of Cambridge（剑桥大学）；Alan Turing Institute（艾伦·图灵研究所）
越来越多的监督委员会和监管机构寻求监督和管理那些决定人们生活的算法。以前的工作已经探索了人们如何相信应该做出算法决策，但很少有人了解社会人口统计学或决策场景的直接经验等个人因素如何影响他们的道德观点。我们通过探索人们对程序算法公平性（在算法决策中使用特定特征的公平性）的一个方面的看法如何与他们的（i）人口统计数据（年龄，教育，性别，种族，政治观点）和（ii）个人经验与算法决策情景相关，从而朝着填补这一空白迈出了一步。我们发现，政治观点和个人经验的算法决策的背景下显着影响的公平性使用不同的功能保释决策的看法。根据我们的研究结果，我们讨论了利益相关者参与和算法监督的影响，包括在组成监督和监管机构时需要考虑多样性的多个维度。
2022-09-05 cs.CY cs.LG
Causal Equal Protection as Algorithmic Fairness
Arizona State University（亚利桑那州立大学）；Politecnico di Milano（米兰理工大学）；Algorithmwatch
本文提出因果平等保护原则，将分类均等与因果分析结合，主张个人不应因受保护特征而承受不平等的分类错误风险，并允许在能均衡风险时使用这些特征。
2025-02-05 cs.AI cs.CY cs.DS
Algorithmic Fairness in Performative Policy Learning: Escaping the Impossibility of Group Fairness
University of Michigan（密歇根大学）
研究预测模型影响目标分布的表演性问题，提出利用政策制定者引导人群的能力来缓解长期不平等，从而在社会分类问题中实现更强的群体公平性保证，并解决不同公平性定义间的冲突。
2024-05-30 cs.CY cs.LG stat.ML
Algorithmic Fairness Verification with Graphical Models
National University of Singapore（新加坡国立大学）；Univ. Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）
近年来，机器学习（ML）算法已被部署在安全关键和高风险决策中，其中算法的公平性至关重要。ML中的公平性集中在检测ML分类器引起的对某些人口统计群体的偏见，并提出算法解决方案来减轻不同公平性定义的偏见。为此，已经提出了几种公平性验证器，它们计算ML分类器预测中的偏差-基本上超出了有限数据集-给定输入特征的概率分布。在验证线性分类器的上下文中，现有的公平性验证器由于特征之间的相关性的不精确建模而受到准确性的限制，并且由于分类器作为SSAT/SMT公式的限制性公式化或通过采样而受到可扩展性的限制。在本文中，我们提出了一个有效的公平性验证，称为FVGM，编码的相关性特征之间的贝叶斯网络。与现有的验证器相比，FVGM提出了一种基于随机子集和的线性分类器验证方法。在实验中，我们表明，FVGM导致更多样化的公平性增强算法，公平性攻击和组/因果公平性指标比国家的最先进的公平性验证家庭的准确和可扩展的评估。我们还表明，FVGM有利于公平性影响函数的计算作为一个垫脚石，以检测由子集的功能引起的偏见的来源。
2022-06-01 cs.AI cs.CY cs.LG
Navigating Ensemble Configurations for Algorithmic Fairness
Carnegie Mellon University（卡内基梅隆大学）；IBM Research（IBM研究院）
偏差缓和器可以提高机器学习模型中的算法公平性，但它们对公平性的影响在数据分割中往往不稳定。训练更稳定模型的一种流行方法是集成学习，但不幸的是，目前还不清楚如何将集成与缓解器相结合，以最好地在公平性和预测性能之间进行权衡。为此，我们构建了一个开源库，使8个缓解器，4个集合及其相应的超参数的模块化组合成为可能，我们根据经验探索了13个数据集上的配置空间。我们从这种探索中提炼出我们的见解，以实践者的指导图的形式，我们证明是强大的和可复制的。
2022-10-11 cs.CY cs.LG
Harnessing value from data science in business: ensuring explainability and fairness of solutions
London School of Economics（伦敦经济学院）；Paris School of Economics（巴黎经济学院）
本文介绍了人工智能中公平性和可解释性的概念，面向解决复杂的商业问题。为了公平起见，作者讨论了导致偏见的细节，以及相关的缓解方法，最后提出了一套在数据驱动的组织中引入公平性的方法。此外，对于XAI，作者审核了与示范业务用例配对的特定算法，讨论了大量解释质量量化的技术，并概述了未来的研究途径。
2021-08-10 cs.CY cs.LG
Exacerbating Algorithmic Bias through Fairness Attacks
University of Southern California（南加州大学）；Information Sciences Institute（信息科学研究所）
近年来，算法公平性引起了人们的广泛关注，提出了许多定量的度量方法来表征不同机器学习算法的公平性。尽管有这种兴趣，这些公平措施的鲁棒性方面的故意对抗攻击尚未得到适当的解决。事实上，大多数对抗性机器学习都专注于恶意攻击对系统准确性的影响，而不考虑系统的公平性。我们提出了新类型的数据投毒攻击，对手故意针对系统的公平性。具体来说，我们提出了两个家庭的攻击目标的公平措施。在锚定攻击中，我们通过将中毒点放置在特定目标点附近来扭曲决策边界，从而使结果产生偏差。在对公平性的影响攻击中，我们的目标是最大化敏感属性与决策结果之间的协方差，并影响模型的公平性。我们进行了大量的实验，表明我们提出的攻击的有效性。
2020-12-16 cs.AI cs.CR cs.LG
An Information-Flow Perspective on Algorithmic Fairness
本文从信息流视角研究算法公平性，揭示二者的强对应关系，提出新的定量公平概念公平扩展，并验证现成信息流工具可用于分析多种算法公平属性。
2025-09-01 cs.AI cs.CR cs.CY
OxonFair: A Flexible Toolkit for Algorithmic Fairness
University of Oxford（牛津大学）
OxonFair是一个开源工具包，用于在二分类中强制执行公平性，支持NLP、计算机视觉和表格问题，可优化基于混淆矩阵的任意度量，联合优化性能与公平性约束，兼容sklearn、Autogluon和PyTorch。
2024-11-05 cs.AI cs.CY cs.LG
Data Management for Causal Algorithmic Fairness
University of Washington（华盛顿大学）
公平性越来越被认为是机器学习系统的关键组成部分。然而，正是这些系统所训练的基础数据往往反映出歧视，这表明存在数据管理问题。在本文中，我们首先区分了文献中关于公平的联想和因果定义，并认为公平的概念需要因果推理。然后，我们审查现有的工作，并确定未来的机会，应用数据管理技术的因果算法公平性。
2019-10-01 cs.DB cs.LG
Domain Adaptation meets Individual Fairness. And they get along
University of Michigan（密歇根大学）；University of Konstanz（康斯坦茨大学）；IBM Research（IBM研究院）；Princeton University（普林斯顿大学）；Stanford University（斯坦福大学）
许多算法偏差的例子是由分布偏移引起的。例如，机器学习（ML）模型在训练数据中代表性不足的人口统计群体上的表现往往更差。在本文中，我们利用算法公平性和分布偏移之间的这种联系来表明算法公平性干预可以帮助ML模型克服分布偏移，并且域自适应方法（用于克服分布偏移）可以减轻算法偏差。特别是，我们证明了（i）强制执行适当的个体公平性（IF）概念可以在协变量移位假设下提高ML模型的分布外准确性，以及（ii）有可能调整表示对齐方法进行域适应以强制个体公平性。前者是意料之外的，因为在制定综合框架干预措施时没有考虑到分配的变化。后者也是出乎意料的，因为代表对齐不是一个共同的方法，在个人公平文献。
2022-10-15 cs.AI cs.CY cs.LG
Algorithmic Fairness and Vertical Equity: Income Fairness with IRS Tax Audit Models
Carnegie Mellon University（卡内基梅隆大学）；Stanford University（斯坦福大学）；U.S. Treasury Department（美国财政部）
本研究探讨了算法公平性的背景下，告知美国国税局（IRS）的税务审计选择系统的问题。虽然算法公平性领域主要是围绕着对待相似个体的概念发展起来的，但我们探索了垂直公平的概念-适当地考虑到个体之间的相关差异-这是许多公共政策设置中公平性的核心组成部分。在美国个人所得税制度的设计中，纵向公平涉及不同收入水平纳税人之间税收和执法负担的公平分配。通过与财政部和国税局的独特合作，我们使用匿名个人纳税人微观数据，风险选择审计和2010-14年的随机审计来研究税收管理中的垂直公平。特别是，我们评估如何使用现代机器学习方法选择审计可能会影响纵向公平。首先，我们展示了如何使用更灵活的机器学习（分类）方法-而不是更简单的模型-将审计负担从高收入纳税人转移到中等收入纳税人。第二，我们表明，虽然现有的算法公平性技术可以减轻一些收入差距，他们可能会产生一个陡峭的成本性能。第三，我们表明，选择是否将漏报风险视为分类或回归问题是非常重要的。从分类到回归模型来预测低报将审计负担大幅转移到高收入个人，同时增加收入。最后，我们探讨了差异审计成本在形成审计分布中的作用。我们发现，狭隘地关注投资回报率会破坏纵向股权。我们的研究结果对整个公共部门的算法工具的设计具有影响。
2022-06-20 cs.CY cs.LG
Fairness for Unobserved Characteristics: Insights from Technological Impacts on Queer Communities
DeepMind；Centre for Artificial Intelligence, University College London（伦敦大学学院人工智能中心）
算法公平性的进步在很大程度上忽略了性取向和性别认同。我们探讨了酷儿在隐私、审查、语言、在线安全、健康和就业方面的担忧，以研究人工智能对酷儿社区的积极和消极影响。这些问题强调了公平性研究需要新的方向，考虑到多种因素，从隐私保护，上下文敏感性和过程公平性，社会技术的影响和包容性和参与性研究过程中日益重要的作用的认识。目前大多数算法公平性的方法都假设公平性的目标特征--通常是种族和法定性别--可以被观察或记录。性取向和性别认同是未观察到的特征的典型实例，这些特征经常缺失、未知或根本无法测量。本文强调了开发新的算法公平性的重要性，打破了现行的假设观察到的特点。
2021-04-28 cs.AI cs.CY cs.LG
Towards Equity and Algorithmic Fairness in Student Grade Prediction
University of California, Berkeley（加利福尼亚大学伯克利分校）
教育结果的公平性和AI在种族方面的公平性已经成为教育中越来越重要的话题。在这项工作中，我们解决这两个经验评估的成绩预测在高等教育中，一个重要的任务，以改善课程设计，计划干预学术支持，并提供课程指导学生。以公平为目标，我们尝试了几种策略，标签和实例平衡，试图尽量减少种族方面的算法性能差异。我们发现，一种对抗性学习方法，结合等级标签平衡，取得了迄今为止最公平的结果。以教育成果的公平为目标，我们尝试策略，以提高对历史上服务不足的群体的预测性能，并发现成功地对这些群体进行抽样，其历史成果成反比。随着人工智能技术在校园中越来越普遍，我们的方法满足了对框架的需求，以考虑敏感学生属性的性能权衡，并允许机构以关注公平和公正的方式利用其人工智能资源。
2021-05-14 cs.AI cs.CY cs.LG
Algorithmic Tradeoffs in Fair Lending: Profitability, Compliance, and Long-Term Impact
Delhi Public School（德里公共学校）；Ruby Park Kolkata, India（加尔各答Ruby Park，印度）
本文通过合成数据模拟，比较不同公平性约束对信贷利润和违约率的影响，发现移除受保护属性在公平性和盈利能力上均优于显式干预，并识别了公平信贷盈利的经济条件。
2025-06-03 cs.AI cs.CE cs.CY
Affirmative Algorithms: The Legal Grounds for Fairness as Awareness
Stanford University（斯坦福大学）；Stanford Institute for Economic Policy Research（斯坦福经济政策研究所）；Stanford Institute for Human-Centered Artificial Intelligence（斯坦福以人为本人工智能研究所）；Partnership on AI（人工智能伙伴关系）
虽然对算法公平性进行了一系列研究，但人们较少认识到的是，现代反歧视法可能会禁止采用此类技术。我们做了三个贡献。首先，我们讨论这种方法如何可能被视为“算法平权行动”，构成严重的法律风险，违反平等保护，特别是在高等教育的判例。这类案件越来越倾向于反分类，要求“个性化考虑”，并禁止无论出于何种目的对种族进行正式的定量加权。因此，这种判例法与机器学习的公平性根本不相容。其次，我们认为，政府承包的情况下提供了一个替代的基础算法公平性，因为这些情况下允许明确和定量的基于种族的补救措施的基础上的历史歧视的演员。第三，虽然这种理论方法有限，但它也指导着算法公平性的未来，要求调整必须根据实体对造成当今差异的历史歧视的责任进行校准。承包商的情况下提供了一个法律上可行的路径算法公平性在当前的宪法学说，但需要更多的研究在交叉点的算法公平性和因果推理，以确保偏见缓解量身定制的具体原因和机制的偏见。
2020-12-18 cs.CY cs.LG
Fairness On The Ground: Applying Algorithmic Fairness Approaches to Production Systems
Facebook（脸书）
已经提出了许多技术方法来确保机器学习系统做出的决策是公平的，但这些建议中很少有在现实世界的系统中进行过压力测试。本文介绍了一个团队的方法的挑战，应用算法公平性的方法，复杂的生产系统的背景下，一个大型科技公司的一个例子。我们讨论了我们如何解开产品和政策设计的规范性问题（如，“系统应该如何权衡不同利益相关者的利益和需求？“）从系统实现的经验性问题（如，“系统在实践中是否实现了期望的权衡？").我们还提出了一种方法来回答后一种问题，这使我们能够衡量机器学习系统和人类标签是如何在不同的相关群体中进行权衡的。我们希望我们将公平工具和方法整合到大规模复杂生产系统中的经验对面临类似挑战的其他从业者有用，并对希望更好地满足从业者需求的学者和研究人员有所启发。
2021-03-24 cs.CY cs.LG
Toward Unifying Group Fairness Evaluation from a Sparsity Perspective
University of Minnesota（明尼苏达大学）；University of Kentucky（肯塔基大学）
本文针对机器学习中算法公平性标准泛化性不足的问题，提出了一种基于稀疏性的统一评估框架，并通过多数据集与偏见缓解方法实验验证了其有效性与广泛适用性。
2025-11-01 cs.AI cs.CY cs.LG
On the Fairness of Causal Algorithmic Recourse
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Cambridge（剑桥大学）；Saarland University（萨尔大学）；The Alan Turing Institute（艾伦·图灵研究所）
算法公平性通常从预测的角度来研究。相反，在这里，我们调查的公平性的角度，追索权行动建议个人补救不利的分类。我们提出了两个新的公平标准，在组和个人层面上，这-不像以前的工作均衡的平均组明智的距离从决策边界-明确占功能之间的因果关系，从而捕捉下游的影响，在物理世界中进行追索行动。我们探讨了我们的标准如何与其他人，如反事实的公平，并表明，公平的追索权是补充公平的预测。我们从理论上和经验上研究如何通过改变分类器来执行公平的因果追索权，并在Adult数据集上进行案例研究。最后，我们讨论了我们的标准所揭示的数据生成过程中的公平违规行为是否可以通过社会干预而不是对分类器的限制来更好地解决。
2022-03-06 cs.AI cs.LG stat.ML
Effort-aware Fairness: Incorporating a Philosophy-informed, Human-centered Notion of Effort into Algorithmic Fairness Metrics
本文提出基于哲学中“力”概念的努力感知公平性（EaF）度量，通过实验证明人们更关注特征时间轨迹而非聚合值，并提供刑事司法与金融领域的计算流程，以帮助审计员发现并纠正针对努力改善但仍受系统性劣势影响的个体的不公平决策。
2025-09-11 cs.AI cs.CY cs.HC
Fairness in Deep Learning: A Computational Perspective
Department of Computer Science and Engineering, Texas A&M University（德克萨斯农工大学计算机科学与工程系）；Department of Industrial and Systems Engineering, Texas A&M University（德克萨斯农工大学工业与系统工程系）
深度学习越来越多地用于影响个人生活的高风险决策应用程序。然而，深度学习模型可能会表现出对受保护群体的算法歧视行为，可能会对个人和社会造成负面影响。因此，深度学习中的公平性最近引起了极大的关注。我们提供了一个综述，涵盖了最近的进展，以解决算法公平性问题的深度学习从计算的角度来看。具体来说，我们表明，可解释性可以作为一个有用的成分，诊断导致算法歧视的原因。我们还讨论了根据深度学习生命周期的三个阶段分类的公平性缓解方法，旨在推进深度学习的公平性领域，构建真正公平可靠的深度学习系统。
2020-03-19 cs.AI cs.CY cs.LG
Algorithmic Fairness Over Time: Advances & Prospects
Saarland University（萨尔大学）
本文针对反馈回路导致的算法时序公平性问题，提出静态与时序公平性概念的分类法，并指出未来研究的隐式假设、开放问题与挑战。
2026-10-14 cs.LG
FAT Forensics: A Python Toolbox for Algorithmic Fairness, Accountability and Transparency
University of Bristol（布里斯托尔大学）；RMIT University（皇家墨尔本理工大学）
今天，由机器学习算法驱动的人工智能系统可以对我们的日常生活做出重要的、有时具有法律约束力的决定。然而，在许多情况下，这些系统及其行动既没有受到管制，也没有得到认证。为了帮助应对这些算法可能造成的潜在危害，我们开发了一个开源工具箱，可以分析机器学习过程中选定的公平性，问责制和透明度方面：数据（及其特征），模型和预测，允许自动客观地向相关利益相关者报告。在本文中，我们描述了这个Python包的设计，范围，使用和影响，它是在3-Clause BSD开源许可证下发布的。
2022-08-25 cs.AI cs.CY cs.LG
Statistical and Structural Approaches to Algorithmic Fairness
Graz University of Technology（格拉茨技术大学）；Institute of Human-Centred Computing（人本计算研究所）
针对现代机器学习系统嵌入结构性不平等的问题，本文批判了当前公平性范式依赖确定性点估计和忽视个体结构背景的两大局限，并提出统计与结构相结合的方法。
2026-06-26 cs.AI cs.LG stat.ML
It's complicated. The relationship of algorithmic fairness and non-discrimination provisions for high-risk systems in the EU AI Act
University Tübingen（图宾根大学）；CZS Institute for AI and Law Germany（德国人工智能与法律研究所）
本文探讨欧盟人工智能法案中高风险系统中算法公平与非歧视规定的相互关系，分析两者之间的联系及未来可能的互动。
2026-01-22 cs.AI cs.CY cs.LG
Algorithmic Decision Making with Conditional Fairness
Tsinghua University（清华大学）；Zhejiang University（浙江大学）；Squirrel AI Learning（松鼠AI智适应教育）
公平性问题是决策系统中的一个重要问题。已经提出了各种公平性概念来衡量算法不公平的程度。在实践中，经常存在一组我们称之为公平变量的变量，它们是决策前的协变量，如用户的选择。在评估决策支持算法的公平性时，公平变量的影响无关紧要。因此，我们定义条件公平性作为一个更健全的公平性度量的公平性变量的条件。鉴于不同的先验知识的公平变量，我们证明了传统的公平符号，如人口统计学平价和均衡的赔率，是我们的条件公平符号的特殊情况。此外，我们提出了一个可导出的条件公平正则化器（DCFR），它可以集成到任何决策模型，跟踪算法决策的精度和公平性之间的权衡。具体来说，在我们的DCFR中提出了一种基于对抗表示的条件独立损失来衡量不公平的程度。通过在三个真实数据集上的大量实验，我们证明了我们的条件公平性符号和DCFR的优点。
2021-07-18 cs.LG stat.ML
From Utilitarian to Rawlsian Designs for Algorithmic Fairness
Princeton University（普林斯顿大学）
关于如何衡量算法系统的“公平性”，文献中缺乏共识，不同的衡量标准往往不一致。在本文中，我们通过借鉴功利主义和罗尔斯的伦理框架来处理这一任务。非正式地说，这两种分配正义理论分别将“好”作为人口的效用总和或最坏结果来衡量。我们提出了一个参数化类的目标函数，这两个（可能）冲突的概念之间的“好”插值。这一类是表示放松罗尔斯的“面纱的服从”，其序列的最佳解决方案收敛到一个功利和罗尔斯的最佳。研究了该类的其他几个性质，包括：1）与正则化优化的关系，2）一致估计的可行性，以及3）算法成本。在几个现实世界的数据集，我们计算最优的解决方案，并构建功利主义和罗尔斯的“好”的概念之间的权衡。从经验上讲，我们证明，增加模型的复杂性可以表现出严格的改善这两个措施的“好”。这项工作表明，适当程度的“公平”可以通过设计师的偏好超过诱导功利主义和罗尔斯的“好”的空间。
2023-02-07 cs.CY cs.LG
Fair Recourse for All: Ensuring Individual and Group Fairness in Counterfactual Explanations
University of Applied Sciences and Arts of Southern Switzerland（瑞士南方应用科学与艺术大学）；Università della Svizzera italiana（瑞士意大利大学）
本文提出了一种基于强化学习的方法，生成同时满足个体和群体公平性的反事实解释，以提升XAI的公平性和透明度。
2026-01-28 cs.AI cs.LG
The Pursuit of Algorithmic Fairness: On "Correcting" Algorithmic Unfairness in a Child Welfare Reunification Success Classifier
Oregon Department of Human Services (ODHS)（俄勒冈州人类服务部（ODHS））；Office of Reporting, Research, Analytics, and Implementation (ORRAI)（报告、研究、分析和实施办公室（ORRAI））
公共部门预测分析工具的算法公平性越来越成为一个需要严格探索的话题。例如，虽然与刑事累犯和入学有关的文书引起了很大的关注，但儿童福利管辖区的预测文书却受到相当少的关注。部分原因是，这类工具相对较少，而且通过算法公平性的角度进行审查的工具更少。在这项工作中，我们试图解决这两个差距。为此，提出了一种新的分类算法，用于预测俄勒冈州儿童福利的团聚成功，包括所有相关的细节与建设这样一个工具。这一工具的目的是尽量增加稳定团聚的人数，并查明可能需要额外资源和审查的不稳定团聚情况。此外，由于所得到的工具的算法公平性，如果不改变，无疑是缺乏的，用于减轻这种不公平的使用程序，以及每个困难和不可避免的选择背后的理由。这个过程，虽然类似于其他后处理组特定的阈值方法，是新颖的，在其使用的惩罚优化器和上下文必要的子采样。这些新颖的方法组成部分产生了丰富的和翔实的经验理解的权衡公平性和准确性之间的连续性。由于所开发的程序可推广到各种组级别的算法公平性定义，以及任意数量的受保护属性级别和风险阈值，该方法广泛适用于儿童福利内外。
2020-10-22 cs.LG stat.CO
On the Privacy Risks of Algorithmic Fairness
National University of Singapore (NUS)（新加坡国立大学）
数学公平性和隐私性是值得信赖的机器学习的重要支柱。公平的机器学习旨在最大限度地减少对受保护群体的歧视，例如，对模型施加约束，以使不同群体的行为平等。这可能会以不成比例的方式改变训练数据点对公平模型的影响。我们研究了这如何改变模型关于其训练数据的信息泄漏。我们分析了群体公平的隐私风险（例如，均衡的几率）通过成员推断攻击的镜头：推断数据点是否用于训练模型。我们表明，公平性是以隐私为代价的，而这种代价并不是平均分布的：公平模型的信息泄漏在无特权的子组上显着增加，这是我们需要公平学习的子组。我们发现，训练数据越有偏见，实现公平的非特权子群的隐私成本将越高。我们为一般的机器学习算法提供了全面的实证分析。
2021-04-07 cs.CR cs.CY cs.LG
Is invariance all you need for algorithmic fairness? Removing demographic information can create new bias
本文研究算法公平性中人口统计表示不变性的作用，证明强制不变性可能阻碍偏见缓解甚至产生新偏见，并区分边缘与类条件不变性，指出其分别对应人口统计均等和均等化几率，经理论和实证验证，认为不变性对公平性既不可取也不充分。
2026-09-29 cs.AI cs.LG
Imputation Strategies Under Clinical Presence: Impact on Algorithmic Fairness
MRC Biostatistics Unit（MRC生物统计学单元）；University of Cambridge（剑桥大学）；The Alan Turing Institute（阿兰·图灵研究所）；McCombs School of Business（麦库姆斯商学院）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Rady School of Management（雷迪管理学院）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
本文研究医疗数据缺失处理对算法公平性的影响，指出群体特异性插补可能加剧差异，并提出经验指导插补选择及报告的框架。
2025-03-17 cs.AI cs.LG
Individual Fairness under Uncertainty
Florida International University（佛罗里达国际大学）；Carnegie Mellon University（卡内基梅隆大学）；University of Mississippi（密西西比大学）；National Institutes of Health（美国国立卫生研究院）
针对类别标签审查导致的不确定性，本文提出无需 Lipschitz 条件的排序视角个体公平性度量与算法，并在四个真实数据集上验证其兼顾预测性能与降低歧视的优势。
2023-12-11 cs.AI cs.CY cs.LG
Developing a Philosophical Framework for Fair Machine Learning: Lessons From The Case of Algorithmic Collusion
Carnegie Mellon University（卡内基梅隆大学）
本文以算法共谋影响全体消费者的市场公平问题为例，提出将形式化公平指标与明确范围的规范性原则相结合的伦理框架，以弥补现有公平机器学习研究主要关注歧视性分类的不足。
2023-09-27 cs.CY cs.LG
Ensuring Fairness under Prior Probability Shifts
Indian Institute of Science（印度科学学院）；Microsoft Research（微软研究院）
在本文中，我们研究的问题，公平的分类存在先验概率转移，其中的训练集分布不同于测试集。这种现象可以在几个真实世界数据集的年度记录中观察到，例如累犯记录和医疗支出调查。如果不考虑这种变化，可能会导致分类器的预测对特定的人群亚组变得不公平。虽然被称为比例平等（PE）的公平概念解释了这种变化，但确保PE公平的程序是未知的。在这项工作中，我们提出了一种方法，称为CAPE，它提供了一个全面的解决方案，上述问题。CAPE利用流行率估计技术，抽样和分类器的集成，以确保公平的预测下先验概率的变化。我们引入了一个度量，称为患病率差异（PD），CAPE试图尽量减少，以确保PE公平。我们从理论上建立，这个度量表现出几个理想的属性。我们通过对合成数据集进行全面的实证评估来评估CAPE的有效性。我们还比较了CAPE与几种流行的公平分类器在现实世界数据集上的性能，如COMPAS（犯罪风险评估）和MEPS（医疗支出面板调查）。结果表明，CAPE确保PE公平的预测，同时表现良好的其他性能指标。
2020-05-06 cs.AI cs.CY cs.LG
Cohort Shapley value for algorithmic fairness
Hitachi, Ltd.（日立有限公司）；Stanford University（斯坦福大学）
队列Shapley值是基于博弈论的变量重要性的无模型方法，不使用任何未观察到的和潜在不可能的特征组合。我们使用它来评估算法公平性，使用著名的COMPAS累犯数据作为我们的例子。这种方法允许人们识别数据集中的每个个体，他们受到受保护属性（如种族）价值的不利或有利影响的程度。该方法可以这样做，即使种族不是原始的预测因子之一，即使它没有访问专有的算法，作出了预测。博弈论的基础使我们能够定义数据集的总变量重要性，使其与每个主题的定义保持一致。我们可以研究公平性文献中多个感兴趣的量的变量重要性，包括假阳性预测。
2021-05-15 cs.AI cs.LG econ.EM
Beyond Algorithmic Fairness: A Guide to Develop and Deploy Ethical AI-Enabled Decision-Support Tools
Georgia Institute of Technology（佐治亚理工学院）
本文针对AI与优化交叉领域工程系统的伦理部署挑战，提出需超越算法公平，覆盖全流程伦理决策，并通过多领域案例明确伦理考量要点，以推动研究人员的伦理反思。
2024-09-17 cs.AI cs.CY cs.LG
Fairness in Algorithmic Profiling: A German Case Study
School of Social Sciences, University of Mannheim（曼海姆大学社会科学学院）；dmTECH；LMU Munich（慕尼黑大学）；Joint Program in Survey Methodology, University of Maryland（马里兰大学联合调查方法学项目）
公共部门越来越多地使用药物定性分析，作为有效和客观地分配有限公共资源的一种手段。一个例子是基于预测的求职者统计概况分析，以指导公共就业服务部门分配支助措施。然而，对潜在的副作用，如无意中的歧视和公平问题的经验评估是罕见的。在本研究中，我们从预测性能、公平性指标和数据分析决策的脆弱性方面比较和评估了预测求职者长期失业风险的统计模型。以德国为例，我们利用德国公共就业服务部门定期收集的求职者就业历史的行政数据，在现实条件下评估分析模型。除了表明这些数据可以用于预测长期失业率具有竞争力的准确性水平，我们强调，不同的分类政策有非常不同的公平性的影响。因此，我们呼吁在实施这些模式之前进行严格的审计。
2021-08-04 cs.CY cs.LG stat.AP
