Algorithmic Fairness
Tel-Aviv University（特拉维夫大学）
越来越多的关于人类日常生活的决策正在由人工智能（AI）算法控制，从医疗保健，交通和教育到大学招生，招聘，提供贷款等领域。由于它们现在涉及我们生活的许多方面，因此开发不仅准确而且客观公正的人工智能算法至关重要。最近的研究表明，算法决策可能是固有的倾向于不公平的，即使是没有intention.This本文提出了一个概述的主要概念，识别，测量和改善算法公平性时，使用AI算法。本文首先讨论了算法偏见和不公平的原因，以及公平性的常用定义和度量。然后，公平性增强机制进行了审查，并分为预处理，过程中和后处理机制。然后对这些机制进行全面比较，以便更好地了解在不同情况下应使用哪些机制。然后，本文介绍了最常用的公平性相关的数据集在这一领域。最后，本文通过回顾几个新兴的研究子领域的算法公平性结束。
2020-01-21 cs.AI cs.CY cs.LG
Non-portability of Algorithmic Fairness in India
Google Research（谷歌研究院）
传统的算法公平性在其子组、值和优化方面是西方的。在本文中，我们问如何移植的假设，这主要是西方采取的算法公平性是一个不同的地理文化背景，如印度。基于对印度学者的36次专家访谈，以及对印度新兴算法部署的分析，我们确定了三组挑战，这些挑战吞噬了机器学习模型与印度受压迫社区之间的巨大距离。我们认为，仅仅将技术公平工作翻译到印度子群体可能只是一种装饰，相反，需要通过重新构建数据和模型，赋予受压迫社区权力，更重要的是，使生态系统能够集体重新想象公平机器学习。
2020-12-08 cs.CY cs.LG
Identifying biases in legal data: An algorithmic fairness perspective
University of Michigan（密歇根大学）；Princeton University（普林斯顿大学）；Claudius Legal Intelligence（克劳迪乌斯法律智能公司）
解决法律案件数据中的代表偏见和量刑差异的必要性早已得到承认。在这里，我们从算法公平性的角度研究了识别和测量大规模法律案件数据中的偏差的问题。我们的方法利用两个回归模型：一个基线，代表了一个“典型”的判断，由数据和“公平”的判断，适用于三个公平的概念之一。比较“典型”法官和“公正”法官的决定可以量化人口群体之间的偏见，正如我们在库克县（伊利诺伊州）的犯罪数据的四个案例研究中所证明的那样。
2021-09-21 cs.AI cs.CY cs.LG
Human Perceptions of Fairness in Algorithmic Decision Making: A Case Study of Criminal Risk Prediction
MPI-SWS（马克斯·普朗克软件系统研究所）；Saarland University（萨尔兰大学）；University of Maryland（马里兰大学）；Cambridge University（剑桥大学）；Alan Turing Institute（艾伦·图灵研究所）
随着算法越来越多地用于做出影响人类生活的重要决策，从社会福利分配到预测犯罪累犯风险，人们对算法决策的公平性提出了担忧。大多数关于算法公平性的先前作品规范性地规定了应该如何做出公平的决定。相比之下，在这里，我们连续调查用户如何感知和推理算法决策的公平性。这项工作的一个关键贡献是我们提出的框架，以了解为什么人们认为某些功能是公平或不公平的算法中使用。我们的框架确定了八个属性的功能，如相关性，意志性和可靠性，作为潜在的考虑因素，告知人们的道德判断的公平性的功能使用决策算法。我们通过对576人进行的一系列基于ESTA的调查来验证我们的框架。我们发现，基于一个人对我们示例场景中某个特征的八个潜在属性的评估，我们可以准确地（> 85%）预测这个人是否会认为该特征的使用是公平的。我们的发现具有重要意义。在高层次上，我们表明，人们的不公平的关注是多方面的，并认为未来的研究需要解决歧视以外的不公平的关注。在低层次上，我们发现人们对公平性的判断存在相当大的分歧。我们找出分歧的根源，并指出解决这些分歧的可能途径。
2018-02-26 cs.CY cs.LG stat.ML
Algorithmic Fairness in Education
Cornell University（康奈尔大学）
数据驱动的预测模型越来越多地用于教育，以支持学生，教师和管理员。然而，人们担心这些算法系统的预测和使用的公平性。在这篇教育领域算法公平性的介绍中，我们与之前关于教育机会、偏见和歧视的文献进行了比较，并研究了算法系统的核心组成部分（测量、模型学习和行动），以确定开发和部署这些系统过程中的偏见和歧视来源。统计，相似性为基础的，和因果关系的公平概念进行审查和对比的方式，他们在教育环境中的应用。对教育技术的政策制定者和开发者的建议为如何促进教育中的算法公平性提供了指导。
2021-04-11 cs.AI cs.CY cs.LG
An Introduction to Algorithmic Fairness
近年来，公众和科学界越来越意识到，算法系统可以复制、放大甚至在我们的社会中引入不公平。这些课堂讲稿介绍了算法公平性研究中的一些核心概念。我们列出了不同类型的公平相关的危害，解释了算法公平性的两个主要概念，并将这些危害背后的偏见映射到机器学习开发过程中。
2021-05-12 cs.CY
Dimensions of Diversity in Human Perceptions of Algorithmic Fairness
Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）；Max Planck Institute for Research on Collective Goods（马克斯·普朗克集体商品研究所）；KAIST（韩国科学技术院）；Institute for Basic Science（基础科学研究院）；University of Cambridge（剑桥大学）；Alan Turing Institute（艾伦·图灵研究所）
越来越多的监督委员会和监管机构寻求监督和管理那些决定人们生活的算法。以前的工作已经探索了人们如何相信应该做出算法决策，但很少有人了解社会人口统计学或决策场景的直接经验等个人因素如何影响他们的道德观点。我们通过探索人们对程序算法公平性（在算法决策中使用特定特征的公平性）的一个方面的看法如何与他们的（i）人口统计数据（年龄，教育，性别，种族，政治观点）和（ii）个人经验与算法决策情景相关，从而朝着填补这一空白迈出了一步。我们发现，政治观点和个人经验的算法决策的背景下显着影响的公平性使用不同的功能保释决策的看法。根据我们的研究结果，我们讨论了利益相关者参与和算法监督的影响，包括在组成监督和监管机构时需要考虑多样性的多个维度。
2022-09-05 cs.CY cs.LG
Re-imagining Algorithmic Fairness in India and Beyond
Google Research（谷歌研究院）
传统的算法公平性是以西方为中心的，这体现在它的子群体、价值观和方法上。在本文中，我们去中心化算法公平性并分析印度的AI力量。基于36个定性访谈和在印度的算法部署的话语分析，我们发现，算法公平性的几个假设受到挑战。我们发现，在印度，由于社会经济因素，数据并不总是可靠的，机器学习制造商似乎遵循双重标准，人工智能唤起了毫无疑问的愿望。我们认为，在印度，模特和受压迫社区之间的距离很大，仅本地化模特公平性就可以是橱窗装饰。相反，我们重新设想印度的算法公平性，并提供路线图来重新调整数据和模型，赋予受压迫的社区权力，并启用Fair-ML生态系统。
2021-01-27 cs.AI cs.CL cs.CY
Algorithmic Fairness in AI Surrogates for End-of-Life Decision-Making
The Department of Computing & Software Systems University of Washington Bothell Harborview Medical Center, UW Medicine（计算与软件系统系华盛顿大学Bothell分校哈佛湾医疗中心，华盛顿大学医学部）
针对临终决策 AI 替代者，本文将主要公平概念映射到现实临终场景并跨道德传统考察，提出公平应包含道德代表性及对患者价值观、关系与世界观的忠实。
2025-10-16 cs.AI cs.CY cs.LG
Navigating Ensemble Configurations for Algorithmic Fairness
Carnegie Mellon University（卡内基梅隆大学）；IBM Research（IBM研究院）
偏差缓和器可以提高机器学习模型中的算法公平性，但它们对公平性的影响在数据分割中往往不稳定。训练更稳定模型的一种流行方法是集成学习，但不幸的是，目前还不清楚如何将集成与缓解器相结合，以最好地在公平性和预测性能之间进行权衡。为此，我们构建了一个开源库，使8个缓解器，4个集合及其相应的超参数的模块化组合成为可能，我们根据经验探索了13个数据集上的配置空间。我们从这种探索中提炼出我们的见解，以实践者的指导图的形式，我们证明是强大的和可复制的。
2022-10-11 cs.CY cs.LG
Net benefit, calibration, threshold selection, and training objectives for algorithmic fairness in healthcare
Stanford Center for Biomedical Informatics Research（斯坦福生物医学信息学研究中心）；Stanford University（斯坦福大学）
越来越多的工作使用算法公平性的范式来构建技术的发展，以预测和主动缓解可能因使用模型指导决策而导致的健康不公平的引入或加剧。我们评估了模型性能，公平性和决策的预期效用之间的相互作用，为医疗保健预测模型的开发和评估算法公平性原则的可操作性提供了实用的建议。我们通过开发模型进行了一项经验性病例研究，以估计动脉粥样硬化性心血管疾病的十年风险，从而根据临床实践指南告知他汀类药物的启动。我们证明，将公平性考虑纳入模型训练目标的方法通常不会提高模型性能，也不会为任何研究的患者人群提供更大的净收益，而不是使用标准学习范式，然后选择与患者偏好一致的阈值，干预有效性的证据和模型校准。当测量结果不受患者人群之间差异测量误差的影响且阈值选择不受约束时，这些结果成立，无论模型性能指标是否存在差异，例如真阳性和假阳性错误率。最后，我们主张将模型开发工作的重点放在开发校准模型上，这些模型可以很好地预测所有患者人群的结果，同时强调这些努力是对透明报告，参与式设计和推理模型知情干预措施的影响的补充。
2022-02-03 cs.CY cs.LG stat.ML
On the Privacy Risks of Algorithmic Fairness
National University of Singapore (NUS)（新加坡国立大学）
数学公平性和隐私性是值得信赖的机器学习的重要支柱。公平的机器学习旨在最大限度地减少对受保护群体的歧视，例如，对模型施加约束，以使不同群体的行为平等。这可能会以不成比例的方式改变训练数据点对公平模型的影响。我们研究了这如何改变模型关于其训练数据的信息泄漏。我们分析了群体公平的隐私风险（例如，均衡的几率）通过成员推断攻击的镜头：推断数据点是否用于训练模型。我们表明，公平性是以隐私为代价的，而这种代价并不是平均分布的：公平模型的信息泄漏在无特权的子组上显着增加，这是我们需要公平学习的子组。我们发现，训练数据越有偏见，实现公平的非特权子群的隐私成本将越高。我们为一般的机器学习算法提供了全面的实证分析。
2021-04-07 cs.CR cs.CY cs.LG
Fair and Unbiased Algorithmic Decision Making: Current State and Future Challenges
JRC（欧盟联合研究中心）
机器学习算法现在经常用于对人类生活产生重大影响的敏感环境中，例如信贷或刑事司法。这是由这样一种想法驱动的，即“客观”机器的决定完全基于事实，不受人类认知偏见、歧视倾向或情绪的影响。然而，有压倒性的证据表明，当算法基于包含有偏见的人类决策的数据时，它们可以继承甚至延续人类决策中的偏见。这导致了对公平意识机器学习的呼吁。然而，公平性是一个复杂的概念，这也反映在试图正式公平算法决策。公平性的统计形式化导致了一长串标准，这些标准在不同的情况下都是有缺陷的（甚至是有害的）。此外，这些标准中固有的权衡使得不可能将它们统一在一个总的框架中。因此，算法中的公平性约束必须特定于算法所应用的域。未来，算法决策系统的研究应该意识到数据和开发者的偏见，并关注透明度，以促进定期的公平审计。
2019-01-15 cs.CY cs.LG stat.ML
The Intersectionality Problem for Algorithmic Fairness
Syracuse University（雪城大学）；University of San Francisco（旧金山大学）；University of Chicago（芝加哥大学）
本文探讨了算法公平性中的交叉性问题，通过制定期望标准并基于简单假设检验提出解决方案，结合经验评估验证其有效性。
2024-11-16 cs.AI cs.CY cs.LG
Demographics and discussion influence views on algorithmic fairness
算法公平性领域已经突出了伦理问题，这些问题可能没有纯粹的技术答案。例如，不同的算法公平性约束通常不可能同时满足，在它们之间进行选择需要人们可能不同意的价值判断。在算法公平性上达成共识将是困难的，除非我们首先理解人们为什么不同意。在这里，我们使用一系列调查来研究两个因素如何影响分歧：人口统计和讨论。首先，我们研究了在算法公平性问题上的分歧是否部分是由人口背景的差异引起的。这是一个有趣的问题，因为计算机科学在人口统计学上是不具有代表性的。如果关于算法公平性的信念与人口统计学相关，并且算法设计者在人口统计学上不具有代表性，则关于算法公平性的决策可能无法反映整个人口的意愿。我们表明，使用三个独立的人群的调查，有性别差异的信念算法公平性。例如，女性不太可能赞成在向学生推荐课程的算法中将性别作为一个特征，如果这样做会使女性学生不太可能被推荐科学课程。其次，我们调查人们对算法公平性的看法是否可以通过讨论改变，并通过对两个计算机科学班学生的纵向调查表明，他们可以改变。
2018-03-05 cs.CY
The FairCeptron: A Framework for Measuring Human Perceptions of Algorithmic Fairness
RWTH Aachen University（亚琛工业大学）；GESIS - Leibniz Institute for the Social Sciences（GESIS - 莱布尼茨社会科学研究所）
算法公平性的测量通常不考虑人类对公平性的看法，这种看法在不同的社会人口统计学和利益相关者之间可能存在很大差异。FairCeptron框架是一种研究算法决策（如排名或分类）中公平性感知的方法。它支持（i）研究人类对公平的感知，以及（ii）将这些人类感知与算法公平性的度量进行比较。该框架包括公平场景生成、公平感知获取和公平感知分析。我们证明了FairCeptron框架，将其应用到一个假设的大学录取的情况下，我们收集人类的公平观念，在少数民族的存在。FairCeptron框架的实现是公开可用的，并且它可以很容易地适应于研究其他应用环境中的算法公平性的感知。我们希望我们的工作为提升人类公平感知研究在设计算法决策系统过程中的作用铺平了道路。
2021-02-08 cs.AI cs.CY
Algorithmic Fairness and Vertical Equity: Income Fairness with IRS Tax Audit Models
Carnegie Mellon University（卡内基梅隆大学）；Stanford University（斯坦福大学）；U.S. Treasury Department（美国财政部）
本研究探讨了算法公平性的背景下，告知美国国税局（IRS）的税务审计选择系统的问题。虽然算法公平性领域主要是围绕着对待相似个体的概念发展起来的，但我们探索了垂直公平的概念-适当地考虑到个体之间的相关差异-这是许多公共政策设置中公平性的核心组成部分。在美国个人所得税制度的设计中，纵向公平涉及不同收入水平纳税人之间税收和执法负担的公平分配。通过与财政部和国税局的独特合作，我们使用匿名个人纳税人微观数据，风险选择审计和2010-14年的随机审计来研究税收管理中的垂直公平。特别是，我们评估如何使用现代机器学习方法选择审计可能会影响纵向公平。首先，我们展示了如何使用更灵活的机器学习（分类）方法-而不是更简单的模型-将审计负担从高收入纳税人转移到中等收入纳税人。第二，我们表明，虽然现有的算法公平性技术可以减轻一些收入差距，他们可能会产生一个陡峭的成本性能。第三，我们表明，选择是否将漏报风险视为分类或回归问题是非常重要的。从分类到回归模型来预测低报将审计负担大幅转移到高收入个人，同时增加收入。最后，我们探讨了差异审计成本在形成审计分布中的作用。我们发现，狭隘地关注投资回报率会破坏纵向股权。我们的研究结果对整个公共部门的算法工具的设计具有影响。
2022-06-20 cs.CY cs.LG
Domain Adaptation meets Individual Fairness. And they get along
University of Michigan（密歇根大学）；University of Konstanz（康斯坦茨大学）；IBM Research（IBM研究院）；Princeton University（普林斯顿大学）；Stanford University（斯坦福大学）
许多算法偏差的例子是由分布偏移引起的。例如，机器学习（ML）模型在训练数据中代表性不足的人口统计群体上的表现往往更差。在本文中，我们利用算法公平性和分布偏移之间的这种联系来表明算法公平性干预可以帮助ML模型克服分布偏移，并且域自适应方法（用于克服分布偏移）可以减轻算法偏差。特别是，我们证明了（i）强制执行适当的个体公平性（IF）概念可以在协变量移位假设下提高ML模型的分布外准确性，以及（ii）有可能调整表示对齐方法进行域适应以强制个体公平性。前者是意料之外的，因为在制定综合框架干预措施时没有考虑到分配的变化。后者也是出乎意料的，因为代表对齐不是一个共同的方法，在个人公平文献。
2022-10-15 cs.AI cs.CY cs.LG
Matching Code and Law: Achieving Algorithmic Fairness with Optimal Transport
越来越多的算法歧视被视为一个社会和法律问题。作为响应，在文献中已经开发了用于在机器学习中实现算法公平性的许多标准。本文提出了连续公平算法（CFA $θ$），使不同的公平性定义之间的连续插值。更具体地说，我们对现有文献做出了三个主要贡献。首先，我们的方法允许决策者在个人和群体公平的具体概念之间不断变化。因此，该算法使决策者能够在算法过程中编码的歧视程度上采用中间的“世界观”，为文献中迄今为止提出的“我们都是平等的”（WAE）和“你所看到的就是你所得到的”（WYSIWYG）的极端情况添加细微差别。其次，我们使用最优运输理论，特别是重心的概念，最大限度地提高决策者的效用下选择的公平约束。第三，该算法能够处理交叉性的情况，即，根据若干标准对某些群体进行多方面歧视。我们讨论了三个主要的例子（信贷申请;大学录取;保险合同），并绘制出我们的方法的法律和政策含义。个人和群体公平之间的权衡的明确形式化允许这种后处理方法被定制为不同的情境上下文，其中一个或另一个公平标准可能优先。最后，我们对我们的模型进行了实验评估。
2019-09-24 cs.CY stat.ML
Towards a Flexible Framework for Algorithmic Fairness
越来越多的学者寻求整合法律和技术见解，以打击人工智能系统中的偏见。近年来，为保证算法决策系统的非歧视性，提出了许多不同的定义。在本文中，我们首先简要描述了涵盖算法歧视案件的欧盟法律框架。其次，我们提出了一个算法，利用最佳运输提供了一个灵活的框架，不同的公平性定义之间的插值。第三，我们表明，在现实世界的场景中实施算法公平性干预仍然存在重要的规范和法律挑战。总体而言，本文旨在促进寻求灵活的技术框架，可以适应不同的法律和规范的公平约束。
2020-10-15 cs.CY
Poisoning Attacks on Algorithmic Fairness
Universitat Pomepu Fabra（庞培法布拉大学）；Università degli Studi di Cagliari（卡利亚里大学）
对抗性机器学习的研究已经表明，即使将一小部分中毒点注入训练数据，机器学习模型的性能也会受到严重影响。虽然这种中毒攻击对模型准确性的影响已被广泛研究，但其对其他模型性能指标的潜在影响仍有待评估。在这项工作中，我们引入了一个优化框架中毒攻击对算法公平性，并开发了一个基于梯度的中毒攻击，旨在引入不同群体之间的分类差异的数据。我们的经验表明，我们的攻击是有效的，不仅在白盒设置，其中攻击者可以完全访问目标模型，但也在一个更具挑战性的黑盒情况下，其中的攻击是针对替代模型进行优化，然后转移到目标模型。我们相信，我们的研究结果为定义一组全新的针对不同场景中算法公平性的对抗攻击铺平了道路，并且调查此类漏洞将有助于在未来设计更强大的算法和对策。
2020-06-26 cs.CR cs.CY cs.LG
Causal Feature Selection for Algorithmic Fairness
University of Chicago（芝加哥大学）；IBM Research AI（IBM研究院人工智能部门）
在高风险的社会决策中使用机器学习（ML）鼓励在整个ML生命周期中考虑公平性。虽然数据集成是生成高质量训练数据的主要步骤之一，但大多数公平性文献都忽略了这一阶段。在这项工作中，我们在数据管理的集成组件中考虑公平性，旨在确定在不向数据集添加任何偏差的情况下提高预测的特征。我们在因果干预公平范式下工作。在不需要先验的基础结构因果模型的情况下，我们提出了一种方法来确定一个子集合的功能，通过执行不同的功能子集之间的条件独立性测试，确保数据集的公平性。我们使用组测试来提高方法的复杂性。我们从理论上证明了所提出的算法的正确性，以确定功能，确保干预的公平性，并表明，次线性条件独立性测试是足够的，以确定这些变量。在真实世界的数据集上进行了详细的经验评估，以证明我们的技术的有效性和效率。
2022-03-31 cs.CY cs.DB cs.LG
Affirmative Algorithms: The Legal Grounds for Fairness as Awareness
Stanford University（斯坦福大学）；Stanford Institute for Economic Policy Research（斯坦福经济政策研究所）；Stanford Institute for Human-Centered Artificial Intelligence（斯坦福以人为本人工智能研究所）；Partnership on AI（人工智能伙伴关系）
虽然对算法公平性进行了一系列研究，但人们较少认识到的是，现代反歧视法可能会禁止采用此类技术。我们做了三个贡献。首先，我们讨论这种方法如何可能被视为“算法平权行动”，构成严重的法律风险，违反平等保护，特别是在高等教育的判例。这类案件越来越倾向于反分类，要求“个性化考虑”，并禁止无论出于何种目的对种族进行正式的定量加权。因此，这种判例法与机器学习的公平性根本不相容。其次，我们认为，政府承包的情况下提供了一个替代的基础算法公平性，因为这些情况下允许明确和定量的基于种族的补救措施的基础上的历史歧视的演员。第三，虽然这种理论方法有限，但它也指导着算法公平性的未来，要求调整必须根据实体对造成当今差异的历史歧视的责任进行校准。承包商的情况下提供了一个法律上可行的路径算法公平性在当前的宪法学说，但需要更多的研究在交叉点的算法公平性和因果推理，以确保偏见缓解量身定制的具体原因和机制的偏见。
2020-12-18 cs.CY cs.LG
What's Distributive Justice Got to Do with It? Rethinking Algorithmic Fairness from the Perspective of Approximate Justice
本文批判了将算法公平性标准简单等同于分配正义理想的做法，提出在不完美决策系统中应关注理想分配偏差的分布不公平性，并重新思考公平性标准的使用。
2024-07-17 cs.CY
Fairness On The Ground: Applying Algorithmic Fairness Approaches to Production Systems
Facebook（脸书）
已经提出了许多技术方法来确保机器学习系统做出的决策是公平的，但这些建议中很少有在现实世界的系统中进行过压力测试。本文介绍了一个团队的方法的挑战，应用算法公平性的方法，复杂的生产系统的背景下，一个大型科技公司的一个例子。我们讨论了我们如何解开产品和政策设计的规范性问题（如，“系统应该如何权衡不同利益相关者的利益和需求？“）从系统实现的经验性问题（如，“系统在实践中是否实现了期望的权衡？").我们还提出了一种方法来回答后一种问题，这使我们能够衡量机器学习系统和人类标签是如何在不同的相关群体中进行权衡的。我们希望我们将公平工具和方法整合到大规模复杂生产系统中的经验对面临类似挑战的其他从业者有用，并对希望更好地满足从业者需求的学者和研究人员有所启发。
2021-03-24 cs.CY cs.LG
The Impact of Differential Feature Under-reporting on Algorithmic Fairness
Amazon（亚马逊）；Carnegie Mellon University（卡内基梅隆大学）
本文针对公共部门算法中因数据来源差异导致的特征漏报问题，提出可解析模型并设计专门缓解方法，证明其能有效抑制不公平性扩大。
2024-05-03 cs.CY cs.LG stat.ML
Toward Unifying Group Fairness Evaluation from a Sparsity Perspective
University of Minnesota（明尼苏达大学）；University of Kentucky（肯塔基大学）
本文针对机器学习中算法公平性标准泛化性不足的问题，提出了一种基于稀疏性的统一评估框架，并通过多数据集与偏见缓解方法实验验证了其有效性与广泛适用性。
2025-11-01 cs.AI cs.CY cs.LG
Understanding Relations Between Perception of Fairness and Trust in Algorithmic Decision Making
在人工智能（AI）取得巨大成功之后，管理决策越来越多地采用数学过程。这种范式转变正在发生，因为这些复杂的人工智能技术正在保证性能指标的最优性。然而，由于公平性等各种问题，这种采用目前正在接受审查，人工智能算法的公平性如何影响用户的信任是值得追求的。在这方面，我们的目标是了解诱导算法公平性和它在人类的感知之间的关系。特别是，我们感兴趣的是这两者是否正相关，并反映实质性的公平。此外，我们还研究了诱导算法公平性如何影响用户信任的算法决策。为了理解这一点，我们进行了一项用户研究，模拟候选人入围介绍（操纵数学）公平的人力资源招聘设置。我们的实验结果表明，不同水平的公平性是正相关的人类感知的公平性，同时它也是正相关的用户信任的算法决策。有趣的是，我们还发现，用户对较高水平的公平性比较低水平的公平性更敏感。此外，本文还对公平感的研究进行了讨论，总结了本研究的理论和实践意义。
2021-09-29 cs.CY cs.HC
Towards Substantive Conceptions of Algorithmic Fairness: Normative Guidance from Equal Opportunity Doctrines
New York University（纽约大学）；Surveillance Technology Oversight Project（监控技术监督项目）
在这项工作中，我们使用平等机会（EO）的政治哲学学说，明确的规范性判断嵌入在不同的概念算法公平性。我们对比正式的EO方法，狭隘地集中在公平的竞争在离散的决策点，与实质性的EO学说，看看人们的公平生活的机会，更全面地在一生中。我们使用这种分类法来提供一个道德解释的不可能的结果之间的不相容的公平竞争的不同概念-向前看与向后看-当人们没有公平的生活机会。我们用这个结果来激发实质性的概念算法公平性和概述两个合理的程序的基础上的运气平等主义学说的EO，罗尔斯的公平机会均等的原则。
2022-07-11 cs.AI cs.CY cs.LG
Fairness in Deep Learning: A Computational Perspective
Department of Computer Science and Engineering, Texas A&M University（德克萨斯农工大学计算机科学与工程系）；Department of Industrial and Systems Engineering, Texas A&M University（德克萨斯农工大学工业与系统工程系）
深度学习越来越多地用于影响个人生活的高风险决策应用程序。然而，深度学习模型可能会表现出对受保护群体的算法歧视行为，可能会对个人和社会造成负面影响。因此，深度学习中的公平性最近引起了极大的关注。我们提供了一个综述，涵盖了最近的进展，以解决算法公平性问题的深度学习从计算的角度来看。具体来说，我们表明，可解释性可以作为一个有用的成分，诊断导致算法歧视的原因。我们还讨论了根据深度学习生命周期的三个阶段分类的公平性缓解方法，旨在推进深度学习的公平性领域，构建真正公平可靠的深度学习系统。
2020-03-19 cs.AI cs.CY cs.LG
Algorithmic Fairness: A Tolerance Perspective
University of New South Wales（新南威尔士大学）；La Trobe University（拉筹伯大学）；University of Technology Sydney（悉尼科技大学）
该综述从容忍度视角切入算法公平性研究，提出基于容忍度的全新分类体系，覆盖多行业研究现状，梳理新兴挑战并给出未来研究与政策方向，助力构建更公平的算法系统。
2024-04-26 cs.AI cs.CY cs.IR
Choosing an algorithmic fairness metric for an online marketplace: Detecting and quantifying algorithmic bias on LinkedIn
在本文中，我们推导出一个算法的公平性度量的公平性概念，平等的机会，同样合格的候选人推荐算法常用的双边市场。我们借鉴了有关歧视的经济文献，以得出一种测试方法，用于检测仅归因于算法的偏见，而不是其他来源，如社会不平等或平台用户的人为偏见。我们使用所提出的方法来衡量和量化算法偏见的性别LinkedIn，求职者和雇主使用的流行的在线平台使用的两种算法。此外，我们引入了一个框架和区分算法偏见与人类偏见的基本原理，这两者都可能存在于算法向人类用户推荐的双边平台上。最后，我们讨论了其他一些常见的算法公平性指标的缺点，为什么他们不捕捉公平的概念，平等的机会，同样合格的候选人。
2022-08-22 cs.CY econ.GN q-fin.EC
FAT Forensics: A Python Toolbox for Algorithmic Fairness, Accountability and Transparency
University of Bristol（布里斯托尔大学）；RMIT University（皇家墨尔本理工大学）
今天，由机器学习算法驱动的人工智能系统可以对我们的日常生活做出重要的、有时具有法律约束力的决定。然而，在许多情况下，这些系统及其行动既没有受到管制，也没有得到认证。为了帮助应对这些算法可能造成的潜在危害，我们开发了一个开源工具箱，可以分析机器学习过程中选定的公平性，问责制和透明度方面：数据（及其特征），模型和预测，允许自动客观地向相关利益相关者报告。在本文中，我们描述了这个Python包的设计，范围，使用和影响，它是在3-Clause BSD开源许可证下发布的。
2022-08-25 cs.AI cs.CY cs.LG
How Do Fairness Definitions Fare? Examining Public Attitudes Towards Algorithmic Definitions of Fairness
University of Southern California（南加利福尼亚大学）；Harvard University（哈佛大学）；University of California, Santa Cruz（加利福尼亚大学圣克鲁兹分校）
定义算法公平性的最佳方法是什么？虽然在计算机科学文献中提出了许多公平的定义，但对于特定的定义没有明确的一致意见。在这项工作中，我们调查普通人的看法，这些公平的定义。在两个在线实验中，我们测试了人们在贷款决策的背景下认为哪些定义是最公平的，以及公平性的看法是否会随着敏感信息的增加而改变（即，贷款申请人的种族）。总的来说，有一个定义（标准公平）往往比其他定义更受欢迎，结果也支持扶持行动的原则。
2019-01-27 cs.AI cs.CY
From Utilitarian to Rawlsian Designs for Algorithmic Fairness
Princeton University（普林斯顿大学）
关于如何衡量算法系统的“公平性”，文献中缺乏共识，不同的衡量标准往往不一致。在本文中，我们通过借鉴功利主义和罗尔斯的伦理框架来处理这一任务。非正式地说，这两种分配正义理论分别将“好”作为人口的效用总和或最坏结果来衡量。我们提出了一个参数化类的目标函数，这两个（可能）冲突的概念之间的“好”插值。这一类是表示放松罗尔斯的“面纱的服从”，其序列的最佳解决方案收敛到一个功利和罗尔斯的最佳。研究了该类的其他几个性质，包括：1）与正则化优化的关系，2）一致估计的可行性，以及3）算法成本。在几个现实世界的数据集，我们计算最优的解决方案，并构建功利主义和罗尔斯的“好”的概念之间的权衡。从经验上讲，我们证明，增加模型的复杂性可以表现出严格的改善这两个措施的“好”。这项工作表明，适当程度的“公平”可以通过设计师的偏好超过诱导功利主义和罗尔斯的“好”的空间。
2023-02-07 cs.CY cs.LG
Fairness vs Performance: Characterizing the Pareto Frontier of Algorithmic Decision Systems
Zurich University of Applied Sciences / University of Zurich（应用科学大学苏黎世分校 / 苏黎世大学）；Zurich University of Applied Sciences（应用科学大学苏黎世分校）
研究探讨算法决策系统中公平性与性能的权衡，通过多目标优化分析决策者效用与群体公平性，揭示帕累托前沿由确定性阈值规则构成，扩展了现有公平性约束下的最优定理。
2026-05-11 cs.AI cs.CY cs.LG
Algorithmic Fairness and Structural Injustice: Insights from Feminist Political Philosophy
数据驱动的预测算法被广泛用于自动化和指导高风险决策，如保释和假释建议，医疗资源分配和抵押贷款分配。然而，也有报告称，出现了不利于弱势群体的有害结果。被称为“算法公平性”的不断发展的研究领域旨在减轻这些有害的偏见。它的主要方法包括提出数学指标，以解决算法有偏见的输出所造成的社会危害。这些衡量标准通常是由政治和法律哲学家制定的分配正义的理想所推动的，或者说是植根于这种理想。相比之下，女性主义政治哲学家关于社会正义的观点在很大程度上被忽视了。一些女性主义哲学家批评了分配正义的范式，并提出了纠正修正案，以克服其局限性。本文将女性主义政治哲学的一些重要观点引入算法公平性。该文件有三个目标。首先，我表明，算法公平性并不适应其目前的范围内的结构性不公正。第二，我捍卫结构性不公正的相关性--正如Iris Marion Young在当代哲学文献中所开创的那样--与算法公平性的相关性。第三，我采取了一些步骤，在发展的范式“负责任的算法公平性”，以纠正错误的算法公平性的当前范围和实施。
2022-06-02 cs.CY cs.HC
Enforcing Group Fairness in Algorithmic Decision Making: Utility Maximization Under Sufficiency
University of Zurich（苏黎世大学）；Zurich University of Applied Sciences（苏黎世应用科学大学）
二元决策分类器在默认情况下是不公平的。公平性要求是决策基本原理的一个附加要素，决策基本原理通常由最大化某些效用函数驱动。在这个意义上，算法公平性可以被公式化为约束优化问题。本文讨论了如何实现公平性，重点讨论了阳性预测值（PPV）奇偶性，假遗漏率（FOR）奇偶性和充分性（结合前两者）的公平性概念。我们表明，特定于组的阈值规则是最佳的PPV奇偶校验和为奇偶校验，类似于其他组的公平性标准的知名结果。然而，根据潜在的人口分布和效用函数，我们发现，有时一个组的上限阈值规则是最佳的：效用最大化下PPV奇偶校验（或为奇偶校验）可能会导致选择一组具有最小效用的个人，而不是选择最有前途的个人。这一结果是反直觉的，与统计平价和机会均等的类似解决方案相反。我们还提供了满足公平性约束充分性的最优决策规则的解决方案。我们表明，需要更复杂的决策规则，这导致组内的不公平，但所有的组之一。我们根据模拟和真实数据说明了我们的研究结果。
2022-06-05 cs.CY cs.LG
Bias Begins with Data: The FairGround Corpus for Robust and Reproducible Research on Algorithmic Fairness
Department of Statistics, LMU Munich（统计系，慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；University of Trieste（特里este大学）
针对公平机器学习研究中数据集选择狭窄、处理不一致的问题，提出FairGround统一框架、语料库和Python包，含44个表格数据集及标准化工具，提升公平性研究的可复现性与可靠性。
2025-10-25 cs.CY cs.LG stat.ML
Towards a Critical Race Methodology in Algorithmic Fairness
我们研究的方式种族和种族类别采用算法公平性框架。目前的方法没有充分考虑到种族的社会建构性质，而是采用了种族作为一个固定属性的概念化。将种族视为一种属性，而不是一种结构性、制度性和关系性的现象，可以最大限度地减少算法不公平的结构性方面。在这项工作中，我们专注于种族类别的历史，并转向关键的种族理论和种族和民族的社会学工作，以公平研究的种族概念化，借鉴公共卫生，生物医学研究和社会调查研究的经验教训。我们认为，算法公平性的研究人员需要考虑到种族的多维性，认真对待的概念化和操作化的过程中的种族，专注于社会过程中产生的种族不平等，并考虑那些最受社会技术系统的影响。
2019-12-08 cs.CY
Peer-induced Fairness: A Causal Approach for Algorithmic Fairness Auditing
提出融合反事实公平与同伴比较的“peer-induced fairness”审计框架，可区分算法歧视与主体内在局限，并在中小企业融资场景中发现41.51%的微型企业遭受歧视。
2024-09-05 cs.CY q-fin.CP q-fin.ST
Bridging Formal and Perceived Fairness: Development of an Interdisciplinary Framework in Algorithmic Decision-Making
Johannes Gutenberg University（约翰内斯·古腾堡大学）
本文构建了弥合算法形式公平与用户感知公平的跨学科框架，通过文献综合、研讨会及访谈，为算法公平评估与系统设计提供方法支撑。
2026-09-04 cs.CY
Fairness Perceptions of Algorithmic Decision-Making: A Systematic Review of the Empirical Literature
Heinrich Heine University Düsseldorf（海因里希·海涅杜塞尔多夫大学）
商业决策（ADM）越来越多地影响着人们的日常生活。鉴于这种自治系统可能对个人和社会群体造成严重伤害，人们对公平性产生了担忧。学者和政策制定者要求以人为本的方法，需要考虑到人们的公平观念时，设计和实施ADM。我们提供了一个全面的，系统的文献综述，综合现有的经验见解的算法公平性的看法，从39个实证研究跨越多个领域和科学学科。通过彻底的编码，我们系统化目前的实证文献沿四个维度：（a）算法预测，（b）人类预测，（c）比较效果（人类决策与算法决策），（d）ADM的后果。虽然我们发现很多异质性的理论概念和经验测量的算法公平性，见解几乎完全来自西方民主的背景。通过倡导更多的跨学科研究，采用社会在环框架，我们希望我们的工作将有助于更公平，更负责任的ADM。
2021-03-22 cs.AI cs.CY cs.HC
Developing a Philosophical Framework for Fair Machine Learning: Lessons From The Case of Algorithmic Collusion
Carnegie Mellon University（卡内基梅隆大学）
本文以算法共谋影响全体消费者的市场公平问题为例，提出将形式化公平指标与明确范围的规范性原则相结合的伦理框架，以弥补现有公平机器学习研究主要关注歧视性分类的不足。
2023-09-27 cs.CY cs.LG
Toward Substantive Intersectional Algorithmic Fairness: Desiderata for a Feminist Approach
RWTH Aachen University（亚琛工业大学）；Eindhoven University of Technology（埃因霍温理工大学）
本文提出实质性的交叉性算法公平性方法，通过十条必要条件指导算法系统的设计，以解决系统性不平等并减轻对边缘化群体的伤害。
2026-02-04 cs.AI cs.CY
Emergent Unfairness in Algorithmic Fairness-Accuracy Trade-Off Research
Cornell University（康奈尔大学）
在机器学习（ML）的子学科中，研究人员做出明确的数学假设，以便于证明写作。我们注意到，特别是在公平性-准确性权衡优化奖学金领域，类似的注意力并没有支付给这种方法的基础规范性假设。这些假设假定：1）准确性和公平性是内在对立的; 2）严格的数学等式概念可以充分模拟公平性; 3）可以独立于历史背景来衡量决策的准确性和公平性; 4）收集更多关于边缘化个体的数据是减轻权衡影响的合理解决方案。我们认为，这些假设，这往往是隐含的和未经检验的，导致不一致的结论：虽然这项工作的预期目标可能是提高机器学习模型的公平性，这些未经检验的，隐含的假设实际上可能导致紧急不公平。最后，我们提出了实现潜在解决方案的具体途径。
2021-09-07 cs.AI cs.CY cs.LG
Demographic-Reliant Algorithmic Fairness: Characterizing the Risks of Demographic Data Collection in the Pursuit of Fairness
Partnership on AI（人工智能合作伙伴组织）
大多数提出的算法公平性技术需要访问关于“敏感属性”或“受保护类别”（例如种族、民族、性别或性取向）的数据，以便跨组进行性能比较和分类，然而，这些数据在实践中基本上不可用，这阻碍了算法公平性的广泛采用。通过这篇论文，我们考虑了收集更多人口统计数据的呼吁，以实现算法公平性，并挑战歧视可以通过足够聪明的技术方法和足够的数据来克服的概念。我们展示了这些技术如何在为了更公平的算法处理而对个人进行分类时，在很大程度上忽略了数据治理和系统压迫等更广泛的问题。在这项工作中，我们探索在什么条件下，人口统计数据应该被收集和使用，使算法公平性的方法，通过表征一系列的社会风险，以个人和社区。对于个人风险，我们考虑了与共享敏感属性相关的独特隐私风险，这些敏感属性可能是公平分析的目标，在数据汇集过程中错误分类和歪曲个人可能造成的危害，以及超出数据主体预期的敏感数据使用。从更广泛的角度来看，整个群体和社区面临的风险包括以公平的名义扩大监视基础设施，歪曲和歪曲成为人口群体的一部分或持有某种身份的含义，以及放弃自己定义什么是偏见或不公平待遇的能力。我们认为，通过在收集人口统计数据之前和期间面对这些问题，算法公平性方法更有可能在不加强压迫系统的情况下实际减轻有害的待遇差异。
2022-05-04 cs.AI cs.CY
Understanding challenges to the interpretation of disaggregated evaluations of algorithmic fairness
Google Research, Mountain View, CA, USA（谷歌研究, 山景城, 加州, 美国）；Google DeepMind, Mountain View, CA, USA（谷歌深Mind, 山景城, 加州, 美国）；New York University, New York, NY, USA（纽约大学, 纽约, 纽约, 美国）；Massachusetts Institute of Technology, Cambridge, MA, USA（麻省理工学院, 柏林, 马萨诸塞, 美国）；The Hopsital for Sick Children, Toronto, ON, Canada（儿童医院, 温哥华, 加拿大）；Stanford University, Stanford, CA, USA（斯坦福大学, 斯坦福, 加州, 美国）
本研究揭示分类评估在算法公平性中的局限性，提出结合因果假设与分析方法以提升公平性评估的可靠性。
2025-10-23 cs.CY cs.LG stat.ML
Towards Algorithmic Fairness by means of Instance-level Data Re-weighting based on Shapley Values
ELLIS Alicante（埃利斯阿利坎特机构）
本文提出FairShap，一种基于Shapley值的实例级数据重加权方法，通过量化每个训练样本对公平性指标的贡献，在保持准确率的同时提升模型公平性，并兼具模型无关性和可解释性。
2024-06-10 cs.AI cs.CY cs.LG
Causal Equal Protection as Algorithmic Fairness
Arizona State University（亚利桑那州立大学）；Politecnico di Milano（米兰理工大学）；Algorithmwatch
本文提出因果平等保护原则，将分类均等与因果分析结合，主张个人不应因受保护特征而承受不平等的分类错误风险，并允许在能均衡风险时使用这些特征。
2025-02-05 cs.AI cs.CY cs.DS
Algorithmic Fairness Verification with Graphical Models
National University of Singapore（新加坡国立大学）；Univ. Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）
近年来，机器学习（ML）算法已被部署在安全关键和高风险决策中，其中算法的公平性至关重要。ML中的公平性集中在检测ML分类器引起的对某些人口统计群体的偏见，并提出算法解决方案来减轻不同公平性定义的偏见。为此，已经提出了几种公平性验证器，它们计算ML分类器预测中的偏差-基本上超出了有限数据集-给定输入特征的概率分布。在验证线性分类器的上下文中，现有的公平性验证器由于特征之间的相关性的不精确建模而受到准确性的限制，并且由于分类器作为SSAT/SMT公式的限制性公式化或通过采样而受到可扩展性的限制。在本文中，我们提出了一个有效的公平性验证，称为FVGM，编码的相关性特征之间的贝叶斯网络。与现有的验证器相比，FVGM提出了一种基于随机子集和的线性分类器验证方法。在实验中，我们表明，FVGM导致更多样化的公平性增强算法，公平性攻击和组/因果公平性指标比国家的最先进的公平性验证家庭的准确和可扩展的评估。我们还表明，FVGM有利于公平性影响函数的计算作为一个垫脚石，以检测由子集的功能引起的偏见的来源。
2022-06-01 cs.AI cs.CY cs.LG
Algorithmic Fairness: Not a Purely Technical but Socio-Technical Property
University of Copenhagen（哥本哈根大学）；Technical University of Denmark（丹麦技术大学）；The University of Osaka（大阪大学）；Kyoto University（京都大学）
本文批判了将算法公平性视为纯粹技术属性的观点，通过概念分析与实证说明揭示现有公平性度量在复杂现实场景中的局限，并提出设计公平性度量的三项原则，以弥合技术形式化与社会现实之间的差距。
2025-09-18 cs.AI cs.CY cs.LG
Causal Reasoning for Algorithmic Fairness
New York University（纽约大学）；University of Surrey（萨里大学）；Alan Turing Institute（艾伦图灵研究所）；University of Warwick（华威大学）；University College London（伦敦大学学院）
在这项工作中，我们认为因果推理的重要性，创造公平的决策算法。我们给现有的方法来公平的审查，描述因果关系的理解因果关系的方法所需的工作，认为为什么因果关系是必要的任何方法，希望是公平的，并给出了详细的分析，最近的许多方法，以因果关系为基础的公平。
2018-05-15 cs.AI cs.CY
Towards A Holistic View of Bias in Machine Learning: Bridging Algorithmic Fairness and Imbalanced Learning
Virginia Commonwealth University（弗吉尼亚联邦大学）；University of Notre Dame（圣母大学）
机器学习（ML）在影响社会广泛群体的决策中发挥着越来越重要的作用。ML模型为刑事司法决策、银行信贷扩展和公司招聘实践提供了信息。这就提出了模型公平性的要求，即自动化决策应该对受保护的功能（例如，性别、种族或年龄），这些因素在数据中往往代表不足。我们假设，这种代表性不足的问题与不平衡的数据学习问题有必然的联系。这种类别不平衡通常反映在类别和受保护的功能中。例如，一个类（那些接受信贷）可能是相对于另一个类（那些不接受信贷）和一个特定的群体（女性）可能是相对于另一个群体（男性）代表不足。实现关于受保护组的算法公平性的关键要素是同时减少底层训练数据中的类别和受保护组不平衡，这有助于增加模型准确性和公平性。我们讨论了桥接不平衡学习和组公平性的重要性，通过展示这些领域中的关键概念如何重叠和互补;并提出了一种新的过采样算法，公平过采样，解决了倾斜的类分布和受保护的功能。我们的方法：（i）可以用作标准ML算法的有效预处理算法，以联合解决不平衡和组公平性;以及（ii）可以与公平感知学习算法组合，以提高它们对不同级别的类不平衡的鲁棒性。此外，我们采取了一个新的指标，公平效用，结合平衡的准确性与公平性，弥合公平性和不平衡学习之间的差距。
2022-07-13 cs.CY cs.LG
