Human Perceptions of Fairness in Algorithmic Decision Making: A Case Study of Criminal Risk Prediction
MPI-SWS（马克斯·普朗克软件系统研究所）；Saarland University（萨尔兰大学）；University of Maryland（马里兰大学）；Cambridge University（剑桥大学）；Alan Turing Institute（艾伦·图灵研究所）
随着算法越来越多地用于做出影响人类生活的重要决策，从社会福利分配到预测犯罪累犯风险，人们对算法决策的公平性提出了担忧。大多数关于算法公平性的先前作品规范性地规定了应该如何做出公平的决定。相比之下，在这里，我们连续调查用户如何感知和推理算法决策的公平性。这项工作的一个关键贡献是我们提出的框架，以了解为什么人们认为某些功能是公平或不公平的算法中使用。我们的框架确定了八个属性的功能，如相关性，意志性和可靠性，作为潜在的考虑因素，告知人们的道德判断的公平性的功能使用决策算法。我们通过对576人进行的一系列基于ESTA的调查来验证我们的框架。我们发现，基于一个人对我们示例场景中某个特征的八个潜在属性的评估，我们可以准确地（> 85%）预测这个人是否会认为该特征的使用是公平的。我们的发现具有重要意义。在高层次上，我们表明，人们的不公平的关注是多方面的，并认为未来的研究需要解决歧视以外的不公平的关注。在低层次上，我们发现人们对公平性的判断存在相当大的分歧。我们找出分歧的根源，并指出解决这些分歧的可能途径。
2018-02-26 cs.CY cs.LG stat.ML
Algorithmic Fairness
Tel-Aviv University（特拉维夫大学）
越来越多的关于人类日常生活的决策正在由人工智能（AI）算法控制，从医疗保健，交通和教育到大学招生，招聘，提供贷款等领域。由于它们现在涉及我们生活的许多方面，因此开发不仅准确而且客观公正的人工智能算法至关重要。最近的研究表明，算法决策可能是固有的倾向于不公平的，即使是没有intention.This本文提出了一个概述的主要概念，识别，测量和改善算法公平性时，使用AI算法。本文首先讨论了算法偏见和不公平的原因，以及公平性的常用定义和度量。然后，公平性增强机制进行了审查，并分为预处理，过程中和后处理机制。然后对这些机制进行全面比较，以便更好地了解在不同情况下应使用哪些机制。然后，本文介绍了最常用的公平性相关的数据集在这一领域。最后，本文通过回顾几个新兴的研究子领域的算法公平性结束。
2020-01-21 cs.AI cs.CY cs.LG
Unbiased Subdata Selection for Fair Classification: A Unified Framework and Scalable Algorithms
Virginia Tech（弗吉尼亚理工大学）
分类作为现代数据分析中的一个重要问题，在不同的领域有着广泛的应用。与传统的分类方法不同，公平分类涉及对敏感特征（例如，性别、种族）。由于公平性度量的高度非凸性，现有的方法往往无法精确建模公平性，这可能导致较差的公平分类结果。本文通过开发一种新的统一框架来共同优化准确性和公平性，从而填补了这一空白。所提出的框架是通用的，可以结合不同的公平性措施，在文献中研究，以及可以适用于许多分类器，包括深分类模型。具体来说，在本文中，我们首先证明了Fisher一致性的建议框架。然后，我们表明，在这个框架内的许多分类模型可以重铸为混合整数凸规划，这可以有效地解决了现成的求解器时，实例大小适中，可以作为基准来比较近似算法的效率。我们证明，在所提出的框架中，当分类结果是已知的，由此产生的问题，称为“无偏子数据选择”，是强多项式可解的，可以用来提高分类公平性，通过选择更具代表性的数据点。这促使我们开发一种迭代精炼策略（IRS）来解决大规模的实例，在那里我们提高分类精度，并以交替的方式进行无偏的子数据选择。我们研究了IRS的收敛性，并给出了它的逼近界。更广泛地说，这个框架可以通过考虑F1得分来改善具有不平衡数据的分类模型。
2020-12-24 cs.LG stat.ML
Non-portability of Algorithmic Fairness in India
Google Research（谷歌研究院）
传统的算法公平性在其子组、值和优化方面是西方的。在本文中，我们问如何移植的假设，这主要是西方采取的算法公平性是一个不同的地理文化背景，如印度。基于对印度学者的36次专家访谈，以及对印度新兴算法部署的分析，我们确定了三组挑战，这些挑战吞噬了机器学习模型与印度受压迫社区之间的巨大距离。我们认为，仅仅将技术公平工作翻译到印度子群体可能只是一种装饰，相反，需要通过重新构建数据和模型，赋予受压迫社区权力，更重要的是，使生态系统能够集体重新想象公平机器学习。
2020-12-08 cs.CY cs.LG
Rethinking Algorithmic Fairness for Human-AI Collaboration
Wharton AI & Analytics Initiative, Wharton School, University of Pennsylvania（沃顿商学院人工智能与分析倡议，沃顿商学院，宾夕法尼亚大学）；Department of Operations, Information, and Decisions, Wharton School, University of Pennsylvania（运营、信息与决策系，沃顿商学院，宾夕法尼亚大学）；Department of Computer and Information Science, University of Pennsylvania（计算机与信息科学系，宾夕法尼亚大学）
本文研究了人机协作中的算法公平性，提出了对人类遵从模式具有鲁棒性的遵从鲁棒公平算法推荐概念及优化策略，并证明传统公平约束可能不适用于改善协作公平性与准确性。
2025-06-29 cs.LG stat.ML
Let's Grow an Unbiased Community: Guiding the Fairness of Graphs via New Links
Jilin University（吉林大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Pennsylvania State University（宾夕法尼亚州立大学）
提出 FairGuide 框架，通过引入新链接引导图结构向无偏社区发展，利用可微社区检测伪任务和元梯度优化结构公平性，显著提升下游图任务的公平性与泛化能力。
2025-11-02 cs.LG
On the Privacy Risks of Algorithmic Fairness
National University of Singapore (NUS)（新加坡国立大学）
数学公平性和隐私性是值得信赖的机器学习的重要支柱。公平的机器学习旨在最大限度地减少对受保护群体的歧视，例如，对模型施加约束，以使不同群体的行为平等。这可能会以不成比例的方式改变训练数据点对公平模型的影响。我们研究了这如何改变模型关于其训练数据的信息泄漏。我们分析了群体公平的隐私风险（例如，均衡的几率）通过成员推断攻击的镜头：推断数据点是否用于训练模型。我们表明，公平性是以隐私为代价的，而这种代价并不是平均分布的：公平模型的信息泄漏在无特权的子组上显着增加，这是我们需要公平学习的子组。我们发现，训练数据越有偏见，实现公平的非特权子群的隐私成本将越高。我们为一般的机器学习算法提供了全面的实证分析。
2021-04-07 cs.CR cs.CY cs.LG
Bias Begins with Data: The FairGround Corpus for Robust and Reproducible Research on Algorithmic Fairness
Department of Statistics, LMU Munich（统计系，慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；University of Trieste（特里este大学）
针对公平机器学习研究中数据集选择狭窄、处理不一致的问题，提出FairGround统一框架、语料库和Python包，含44个表格数据集及标准化工具，提升公平性研究的可复现性与可靠性。
2025-10-25 cs.CY cs.LG stat.ML
Policy-Gradient Training of Fair and Unbiased Ranking Functions
Cornell University（康奈尔大学）；Tsinghua University（清华大学）
虽然隐式反馈（例如，点击、停留时间等）是学习排序的一个丰富而有吸引力的数据来源，但它可能会产生不公平的排名政策，无论是外部的还是内部的原因。外生原因通常表现为训练数据中的偏差，然后反映在学习的排名策略中，并经常导致富人越来越富的动态。此外，即使在纠正了这些偏差之后，学习算法设计的内在原因仍然可能导致排名策略不能以公平的方式在项目之间分配曝光。为了解决外源性和内源性的不公平性，我们提出了第一个学习排名的方法，同时解决介绍偏见和择优公平的曝光。具体来说，我们定义了一类摊销公平的曝光限制，可以选择基于应用程序的需求，我们展示了如何执行这些公平的标准，尽管隐式反馈数据中的选择偏差。关键的结果是一个有效的和灵活的政策梯度算法，称为FULTR，这是第一个使使用反事实估计效用估计和公平性约束。除了框架的理论依据，我们的经验表明，该算法可以学习准确和公平的排名政策，从偏见和嘈杂的反馈。
2021-05-09 cs.CY cs.IR cs.LG
Algorithmic Fairness in Education
Cornell University（康奈尔大学）
数据驱动的预测模型越来越多地用于教育，以支持学生，教师和管理员。然而，人们担心这些算法系统的预测和使用的公平性。在这篇教育领域算法公平性的介绍中，我们与之前关于教育机会、偏见和歧视的文献进行了比较，并研究了算法系统的核心组成部分（测量、模型学习和行动），以确定开发和部署这些系统过程中的偏见和歧视来源。统计，相似性为基础的，和因果关系的公平概念进行审查和对比的方式，他们在教育环境中的应用。对教育技术的政策制定者和开发者的建议为如何促进教育中的算法公平性提供了指导。
2021-04-11 cs.AI cs.CY cs.LG
Re-imagining Algorithmic Fairness in India and Beyond
Google Research（谷歌研究院）
传统的算法公平性是以西方为中心的，这体现在它的子群体、价值观和方法上。在本文中，我们去中心化算法公平性并分析印度的AI力量。基于36个定性访谈和在印度的算法部署的话语分析，我们发现，算法公平性的几个假设受到挑战。我们发现，在印度，由于社会经济因素，数据并不总是可靠的，机器学习制造商似乎遵循双重标准，人工智能唤起了毫无疑问的愿望。我们认为，在印度，模特和受压迫社区之间的距离很大，仅本地化模特公平性就可以是橱窗装饰。相反，我们重新设想印度的算法公平性，并提供路线图来重新调整数据和模型，赋予受压迫的社区权力，并启用Fair-ML生态系统。
2021-01-27 cs.AI cs.CL cs.CY
Dimensions of Diversity in Human Perceptions of Algorithmic Fairness
Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）；Max Planck Institute for Research on Collective Goods（马克斯·普朗克集体商品研究所）；KAIST（韩国科学技术院）；Institute for Basic Science（基础科学研究院）；University of Cambridge（剑桥大学）；Alan Turing Institute（艾伦·图灵研究所）
越来越多的监督委员会和监管机构寻求监督和管理那些决定人们生活的算法。以前的工作已经探索了人们如何相信应该做出算法决策，但很少有人了解社会人口统计学或决策场景的直接经验等个人因素如何影响他们的道德观点。我们通过探索人们对程序算法公平性（在算法决策中使用特定特征的公平性）的一个方面的看法如何与他们的（i）人口统计数据（年龄，教育，性别，种族，政治观点）和（ii）个人经验与算法决策情景相关，从而朝着填补这一空白迈出了一步。我们发现，政治观点和个人经验的算法决策的背景下显着影响的公平性使用不同的功能保释决策的看法。根据我们的研究结果，我们讨论了利益相关者参与和算法监督的影响，包括在组成监督和监管机构时需要考虑多样性的多个维度。
2022-09-05 cs.CY cs.LG
Algorithmic Decision Making with Conditional Fairness
Tsinghua University（清华大学）；Zhejiang University（浙江大学）；Squirrel AI Learning（松鼠AI智适应教育）
公平性问题是决策系统中的一个重要问题。已经提出了各种公平性概念来衡量算法不公平的程度。在实践中，经常存在一组我们称之为公平变量的变量，它们是决策前的协变量，如用户的选择。在评估决策支持算法的公平性时，公平变量的影响无关紧要。因此，我们定义条件公平性作为一个更健全的公平性度量的公平性变量的条件。鉴于不同的先验知识的公平变量，我们证明了传统的公平符号，如人口统计学平价和均衡的赔率，是我们的条件公平符号的特殊情况。此外，我们提出了一个可导出的条件公平正则化器（DCFR），它可以集成到任何决策模型，跟踪算法决策的精度和公平性之间的权衡。具体来说，在我们的DCFR中提出了一种基于对抗表示的条件独立损失来衡量不公平的程度。通过在三个真实数据集上的大量实验，我们证明了我们的条件公平性符号和DCFR的优点。
2021-07-18 cs.LG stat.ML
Towards Substantive Conceptions of Algorithmic Fairness: Normative Guidance from Equal Opportunity Doctrines
New York University（纽约大学）；Surveillance Technology Oversight Project（监控技术监督项目）
在这项工作中，我们使用平等机会（EO）的政治哲学学说，明确的规范性判断嵌入在不同的概念算法公平性。我们对比正式的EO方法，狭隘地集中在公平的竞争在离散的决策点，与实质性的EO学说，看看人们的公平生活的机会，更全面地在一生中。我们使用这种分类法来提供一个道德解释的不可能的结果之间的不相容的公平竞争的不同概念-向前看与向后看-当人们没有公平的生活机会。我们用这个结果来激发实质性的概念算法公平性和概述两个合理的程序的基础上的运气平等主义学说的EO，罗尔斯的公平机会均等的原则。
2022-07-11 cs.AI cs.CY cs.LG
Developing a Philosophical Framework for Fair Machine Learning: Lessons From The Case of Algorithmic Collusion
Carnegie Mellon University（卡内基梅隆大学）
本文以算法共谋影响全体消费者的市场公平问题为例，提出将形式化公平指标与明确范围的规范性原则相结合的伦理框架，以弥补现有公平机器学习研究主要关注歧视性分类的不足。
2023-09-27 cs.CY cs.LG
Fair GLASSO: Estimating Fair Graphical Models with Unbiased Statistical Behavior
Rice University（莱斯大学）；King Juan Carlos University（胡安卡洛斯国王大学）
针对图结构数据中敏感节点属性导致的统计歧视，本文提出 Fair GLASSO 及近端梯度算法，估计群体间无偏依赖的稀疏 Gaussian 精度矩阵，并给出准确性—公平性权衡、复杂度与实证验证。
2024-06-13 cs.LG eess.SP stat.ML
Algorithmic Fairness in AI Surrogates for End-of-Life Decision-Making
The Department of Computing & Software Systems University of Washington Bothell Harborview Medical Center, UW Medicine（计算与软件系统系华盛顿大学Bothell分校哈佛湾医疗中心，华盛顿大学医学部）
针对临终决策 AI 替代者，本文将主要公平概念映射到现实临终场景并跨道德传统考察，提出公平应包含道德代表性及对患者价值观、关系与世界观的忠实。
2025-10-16 cs.AI cs.CY cs.LG
Navigating Ensemble Configurations for Algorithmic Fairness
Carnegie Mellon University（卡内基梅隆大学）；IBM Research（IBM研究院）
偏差缓和器可以提高机器学习模型中的算法公平性，但它们对公平性的影响在数据分割中往往不稳定。训练更稳定模型的一种流行方法是集成学习，但不幸的是，目前还不清楚如何将集成与缓解器相结合，以最好地在公平性和预测性能之间进行权衡。为此，我们构建了一个开源库，使8个缓解器，4个集合及其相应的超参数的模块化组合成为可能，我们根据经验探索了13个数据集上的配置空间。我们从这种探索中提炼出我们的见解，以实践者的指导图的形式，我们证明是强大的和可复制的。
2022-10-11 cs.CY cs.LG
Net benefit, calibration, threshold selection, and training objectives for algorithmic fairness in healthcare
Stanford Center for Biomedical Informatics Research（斯坦福生物医学信息学研究中心）；Stanford University（斯坦福大学）
越来越多的工作使用算法公平性的范式来构建技术的发展，以预测和主动缓解可能因使用模型指导决策而导致的健康不公平的引入或加剧。我们评估了模型性能，公平性和决策的预期效用之间的相互作用，为医疗保健预测模型的开发和评估算法公平性原则的可操作性提供了实用的建议。我们通过开发模型进行了一项经验性病例研究，以估计动脉粥样硬化性心血管疾病的十年风险，从而根据临床实践指南告知他汀类药物的启动。我们证明，将公平性考虑纳入模型训练目标的方法通常不会提高模型性能，也不会为任何研究的患者人群提供更大的净收益，而不是使用标准学习范式，然后选择与患者偏好一致的阈值，干预有效性的证据和模型校准。当测量结果不受患者人群之间差异测量误差的影响且阈值选择不受约束时，这些结果成立，无论模型性能指标是否存在差异，例如真阳性和假阳性错误率。最后，我们主张将模型开发工作的重点放在开发校准模型上，这些模型可以很好地预测所有患者人群的结果，同时强调这些努力是对透明报告，参与式设计和推理模型知情干预措施的影响的补充。
2022-02-03 cs.CY cs.LG stat.ML
The Intersectionality Problem for Algorithmic Fairness
Syracuse University（雪城大学）；University of San Francisco（旧金山大学）；University of Chicago（芝加哥大学）
本文探讨了算法公平性中的交叉性问题，通过制定期望标准并基于简单假设检验提出解决方案，结合经验评估验证其有效性。
2024-11-16 cs.AI cs.CY cs.LG
Fair Streaming Principal Component Analysis: Statistical and Algorithmic Viewpoint
Kim Jaechul Graduate School of AI, KAIST（韩国科学技术院金载哲人工智能研究生院）
本文提出公平流式 PCA 设定及公平噪声幂方法（FNPM），首次以 PAFO 可学习性为公平 PCA 建立统计保证，并在真实数据上验证其有效性与内存效率。
2023-10-28 cs.CY cs.LG stat.ML
Algorithmic Fairness and Vertical Equity: Income Fairness with IRS Tax Audit Models
Carnegie Mellon University（卡内基梅隆大学）；Stanford University（斯坦福大学）；U.S. Treasury Department（美国财政部）
本研究探讨了算法公平性的背景下，告知美国国税局（IRS）的税务审计选择系统的问题。虽然算法公平性领域主要是围绕着对待相似个体的概念发展起来的，但我们探索了垂直公平的概念-适当地考虑到个体之间的相关差异-这是许多公共政策设置中公平性的核心组成部分。在美国个人所得税制度的设计中，纵向公平涉及不同收入水平纳税人之间税收和执法负担的公平分配。通过与财政部和国税局的独特合作，我们使用匿名个人纳税人微观数据，风险选择审计和2010-14年的随机审计来研究税收管理中的垂直公平。特别是，我们评估如何使用现代机器学习方法选择审计可能会影响纵向公平。首先，我们展示了如何使用更灵活的机器学习（分类）方法-而不是更简单的模型-将审计负担从高收入纳税人转移到中等收入纳税人。第二，我们表明，虽然现有的算法公平性技术可以减轻一些收入差距，他们可能会产生一个陡峭的成本性能。第三，我们表明，选择是否将漏报风险视为分类或回归问题是非常重要的。从分类到回归模型来预测低报将审计负担大幅转移到高收入个人，同时增加收入。最后，我们探讨了差异审计成本在形成审计分布中的作用。我们发现，狭隘地关注投资回报率会破坏纵向股权。我们的研究结果对整个公共部门的算法工具的设计具有影响。
2022-06-20 cs.CY cs.LG
Towards Algorithmic Fairness by means of Instance-level Data Re-weighting based on Shapley Values
ELLIS Alicante（埃利斯阿利坎特机构）
本文提出FairShap，一种基于Shapley值的实例级数据重加权方法，通过量化每个训练样本对公平性指标的贡献，在保持准确率的同时提升模型公平性，并兼具模型无关性和可解释性。
2024-06-10 cs.AI cs.CY cs.LG
On design-unbiased algorithmic Machine Learning
Department of Social Statistics and Demography, Univ. of Southampton（社会统计与人口学系，南安普顿大学）；University of Southampton & Statistisk sentralbyrå（南安普顿大学及瑞典统计局）；Australian Bureau of Statistics（澳大利亚统计局）；Instituto Nacional de Estadística（西班牙国家统计局）；Statistics Canada (Ret.)（加拿大统计局（退休））
研究算法机器学习在无真实数据模型下实现无偏预测或分类的条件，包括训练数据抽样、算法调优和性能评估，基于已知概率设计而非假设分布。
2026-06-27 cs.LG math.ST stat.TH
Domain Adaptation meets Individual Fairness. And they get along
University of Michigan（密歇根大学）；University of Konstanz（康斯坦茨大学）；IBM Research（IBM研究院）；Princeton University（普林斯顿大学）；Stanford University（斯坦福大学）
许多算法偏差的例子是由分布偏移引起的。例如，机器学习（ML）模型在训练数据中代表性不足的人口统计群体上的表现往往更差。在本文中，我们利用算法公平性和分布偏移之间的这种联系来表明算法公平性干预可以帮助ML模型克服分布偏移，并且域自适应方法（用于克服分布偏移）可以减轻算法偏差。特别是，我们证明了（i）强制执行适当的个体公平性（IF）概念可以在协变量移位假设下提高ML模型的分布外准确性，以及（ii）有可能调整表示对齐方法进行域适应以强制个体公平性。前者是意料之外的，因为在制定综合框架干预措施时没有考虑到分配的变化。后者也是出乎意料的，因为代表对齐不是一个共同的方法，在个人公平文献。
2022-10-15 cs.AI cs.CY cs.LG
FAIRM: Learning invariant representations for algorithmic fairness and domain generalization with minimax optimality
Institute of Statistics and Big Data, Renmin University of China（中国人民大学统计与大数据研究院）；Department of Statistics, Rutgers University（罗格斯大学统计系）
本文提出基于训练环境的不变学习方法 FAIRM，在多样性条件下兼顾算法公平性与领域泛化，并在线性模型中给出有限样本保证和极小极大最优性，实验表明其优于现有方法。
2024-04-02 cs.LG stat.ME stat.ML
Poisoning Attacks on Algorithmic Fairness
Universitat Pomepu Fabra（庞培法布拉大学）；Università degli Studi di Cagliari（卡利亚里大学）
对抗性机器学习的研究已经表明，即使将一小部分中毒点注入训练数据，机器学习模型的性能也会受到严重影响。虽然这种中毒攻击对模型准确性的影响已被广泛研究，但其对其他模型性能指标的潜在影响仍有待评估。在这项工作中，我们引入了一个优化框架中毒攻击对算法公平性，并开发了一个基于梯度的中毒攻击，旨在引入不同群体之间的分类差异的数据。我们的经验表明，我们的攻击是有效的，不仅在白盒设置，其中攻击者可以完全访问目标模型，但也在一个更具挑战性的黑盒情况下，其中的攻击是针对替代模型进行优化，然后转移到目标模型。我们相信，我们的研究结果为定义一组全新的针对不同场景中算法公平性的对抗攻击铺平了道路，并且调查此类漏洞将有助于在未来设计更强大的算法和对策。
2020-06-26 cs.CR cs.CY cs.LG
Fairness On The Ground: Applying Algorithmic Fairness Approaches to Production Systems
Facebook（脸书）
已经提出了许多技术方法来确保机器学习系统做出的决策是公平的，但这些建议中很少有在现实世界的系统中进行过压力测试。本文介绍了一个团队的方法的挑战，应用算法公平性的方法，复杂的生产系统的背景下，一个大型科技公司的一个例子。我们讨论了我们如何解开产品和政策设计的规范性问题（如，“系统应该如何权衡不同利益相关者的利益和需求？“）从系统实现的经验性问题（如，“系统在实践中是否实现了期望的权衡？").我们还提出了一种方法来回答后一种问题，这使我们能够衡量机器学习系统和人类标签是如何在不同的相关群体中进行权衡的。我们希望我们将公平工具和方法整合到大规模复杂生产系统中的经验对面临类似挑战的其他从业者有用，并对希望更好地满足从业者需求的学者和研究人员有所启发。
2021-03-24 cs.CY cs.LG
On Fairness, Diversity and Randomness in Algorithmic Decision Making
Max Planck Institute for Software Systems (MPI-SWS)（马克斯·普朗克软件系统研究所 (MPI-SWS)）；University of Cambridge（剑桥大学）；Alan Turing Institute（艾伦·图灵研究所）；Leverhulme Centre for the Future of Intelligence（李弗休姆未来智能中心）
考虑一个二元决策过程，其中单个机器学习分类器取代了大量人类。我们提出的问题，在决策过程中造成的多样性损失。我们研究了在公平感知学习的背景下使用随机分类器集合而不是单个分类器的潜在好处，并展示了各种有吸引力的特性：（i）对于若干不同的公平性度量，公平分类器的集合被保证是公平的，（ii）不公平分类器的集合仍然可以实现公平的结果，以及（iii）分类器的集合可以实现比单个分类器更好的准确性-公平性权衡。最后，我们引入了分布公平性的概念，以进一步表征随机分类器集成的潜在好处。
2017-06-30 cs.LG stat.ML
The Impact of Differential Feature Under-reporting on Algorithmic Fairness
Amazon（亚马逊）；Carnegie Mellon University（卡内基梅隆大学）
本文针对公共部门算法中因数据来源差异导致的特征漏报问题，提出可解析模型并设计专门缓解方法，证明其能有效抑制不公平性扩大。
2024-05-03 cs.CY cs.LG stat.ML
Affirmative Algorithms: The Legal Grounds for Fairness as Awareness
Stanford University（斯坦福大学）；Stanford Institute for Economic Policy Research（斯坦福经济政策研究所）；Stanford Institute for Human-Centered Artificial Intelligence（斯坦福以人为本人工智能研究所）；Partnership on AI（人工智能伙伴关系）
虽然对算法公平性进行了一系列研究，但人们较少认识到的是，现代反歧视法可能会禁止采用此类技术。我们做了三个贡献。首先，我们讨论这种方法如何可能被视为“算法平权行动”，构成严重的法律风险，违反平等保护，特别是在高等教育的判例。这类案件越来越倾向于反分类，要求“个性化考虑”，并禁止无论出于何种目的对种族进行正式的定量加权。因此，这种判例法与机器学习的公平性根本不相容。其次，我们认为，政府承包的情况下提供了一个替代的基础算法公平性，因为这些情况下允许明确和定量的基于种族的补救措施的基础上的历史歧视的演员。第三，虽然这种理论方法有限，但它也指导着算法公平性的未来，要求调整必须根据实体对造成当今差异的历史歧视的责任进行校准。承包商的情况下提供了一个法律上可行的路径算法公平性在当前的宪法学说，但需要更多的研究在交叉点的算法公平性和因果推理，以确保偏见缓解量身定制的具体原因和机制的偏见。
2020-12-18 cs.CY cs.LG
A Moral Framework for Understanding of Fair ML through Economic Models of Equality of Opportunity
ETH Zürich（苏黎世联邦理工学院）；University of Zürich（苏黎世大学）；MPI-SWS（马克斯·普朗克软件系统研究所）
我们将最近提出的算法公平性的概念映射到机会均等（EOP）的经济模型--一个广泛研究的政治哲学中的公平理想。我们正式表明，通过我们的概念映射，许多现有的算法公平性的定义，如预测值奇偶性和平等的赔率，可以被解释为EOP的特殊情况。在这方面，我们的工作作为一个统一的道德框架，理解现有的算法公平性的概念。最重要的是，这个框架使我们能够明确地阐明每一个公平概念背后的道德假设，并以新的眼光解释最近的公平不可能性结果。最后但并非最不重要的启发运气平等主义模型的EOP，我们提出了一个新的家庭的措施算法公平性。我们说明了我们的建议经验，并表明，采用算法（不）公平的措施时，其基本的道德假设不满意，可能会对弱势群体的福利产生毁灭性的后果。
2018-11-27 cs.LG econ.TH stat.ML
Causal Feature Selection for Algorithmic Fairness
University of Chicago（芝加哥大学）；IBM Research AI（IBM研究院人工智能部门）
在高风险的社会决策中使用机器学习（ML）鼓励在整个ML生命周期中考虑公平性。虽然数据集成是生成高质量训练数据的主要步骤之一，但大多数公平性文献都忽略了这一阶段。在这项工作中，我们在数据管理的集成组件中考虑公平性，旨在确定在不向数据集添加任何偏差的情况下提高预测的特征。我们在因果干预公平范式下工作。在不需要先验的基础结构因果模型的情况下，我们提出了一种方法来确定一个子集合的功能，通过执行不同的功能子集之间的条件独立性测试，确保数据集的公平性。我们使用组测试来提高方法的复杂性。我们从理论上证明了所提出的算法的正确性，以确定功能，确保干预的公平性，并表明，次线性条件独立性测试是足够的，以确定这些变量。在真实世界的数据集上进行了详细的经验评估，以证明我们的技术的有效性和效率。
2022-03-31 cs.CY cs.DB cs.LG
Data Management for Causal Algorithmic Fairness
University of Washington（华盛顿大学）
公平性越来越被认为是机器学习系统的关键组成部分。然而，正是这些系统所训练的基础数据往往反映出歧视，这表明存在数据管理问题。在本文中，我们首先区分了文献中关于公平的联想和因果定义，并认为公平的概念需要因果推理。然后，我们审查现有的工作，并确定未来的机会，应用数据管理技术的因果算法公平性。
2019-10-01 cs.DB cs.LG
Algorithmic Fairness: A Tolerance Perspective
University of New South Wales（新南威尔士大学）；La Trobe University（拉筹伯大学）；University of Technology Sydney（悉尼科技大学）
该综述从容忍度视角切入算法公平性研究，提出基于容忍度的全新分类体系，覆盖多行业研究现状，梳理新兴挑战并给出未来研究与政策方向，助力构建更公平的算法系统。
2024-04-26 cs.AI cs.CY cs.IR
Fairness in Deep Learning: A Computational Perspective
Department of Computer Science and Engineering, Texas A&M University（德克萨斯农工大学计算机科学与工程系）；Department of Industrial and Systems Engineering, Texas A&M University（德克萨斯农工大学工业与系统工程系）
深度学习越来越多地用于影响个人生活的高风险决策应用程序。然而，深度学习模型可能会表现出对受保护群体的算法歧视行为，可能会对个人和社会造成负面影响。因此，深度学习中的公平性最近引起了极大的关注。我们提供了一个综述，涵盖了最近的进展，以解决算法公平性问题的深度学习从计算的角度来看。具体来说，我们表明，可解释性可以作为一个有用的成分，诊断导致算法歧视的原因。我们还讨论了根据深度学习生命周期的三个阶段分类的公平性缓解方法，旨在推进深度学习的公平性领域，构建真正公平可靠的深度学习系统。
2020-03-19 cs.AI cs.CY cs.LG
Toward Unifying Group Fairness Evaluation from a Sparsity Perspective
University of Minnesota（明尼苏达大学）；University of Kentucky（肯塔基大学）
本文针对机器学习中算法公平性标准泛化性不足的问题，提出了一种基于稀疏性的统一评估框架，并通过多数据集与偏见缓解方法实验验证了其有效性与广泛适用性。
2025-11-01 cs.AI cs.CY cs.LG
An Algorithmic Framework for Fairness Elicitation
University Of Minnesota（明尼苏达大学）；Carnegie Mellon University（卡内基梅隆大学）；University of Pennsylvania（宾夕法尼亚大学）
我们考虑的设置中，正确的公平概念是不是简单的数学定义（如平等的出错率组），但可能更复杂和微妙的，因此需要从个人或集体利益相关者的启发。我们引入了一个框架，在这个框架中，成对的个人可以被确定为需要（近似）平等的待遇下的学习模型，或需要有序的治疗，如“申请人爱丽丝应该至少有可能获得贷款申请人鲍勃”。我们提供了一个可证明收敛和预言机有效的算法，学习最准确的模型受到公平性的约束，并证明泛化的准确性和公平性的界限。该算法还可以结合传统的统计公平性的概念，从而“纠正”或修改后者由前者引发的约束。我们报告的行为研究的初步结果，我们的框架，使用人类主体的公平约束引起的COMPAS刑事累犯数据集。
2020-10-14 cs.LG stat.ML
On the Fairness of Causal Algorithmic Recourse
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Cambridge（剑桥大学）；Saarland University（萨尔大学）；The Alan Turing Institute（艾伦·图灵研究所）
算法公平性通常从预测的角度来研究。相反，在这里，我们调查的公平性的角度，追索权行动建议个人补救不利的分类。我们提出了两个新的公平标准，在组和个人层面上，这-不像以前的工作均衡的平均组明智的距离从决策边界-明确占功能之间的因果关系，从而捕捉下游的影响，在物理世界中进行追索行动。我们探讨了我们的标准如何与其他人，如反事实的公平，并表明，公平的追索权是补充公平的预测。我们从理论上和经验上研究如何通过改变分类器来执行公平的因果追索权，并在Adult数据集上进行案例研究。最后，我们讨论了我们的标准所揭示的数据生成过程中的公平违规行为是否可以通过社会干预而不是对分类器的限制来更好地解决。
2022-03-06 cs.AI cs.LG stat.ML
FAT Forensics: A Python Toolbox for Algorithmic Fairness, Accountability and Transparency
University of Bristol（布里斯托尔大学）；RMIT University（皇家墨尔本理工大学）
今天，由机器学习算法驱动的人工智能系统可以对我们的日常生活做出重要的、有时具有法律约束力的决定。然而，在许多情况下，这些系统及其行动既没有受到管制，也没有得到认证。为了帮助应对这些算法可能造成的潜在危害，我们开发了一个开源工具箱，可以分析机器学习过程中选定的公平性，问责制和透明度方面：数据（及其特征），模型和预测，允许自动客观地向相关利益相关者报告。在本文中，我们描述了这个Python包的设计，范围，使用和影响，它是在3-Clause BSD开源许可证下发布的。
2022-08-25 cs.AI cs.CY cs.LG
Algorithmic Tradeoffs in Fair Lending: Profitability, Compliance, and Long-Term Impact
Delhi Public School（德里公共学校）；Ruby Park Kolkata, India（加尔各答Ruby Park，印度）
本文通过合成数据模拟，比较不同公平性约束对信贷利润和违约率的影响，发现移除受保护属性在公平性和盈利能力上均优于显式干预，并识别了公平信贷盈利的经济条件。
2025-06-03 cs.AI cs.CE cs.CY
From Utilitarian to Rawlsian Designs for Algorithmic Fairness
Princeton University（普林斯顿大学）
关于如何衡量算法系统的“公平性”，文献中缺乏共识，不同的衡量标准往往不一致。在本文中，我们通过借鉴功利主义和罗尔斯的伦理框架来处理这一任务。非正式地说，这两种分配正义理论分别将“好”作为人口的效用总和或最坏结果来衡量。我们提出了一个参数化类的目标函数，这两个（可能）冲突的概念之间的“好”插值。这一类是表示放松罗尔斯的“面纱的服从”，其序列的最佳解决方案收敛到一个功利和罗尔斯的最佳。研究了该类的其他几个性质，包括：1）与正则化优化的关系，2）一致估计的可行性，以及3）算法成本。在几个现实世界的数据集，我们计算最优的解决方案，并构建功利主义和罗尔斯的“好”的概念之间的权衡。从经验上讲，我们证明，增加模型的复杂性可以表现出严格的改善这两个措施的“好”。这项工作表明，适当程度的“公平”可以通过设计师的偏好超过诱导功利主义和罗尔斯的“好”的空间。
2023-02-07 cs.CY cs.LG
FairlyUncertain: A Comprehensive Benchmark of Uncertainty in Algorithmic Fairness
New York University（纽约大学）
本文提出 FairlyUncertain 公理化基准，系统评估公平性中的不确定性估计，发现二分类中简单方法更一致且校准良好、弃权（不执行）无法缓解群体结果不平衡，而回归中纳入校准不确定性可无需显式干预即改善公平性。
2024-10-02 cs.LG stat.ML
Individually Fair Gradient Boosting
University of Michigan（密歇根大学）；ShanghaiTech University（上海科技大学）；IBM Research（IBM研究院）；MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）
我们考虑在梯度提升中执行个体公平性的任务。梯度提升是从表格数据进行机器学习的一种流行方法，它经常出现在关注算法公平性的应用中。在高层次上，我们的方法是一个（分布）鲁棒损失函数的函数梯度下降，该函数编码了我们对手头ML任务的算法公平性的直觉。与之前只适用于平滑ML模型的个体公平性方法不同，我们的方法也适用于非平滑模型，如决策树。我们证明了我们的算法是全局收敛的。我们还证明了我们的算法对三个ML问题的有效性容易受到算法偏见。
2021-03-31 cs.LG stat.ML
Enforcing Group Fairness in Algorithmic Decision Making: Utility Maximization Under Sufficiency
University of Zurich（苏黎世大学）；Zurich University of Applied Sciences（苏黎世应用科学大学）
二元决策分类器在默认情况下是不公平的。公平性要求是决策基本原理的一个附加要素，决策基本原理通常由最大化某些效用函数驱动。在这个意义上，算法公平性可以被公式化为约束优化问题。本文讨论了如何实现公平性，重点讨论了阳性预测值（PPV）奇偶性，假遗漏率（FOR）奇偶性和充分性（结合前两者）的公平性概念。我们表明，特定于组的阈值规则是最佳的PPV奇偶校验和为奇偶校验，类似于其他组的公平性标准的知名结果。然而，根据潜在的人口分布和效用函数，我们发现，有时一个组的上限阈值规则是最佳的：效用最大化下PPV奇偶校验（或为奇偶校验）可能会导致选择一组具有最小效用的个人，而不是选择最有前途的个人。这一结果是反直觉的，与统计平价和机会均等的类似解决方案相反。我们还提供了满足公平性约束充分性的最优决策规则的解决方案。我们表明，需要更复杂的决策规则，这导致组内的不公平，但所有的组之一。我们根据模拟和真实数据说明了我们的研究结果。
2022-06-05 cs.CY cs.LG
Algorithmic Fairness Over Time: Advances & Prospects
Saarland University（萨尔大学）
本文针对反馈回路导致的算法时序公平性问题，提出静态与时序公平性概念的分类法，并指出未来研究的隐式假设、开放问题与挑战。
2026-10-14 cs.LG
Fairness vs Performance: Characterizing the Pareto Frontier of Algorithmic Decision Systems
Zurich University of Applied Sciences / University of Zurich（应用科学大学苏黎世分校 / 苏黎世大学）；Zurich University of Applied Sciences（应用科学大学苏黎世分校）
研究探讨算法决策系统中公平性与性能的权衡，通过多目标优化分析决策者效用与群体公平性，揭示帕累托前沿由确定性阈值规则构成，扩展了现有公平性约束下的最优定理。
2026-05-11 cs.AI cs.CY cs.LG
A Possibility in Algorithmic Fairness: Can Calibration and Equal Error Rates Be Reconciled?
MIT（麻省理工学院）
决策者越来越依赖算法风险评分来确定是否可以获得二元治疗，包括保释、贷款和医疗干预。在这些设置中，我们调和两个公平性标准，以前被证明是在冲突：校准和出错率平等。特别是，我们推导出必要和充分的条件存在的校准分数，产生分类实现相等的出错率在任何给定的组盲阈值。然后，我们提出了一种算法，搜索最准确的分数校准和最小的出错率差距。应用于COMPAS刑事风险评估工具，我们表明，我们的方法可以消除误差的差异，同时保持校准。在一个单独的应用程序，以信贷，我们比较我们的程序省略的敏感功能，并表明，它提高了利润和概率，信誉良好的个人获得贷款。
2021-06-07 cs.LG stat.ML
FairGAT: Fairness-aware Graph Attention Networks
University of California, Irvine（加州大学欧文分校）
图形可以方便地建模各种复杂系统，如基因网络和电网，以及分析它们之间的潜在关系。图上的学习最近吸引了越来越多的关注，特别是基于图神经网络（GNN）的解决方案，其中图注意力网络（GAT）已经成为用于基于图的任务的最广泛使用的神经网络结构之一。虽然有研究表明，在学习过程中使用图结构会导致算法偏见的放大，但GAT中的注意设计对算法偏见的影响还没有研究。基于此，本研究首先进行了理论分析，以证明算法偏见在基于GAT的学习节点分类的来源。然后，一种新的算法，FairGAT，利用公平意识的注意设计的理论研究结果的基础上开发。在真实网络上的实验结果表明，FairGAT提高了组公平性措施，同时也提供了相当的效用，节点分类和链接预测的公平性感知基线。
2023-03-26 cs.CY cs.LG
Robustness Implies Fairness in Causal Algorithmic Recourse
University of Tübingen（蒂宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
民事追索权旨在披露黑箱决策过程的内部运作，在决策有重大后果的情况下，通过提供建议，使受益人能够实现更有利的结果。为确保有效补救，建议的干预措施不仅必须成本低，而且必须有力和公平。这一目标是通过向相似的个人提供相似的解释来实现的。本研究探讨了因果算法追索中的个体公平性和对抗鲁棒性的概念，并解决了实现这两个目标的挑战。为了解决这些挑战，我们提出了一个新的框架来定义对抗性强的追索权。新的设置将受保护的特征视为伪度量，并证明了个体公平性是对抗鲁棒性的特殊情况。最后，我们引入了公平的鲁棒追索权问题，以实现理想的属性，并展示了它如何可以满足理论和经验。
2023-02-11 cs.LG
Statistical and Structural Approaches to Algorithmic Fairness
Graz University of Technology（格拉茨技术大学）；Institute of Human-Centred Computing（人本计算研究所）
针对现代机器学习系统嵌入结构性不平等的问题，本文批判了当前公平性范式依赖确定性点估计和忽视个体结构背景的两大局限，并提出统计与结构相结合的方法。
2026-06-26 cs.AI cs.LG stat.ML
Does enforcing fairness mitigate biases caused by subpopulation shift?
University of Michigan（密歇根大学）；IBM Research（IBM研究院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
许多算法偏差的例子是由亚群变化引起的。例如，ML模型在训练数据中代表性不足的人口统计组上的表现往往更差。在本文中，我们研究是否在训练过程中执行算法的公平性提高了性能的训练模型中的\emph{target domain}。一方面，我们设想的情况下，强制执行公平性并不能提高目标域的性能。事实上，它甚至可能损害性能。另一方面，我们推导出必要和充分条件下，强制执行算法的公平性导致贝叶斯模型在目标域。我们还说明了我们的理论结果在模拟和实际数据的实际影响。
2021-10-26 cs.LG stat.ML
iFair: Learning Individually Fair Data Representations for Algorithmic Decision Making
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）
在越来越多的应用程序中，人们通常基于机器学习进行评分和排名，以进行算法决策。关于如何将公平纳入这些任务的研究，首先是追求群体公平的范式：给予特别受保护的群体足够的成功率。相比之下，个人公平的替代范式受到的关注相对较少，本文提出了这一较少探索的方向。本文介绍了一种方法，概率映射到一个低等级的表示，调和个人的公平性和效用的分类器和排名在下游应用程序的用户记录。我们的个人公平概念要求在所有任务相关属性（如工作资格）方面相似的用户，并且忽略所有潜在的歧视属性（如性别），应该有相似的结果。我们通过将其应用于各种真实数据集上的分类和学习排名任务来展示我们方法的多功能性。我们的实验表明，在此设置的最佳先前的工作有很大的改进。
2019-02-06 cs.IR cs.LG stat.ML
Connecting Algorithmic Fairness to Quality Dimensions in Machine Learning in Official Statistics and Survey Production
LMU Munich（慕尼黑大学）
研究将算法公平性引入国家统计局机器学习应用的质量框架，通过扩展QF4SA框架建立质量维度与公平性的映射，并结合实证说明其方法论贡献。
2024-02-14 cs.LG stat.ME stat.ML
