Developing a Philosophical Framework for Fair Machine Learning: Lessons From The Case of Algorithmic Collusion
Carnegie Mellon University(卡内基梅隆大学)
本文以算法共谋影响全体消费者的市场公平问题为例,提出将形式化公平指标与明确范围的规范性原则相结合的伦理框架,以弥补现有公平机器学习研究主要关注歧视性分类的不足。
2023-09-27 cs.CY cs.LG
Eliminating Latent Discrimination: Train Then Mask
Yale University(耶鲁大学);Yale Institute for Network Science(耶鲁网络科学研究所);School of Management(管理学院)
我们如何控制预测模型中的潜在歧视?我们怎样才能证明可以去除它?这些问题是算法公平性及其对社会影响的核心。在本文中,我们定义了一个新的操作公平性标准,在统计学和计量经济学中的省略变量偏差的概念的启发。我们的公平性概念有效地控制了敏感功能,并为偏离公平决策提供了诊断。然后,我们建立了一个公平的分类器的存在,在监督学习的上下文中的分析和算法的结果。我们的结果很容易暗示一种简单但反直觉的消除潜在歧视的策略。为了防止其他特征取代敏感特征,我们需要在训练阶段包含敏感特征,但在测试/评估阶段排除它们,同时控制它们的影响。我们评估了我们的算法在几个真实世界的数据集上的性能,并展示了如何在精度损失很小的情况下提高这些数据集的公平性。
2019-02-21 cs.CY cs.LG stat.ML
Equalizing Credit Opportunity in Algorithms: Aligning Algorithmic Fairness Research with U.S. Fair Lending Regulation
Brown University(布朗大学);Arthur AI(亚瑟人工智能)
信贷是美国金融福利的重要组成部分,而获得信贷的不平等是当今人口群体之间经济差距的一个重要因素。如今,机器学习算法,有时是在替代数据上进行训练,正越来越多地被用于确定信贷的获得,但研究表明,机器学习可以编码许多不同版本的“不公平”,从而引起了人们的担忧,即银行和其他金融机构可能-可能无意中-通过使用这种技术从事非法歧视。在美国,有法律确保在贷款和负责执行这些法律的机构中不会发生歧视。然而,在计算机科学和政策领域,围绕公平信用模型的讨论往往是不一致的:公平机器学习研究往往缺乏针对现有公平贷款政策的法律和实践考虑,监管机构尚未就信用风险模型应如何利用研究界的实践和技术发布新的指导。本文旨在更好地协调对话的这些方面。我们描述了美国信贷歧视监管的现状,将公平机器学习研究的结果结合起来,以确定在贷款中使用机器学习所引起的具体公平性问题,并讨论解决这些问题的监管机会。
2022-10-05 cs.CY cs.LG
Underrepresentation, Label Bias, and Proxies: Towards Data Bias Profiles for the EU AI Act and Beyond
University of Padova(帕多瓦大学);IBM Research Europe(IBM欧洲研究院);University of Trieste(特伦蒂诺大学);MPI-SP(马克斯·普朗克研究所)
本文研究了代表性不足、标签偏差和代理变量三种数据偏差对算法歧视的影响,提出了数据偏差画像(DBP)来系统检测和记录偏差信号,为预测歧视风险和公平性干预提供了数据驱动的计算框架。
2025-07-09 cs.CY cs.LG stat.ML
A Sociotechnical View of Algorithmic Fairness
University of Zurich(苏黎世大学);LMU Munich(慕尼黑大学)
算法公平性被定义为一种新兴的技术,它可以减轻自动决策中的系统性歧视,为改善信息系统(IS)的公平性提供了机会。然而,基于国家的最先进的文献综述,我们认为,公平是一个固有的社会概念和技术的算法公平性,因此应通过社会技术的镜头。我们推进算法公平性作为一种社会技术现象的话语。我们的研究目标是嵌入AF的社会技术观点的IS。具体来说,我们详细说明了为什么使用算法手段来确保公平的系统的结果取决于技术和社会结构之间的相互影响。这种观点可以产生新的见解,整合来自技术领域和社会研究的知识。此外,它还为IS辩论提出了新的方向。我们的贡献如下:首先,我们质疑的基本假设,在当前的话语算法公平性的基础上,系统地分析了310篇文章。其次,我们回应这些假设的理论算法公平性作为一个社会技术的建设。第三,我们提出的方向是研究人员,以提高他们的影响,追求独特的理解社会技术算法公平性。我们呼吁并采取整体方法来解决AF。从社会技术的角度看待算法公平性可以为系统性偏见和歧视提供整体解决方案。
2021-09-27 cs.CY cs.LG stat.ML
Affirmative Algorithms: The Legal Grounds for Fairness as Awareness
Stanford University(斯坦福大学);Stanford Institute for Economic Policy Research(斯坦福经济政策研究所);Stanford Institute for Human-Centered Artificial Intelligence(斯坦福以人为本人工智能研究所);Partnership on AI(人工智能伙伴关系)
虽然对算法公平性进行了一系列研究,但人们较少认识到的是,现代反歧视法可能会禁止采用此类技术。我们做了三个贡献。首先,我们讨论这种方法如何可能被视为“算法平权行动”,构成严重的法律风险,违反平等保护,特别是在高等教育的判例。这类案件越来越倾向于反分类,要求“个性化考虑”,并禁止无论出于何种目的对种族进行正式的定量加权。因此,这种判例法与机器学习的公平性根本不相容。其次,我们认为,政府承包的情况下提供了一个替代的基础算法公平性,因为这些情况下允许明确和定量的基于种族的补救措施的基础上的历史歧视的演员。第三,虽然这种理论方法有限,但它也指导着算法公平性的未来,要求调整必须根据实体对造成当今差异的历史歧视的责任进行校准。承包商的情况下提供了一个法律上可行的路径算法公平性在当前的宪法学说,但需要更多的研究在交叉点的算法公平性和因果推理,以确保偏见缓解量身定制的具体原因和机制的偏见。
2020-12-18 cs.CY cs.LG
Multi-dimensional discrimination in Law and Machine Learning -- A comparative overview
L3S Research Center Hannover(汉诺威L3S研究中心);Free University of Berlin(柏林自由大学);Leibniz University of Hanover(莱布尼茨汉诺威大学);Bundeswehr University Munich(慕尼黑联邦国防军大学)
人工智能驱动的决策可能会导致基于种族、性别或年龄等受保护特征/属性对某些个人或社会群体的歧视。公平感知机器学习领域专注于理解、减轻和解释AI/ML模型中的偏见的方法和算法。尽管如此,到目前为止,绝大多数提出的方法基于单个受保护的属性(例如,仅性别或种族)来评估公平性。然而,在现实中,人的身份是多方面的,歧视可能基于一个以上的受保护特征而发生,导致所谓的"多方面歧视“或”多方面公平“问题。虽然在法律文献中得到了充分阐述,但歧视的多层面性在机器学习界却较少探讨。最近在这方面的做法主要遵循法律领域的所谓交叉公平定义,而其他概念,如附加和顺序歧视,则研究较少或迄今未考虑。在这项工作中,我们概述了多维歧视/公平在法律领域的不同定义,以及他们如何被转移/操作(如果)在公平意识的机器学习域。通过并列这两个领域,我们得出的连接,确定的局限性,并指出开放的研究方向。
2023-02-12 cs.CY cs.LG
Visual Analysis of Discrimination in Machine Learning
Hong Kong University of Science and Technology(香港科技大学);Tsinghua University(清华大学)
在犯罪预测和大学录取等关键应用中越来越多地使用自动化决策,这引发了人们对机器学习公平性的质疑。我们如何决定不同的待遇是合理的还是歧视性的?在本文中,我们调查歧视机器学习从视觉分析的角度来看,并提出了一个交互式可视化工具,DiscriLens,以支持更全面的分析。为了揭示算法歧视的详细信息,DiscriLens基于因果建模和分类规则挖掘确定了一组潜在歧视性项集。通过将扩展欧拉图与基于矩阵的可视化相结合,我们开发了一种新颖的集合可视化,以促进歧视性项集的探索和解释。一项用户研究表明,用户可以快速准确地解释DiscriLens中的视觉编码信息。用例表明,DiscriLens在理解和减少算法歧视方面提供了信息指导。
2023-02-18 cs.HC cs.LG
An Accounting Identity for Algorithmic Fairness
本文推导了一个会计恒等式,揭示了预测模型中准确性与公平性之间的互补关系,并通过实验验证了公平性干预对总不公平预算的影响。
2026-01-28 cs.LG
Marrying Fairness and Explainability in Supervised Learning
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文用因果效应与SHAP揭示公平学习方法仍可能诱发歧视,提出保留非保护特征影响、消除受保护属性影响的后处理方法,以维持准确率并降低多种差异。
2023-04-21 cs.CY cs.LG
Measuring Model-Induced Discrimination via Efficient Fairness Approximation
Department of Computer Science, University of Copenhagen(哥本哈根大学计算机科学系);Department of Mathematics, National University of Singapore(新加坡国立大学数学系)
提出基于流形视角的公平度量HFM,利用集合间距离评估分类器歧视,并设计近似算法ApproxDist提高计算效率,实验表明其兼顾个体与群体公平。
2026-06-23 cs.CY cs.LG
Fairness in Deep Learning: A Computational Perspective
Department of Computer Science and Engineering, Texas A&M University(德克萨斯农工大学计算机科学与工程系);Department of Industrial and Systems Engineering, Texas A&M University(德克萨斯农工大学工业与系统工程系)
深度学习越来越多地用于影响个人生活的高风险决策应用程序。然而,深度学习模型可能会表现出对受保护群体的算法歧视行为,可能会对个人和社会造成负面影响。因此,深度学习中的公平性最近引起了极大的关注。我们提供了一个综述,涵盖了最近的进展,以解决算法公平性问题的深度学习从计算的角度来看。具体来说,我们表明,可解释性可以作为一个有用的成分,诊断导致算法歧视的原因。我们还讨论了根据深度学习生命周期的三个阶段分类的公平性缓解方法,旨在推进深度学习的公平性领域,构建真正公平可靠的深度学习系统。
2020-03-19 cs.AI cs.CY cs.LG
Fairness in Algorithmic Decision Making: An Excursion Through the Lens of Causality
Pennsylvania State University(宾夕法尼亚州立大学);Purdue University(普渡大学)
由于我们生活的几乎所有方面都越来越受到算法决策系统的影响,作为一个社会,我们有责任确保这些系统不会成为基于性别,种族,民族,宗教等的不公平歧视的工具。我们介绍了基于因果关系的群体公平性的两个定义:公平的平均因果效应(FACE)和公平的平均因果效应的治疗(FACT)。我们使用Rubin-Neyman潜在结果框架来分析因果关系,以稳健地估计FACE和FACT。我们证明了我们提出的方法的有效性合成数据。我们对两个真实世界数据集的分析,来自UCI存储库的成人收入数据集(以性别为受保护属性),以及NYC Stop和Frisk数据集(以种族为受保护属性),表明FACE和FACT获得的歧视证据,或缺乏歧视,通常与其他研究的结果一致。我们进一步表明,事实,是有点更微妙的脸相比,可以产生的歧视,从那些使用脸不同的结果。
2019-03-27 cs.LG stat.ML
Compatibility of Fairness Metrics with EU Non-Discrimination Laws: Demographic Parity & Conditional Demographic Disparity
Hasselt University(哈塞尔特大学);Université Catholique de Louvain(鲁汶大学);University of Bologna(博洛尼亚大学);University of Luxembourg(卢森堡大学)
本研究结合欧盟反歧视法律框架,通过CDD分析DP公平定义与法律反歧视概念的适配性,实验验证带公平约束的分类器可在降偏差的同时适配司法情境解释,为AI决策的法律公平性研究提供了初步依据。
2023-06-14 cs.CY cs.LG
Data Management for Causal Algorithmic Fairness
University of Washington(华盛顿大学)
公平性越来越被认为是机器学习系统的关键组成部分。然而,正是这些系统所训练的基础数据往往反映出歧视,这表明存在数据管理问题。在本文中,我们首先区分了文献中关于公平的联想和因果定义,并认为公平的概念需要因果推理。然后,我们审查现有的工作,并确定未来的机会,应用数据管理技术的因果算法公平性。
2019-10-01 cs.DB cs.LG
Fair Models in Credit: Intersectional Discrimination and the Amplification of Inequity
University of Edinburgh(爱丁堡大学);Humboldt University of Berlin(柏林洪堡大学)
本文以西班牙小额信贷数据为例,从交叉性视角研究性别、年龄、婚姻状况、单亲身份和子女数量等多重社会类别对信贷分配公平性的影响,发现表面公平下低层次不公平会因组合效应而加剧,并提出更公平的算法决策路径。
2023-08-01 cs.CY cs.LG
Synthetic CVs To Build and Test Fairness-Aware Hiring Tools
Universitat Pompeu Fabra(庞培法布拉大学)
针对算法招聘偏见研究缺乏多样化简历数据的问题,本文基于真实捐赠材料建模特征,构建含1,730份简历的合成数据集,以支持公平性技术的评估与比较。
2025-08-28 cs.CY cs.IR cs.LG
Humble AI in the real-world: the case of algorithmic hiring
IBM Research(IBM研究院);Workable;Lancaster University(兰卡斯特大学)
本文以算法招聘为现实案例,通过排名不确定性量化、熵估计和突出算法未知项的用户体验,将谦逊人工智能原则转化为实践,并探讨其能否促进信任。
2025-05-27 cs.AI cs.HC cs.LG
Approximating Discrimination Within Models When Faced With Several Non-Binary Sensitive Attributes
Department of Computer Science, University of Copenhagen(哥本哈根大学计算机科学系);Department of Mathematics, National University of Singapore(新加坡国立大学数学系);Department of Electrical and Computer Engineering, The University of Texas Rio Grande Valley(德克萨斯大学里奥格兰德谷电子与计算机工程系)
针对现有公平性度量难以处理多非二元敏感属性下模型歧视评估的问题,提出基于流形集合距离的HFM公平度量及两种加速近似算法,验证了其有效性与高效性。
2025-05-18 cs.CY cs.LG
Speciesist bias in AI -- How AI applications perpetuate discrimination and unfair outcomes against animals
University of Tuebingen(图宾根大学);Princeton University(普林斯顿大学)
人们做出了巨大的努力来减少数据和算法中的偏见,以使AI应用程序公平。这些努力是由各种备受瞩目的案例推动的,其中有偏见的算法决策对女性,有色人种,少数民族等造成了伤害,然而,人工智能公平领域仍然存在一个盲点,即对歧视动物的不敏感。本文是第一个描述“物种歧视”,并在几个不同的AI系统中进行调查。当人工智能应用程序在物种主义模式占主导地位的数据集上进行训练时,物种主义偏见会被人工智能应用程序学习和固化。这些模式可以在图像识别系统、大语言模型和推荐系统中找到。因此,人工智能技术目前在使针对动物的暴力行为永久化和正常化方面发挥着重要作用。只有当人工智能公平框架扩大其范围并包括缓解物种偏见的措施时,这种情况才能改变。本文在这方面讨论了人工智能社区,并强调了人工智能系统对增加或减少对动物,特别是对养殖动物的暴力行为的影响。
2022-02-22 cs.AI cs.CY cs.LG
Everything is Relative: Understanding Fairness with Optimal Transport
Brown University(布朗大学);University of Rhode Island(罗德岛大学)
为了研究自动决策系统中的歧视,学者们提出了几种公平的定义,每一种都表达了不同的公平理想。这些定义要求从业人员就采用哪种概念做出复杂的决定,而且往往难以在实践中使用,因为它们对系统是否公平做出二元判断,而不是解释所发现的不公平的结构。我们提出了一个最佳的运输为基础的公平性,提供了一个可解释的和可量化的探索偏见及其结构,通过比较一对结果彼此。在这项工作中,我们使用的最佳运输地图来检查个人,子群和组的公平性。我们的框架能够恢复众所周知的算法歧视的例子,当其他指标失败时检测不公平,并探索追索机会。
2021-02-20 cs.CY cs.LG
Learning Fair Naive Bayes Classifiers by Discovering and Eliminating Discrimination Patterns
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Mila(米拉研究所);Université de Montréal(蒙特利尔大学);Polytechnique Montréal(蒙特利尔理工学院)
随着机器学习越来越多地用于现实世界的决策,最近的研究工作旨在定义和确保算法决策的公平性。现有的方法通常假设一组固定的可观察特征来定义个体,但缺乏对测试时未观察到的某些特征的讨论。在本文中,我们研究了朴素贝叶斯分类器的公平性,它允许部分观察。特别是,我们引入了歧视模式的概念,这是指一个人接受不同的分类,这取决于是否观察到一些敏感的属性。如果一个模型没有这样的模式,它就被认为是公平的。我们提出了一个算法来发现和挖掘的歧视模式在一个朴素贝叶斯分类器,并展示了如何学习最大似然参数受到这些公平性约束。我们的方法迭代地发现和消除歧视模式,直到学习到一个公平的模型。三个真实世界的数据集上的实证评估表明,我们可以删除指数许多歧视模式,只增加了一小部分作为约束。
2020-05-07 cs.AI cs.LG stat.ML
A Causal Framework to Measure and Mitigate Non-binary Treatment Discrimination
针对算法决策公平性研究忽略非二元处理决策的问题,提出扩展公平性分析的因果框架,区分协变量与处理决策,通过实证分析贷款数据集揭示差异并验证其能减轻歧视、确保公平决策。
2025-11-12 cs.AI cs.LG
A Discussion of Discrimination and Fairness in Insurance Pricing
间接歧视是算法模型中的一个主要问题。这在保险定价中尤其如此,在保险定价中不允许使用受保护的保单持有人特征。简单地忽略受保护的投保人信息并不是一个适当的解决方案,因为这仍然允许从不受保护的特征推断受保护的特征的可能性。这导致了所谓的代理或间接歧视。虽然代理歧视在本质上不同于机器学习中的群体公平概念,但提出这些群体公平概念是为了“消除”保险价格计算中受保护特征的影响。本说明的目的是分享一些想法的群体公平的概念,在保险定价的光,并讨论其影响。我们提出了一个统计模型,是免费的代理歧视,因此,从保险定价的角度来看是没有问题的。然而,我们发现,在这个统计模型的规范价格不满足任何三个最流行的群体公平公理。这似乎令人费解,我们欢迎反馈我们的例子和这些群体公平公理的非歧视性保险定价的有用性。
2022-09-02 cs.LG q-fin.ST stat.ML
Fairness in Algorithmic Profiling: A German Case Study
School of Social Sciences, University of Mannheim(曼海姆大学社会科学学院);dmTECH;LMU Munich(慕尼黑大学);Joint Program in Survey Methodology, University of Maryland(马里兰大学联合调查方法学项目)
公共部门越来越多地使用药物定性分析,作为有效和客观地分配有限公共资源的一种手段。一个例子是基于预测的求职者统计概况分析,以指导公共就业服务部门分配支助措施。然而,对潜在的副作用,如无意中的歧视和公平问题的经验评估是罕见的。在本研究中,我们从预测性能、公平性指标和数据分析决策的脆弱性方面比较和评估了预测求职者长期失业风险的统计模型。以德国为例,我们利用德国公共就业服务部门定期收集的求职者就业历史的行政数据,在现实条件下评估分析模型。除了表明这些数据可以用于预测长期失业率具有竞争力的准确性水平,我们强调,不同的分类政策有非常不同的公平性的影响。因此,我们呼吁在实施这些模式之前进行严格的审计。
2021-08-04 cs.CY cs.LG stat.AP
Fairness and Accountability Design Needs for Algorithmic Support in High-Stakes Public Sector Decision-Making
University College London(伦敦大学学院);University of Oxford(牛津大学)
在基于算法的公共决策(如税收、司法和儿童保护)中,呼吁加强对公平性和问责制的考虑现在已经司空见惯。设计师如何支持这样的人类价值观?我们采访了5个经合组织国家的27位公共部门机器学习从业者,了解他们在工作中理解和灌输公共价值观的挑战。结果表明,组织和机构的现实,限制和需求之间存在脱节,以及当前研究可用,透明和“歧视意识”的机器学习-如果不解决,可能会破坏实际举措。我们在这种脱节中看到了设计机会,例如支持跟踪二级数据源中的概念漂移,以及建立可用的透明度工具来识别风险并整合领域知识,针对管理人员和公共服务第一线的“街头官僚”。最后,我们概述了在这些高风险的应用程序中的合作的道德挑战和未来的方向。
2018-02-03 cs.CY cs.HC cs.LG
On the Privacy Risks of Algorithmic Fairness
National University of Singapore (NUS)(新加坡国立大学)
数学公平性和隐私性是值得信赖的机器学习的重要支柱。公平的机器学习旨在最大限度地减少对受保护群体的歧视,例如,对模型施加约束,以使不同群体的行为平等。这可能会以不成比例的方式改变训练数据点对公平模型的影响。我们研究了这如何改变模型关于其训练数据的信息泄漏。我们分析了群体公平的隐私风险(例如,均衡的几率)通过成员推断攻击的镜头:推断数据点是否用于训练模型。我们表明,公平性是以隐私为代价的,而这种代价并不是平均分布的:公平模型的信息泄漏在无特权的子组上显着增加,这是我们需要公平学习的子组。我们发现,训练数据越有偏见,实现公平的非特权子群的隐私成本将越高。我们为一般的机器学习算法提供了全面的实证分析。
2021-04-07 cs.CR cs.CY cs.LG
Fairness Testing through Extreme Value Theory
University of Illinois Chicago(伊利诺伊大学芝加哥分校);University of Texas at El Paso(德克萨斯大学埃尔帕索分校);University of Colorado Boulder(科罗拉多大学博尔德分校)
针对数据驱动软件在极端情况下可能放大歧视的问题,本文提出基于极值理论的极端反事实歧视准则,并设计随机算法与缓解器,在多数任务中改善尾部公平性且不损害平均公平。
2025-01-20 cs.AI cs.CY cs.LG
Algorithmic Fairness and Vertical Equity: Income Fairness with IRS Tax Audit Models
Carnegie Mellon University(卡内基梅隆大学);Stanford University(斯坦福大学);U.S. Treasury Department(美国财政部)
本研究探讨了算法公平性的背景下,告知美国国税局(IRS)的税务审计选择系统的问题。虽然算法公平性领域主要是围绕着对待相似个体的概念发展起来的,但我们探索了垂直公平的概念-适当地考虑到个体之间的相关差异-这是许多公共政策设置中公平性的核心组成部分。在美国个人所得税制度的设计中,纵向公平涉及不同收入水平纳税人之间税收和执法负担的公平分配。通过与财政部和国税局的独特合作,我们使用匿名个人纳税人微观数据,风险选择审计和2010-14年的随机审计来研究税收管理中的垂直公平。特别是,我们评估如何使用现代机器学习方法选择审计可能会影响纵向公平。首先,我们展示了如何使用更灵活的机器学习(分类)方法-而不是更简单的模型-将审计负担从高收入纳税人转移到中等收入纳税人。第二,我们表明,虽然现有的算法公平性技术可以减轻一些收入差距,他们可能会产生一个陡峭的成本性能。第三,我们表明,选择是否将漏报风险视为分类或回归问题是非常重要的。从分类到回归模型来预测低报将审计负担大幅转移到高收入个人,同时增加收入。最后,我们探讨了差异审计成本在形成审计分布中的作用。我们发现,狭隘地关注投资回报率会破坏纵向股权。我们的研究结果对整个公共部门的算法工具的设计具有影响。
2022-06-20 cs.CY cs.LG
"What We Can't Measure, We Can't Understand": Challenges to Demographic Data Procurement in the Pursuit of Fairness
Partnership on AI(人工智能伙伴关系);Minnesota State University, Mankato(明尼苏达州立大学曼卡托分校);Sony AI(索尼人工智能)
随着对公平和无偏见的算法系统的需求增加,在工业中致力于算法公平性的个人数量也在增加。然而,这些从业者往往无法获得他们认为需要的人口统计数据,以发现实践中的偏见。即使有越来越多的工具包和策略来实现算法公平性,它们几乎总是需要访问人口统计属性或代理。我们通过半结构化的访谈调查了这一困境,采访了38位从事算法公平性工作或与之相邻的从业者和专业人士。与会者描绘了一幅复杂的图景,说明人口数据的可用性和实际使用情况,从无法获得任何类型的个人数据到法律要求收集和使用人口数据进行歧视评估。在许多领域,人口数据汇集提出了一系列难题,包括如何平衡隐私和公平,如何定义相关的社会类别,如何确保有意义的同意,以及私营公司推断某人的人口统计数据是否合适。我们的研究提出了企业、监管机构、研究人员和社区团体必须考虑的挑战,以使从业者能够在实践中解决算法偏见。重要的是,我们并不建议未来工作的总体目标应该是简单地降低收集人口数据的障碍。相反,我们的研究提出了一系列规范性问题,即如何、何时以及是否应该获取这些数据,以及在不获取这些数据的情况下,还应该做些什么来减轻偏倚。
2021-01-23 cs.CY cs.LG
Certifying Fairness of Probabilistic Circuits
University of California, Los Angeles(加州大学洛杉矶分校);Arizona State University(亚利桑那州立大学)
随着越来越多地使用机器学习系统进行决策,有关此类系统的公平性的问题开始占据中心舞台。大多数关于算法公平性的现有工作都假设在预测时完全观察到特征,就像统计奇偶性和机会均等等流行概念一样。然而,这对于可以通过部分观察进行预测的模型来说是不够的,因为我们可能会错过偏差模式并错误地证明模型是公平的。为了解决这个问题,最近引入的公平性概念询问模型是否表现出任何歧视模式,其中以(部分)特征观察为特征的个体仅通过披露一个或多个敏感属性(如性别和种族)来获得截然不同的决定。通过显式地解释部分观测,这提供了一个更细粒度的公平性概念。在本文中,我们提出了一个算法来搜索歧视模式的一般类的概率模型,即概率电路。以前,这样的算法仅限于朴素贝叶斯分类器,使强大的独立性假设;相比之下,概率电路提供了一个统一的框架,范围广泛的易处理的概率模型,甚至可以从某些类别的贝叶斯网络和概率程序编译,使我们的方法更广泛地适用。此外,对于不公平的模型,快速找到歧视模式并提取它们以获得更好的可解释性可能是有用的。因此,我们还提出了一种基于采样的方法来更有效地挖掘歧视模式,并引入了新的模式类别,如最小,最大和帕累托最优模式,可以有效地指数总结许多歧视模式
2022-12-05 cs.AI cs.CY cs.LG
A Unified Approach to Quantifying Algorithmic Unfairness: Measuring Individual & Group Unfairness via Inequality Indices
MPI-SWS(马克斯·普朗克软件系统研究所);ETH Zurich(苏黎世联邦理工学院);University of Cambridge(剑桥大学);The Alan Turing Institute(艾伦·图灵研究所)
通过算法决策的歧视已经受到了相当大的关注。以前的工作主要集中在定义公平的条件,但没有定义令人满意的措施算法的不公平。在本文中,我们专注于以下问题:给定两个不公平的算法,我们应该如何确定这两个更不公平?我们的核心思想是使用经济学中现有的不平等指数来衡量算法的结果如何不平等地使人口中的不同个体或群体受益。我们的工作提供了一个合理的和一般的框架来比较和对比算法预测的(不)公平性。这种统一的方法使我们能够量化个人和群体层面的不公平。此外,我们的工作揭示了不同公平概念之间被忽视的权衡:使用我们提出的措施,算法的整体个人层面的不公平可以分解为组间和组内组件。早期的方法通常是为了解决群体之间的不公平,这可能是合理的法律或其他原因。然而,我们证明,最大限度地减少组间组件,事实上,增加组内,因此整体的不公平。我们的特点和说明我们的措施(不)公平和预测精度之间的权衡。
2018-07-02 cs.CY cs.LG stat.ML
Active Fairness in Algorithmic Decision Making
MIT(麻省理工学院)
社会越来越依赖于机器学习模型来进行自动化决策。然而,自动化带来的效率提升伴随着对算法歧视的担忧,这种歧视可能会使不平等现象系统化。最近的工作提出了最佳的后处理方法,随机分类决策的一小部分个人,以实现公平的措施有关的奇偶性错误和校准。然而,这些方法引起了人们的关注,由于信息效率低下,组内的不公平性,和帕累托次优,它们所带来的。目前的工作提出了一种替代的主动框架,公平的分类,其中,在部署中,决策者自适应地获取信息,根据不同的群体或个人的需要,对平衡的差异分类性能。我们提出了两种这样的方法,其中信息收集是适应组和个人层面的需求分别。我们在现实世界的数据集上展示了这些可以实现的:1)校准和单错误奇偶校验(例如,机会均等);以及2)假阳性率和假阴性率的均等(即,等赔率)。此外,我们表明,通过利用其额外的自由度,主动方法可以大大优于先前认为最佳的基于随机化的分类器,同时避免组内不公平等限制。
2018-11-07 cs.AI cs.CY cs.LG
Uncovering Discrimination Clusters: Quantifying and Explaining Systematic Fairness Violations
University of Illinois Chicago, USA(伊利诺伊大学芝加哥分校);University of Colorado Boulder, USA(科罗拉多大学博尔德分校);Pennsylvania State University, USA(宾夕法尼亚州立大学)
HyFair通过结合形式符号分析和随机搜索,揭示算法中的系统性歧视集群,提升公平性验证和解释能力。
2025-12-29 cs.AI cs.LG cs.SE
The four-fifths rule is not disparate impact: a woeful tale of epistemic trespassing in algorithmic fairness
Princeton Center for Information Technology Policy(普林斯顿信息技术政策中心);Parity Technologies, Inc.(Parity科技公司)
计算机科学家被训练来创建简化和概括的抽象。然而,一个不成熟的抽象,忽略了关键的上下文细节,通过错误地断言其相关性到其他上下文,创造了认知侵入的风险。我们研究了负责任的人工智能领域是如何通过抽象五分之四规则(又名“五分之四规则”)来创造一个不完美的提喻的。4/5规则或80%规则),不同影响歧视法的单个部分,到不同影响度量中。这个度量错误地引入了一个新的道义上的细微差别和新的潜在的道德危害,而这些在最初的4/5规则中是不存在的。我们还调查了该领域如何将4/5规则编入流行的AI公平软件工具包中,从而放大了潜在的危害。对法律细微差别的有害消除是对计算机科学家的一个警钟,要求他们自我批判地重新评估他们创造和使用的抽象,特别是在人工智能伦理的跨学科领域。
2022-02-19 cs.AI cs.CY cs.LG
Questioning the assumptions behind fairness solutions
EPFL(洛桑联邦理工学院);imec-COSIC KU Leuven(鲁汶大学imec-COSIC)
除了它们的好处之外,优化系统还可能对人口及其环境产生负面的经济,道德,社会和政治影响。已经提出了公平性等框架,以帮助服务提供商解决数据汇集和算法设计过程中的后续偏见和歧视。然而,最近关于忽视、反应迟钝和恶意的报告使人们怀疑服务提供商是否能够有效地实施公平解决方案。这些报告邀请我们重新审视在公平解决方案中对服务提供商所做的假设。也就是说,服务提供商有(i)激励或(ii)减轻优化外部性的手段。此外,这些系统对环境的影响表明,我们需要(iii)考虑算法决策和推荐系统以外的系统的新框架,以及(iv)超越消除相关算法偏见的解决方案。展望未来,我们提出了保护性优化技术,使优化主体能够抵御优化系统的负面影响。
2018-11-27 cs.CY cs.LG
Impact of Fairness Regulations on Institutions' Policies and Population Qualifications
Tehran Institute of Advanced Studies(德黑兰高等研究院);The Chinese University of Hong Kong(香港中文大学)
该研究探讨公平性监管中歧视惩罚对选拔差异的作用,分析个体资质随政策演变时惩罚可能阻碍公平自然实现的场景,并提出抵消不良结果、保障公平的条件。
2024-05-19 cs.AI cs.CY cs.LG
Human Perceptions of Fairness in Algorithmic Decision Making: A Case Study of Criminal Risk Prediction
MPI-SWS(马克斯·普朗克软件系统研究所);Saarland University(萨尔兰大学);University of Maryland(马里兰大学);Cambridge University(剑桥大学);Alan Turing Institute(艾伦·图灵研究所)
随着算法越来越多地用于做出影响人类生活的重要决策,从社会福利分配到预测犯罪累犯风险,人们对算法决策的公平性提出了担忧。大多数关于算法公平性的先前作品规范性地规定了应该如何做出公平的决定。相比之下,在这里,我们连续调查用户如何感知和推理算法决策的公平性。这项工作的一个关键贡献是我们提出的框架,以了解为什么人们认为某些功能是公平或不公平的算法中使用。我们的框架确定了八个属性的功能,如相关性,意志性和可靠性,作为潜在的考虑因素,告知人们的道德判断的公平性的功能使用决策算法。我们通过对576人进行的一系列基于ESTA的调查来验证我们的框架。我们发现,基于一个人对我们示例场景中某个特征的八个潜在属性的评估,我们可以准确地(> 85%)预测这个人是否会认为该特征的使用是公平的。我们的发现具有重要意义。在高层次上,我们表明,人们的不公平的关注是多方面的,并认为未来的研究需要解决歧视以外的不公平的关注。在低层次上,我们发现人们对公平性的判断存在相当大的分歧。我们找出分歧的根源,并指出解决这些分歧的可能途径。
2018-02-26 cs.CY cs.LG stat.ML
Rethinking Algorithmic Fairness for Human-AI Collaboration
Wharton AI & Analytics Initiative, Wharton School, University of Pennsylvania(沃顿商学院人工智能与分析倡议,沃顿商学院,宾夕法尼亚大学);Department of Operations, Information, and Decisions, Wharton School, University of Pennsylvania(运营、信息与决策系,沃顿商学院,宾夕法尼亚大学);Department of Computer and Information Science, University of Pennsylvania(计算机与信息科学系,宾夕法尼亚大学)
本文研究了人机协作中的算法公平性,提出了对人类遵从模式具有鲁棒性的遵从鲁棒公平算法推荐概念及优化策略,并证明传统公平约束可能不适用于改善协作公平性与准确性。
2025-06-29 cs.LG stat.ML
Simon Says: Evaluating and Mitigating Bias in Pruned Neural Networks with Knowledge Distillation
Texas State University(德克萨斯州立大学);Illinois Institute of Technology(伊利诺伊理工学院)
近年来,人工智能无处不在的部署在算法偏见、歧视和公平性方面引起了极大的关注。与人类造成的传统形式的偏见或歧视相比,人工智能产生的算法偏见更加抽象和不直观,因此更难以解释和减轻。在当前的文献中,关于评估和减轻修剪神经网络中的偏差存在明显的差距。在这项工作中,我们致力于解决具有挑战性的问题,评估,减轻和解释修剪神经网络中的诱导偏差。我们的论文有三个贡献。首先,我们提出了两个简单而有效的度量,组合误差方差(CEV)和对称距离误差(EFT),以定量评估修剪模型的诱导偏差预防质量。其次,我们证明了知识蒸馏可以减轻修剪神经网络中的诱导偏差,即使是不平衡的数据集。第三,我们揭示了模型相似性与修剪诱导的偏差有很强的相关性,这为解释为什么修剪后的神经网络会出现偏差提供了一个强有力的方法。我们的代码可在https://github.com/codestar12/pruning-distilation-bias上获得
2021-06-15 cs.AI cs.CV cs.LG
Local Causal Discovery for Structural Evidence of Direct Discrimination
Cornell Tech(康奈尔理工学院);Stevens Institute of Technology(史蒂文斯理工学院);University of Oxford(牛津大学);Amazon AWS AI/ML(亚马逊云科技人工智能/机器学习部门);Weill Cornell Medicine(威尔康奈尔医学院)
本文提出用于直接歧视的局部发现(LD3)方法,通过识别结果变量的因果父代来揭示直接不公平的结构证据,在有限样本下高效返回有效调整集,并在犯罪累犯预测和肝移植分配系统中验证了其时间效率和结果合理性。
2024-12-20 cs.LG stat.ML
Algorithmic Arbitrariness in Content Moderation
Harvard University(哈佛大学);University of Oxford(牛津大学);Universidade de São Paulo(圣保罗大学);School of Engineering and Applied Science, Harvard University(哈佛大学工程与应用科学学院)
本文研究最先进LLM有毒内容检测中的预测多样性及其群体差异和与人工分类的差异,揭示算法审核对言论自由等人权的任意性风险,并呼吁提升透明度以支撑相关政策与立法。
2024-02-26 cs.CY cs.LG cs.SI
Bridging Machine Learning and Mechanism Design towards Algorithmic Fairness
CU Boulder(科罗拉多大学博尔德分校);Columbia University(哥伦比亚大学);Stanford University(斯坦福大学);IIT Kharagpur(印度理工学院克勒格布尔分校);Cornell University(康奈尔大学);Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所)
决策系统越来越多地协调我们的世界:因此,如何干预算法组件以建立公平和公正的系统是一个至关重要的问题;一个因公平和歧视的上下文依赖性而变得非常复杂的问题。现代决策系统涉及向人们分配资源或信息(例如,学校选择,广告)将机器学习的预测纳入其管道中,引起对潜在战略行为或限制分配的担忧,这些担忧通常在机制设计的背景下解决。虽然机器学习和机制设计都开发了解决公平和公正问题的框架,但在一些复杂的决策系统中,这两个框架都是不够的。在本文中,我们发展的立场,建立公平的决策系统需要克服这些限制,我们认为,每个领域所固有的。我们的最终目标是建立一个包容性的框架,内聚桥梁的机制设计和机器学习的各个框架。我们开始为实现这一目标奠定基础,比较每个学科对公平决策的看法,梳理出每个领域已经传授的经验教训,并强调需要这些学科之间强有力合作的应用领域。
2021-03-04 cs.GT cs.LG
Distributive Justice and Fairness Metrics in Automated Decision-making: How Much Overlap Is There?
University of Mannheim(曼海姆大学);LMU Munich(慕尼黑大学);University of Maryland(马里兰大学)
强大的预测算法的出现导致了有关政府支出和福利支持等稀缺资源分配的高风险决策的自动化程度提高。这种自动化有可能使弱势群体和历史上处于不利地位的群体遭受不必要的歧视。计算机科学和其他学科中对算法歧视的研究开发了大量的公平性度量来检测和纠正歧视性算法。借鉴强大的社会学和哲学话语分配正义,我们确定的局限性和突出的公平指标的问题的影响。我们发现,实现机会均等的指标只适用于资源分配是基于应得的,但失败时,分配应该反映对平等主义,充足性和优先级的关注。我们认为,通过明确区分预测任务和决策任务,公平机器学习的研究可以更好地利用丰富的文献分配正义。
2021-05-06 cs.LG stat.ML
Individual Fairness under Uncertainty
Florida International University(佛罗里达国际大学);Carnegie Mellon University(卡内基梅隆大学);University of Mississippi(密西西比大学);National Institutes of Health(美国国立卫生研究院)
针对类别标签审查导致的不确定性,本文提出无需 Lipschitz 条件的排序视角个体公平性度量与算法,并在四个真实数据集上验证其兼顾预测性能与降低歧视的优势。
2023-12-11 cs.AI cs.CY cs.LG
Argumentative Debates for Transparent Bias Detection [Technical Report]
针对现有偏见检测方法缺乏透明度的问题,提出基于论证图的论辩式偏见检测框架ABIDE,通过辩论形式实现透明的偏见检测,实验验证其性能优于论辩式基线。
2025-11-17 cs.AI cs.LG
A Statistical Test for Probabilistic Fairness
EPFL(洛桑联邦理工学院);Stanford University(斯坦福大学)
算法现在通常用于做出影响人类生活的重大决策。例子包括大学入学,医疗干预或执法。虽然算法使我们能够利用隐藏在大量数据中的所有信息,但它们可能会无意中放大现有数据集中的现有偏见。这种担忧引发了人们对公平机器学习的兴趣,该学习旨在量化和减轻算法歧视。事实上,机器学习模型应该在大规模部署之前进行密集测试,以检测算法偏差。在本文中,我们使用最优传输理论的思想,提出了一个统计假设检验检测不公平的分类。利用特征空间的几何形状,测试统计量量化测试样本上支持的经验分布到使预训练分类器公平的分布流形的距离。我们开发了一个严格的假设检验机制,用于评估任何预先训练的逻辑分类器的概率公平性,我们在理论上和经验上都表明,所提出的测试是渐进正确的。此外,所提出的框架提供了可解释性,通过识别数据的最有利的扰动,使给定的分类器变得公平。
2020-12-09 cs.CY cs.LG stat.ML
Reconsidering Fairness Through Unawareness From the Perspective of Model Multiplicity
University of Tübingen(图宾根大学);ELLIS Alicante Foundation(阿利坎特基金会)
本文从模型多样性的角度重新审视通过无意识实现的公平性,证明其能减少算法歧视而不降低准确性,并强调在高风险场景中使用受保护属性需有充分正当理由。
2025-08-25 cs.CY cs.LG stat.ML
Social Norm Bias: Residual Harms of Fairness-Aware Algorithms
California Institute of Technology(加州理工学院);Microsoft Research(微软研究院);University of Texas at Austin(德克萨斯大学奥斯汀分校)
许多现代机器学习算法通过在与性别或种族等敏感属性相关的粗略定义的群体中实施公平约束来减轻偏见。然而,这些算法很少考虑组内异质性和偏见,可能会不成比例地影响一个组的一些成员。在这项工作中,我们的特点社会规范偏差(SNoB),一个微妙的,但后果类型的算法歧视,可能会表现出的机器学习模型,即使这些系统实现组公平的目标。我们通过职业分类中的性别偏见来研究这个问题。我们通过测量算法的预测如何与推断的性别规范一致性相关联来量化SNoB。当预测一个人是否属于男性主导的职业时,这个框架表明,“公平”分类器仍然倾向于以符合推断的男性规范的方式撰写的传记。我们比较了算法公平性方法之间的SNoB,并表明它通常是一个残余偏差,后处理方法根本不能减轻这种类型的偏差。
2022-08-10 cs.AI cs.CY cs.LG
Fairness in Credit Scoring: Assessment, Implementation and Profit Implications
Humboldt University of Berlin(柏林洪堡大学)
算法决策的兴起催生了对公平机器学习(ML)的大量研究。金融机构使用ML来构建风险记分卡,以支持一系列与信贷相关的决策。然而,关于信用评分中公平ML的文献很少。本文有三个贡献。首先,我们重新审视统计公平标准,并检查其是否足以进行信用评分。其次,我们将算法选项分类,以便在ML模型开发管道中纳入公平目标。最后,我们实证比较不同的公平处理器在利润为导向的信用评分的背景下,使用真实世界的数据。实证结果证实了公平措施的评价,确定合适的选项,以实施公平的信用评分,并澄清在贷款决策的利润公平权衡。我们发现,多个公平性标准可以近似地同时满足,并建议分离作为衡量记分卡公平性的适当标准。我们还发现,公平的处理器可以在利润和公平性之间实现良好的平衡,并表明算法歧视可以以相对较低的成本降低到合理的水平。与论文对应的代码可以在GitHub上找到。
2022-06-17 cs.LG q-fin.RM stat.ML
Causal Interventions for Fairness
The Alan Turing Institute(艾伦·图灵研究所);University of Warwick(华威大学);University of Surrey(萨里大学);New York University(纽约大学);University College London(伦敦大学学院)
算法公平性中的大多数方法都约束机器学习方法,因此所得到的预测满足公平性的几个直观概念之一。虽然这可能有助于私营公司遵守非歧视法律或避免负面宣传,但我们认为这往往太少,太迟了。在收集培训数据时,弱势群体中的个人已经因无法控制的因素而遭受歧视和失去机会。在目前的工作中,我们专注于干预措施,如新的公共政策,特别是如何最大限度地发挥其积极作用,同时提高整个系统的公平性。我们使用因果方法来模拟干预的效果,考虑到潜在的干扰-每个人的结果可能取决于谁接受干预。我们证明了这一点的一个例子,分配预算的教学资源使用的数据集在纽约市的学校。
2018-06-06 cs.AI cs.LG stat.ML
Fairness-aware Online Price Discrimination with Nonparametric Demand Models
Leonard N. Stern School of Business, New York University(纽约大学莱昂纳德·N·斯特恩商学院);Department of Mathematical Sciences, Tsinghua University(清华大学数学科学系);Department of Industrial and Enterprise Systems Engineering, University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校工业与企业系统工程系)
本文研究公平性约束下的动态差别定价问题,提出严格价格公平和软公平约束下的动态定价策略,证明最优遗憾为 $\tilde{O}(T^{4/5})$,并扩展至多客户群体等一般场景。
2023-07-28 cs.LG stat.ML
FairlyUncertain: A Comprehensive Benchmark of Uncertainty in Algorithmic Fairness
New York University(纽约大学)
本文提出 FairlyUncertain 公理化基准,系统评估公平性中的不确定性估计,发现二分类中简单方法更一致且校准良好、弃权(不执行)无法缓解群体结果不平衡,而回归中纳入校准不确定性可无需显式干预即改善公平性。
2024-10-02 cs.LG stat.ML