The Statistical Fairness-Accuracy Frontier
Rice University(莱斯大学);University of California, Berkeley(加州大学伯克利分校);Inria Paris(法国国家信息与自动化研究所巴黎分院)
本文研究了在有限样本情况下,如何通过最优样本分配策略和估计器设计,近似公平性-准确率前沿并量化其可靠性。
2026-10-19 cs.LG econ.TH math.OC
Inference for an Algorithmic Fairness-Accuracy Frontier
Department of Economics(经济系);Cornell University(康奈尔大学)
针对有限数据下算法公平性与准确率的权衡评估问题,提出公平性-准确率前沿的去偏机器学习估计量及推断方法,经模拟和医院护理管理算法验证,可得到双维度均有提升的前沿替代算法。
2025-06-13 cs.LG econ.EM
Fairness vs Performance: Characterizing the Pareto Frontier of Algorithmic Decision Systems
Zurich University of Applied Sciences / University of Zurich(应用科学大学苏黎世分校 / 苏黎世大学);Zurich University of Applied Sciences(应用科学大学苏黎世分校)
研究探讨算法决策系统中公平性与性能的权衡,通过多目标优化分析决策者效用与群体公平性,揭示帕累托前沿由确定性阈值规则构成,扩展了现有公平性约束下的最优定理。
2026-05-11 cs.AI cs.CY cs.LG
A Theoretical Approach to Characterize the Accuracy-Fairness Trade-off Pareto Frontier
Shanghai Jiao Tong University(上海交通大学);University of Illinois Chicago(伊利诺伊大学芝加哥分校);University of Georgia(佐治亚大学);New Jersey Institute of Technology(新泽西理工学院)
本文提出理论框架刻画准确率-公平性权衡的 Pareto 前沿,证明权衡存在性并分四类分析必要条件,通过合成数据实验揭示前沿连续性、准确率急剧下降及两步消除权衡的方法。
2023-10-19 cs.CY cs.LG
Learning with Impartiality to Walk on the Pareto Frontier of Fairness, Privacy, and Utility
University of Toronto(多伦多大学);Vector Institute(向量研究所)
部署机器学习(ML)模型通常需要公平性和隐私保证。这两个目标都提出了独特的权衡与效用(例如,模型的准确性。然而,公平、隐私和效用之间的相互作用还不太清楚。因此,通常只有一个目标被优化,而其他目标则被调整为超参数。因为它们隐含地优先考虑某些目标,这样的设计以有害的、不可检测的方式使模型产生偏差。为了解决这个问题,我们采用公正性作为原则:ML管道的设计不应该偏向于一个目标。我们提出了公平指定的模型,它为我们提供了准确的帕累托边界,显示目标之间的内在权衡。扩展了两个用于隐私保护学习的规范ML框架,我们提供了两种方法(FairDP-SGD和FairPATE)来训练公平指定的模型并恢复Pareto边界。通过理论隐私分析和全面的实证研究,我们提供了一个答案的问题,公平缓解应该集成在一个隐私感知ML管道。
2023-02-17 cs.AI cs.CY cs.LG
Pareto Efficient Fairness in Supervised Learning: From Extraction to Tracing
The Pennsylvania State University(宾夕法尼亚州立大学);Microsoft Bing(微软必应)
随着算法决策系统变得越来越普遍,确保此类系统不会成为基于性别、种族、民族、宗教等的不公平歧视机制至关重要。此外,由于公平性度量和准确性之间的固有权衡,希望在不显著影响准确性的情况下学习公平性增强的模型。在本文中,我们提出了帕累托有效公平(PEF)作为一个合适的公平性概念的监督学习,可以确保整体损失和其他公平性标准之间的最佳权衡。所提出的PEF概念是定义不可知的,这意味着任何定义良好的公平性概念都可以简化为PEF概念。为了有效地找到一个PEF分类器,我们铸造的公平性增强的分类作为一个双层优化问题,并提出了一种基于梯度的方法,可以保证解决方案属于帕累托前沿与可证明的保证凸和非凸目标。我们还概括了所提出的算法解决方案,以提取和跟踪任意的解决方案,从帕累托前沿的精度和公平性措施的给定偏好。这种方法是通用的,可以推广到任何多目标优化问题,跟踪点的帕累托前沿曲线,这是有趣的本身。我们经验证明了PEF解决方案的有效性和提取的帕累托前沿在现实世界的数据集相比,国家的最先进的方法。
2021-04-04 cs.AI cs.LG stat.ML
Arbitrariness Lies Beyond the Fairness-Accuracy Frontier
JPMorgan Chase Bank, N.A.(摩根大通银行);John A. Paulson School of Engineering and Applied Sciences, Harvard University(哈佛大学约翰·A·保尔森工程与应用科学学院)
本研究发现仅优化群体公平性与准确率的公平性干预会加剧预测多样性,掩盖模型任意性,为此提出适用于各类公平性干预的集成算法,以提升预测一致性。
2023-06-15 cs.CY cs.IT cs.LG
Understanding and Improving Fairness-Accuracy Trade-offs in Multi-Task Learning
Google Research(谷歌研究院)
随着多任务模型在更广泛的机器学习应用中越来越受欢迎,从业者理解与这些模型相关的公平性含义变得越来越重要。大多数现有的公平性文献都专注于更公平地学习单个任务,而ML公平性如何在联合学习环境中与多个任务相互作用则在很大程度上未得到充分探索。在本文中,我们关注的是群体公平性(例如,平等的机会,平等的赔率)作为ML公平概念在多任务场景中发挥作用。在多任务学习中,多个任务被联合学习,以利用任务相关性来实现更有效的归纳转移。这呈现了多维帕累托边界(1)关于每个任务的组公平性和准确性之间的权衡,以及(2)跨多个任务的权衡。我们的目标是提供一个更深入的了解如何组公平性与准确性在多任务学习,我们表明,传统的方法,主要集中在优化帕累托边界的多任务准确性可能不会表现良好的公平性目标。我们提出了一组新的指标,以更好地捕捉多维帕累托边界的公平性,准确性权衡独特的多任务学习设置。我们进一步提出了多任务感知公平性(MTA-F)方法来提高多任务学习的公平性。几个真实世界的数据集上的实验证明了我们所提出的方法的有效性。
2021-06-04 cs.LG
Identification and Inference for Algorithmic Frontiers with Selective Labels
Department of Economics, Cornell University(经济系,康奈尔大学)
本文针对仅观测到部分个体结果的情况,提出了公平-准确性前沿的识别方法及统计推断工具,包括无限制选择下的锐识别区域、无混淆假设下的点识别与去偏机器学习估计量。
2026-10-16 cs.LG econ.EM
The Impossibility Theorem of Machine Fairness -- A Causal Perspective
Columbia University(哥伦比亚大学)
随着机器学习在社会和经济环境中的日益普及,人工智能社区对机器偏见的概念产生了兴趣。根据历史数据训练的模型反映了社会中存在的偏见,并通过他们的决策将其传播到未来。在社区中使用了三个突出的机器公平性指标,统计数据表明,不可能同时满足所有这些指标。这导致了公平定义的模糊。在这份报告中,一个因果的公平性不可能定理的角度提出了一个因果的机器公平性的目标。
2021-01-29 cs.AI cs.LG stat.ML
Fairness With Minimal Harm: A Pareto-Optimal Approach For Healthcare
Duke University(杜克大学)
机器学习中常见的公平性定义侧重于平衡差异和效用的概念。在这项工作中,我们研究的公平性的背景下,子人群之间的风险差距。我们对学习模型感兴趣,这些模型可以最大限度地减少敏感群体之间的性能差异,而不会造成不必要的伤害。这与医疗保健等高风险领域有关,在这些领域,不伤害是一项核心原则。我们正式使用帕累托边界这一目标,并提供分析,根据最近的作品在公平性,以避免方案完美的公平可能是不可行的,而不做不必要的伤害。我们提出了一种训练神经网络的方法,通过动态重新平衡子组风险来实现我们的目标。我们认为,即使在需要成本公平的领域,找到一个非不必要的伤害公平模型是最佳的初始步骤。我们在预测ICU患者死亡率的真实案例研究中证明了这种方法,并从皮肤镜图像中对皮肤病变进行分类。
2019-11-16 cs.LG stat.ML
An Experimental Study on Fairness-aware Machine Learning for Credit Scoring Problems
Banking Academy of Vietnam(越南银行学院);Vietnam Academy of Science and Technology(越南科学技术 academy);Hanoi University of Science and Technology(河内科学技术大学);University of Koblenz(科隆大学)
本文研究信用评分中公平性意识机器学习的关键方面,评估公平性模型与传统分类模型的平衡性,发现公平性模型在预测准确性和公平性间取得更好平衡。
2026-03-05 cs.CY cs.LG stat.ML
Accuracy and Fairness Trade-offs in Machine Learning: A Stochastic Multi-Objective Approach
Lehigh University(理海大学);University of Coimbra(科英布拉大学)
在将机器学习应用于现实生活中的决策系统中,例如,信用评分和刑事司法,预测结果可能会歧视具有敏感属性的人,导致不公平。公平机器学习中常用的策略是将公平性作为预测损失最小化的约束或惩罚项,这最终限制了提供给决策者的信息。在本文中,我们介绍了一种新的方法来处理公平性,制定一个随机多目标优化问题,相应的帕累托前沿唯一和全面定义的准确性,公平性权衡。然后,我们应用了随机近似型方法,有效地获得良好的传播和准确的帕累托前沿,这样做,我们可以处理训练数据到达流的方式。
2022-03-18 cs.LG stat.ML
Contrastive Fairness in Machine Learning
University of Oxford(牛津大学)
雇用哈里而不雇用巴里公平吗?帕姆被解雇而不是萨姆公平吗?当智能算法代替人类做出这些决定时,如何确保公平?如何才能确保决定是根据优点而不是种族或性别等受保护的属性作出的?这些都是现在必须回答的问题,因为现实生活中的许多决策都可以通过机器学习做出。然而,算法公平性的研究主要集中在反事实问题上,即“如果?“或“为什么?“,而在现实生活中,大多数主观的后果问题是对比性的:“为什么是这个而不是那个?".我们介绍的概念和数学工具,使用因果推理来解决算法决策中的对比公平性与说明性的例子。
2019-09-07 cs.LG stat.ML
Approaching Machine Learning Fairness through Adversarial Network
Purdue University(普渡大学)
公平正成为w.r.t.日益关注的问题。机器学习模型性能。特别是对于刑事司法和贷款决策等敏感领域,消除对特定人群(具有种族和性别等敏感特征)的预测歧视对于提高模型的可信度至关重要。在本文中,我们提出了一个新的通用框架,以提高机器学习的公平性。我们的模型的目标是从数据输入和预测模型的角度最大限度地减少敏感特征的影响。为了实现这一目标,我们通过去除敏感信息来重构数据输入,并通过最小化敏感特征的边际贡献来增强模型公平性。我们建议通过在特征之间采样来学习非敏感输入,并设计一个对抗网络来最小化重构输入与敏感信息之间的依赖性。在三个基准数据集上的大量实验表明,我们的模型在公平性度量和预测性能方面都比相关的最先进的方法取得了更好的结果。
2019-09-06 cs.LG stat.ML
On Formalizing Fairness in Prediction with Machine Learning
Department of Computer Science, Montanuniversitat Leoben(蒙塔努大学莱奥本分校计算机科学系);Department of Computer Science, TU Eindhoven(埃因霍温理工大学计算机科学系)
用于预测的机器学习算法越来越多地用于影响人类生活的关键决策。各种公平的形式化,还没有明确的共识,用于防止这些算法系统地歧视基于某些属性受法律保护的人。本文的目的是调查如何在机器学习文献中形式化公平的预测任务,并提出这些形式化与其相应的概念分配正义的社会科学文献。我们从社会科学文献中对这些概念提出了理论和经验的批评,并解释了这些批评如何限制了相应公平形式化对某些领域的适用性。我们还提出了两个分配正义的概念,以解决其中的一些批评,并讨论未来公平形式化的途径。
2018-05-28 cs.AI cs.LG stat.ML
Counterfactual Fairness Evaluation of Machine Learning Models on Educational Datasets
Department of Computer Science and Engineering, Korea University, South Korea(计算机科学与工程系,韩国大学,韩国)
本文针对教育数据,通过基准数据集上的反事实公平性分析,揭示敏感属性的因果影响,为教育场景中的个体公平性评估提供新视角。
2025-04-20 cs.CY cs.LG
Fairness Evaluation in Text Classification: Machine Learning Practitioner Perspectives of Individual and Group Fairness
IBM Research(IBM研究院);Massachusetts Institute of Technology(麻省理工学院)
减轻算法偏见是机器学习模型开发和部署中的一项关键任务。虽然有几个工具包可以帮助机器学习从业者解决公平性问题,但人们对从业者用来评估模型公平性的策略以及影响其评估的因素知之甚少,特别是在文本分类的背景下。评价模型公平性的两种常用方法是群体公平性和个体公平性。我们与机器学习从业者(n=24)进行了一项研究,以了解用于评估模型的策略。向从业者提出的问题(群体与个人公平性)影响他们认为公平的模型。与会者重点关注与低估/高估相关的风险以及与身份令牌操作相关的模型敏感性。我们发现公平性评估策略涉及个人经验或用户如何形成身份令牌组来测试模型的公平性。我们提供了交互式工具的建议,用于评估文本分类的公平性。
2023-03-01 cs.CY cs.HC cs.LG
Fairness in Machine Learning: A Survey
University College Dublin(都柏林大学学院);University of Nebraska at Omaha(内布拉斯加大学奥马哈分校)
本文综述了机器学习中的公平性问题,将缓解偏见的方法归纳为预处理、处理中和后处理框架及11个子领域,并探讨了多任务场景与开源库,最后提出四大研究困境。
2020-10-04 cs.LG stat.ML
The invisible power of fairness. How machine learning shapes democracy
Nexa Center for Internet & Society, DAUIN, Politecnico di Torino(都灵理工大学Nexa互联网与社会中心、DAUIN);Future Urban Legacy Lab, Politecnico di Torino(都灵理工大学未来城市遗产实验室);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
许多机器学习系统广泛使用关于人类行为的大量数据。一些研究人员发现,在刑事司法、信用评分和广告等领域,存在与使用人类相关的机器学习系统有关的各种歧视性做法。因此,公平的机器学习正在成为一个新的研究领域,以减轻无意中纳入算法的偏见。数据科学家和计算机工程师正在做出各种努力来定义公平。在本文中,我们概述了机器学习领域中最广泛的公平定义,认为突出每个形式化的想法与不同的正义思想以及对我们文化中嵌入的民主的不同解释密切相关。这项工作旨在分析迄今为止提出的公平的定义,以解释基本标准,并将它们与不同的民主思想联系起来。
2019-03-22 cs.LG stat.ML
Residual Unfairness in Fair Machine Learning from Prejudiced Data
Cornell University(康奈尔大学)
最近在机器学习公平性方面的工作提出了通过均衡各组之间的准确性指标来调整公平性,并且还研究了受历史偏见影响的数据集如何可能导致不公平的决策策略。我们将这些工作联系起来,研究当公平性调整后的预测因子对目标人群实际上并不公平时产生的剩余不公平性,这是由于现有偏见政策对训练数据进行了系统性审查。这种情况在关注公平性的相同应用程序中特别常见。我们从理论上描述了这种审查对二进制分类器的标准公平性度量的影响,并提供了残留不公平性可能出现或可能不会出现的标准。我们证明,在某些条件下,公平调整的分类器实际上会导致剩余的不公平,使同样的不公平持续下去,对相同的群体,这使数据产生偏见,从而表明,即使是最先进的公平机器学习也可能具有“偏入,偏出”属性。当某些基准数据可用时,我们展示了样本重新加权如何在考虑删失的同时估计和调整公平性指标。我们用这个研究的情况下,停止,问题,和弗里斯克(SQF),并证明,试图调整公平的政策是臭名昭著的同样的不公正。
2018-06-07 cs.LG stat.ML
What is Fair? Defining Fairness in Machine Learning for Health
Department of Statistical Sciences, University of Toronto(统计科学系,多伦多大学);Harvard T.H. Chan School of Public Health(哈佛T.H. Chan公共卫生学院);York University(约克大学);Verily Life Sciences(Verily生命科学公司);Duke University(杜克大学);University of Toronto(多伦多大学)
本文探讨健康领域机器学习中公平性的定义,分析不公平决策成因及衡量方法,综述群体、个体和因果框架下的公平性概念,并展望未来研究机遇与挑战。
2025-05-27 cs.CY cs.LG stat.ML
A survey on datasets for fairness-aware machine learning
Leibniz University Hannover(汉诺威莱布尼茨大学);Carnegie Mellon University(卡内基梅隆大学);Free University Berlin(柏林自由大学)
随着决策越来越依赖于机器学习(ML)和(大)数据,数据驱动的人工智能(AI)系统中的公平性问题越来越受到研究和行业的关注。已经提出了各种各样的公平性感知机器学习解决方案,其涉及数据、学习算法和/或模型输出中的公平性相关干预。然而,提出新方法的一个重要部分是在代表现实和多样化环境的基准数据集上进行经验评估。因此,在本文中,我们概述了用于公平感知机器学习的真实世界数据集。我们专注于表格数据作为公平感知机器学习最常见的数据表示。我们通过识别不同属性之间的关系来开始分析,特别是w.r.t.。保护属性和类属性,使用贝叶斯网络。为了更深入地了解数据集中的偏差,我们使用探索性分析来研究有趣的关系。
2022-01-21 cs.LG
Machine learning fairness notions: Bridging the gap with real-world applications
Université du Québec à Montréal(魁北克大学蒙特利尔分校);Higher Colleges of Technology(高等技术学院);Inria(法国国家信息与自动化研究所);Ecole Polytechnique(巴黎综合理工学院);IPP(巴黎理工学院)
公平性是保证机器学习(ML)预测系统不歧视特定个人或整个亚群体(特别是少数群体)的重要要求。鉴于看待公平概念固有的主观性,文献中引入了几个公平概念。本文是一份调查,通过大量的例子和场景来说明公平概念之间的微妙之处。此外,与文献中的其他调查不同,它解决了这样一个问题:哪种公平概念最适合给定的现实世界场景,为什么?我们试图回答这个问题包括:(1)识别现实世界场景中与公平相关的特征集,(2)分析每个公平概念的行为,然后(3)拟合这两个元素,以在每个特定设置中推荐最合适的公平概念。结果总结在一个决策图中,从业者和政策制定者可以使用该图来浏览相对较大的ML目录。
2022-06-07 cs.AI cs.CY cs.LG
An Empirical Study of Rich Subgroup Fairness for Machine Learning
University of Pennsylvania(宾夕法尼亚大学);University of Minnesota(明尼苏达大学)
Kearns et al. [2018]最近提出了一个富子群公平的概念,旨在弥合统计和个人公平概念之间的差距。富子组公平性选择一个统计公平性约束(例如,均衡受保护组之间的误报率),但随后要求该约束适用于由一类具有有界VC维数的函数定义的指数或无限大的子组集合。他们给出了一个算法,保证学习受此约束,条件是它有机会完美的学习没有公平约束的预言。在本文中,我们对Kearns等人的算法进行了广泛的实证评估。在四个关注公平性的真实数据集上,我们研究了当使用快速算法代替学习预言机时算法的基本收敛性,测量公平性和准确性之间的权衡,并将这种方法与Agarwal等人的最新算法进行比较。[2018],其实现了由各个受保护属性定义的更弱和更传统的边际公平性约束。我们发现,在一般情况下,Kearns等人。算法收敛速度快,可以获得较大的收益的公平性与温和的成本准确性,并优化精度只受边际公平导致分类器与大量的子群不公平。我们还提供了一些分析和可视化的动力学和行为的卡恩斯等人。算法。总的来说,我们发现该算法是有效的真实数据,丰富的子群公平性是一个可行的概念在实践中。
2018-08-24 cs.LG stat.ML
The Role of Uncertainty in Assessing the Fairness of Machine Learning Models
Università della Svizzera Italiana (USI)(瑞士意大利语区大学)
本文探讨机器学习模型公平性评估中的不确定性量化,提出频率派和贝叶斯方法,并通过模拟和真实数据示例展示其应用与影响。
2026-09-09 cs.LG stat.ME stat.ML
50 Years of Test (Un)fairness: Lessons for Machine Learning
Google(谷歌)
关于什么是不公平和什么是公平的定量定义已经在多个学科中引入了50多年,包括教育,招聘和机器学习。我们追溯了在过去的半个世纪里,公平的概念是如何在教育和招聘的测试社区中被定义的,探索了不同公平定义出现的文化和社会背景。在某些情况下,公平性的早期定义与当前机器学习研究中的公平性定义相似或相同,并预示着当前的正式工作。在其他情况下,对公平意味着什么以及如何衡量公平的见解在很大程度上被忽视了。我们从几个方面比较了过去和现在的公平概念,包括公平标准、标准的重点(例如,测试、模型或其使用),公平性与个人、组和子组的关系,以及用于测量公平性的数学方法(例如,分类,回归)。这项工作指出了未来研究和测量(不)公平的方式,建立在我们对公平的现代理解的基础上,同时结合了过去的见解。
2018-12-03 cs.AI cs.LG
Do the Machine Learning Models on a Crowd Sourced Platform Exhibit Bias? An Empirical Study on Model Fairness
Iowa State University(爱荷华州立大学)
机器学习模型越来越多地用于重要的决策软件中,例如批准银行贷款,推荐刑事判决,雇用员工等。重要的是确保这些模型的公平性,以便不会基于受保护的属性(例如,种族、性别、年龄)。已经开发了算法来测量不公平并在一定程度上减轻它们。在本文中,我们专注于对真实世界机器学习模型的公平性和缓解措施的实证评估。我们创建了一个由Kaggle中的40个顶级模型组成的基准,用于5个不同的任务,然后使用一套全面的公平性指标来评估它们的公平性。然后,我们在这些模型上应用了7种缓解技术,并分析了公平性,缓解结果以及对性能的影响。我们已经发现,一些模型优化技术的结果诱导模型中的不公平。另一方面,虽然在机器学习库中有一些公平性控制机制,但它们没有被文档化。缓解算法还表现出常见的模式,例如后处理中的缓解通常是昂贵的(就性能而言),并且在大多数情况下,预处理阶段中的缓解是优选的。我们还提出了不同的权衡选择的公平缓解决策。我们的研究提出了未来的研究方向,以减少理论上的公平意识算法和软件工程方法之间的差距,以利用它们在实践中。
2020-09-22 cs.LG cs.SE stat.ML
RISE: Interactive Visual Diagnosis of Fairness in Machine Learning Models
University of Florida(佛罗里达大学)
RISE通过交互式可视化工具帮助诊断机器学习模型中的公平性问题,揭示准确率与公平性的权衡,支持更明智的模型选择。
2026-02-04 cs.LG
Fairness and Randomness in Machine Learning: Statistical Independence and Relativization
University of Tübingen(图宾根大学);Tübingen AI Centre(图宾根人工智能中心)
公平机器学习致力于防止在社会中嵌入的机器学习应用的背景下出现不公平。尽管公平的定义和提出的“公平算法”的各种各样,仍然存在未解决的概念问题,公平。在本文中,我们剖析了统计独立性在机器学习中经常使用的公平性和随机性概念中的作用。因此,我们被引导到一个令人惊讶的假设:随机性和公平性可以被认为是机器学习中的等价概念。特别是,我们获得了一个相对化的概念表示为统计独立的随机性呼吁冯米塞斯的百年历史的基础概率。这个概念在抽象意义上与常用的i.i.d.是“正交的”。随机性使用机器学习中的标准公平性概念(通过统计独立性定义),我们将数据的事前随机性假设与公平预测的事后要求联系起来。这种联系证明是富有成果的:我们用它来论证随机性和公平性本质上是相对的,并且这两个概念都应该反映它们作为机器学习中的建模假设的性质。
2022-11-16 cs.CY cs.LG
Fair Preprocessing: Towards Understanding Compositional Fairness of Data Transformers in Machine Learning Pipeline
Iowa State University(爱荷华州立大学)
近年来,已经报道了许多事件,其中机器学习模型表现出基于种族、性别、年龄等的人之间的歧视。已经进行了研究以测量和减轻机器学习模型中的不公平。对于机器学习任务,通常的做法是构建一个流水线,该流水线包括一组有序的数据预处理阶段,然后是分类器。然而,大多数关于公平性的研究都考虑了基于单个分类器的预测任务。机器学习管道中预处理阶段的公平性影响是什么?此外,研究表明,不公平的根本原因往往根植于数据本身,而不是模型。但是,还没有研究已经进行了测量的不公平性所造成的一个特定的转换,在数据预处理阶段。在本文中,我们引入了公平性的因果方法来推理ML管道中数据预处理阶段的公平性影响。我们利用现有的指标来定义阶段的公平性度量。然后,我们进行了详细的公平性评估的预处理阶段,在37个管道收集来自三个不同的来源。我们的结果表明,某些数据Transformers导致模型表现出不公平性。我们在几类数据Transformers中确定了一些公平模式。最后,我们展示了预处理阶段的局部公平性如何构成流水线的全局公平性。我们使用公平组合来选择适当的下游Transformer,以减轻机器学习管道中的不公平。
2021-07-20 cs.LG
A Catalog of Fairness-Aware Practices in Machine Learning Engineering
University of Salerno(萨勒诺大学)
本文通过系统性映射研究,提出包含28种实践的公平性感知目录,覆盖机器学习全生命周期,为软件工程领域提供可操作建议,以增强系统公平性与可信度。
2025-04-22 cs.LG cs.SE
Group Retention when Using Machine Learning in Sequential Decision Making: the Interplay between User Dynamics and Fairness
University of Michigan(密歇根大学);Bilkent University(比尔肯特大学)
在来自多个人口统计组的数据上训练的机器学习(ML)模型可以继承表示差异(Hashimoto et al.,数据中可能存在的问题:该模型可能对对培训过程贡献较少的群体不太有利;这反过来又会随着时间的推移降低这些群体的人口保留率,并从长远来看加剧代表性差异。在这项研究中,我们试图了解ML决策和底层群体表示之间的相互作用,它们如何在顺序框架中演变,以及公平标准的使用如何在这一过程中发挥作用。我们表明,代表性的差距可以很容易地恶化,随着时间的推移,在一个自然的用户动态(到达和离开)模型的基础上,一个常用的客观和公平的标准作出决定时,从长远来看,导致一些群体完全从样本池减少。它强调了这样一个事实,即必须定义公平性标准,同时考虑到决策对用户动态的影响。为此,我们解释了如何选择一个适当的公平性标准的基础上,一般的用户动态模型。
2019-11-02 cs.LG stat.ML
How fair can we go in machine learning? Assessing the boundaries of fairness in decision trees
Trilateral Research(三边研究公司);Data Justice Lab, Cardiff University(卡迪夫大学数据正义实验室);University of Granada(格拉纳达大学)
公平的机器学习工作一直专注于开发公平的算法,以解决对某些群体的歧视问题。然而,许多这些公平意识的方法旨在获得一个独特的解决方案的问题,这导致了一个贫穷的理解偏差缓解干预措施的统计限制。我们提出了第一种方法,允许在多目标框架内探索这些限制,该框架旨在优化任何准确性和公平性的衡量标准,并提供最佳可行解决方案的帕累托前沿。在这项工作中,我们把我们的研究重点放在决策树分类器,因为它们被广泛接受的机器学习,易于解释,可以处理非数值信息自然。实验结果表明,该方法能够以较小的分类错误代价优化决策树模型,具有较好的公平性。我们相信,我们的贡献将帮助社会技术系统的利益相关者评估他们能走多远是公平和准确的,从而在使用机器学习的情况下支持增强决策。
2020-06-22 cs.LG stat.ML
Review of Mathematical frameworks for Fairness in Machine Learning
Institut de Mathématiques de Toulouse(图卢兹数学研究所);Université de Toulouse 3(图卢兹第三大学);Instituto de Matemáticas de la Universidad de Valladolid(巴利亚多利德大学数学研究所);Universidad de Valladolid(巴利亚多利德大学)
从数学的角度对近年来文献中提出的主要公平性定义和公平学习方法进行了综述。根据我们的独立性为基础的方法,我们考虑如何建立公平的算法,其性能下降的后果相比,可能不公平的情况下。这对应于由准则$\textit{statistical parity}$或$\textit{equality of odds}$给出的公平性价格。给出了$\textit{equality of odds}$意义下的最佳公平分类器和最佳公平预测器(线性回归高斯模型下)的表达式。
2020-05-26 cs.LG stat.ML
Procedural Fairness and Its Relationship with Distributive Fairness in Machine Learning
Southern University of Science and Technology(南方科技大学);Lingnan University(岭南大学)
针对机器学习领域程序公平性研究不足的问题,本文提出训练阶段实现程序公平的新方法,验证其有效性,并探究程序公平与分配公平的关联及两类公平指标优化的差异。
2025-01-12 cs.CY cs.LG
Can Ensembling Pre-processing Algorithms Lead to Better Machine Learning Fairness?
Concordia University(康考迪亚大学)
随着机器学习(ML)系统在更关键的领域被采用,解决这些系统中可能出现的偏见变得越来越重要。几种公平性预处理算法可用于减轻模型训练期间的隐式偏差。这些算法采用不同的公平性概念,往往会导致冲突的策略与公平性和准确性之间的权衡。在这项工作中,我们评估了三种流行的公平预处理算法,并研究了将所有算法组合成一个更强大的预处理集成的潜力。我们报告的经验教训,可以帮助从业者更好地选择公平算法的模型。
2022-12-05 cs.AI cs.CY cs.LG
Monitoring fairness in machine learning models that predict patient mortality in the ICU
Microsoft(微软公司);Philips(飞利浦公司)
提出一种公平性监测方法,评估预测ICU患者死亡率的机器学习模型在不同种族、性别和诊断群体中的表现,并揭示文档偏差,提供比传统准确性指标更详细的性能比较。
2024-11-06 cs.AI cs.LG
Fairness-Driven Private Collaborative Machine Learning
Tel-Aviv University(特拉维夫大学);The Open University(开放大学)
当在更大的数据集上训练时,机器学习算法的性能可以得到相当大的提高。在许多领域,如医学和金融,如果几个方面,每个人都可以访问有限的数据量,合作和共享他们的数据,可以获得更大的数据集。然而,这种数据共享引入了重大的隐私挑战。虽然最近的多项研究调查了私人协作机器学习的方法,但这种协作算法的公平性被忽视了。在这项工作中,我们提出了一个可行的隐私保护预处理机制,以提高协同机器学习算法的公平性。我们的实验与所提出的方法表明,它是能够大大提高公平性,只有一个小的妥协的准确性。
2021-09-29 cs.CR cs.CY cs.LG
Modeling Techniques for Machine Learning Fairness: A Survey
Texas A&M University(德克萨斯农工大学);Rice University(莱斯大学);University of Georgia(佐治亚大学)
机器学习模型在高风险应用中变得越来越普遍。尽管这些模式在业绩方面有明显的好处,但它们可能显示出对少数群体的歧视,并导致决策过程中的公平问题,从而对个人和社会产生严重的负面影响。近年来,已经开发了各种技术来减轻机器学习模型的不公平性。其中,在处理方法引起了越来越多的关注,在模型设计中直接考虑公平性,以诱导内在公平的模型,并从根本上缓解输出和表示的公平性问题。在这项调查中,我们回顾了目前的进展,在处理公平缓解技术。根据模型中实现公平性的位置,我们将其分为显式和隐式方法,前者直接将公平性度量纳入训练目标,后者侧重于细化潜在的表示学习。最后,我们结束了调查,在这个社区的研究挑战的讨论,以激励未来的探索。
2022-04-10 cs.LG
A comparative study of fairness-enhancing interventions in machine learning
Haverford College(哈弗福德学院);University of Arizona(亚利桑那大学);University of Utah(犹他大学)
计算机越来越多地用于做出对人们生活有重大影响的决定。通常,这些预测会不成比例地影响不同的人口亚群。因此,公平性的问题最近受到了很大的关注,一些公平性增强的分类器和预测器已经出现在文献中。本文试图研究以下问题:这些不同的技术如何从根本上相互比较,以及是什么原因造成的差异?具体而言,我们力求提请注意这种加强公平的干预措施中许多未得到充分重视的方面。具体地说,我们提出了一个开放的基准测试,我们已经开发,让我们比较了一些不同的算法下的各种公平性措施,以及大量的现有数据集的结果。我们发现,虽然不同的算法往往更喜欢特定的配方的公平性,许多这些措施强烈相互关联。此外,我们发现公平性保持算法往往对数据集组成的波动敏感(在我们的基准测试中通过不同的训练测试分割进行模拟),这表明公平性干预可能比以前认为的更脆弱。
2018-02-13 cs.CY cs.LG stat.ML
Assessing Fairness in Classification Parity of Machine Learning Models in Healthcare
KenSci Inc(KenSci公司);University of Washington - Tacoma(华盛顿大学塔科马分校);University of Washington - Bothell(华盛顿大学博塞尔分校)
人工智能和机器学习系统的公平性已经成为人工智能系统问责的一个根本问题。虽然人工智能模型的问责制需求几乎无处不在,但医疗保健尤其是一个具有挑战性的领域,在这个领域,此类系统的问责制具有额外的重要性,因为医疗保健中的决策可能会改变生活。在本文中,我们提出了初步的公平性的背景下,在医疗保健的分类平价。我们还提出了一些探索性的方法,以提高公平性和选择适当的分类算法的背景下,医疗保健。
2021-02-07 cs.CY cs.LG
General Post-Processing Framework for Fairness Adjustment of Machine Learning Models
本文提出一种通用后处理公平性调整框架,适用于多种机器学习任务和公平性度量,通过解耦训练过程,无需自定义损失函数,并支持黑盒模型,在真实数据集上实现了与对抗性去偏相当的公平性/准确性权衡。
2025-04-22 cs.LG
SenSeI: Sensitive Set Invariance for Enforcing Individual Fairness
IBM Research(IBM研究院);MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室);University of Michigan(密歇根大学)
在本文中,我们将公平的机器学习视为不变的机器学习。我们首先制定了一个版本的个人公平性,强制某些敏感集的不变性。然后,我们设计了一个基于传输的正则化,强制执行这个版本的个人公平性,并开发了一个算法,以有效地最小化正则化。我们的理论结果保证了所提出的方法可以训练可证明公平的ML模型。最后,在实验研究中,我们证明了改进的公平性指标相比,最近的几个公平的训练程序的三个ML任务,容易受到算法偏见。
2021-04-01 cs.LG stat.ML
Fairness in machine learning: against false positive rate equality as a measure of fairness
NYU(纽约大学)
该研究针对机器学习中校准性与假阳性率相等的公平性权衡假设,从伦理学角度构建分析框架,论证假阳性率相等并非合理的公平性衡量标准,为算法公平性评估的指标选择提供伦理依据。
2020-07-06 cs.AI cs.CY cs.LG
Superhuman Fairness
University of Illinois Chicago(伊利诺伊大学芝加哥分校)
基于机器学习的决策的公平性已经成为监督机器学习方法设计中越来越重要的焦点。大多数公平性方法优化性能度量(例如,准确性、对数损失或AUC)和公平性度量(例如,人口均等,均等赔率)。这就引出了一个问题:是否指定了正确的性能-公平性权衡?相反,我们通过引入超人的公平性,将公平机器学习重新转换为一种模仿学习任务,这种公平性旨在同时在多个预测性能和公平性指标上超越人类决策。我们证明了这种方法的好处次优决策。
2023-01-31 cs.AI cs.LG
FairAgent: Democratizing Fairness-Aware Machine Learning with LLM-Powered Agents
Clemson University USA(卡罗来纳州克莱姆森大学);University of Arkansas USA(阿肯色大学)
针对公平感知机器学习开发门槛高的问题,提出由LLM驱动的FairAgent系统,可自动完成偏差分析、数据处理与缓解策略实施,在提升性能的同时降低开发难度与成本。
2025-10-05 cs.AI cs.LG
Globalizing Fairness Attributes in Machine Learning: A Case Study on Health in Africa
Google Research(谷歌研究院);Duke University(杜克大学);Stanford University(斯坦福大学)
本文以非洲为案例,提出在机器学习医疗应用中应考虑的公平属性,并分析其在不同医疗模式中的作用,旨在推动全球健康公平性研究。
2023-04-05 cs.AI cs.CY cs.LG
Probably Approximate Shapley Fairness with Applications in Machine Learning
National University of Singapore(新加坡国立大学);Institute for Infocomm Research, A*STAR(资讯通信研究院,新加坡科技研究局)
Shapley值(SV)被用于机器学习(ML)中的各种场景,包括数据估值、代理估值和特征属性,因为它满足其公平性要求。然而,由于实际上无法计算精确的SV,因此SV估计值近似。这个近似步骤提出了一个重要的问题:SV估计是否保留了精确SV的公平性保证?我们观察到,准确的SV的公平性保证是太严格的SV估计。因此,我们概括了Shapley公平性,可能近似Shapley公平性,并提出保真度分数,衡量SV估计的变化,这决定了公平性保证的可能性。我们最后的理论贡献是一种新的贪婪主动估计(GAE)算法,将最大限度地提高最低的保真度分数,并实现更好的公平性保证比事实上的蒙特卡罗估计。我们经验验证GAE在保证公平性方面优于几种现有方法,同时在使用真实世界数据集的各种ML场景中保持估计准确性的竞争力。
2022-12-01 cs.CY cs.LG
Delayed Impact of Fair Machine Learning
University of California, Berkeley(加州大学伯克利分校)
机器学习中的公平性主要是在静态分类环境中研究的,而不关心决策如何随着时间的推移改变底层种群。传统观点认为,公平标准促进了它们旨在保护的那些群体的长期福祉。我们研究静态公平标准如何与幸福感的时间指标相互作用,如长期改善,停滞和利益变量的下降。我们证明,即使在一个一步反馈模型中,共同的公平标准一般不促进改善随着时间的推移,实际上可能会造成伤害的情况下,一个不受约束的目标不会。我们完全表征的延迟影响的三个标准的标准,对比这些表现出质的不同的行为的制度。此外,我们发现,一种自然形式的测量误差扩大了制度,其中公平性标准表现良好。我们的研究结果强调了测量和时间建模在公平性标准评估中的重要性,提出了一系列新的挑战和权衡。
2018-04-07 cs.LG stat.ML
Survey on Causal-based Machine Learning Fairness Notions
INRIA(法国国家信息与自动化研究所);École Polytechnique(巴黎综合理工学院);IPP(巴黎理工学院)
解决公平性问题对于安全地使用机器学习算法来支持对人们生活产生关键影响的决策至关重要,例如招聘,虐待儿童,疾病诊断,贷款发放等。然而,最新的公平概念是基于因果关系的,反映了现在广泛接受的观点,即使用因果关系是适当解决公平问题的必要条件。本文研究了一个详尽的清单,基于cabinet的公平概念,并研究其在现实世界中的应用场景。由于大多数基于因果关系的公平性概念是根据不可观察的量来定义的(例如,干预措施和反事实),在实践中部署它们需要使用观测数据来计算或估计这些数量。本文提供了一个全面的报告,不同的方法来推断因果量的观测数据,包括可识别性(珍珠的SCM框架)和估计(潜在的结果框架)。这份调查报告的主要贡献是(1)一个指导方针,以帮助选择一个合适的公平概念给定一个特定的现实世界的情况下,(2)根据珍珠的因果关系阶梯的公平概念的排名,表明它是多么困难,在实践中部署每个概念。
2022-06-07 cs.LG
The Effect of Enforcing Fairness on Reshaping Explanations in Machine Learning Models
Intelligent Systems Program, University of Pittsburgh(1 智能系统计划,匹兹堡大学);Department of Biomedical Informatics, University of Pittsburgh(2 生物医学信息学系,匹兹堡大学)
本研究探讨了在医疗机器学习中通过偏见缓解技术提高公平性如何影响基于Shapley的特征排名,发现公平性提升可能改变特征重要性排名,强调了在模型评估中需综合考虑准确性、公平性和可解释性。
2025-12-01 cs.CY cs.LG
Fairness in Machine Learning
University of Pisa(比萨大学);DeepMind(深度思维)
基于机器学习的系统正在广泛应用于社会和日常生活的许多方面。这一现象伴随着对采用这些技术可能产生的道德问题的担忧。ML公平性是机器学习最近建立的一个领域,它研究如何确保数据和模型不准确性中的偏见不会导致模型基于种族、性别、残疾和性或政治取向等特征对个人不利。在这篇手稿中,我们讨论了目前关于公平的推理和处理方法中存在的一些局限性,并描述了作者为解决这些问题所做的一些工作。更具体地说,我们展示了因果贝叶斯网络如何在推理和处理公平性方面发挥重要作用,特别是在复杂的不公平场景中。我们描述了如何最优运输理论可以用来开发的方法,施加约束的完整形状的分布对应于不同的敏感属性,克服了大多数方法的限制,近似公平desiderata施加约束的低阶矩或其他功能的分布。我们提出了一个统一的框架,包括方法,可以处理不同的设置和公平标准,并享有强有力的理论保证。我们介绍了一种学习公平表示的方法,可以推广到看不见的任务。最后,我们描述了一种技术,占敏感属性的使用的法律限制。
2020-12-31 cs.CY cs.LG stat.ML
Transfer of Machine Learning Fairness across Domains
University of Maryland(马里兰大学);Google(谷歌)
如果我们的模型被用于新的或意想不到的情况,我们是否知道它们是否会做出合理的预测?以前,研究人员开发了针对单个问题领域的模型去偏见的方法。然而,这通常不是模型在实践中训练和使用的方式。例如,标签和人口统计(敏感属性)通常难以观察,导致辅助或合成数据用于训练,敏感属性的代理用于公平性评估。为一种设置训练的模型可以在许多其他设置中使用,特别是在预训练和云API中常见。尽管这些复杂性普遍存在,但公平文献中很少有理论上研究这些问题的工作。我们将所有这些设置都框定为领域自适应问题:我们如何使用在源领域学到的知识在新的目标领域消除偏差,而不直接在目标领域消除偏差,就好像它是一个全新的问题?我们提供了新的理论保证,提高跨域的公平性,并提供了一种建模方法来转移到数据稀疏的目标域。我们给出的实证结果验证了理论,并表明,这些建模方法可以提高公平性指标与更少的数据。
2019-11-14 cs.LG stat.ML