Counterfactually Fair Regression with Double Machine Learning
Centre for Social Research and Methods(社会研究与方法中心);Australian National University(澳大利亚国立大学)
反事实公平是人工智能公平的一种方法,它试图根据具有某种敏感状态的个人在没有这种状态的情况下会产生的结果来做出决策。本文提出了双重机器学习(DML)公平性,它将回归问题中的反事实公平性问题类比为潜在结果框架下因果推理中估计反事实结果的问题。它使用任意机器学习方法来部分消除敏感变量对非敏感变量和结果的影响。假设两组变量的影响是可加性分离的,结果将近似相等,个人水平的结果将是反事实公平的。本文演示了在模拟研究有关歧视工作场所招聘和应用程序的真实数据估计法学院学生的GPA的方法。然后,它讨论了当它是适当的应用这样一种方法来解决现实世界中的歧视问题的结构是概念上复杂的,最后,是否DML公平可以实现正义,在这些设置。
2023-03-21 cs.LG stat.ME
Counterfactual fairness: removing direct effects through regularization
Experian UK&I and EMEA DataLabs(益博睿英国及爱尔兰与欧洲、中东和非洲数据实验室)
构建对无特权群体公平的机器学习模型是一个热门问题。现代公平感知算法通常忽略因果效应,并通过仅适用于机器学习模型子集的修改来强制公平。在这项工作中,我们提出了一个新的公平性的定义,通过受控直接效应(CDE)的因果关系。我们开发正则化来解决经典的公平性措施,并提出了一个因果正则化,通过消除非特权组变量对CDE测量的模型结果的影响,满足我们新的公平性定义。这些正则化适用于通过迭代最小化微分损失来训练的任何模型。我们使用梯度提升和逻辑回归来展示我们的方法:合成数据集,UCI成人(人口普查)数据集和真实世界的信用风险数据集。我们的研究结果被发现,以减轻不公平的预测与模型性能的小幅度降低。
2020-02-26 cs.AI stat.ML
Contrastive Mixture of Posteriors for Counterfactual Inference, Data Integration and Fairness
Microsoft Research(微软研究院);BenevolentAI(BenevolentAI公司);University of Oxford(牛津大学);Human Technopole(人类技术园)
学习有意义的数据表示,可以解决诸如批量效应校正和反事实推理等挑战,是包括计算生物学在内的许多领域的核心问题。采用条件VAE框架,我们表明,边际独立的表示和条件变量之间起着关键作用,在这两个挑战。我们提出了对比混合后验(CoMP)的方法,使用一种新的错位罚款定义的混合物的变分后验来执行这种独立性在潜在的空间。我们发现,CoMP有吸引力的理论特性相比,以前的方法,我们证明了反事实的CoMP下的额外假设的可识别性。我们在一系列具有挑战性的任务上展示了最先进的性能,包括将人类肿瘤样本与癌细胞系对齐,预测转录组水平的扰动响应,以及对单细胞RNA测序数据进行批量校正。我们还发现了与公平表示学习的相似之处,并证明了CoMP在该领域的共同任务上具有竞争力。
2022-06-26 cs.LG q-bio.GN stat.ML
Target specification bias, counterfactual prediction, and algorithmic fairness in healthcare
McGill University(麦吉尔大学)
本文提出医疗机器学习中独立于数据限制的“目标设定偏差”,指出其源于预测反事实场景与实际场景的错配,并基于测量学研究提出纠正方法以避免高估准确性和伤害患者。
2023-08-03 cs.CY cs.LG stat.ME
Principal Fairness for Human and Algorithmic Decision-Making
Harvard University(哈佛大学);Institute for Quantitative Social Science(定量社会科学研究所);University of Massachusetts(马萨诸塞大学)
利用因果推理文献中的主要分层概念,我们引入了一个新的公平性概念,称为主要公平性,用于人类和算法决策。关键的想法是,人们不应该歧视那些同样受到决定影响的个人。与现有的公平性统计定义不同,主要公平性明确说明了个人可能受到决策影响的事实。此外,我们解释了如何从现有的cabetity为基础的公平标准的主要公平不同。例如,与反事实公平标准相反,主要公平考虑的是有关决定的影响,而不是受保护的利益属性的影响。我们简要地讨论了如何处理经验评估和策略学习问题下提出的主要公平标准。
2022-03-24 cs.CY cs.LG stat.ML
Counterfactual Evaluation of Treatment Assignment Functions with Networked Observational Data
Arizona State University(亚利桑那州立大学);University of Virginia(弗吉尼亚大学)
新治疗分配函数的反事实评估(例如,广告算法和推荐系统)对于从业者来说是最关键的因果推理问题之一。传统上,进行随机对照试验(A/B检验)来评估治疗分配函数。然而,这种试验可能是耗时的,昂贵的,甚至在某些情况下是不道德的。因此,治疗分配函数的离线反事实评估成为一个紧迫的问题,因为在当今的大数据时代,有大量的观察数据可用。反事实评估需要处理隐藏的混杂因素--无法测量的特征,这些特征会对治疗分配和结果产生因果影响。为了处理隐藏混杂因素,大多数现有方法依赖于没有隐藏混杂因素的假设。然而,在大量观测数据的背景下,这种假设可能是站不住脚的。当这些数据与网络信息一起出现时,后者可能有助于纠正隐藏的混淆偏见。因此,我们首先制定了一个新的问题,与网络观察数据的治疗分配函数的反事实评估。然后,我们探讨了以下研究问题:我们如何利用网络信息在反事实评价?网络信息能改善反事实评估中的估计吗?为了回答这些问题,首先,我们提出了一个新的框架,\emph{Counterfactual Network Evaluator}(CONE),它(1)在观察到的治疗和结果的监督下学习潜在混杂因素的部分表示;(2)将它们结合起来进行反事实评估。然后通过大量的实验,我们证实了CONE的有效性。结果表明,将网络信息减轻隐藏的混淆偏见,在反事实评价。
2019-12-22 cs.LG stat.ME stat.ML
Counterfactually Fair Representation
The Ohio State University(俄亥俄州立大学);Yahoo Research(雅虎研究院)
针对高风险场景下机器学习模型的偏见问题,本研究提出一种可利用全部特征训练模型的新算法,从理论和实证层面验证其能满足反事实公平要求,弥补了此前同类方法无理论保证的不足。
2023-11-09 cs.CY cs.LG
DualFair: Fair Representation Learning at Both Group and Individual Levels via Contrastive Self-supervision
KAIST(韩国科学技术院);Microsoft Research Asia(微软亚洲研究院);GIST(光州科学技术院);Tsinghua University(清华大学);IBS(基础科学研究院)
算法公平性已经成为一个重要的机器学习问题,特别是对于任务关键型Web应用程序。这项工作提出了一个名为DualFair的自我监督模型,可以从学习的表示中消除性别和种族等敏感属性的偏见。与针对单一类型公平性的现有模型不同,我们的模型联合优化了两个公平性标准-群体公平性和反事实公平性-因此在群体和个人层面上都做出了更公平的预测。我们的模型使用对比损失来生成每个受保护组无法区分的嵌入,同时迫使反事实对的嵌入相似。然后使用自知识蒸馏方法来保持下游任务的表示质量。对多个数据集的广泛分析证实了该模型的有效性,并进一步显示了联合解决两个公平标准的协同作用,表明该模型在公平智能Web应用程序的潜在价值。
2023-03-15 cs.AI cs.CY cs.LG
VACA: Design of Variational Graph Autoencoders for Interventional and Counterfactual Queries
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Saarland University(萨尔大学)
在本文中,我们介绍了VACA,一类新的变分图自编码器的因果推断在没有隐藏的混杂因素,只有观测数据和因果图。在不做任何参数假设的情况下,VACA模拟了结构因果模型(SCM)的必要属性,为近似干预(do-operator)和外展-动作-预测步骤提供了一个灵活实用的框架。因此,正如我们的实证结果所示,VACA准确地近似了不同SCM上的干预和反事实分布。最后,我们应用VACA来评估公平分类问题中的反事实公平性,以及在不影响性能的情况下学习公平分类器。
2021-10-27 cs.LG stat.ML
Counterfactual (Non-)identifiability of Learned Structural Causal Models
Massachusetts Institute of Technology(麻省理工学院);Microsoft Research(微软研究院)
概率生成建模的最新进展促使使用深度条件生成模型(也称为深度结构因果模型(DSCM))从观测数据集学习结构因果模型(SCM)。如果成功,DSCM可以用于因果估计任务,例如,回答反事实的问题在这项工作中,我们警告从业者,即使在没有未观察到的混淆和假设已知的因果结构的情况下,从观察数据中得出的反事实推断也是不可识别的。我们证明了具有一维外生变量的单调生成机制的反事实可识别性。对于一般的生成机制与多维外生变量,我们提供了一个不可能的结果,反事实的可识别性,激励参数假设的需要。作为一种实用的方法,我们提出了一种方法来估计学习DSCM的反事实预测的最坏情况下的错误。这个错误的大小可以是决定DSCM是否是在特定问题设置中进行反事实推理的可行方法的基本度量。在评估中,我们的方法确认可以忽略不计的反事实错误的可识别的SCM从以前的工作,也提供了翔实的错误界限上的反事实错误的不可识别的合成SCM。
2023-01-22 cs.LG stat.ML
Counterfactually Fair Reinforcement Learning via Sequential Data Preprocessing
University of Michigan(密歇根大学);London School of Economics(伦敦政治经济学院)
针对强化学习在医疗多阶段决策中易引发群体公平偏差的问题,提出基于反事实公平的通用序列决策框架,证明最优策略平稳性并设计序列数据预处理算法,经仿真和真实数字健康数据集验证可有效提升决策公平性与咨询服务可及性。
2025-01-14 cs.CY cs.LG stat.ME
Perfect Match: A Simple Method for Learning Representations For Counterfactual Inference With Neural Networks
ETH Zurich(苏黎世联邦理工学院)
从观察数据中学习反事实推理的表示对于许多领域具有高度的实际意义,例如医疗保健,公共政策和经济学。反事实推理使人们能够回答“如果......会怎样?“问题,如“如果我们给予该患者$t_1$治疗,结果会如何?".然而,目前用于训练神经网络以用于对观察数据进行反事实推断的方法要么过于复杂,要么限于只有两种可用处理的设置,或者两者兼而有之。在这里,我们提出了完美匹配(PM),一种用于训练神经网络进行反事实推理的方法,该方法易于实现,与任何架构兼容,不增加计算复杂性或超参数,并扩展到任何数量的处理。PM是基于在一个小批量与他们的倾向匹配最近的邻居增加样本的想法。我们的实验表明,PM优于一些更复杂的国家的最先进的方法在推断反事实的结果在几个基准,特别是在设置有许多治疗。
2019-05-27 cs.LG stat.ML
Learning Representations for Counterfactual Inference
Chalmers University of Technology(查尔姆斯理工大学);New York University(纽约大学)
由于医疗、教育、就业和生态等领域数据的广泛积累,观察性研究的重要性正在上升。我们考虑的是回答反事实问题的任务,例如,“如果这个病人接受了不同的药物治疗,她的血糖会降低吗?".我们提出了一个新的反事实推理算法框架,它汇集了域适应和表示学习的思想。除了理论上的理由,我们进行了实证比较与以前的方法,从观测数据的因果推断。我们的深度学习算法明显优于以前的最先进技术。
2018-06-06 cs.AI cs.LG stat.ML
Contrastive Fairness in Machine Learning
University of Oxford(牛津大学)
雇用哈里而不雇用巴里公平吗?帕姆被解雇而不是萨姆公平吗?当智能算法代替人类做出这些决定时,如何确保公平?如何才能确保决定是根据优点而不是种族或性别等受保护的属性作出的?这些都是现在必须回答的问题,因为现实生活中的许多决策都可以通过机器学习做出。然而,算法公平性的研究主要集中在反事实问题上,即“如果?“或“为什么?“,而在现实生活中,大多数主观的后果问题是对比性的:“为什么是这个而不是那个?".我们介绍的概念和数学工具,使用因果推理来解决算法决策中的对比公平性与说明性的例子。
2019-09-07 cs.LG stat.ML
Deep Counterfactual Networks with Propensity-Dropout
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);University of Oxford(牛津大学);Alan Turing Institute(艾伦·图灵研究所)
我们提出了一种新的方法,用于从观察数据中推断治疗(干预)的个体化因果效应。我们的方法将因果推理概念化为多任务学习问题;我们使用深度多任务网络对受试者的潜在结果进行建模,该网络具有事实和反事实结果之间的一组共享层以及一组特定结果层。观测数据中的选择偏差的影响通过一个倾向-丢弃正则化方案来减轻,在该方案中,网络通过依赖于相关倾向分数的丢弃概率来细化每个训练样本。网络在交替的阶段进行训练,在每个阶段中,我们使用两个潜在结果(治疗和控制群体)之一的训练样本来更新共享层和相应结果特定层的权重。基于真实世界的观测研究数据进行的实验表明,我们的算法优于最先进的。
2017-06-19 cs.LG stat.ML
Counterfactual Fairness Is Not Demographic Parity, and Other Observations
University College London(伦敦大学学院)
本文驳斥了反事实公平等同于人口统计均等的观点,并澄清了关于反事实公平的常见误解。
2024-02-05 cs.CY cs.LG stat.ML
A Distribution Mapping Approach to Counterfactually Fair Reinforcement Learning
University of Michigan(密歇根大学);LSE(伦敦政治经济学院)
该研究针对强化学习在高风险场景中可能出现的不公平决策问题,提出一种结合策略学习的反事实公平数据预处理算法,通过分位数分布映射方法实现反事实状态与奖励估计,并在数值实验和真实健康数据集上验证了算法有效性。
2026-08-11 cs.CY cs.LG stat.ME
Learning to Bound Counterfactual Inference from Observational, Biased and Randomised Data
IDSIA(达勒·摩尔人工智能研究所);University of Almería(阿尔梅里亚大学)
我们解决的问题,从多个,可能有偏见的,观察性和干预性研究的数据整合,最终计算结构因果模型中的反事实。我们从受选择偏差影响的单个观测数据集的情况开始。我们表明,可用数据的可能性没有局部最大值。这使我们能够使用因果期望最大化方案来计算部分可识别的反事实查询的近似边界,这是本文的重点。然后,我们展示了相同的方法如何解决多个数据集的一般情况,无论是干预性的还是观察性的,有偏的还是无偏的,通过图形变换将其重新映射到前一个。系统的数值实验和姑息治疗的案例研究表明,我们的方法的有效性和准确性,同时暗示的好处,整合异构数据,以获得信息范围的情况下,部分可识别性。
2023-03-16 cs.AI stat.ME
Estimating Counterfactual Treatment Outcomes over Time Through Adversarially Balanced Representations
University of Oxford(牛津大学);The Alan Turing Institute(艾伦·图灵研究所);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);University of Cambridge(剑桥大学)
确定何时对患者进行治疗以及如何随着时间的推移在多种治疗中进行选择是重要的医疗问题,现有的解决方案很少。在本文中,我们介绍了反事实循环网络(CRN),这是一种新型的序列到序列模型,它利用日益可用的患者观察数据来估计随着时间的推移的治疗效果并回答此类医学问题。为了处理时变混杂因素(影响观察数据中治疗分配策略的协变量)的偏倚,CRN使用领域对抗训练来构建患者病史的平衡表示。在每个时间步,CRN构建一个治疗不变表示,该表示消除了患者病史和治疗分配之间的关联,因此可以可靠地用于进行反事实预测。在肿瘤生长的模拟模型上,随着时间的变化,我们展示了我们的模型如何在估计反事实和选择正确的治疗和治疗时机方面比目前最先进的方法实现更低的误差。
2020-02-10 cs.LG stat.ML
Counterfactual Fairness in Text Classification through Robustness
Stanford University(斯坦福大学);Google AI(谷歌人工智能)
本文研究文本分类中的反事实公平性,提出了这样一个问题:如果示例中引用的敏感属性不同,预测结果会如何变化?毒性分类器通过预测“有些人是同性恋”是有毒的,而“有些人是异性恋”是无毒的,证明了一个反事实的公平问题。我们提供了一个度量,反事实令牌公平性(CTF),用于测量这种特殊形式的公平性在文本分类器,并描述其与组公平性的关系。此外,我们提供了三种方法,盲法,反事实增强和反事实logit配对(CLP),用于优化训练过程中的反事实令牌公平性,桥接鲁棒性和公平性文献。根据经验,我们发现盲目性和CLP解决了反事实令牌公平性。这些方法不会损害分类器的性能,并与组公平性有不同的权衡。这些方法,无论是测量和优化,提供了一个新的路径前进,解决文本分类的公平性问题。
2019-02-13 cs.LG stat.ML
Causal Context Connects Counterfactual Fairness to Robust Prediction and Group Fairness
University of Chicago(芝加哥大学);University of California, Berkeley(加州大学伯克利分校);Sentience Institute(感知研究所)
本文利用因果语境建立反事实公平性与鲁棒预测及群体公平性之间的联系,证明反事实公平预测器在无偏目标分布中可达到准确性最优,并揭示在测量误差、标签选择和预测变量选择三种情境下,反事实公平性分别等价于人口统计均等、均等化几率和校准。
2023-10-30 cs.AI cs.CY cs.LG
Consistent End-to-End Estimation for Counterfactual Fairness
LMU Munich & Munich Center for Machine Learning (MCML)(慕尼黑大学及慕尼黑机器学习中心)
针对反事实公平缺乏理论保证的问题,提出基于定制神经网络与反事实中介正则化的预测器,兼具理论保障与当前最优性能。
2025-10-02 cs.CY cs.LG
Counterfactual Fairness Is Basically Demographic Parity
New York University(纽约大学)
做出公平的决策对于在社交环境中道德地实施机器学习算法至关重要。在这项工作中,我们考虑了反事实公平的著名定义[Kusner et al.,NeurIPS,2017]。我们首先证明,一个算法,满足反事实的公平性也满足人口均等,一个更简单的公平性约束。同样,我们表明,所有的算法满足人口均等可以平凡地修改,以满足反事实的公平性。总之,我们的研究结果表明,反事实公平基本上等同于人口统计学上的平等,这对反事实公平越来越多的工作具有重要意义。然后,我们验证我们的理论研究结果经验,分析三个现有的算法对三个简单的基准反事实的公平。我们发现,两个简单的基准算法优于所有三个现有的算法-在公平性,准确性和效率方面-在几个数据集。我们的分析使我们正式确定了一个具体的公平目标:维护受保护群体中个人的秩序。我们认为,受保护组中个体排序的透明度使公平算法更值得信赖。通过设计,这两个简单的基准算法满足这一目标,而现有的反事实公平算法不。
2023-03-03 cs.CY cs.LG
Counterfactual Fairness Evaluation of Machine Learning Models on Educational Datasets
Department of Computer Science and Engineering, Korea University, South Korea(计算机科学与工程系,韩国大学,韩国)
本文针对教育数据,通过基准数据集上的反事实公平性分析,揭示敏感属性的因果影响,为教育场景中的个体公平性评估提供新视角。
2025-04-20 cs.CY cs.LG
MUtE: A Dual Framework for Concept Erasure and Counterfactual Interventions
onepoint
提出MUtE双重框架,通过推导新型擦除函数实现概念擦除与反事实生成的无缝切换,并施加平移偏差约束,实验证明其能改善算法公平性并生成反事实文本。
2026-09-11 cs.CL cs.LG
Cycle-Balanced Representation Learning For Counterfactual Inference
University of New South Wales(新南威尔士大学);Data61, CSIRO(澳大利亚联邦科学与工业研究组织Data61)
随着观测数据的广泛积累,研究人员在许多领域(例如,医疗保健和计算机广告),而没有随机对照试验(RCT)。然而,观察数据存在固有的缺失反事实结果,以及由于行为偏好导致的治疗组和对照组之间的分布差异。基于表示学习在领域自适应领域的最新进展,本文提出了一个基于循环平衡的反事实表示学习框架(CBRE),以解决上述问题。具体而言,我们通过对抗训练实现了不同群体的鲁棒均衡表示,同时构建了一个信息循环,使得原始数据属性循环保存,从而减少了将数据转换到潜在表示空间时的信息丢失。在三个真实数据集上的实验结果表明,CBRE匹配/优于现有方法,它在反事实推理中有很大的应用潜力。
2021-10-29 cs.AI cs.LG
Shortcomings of Counterfactual Fairness and a Proposed Modification
London School of Economics and Political Science(伦敦政治经济学院)
在本文中,我认为,反事实的公平性并不构成一个算法是公平的必要条件,并随后提出如何修改约束,以弥补这一缺陷。为此,我讨论了一个假设的情况下,反事实的公平和公平的直觉判断来分开。然后,我转向的问题,歧视的概念可以解释,以检查的缺点,反事实的公平性作为一个必要条件的算法公平性更详细。然后,我将这种分析的见解到一个新的公平约束,因果相关公平,这是一个修改的反事实公平约束,似乎规避其缺点。
2020-11-14 cs.AI cs.LG stat.ML
On Learning and Testing of Counterfactual Fairness through Data Preprocessing
North Carolina State University(北卡罗来纳州立大学);Indian Institute of Management(印度管理学院)
机器学习在现实生活中的决策中变得越来越重要,但人们担心它在使用不当时可能带来的伦理问题。最近的工作将机器学习公平性的讨论引入因果框架,并详细阐述了反事实公平性的概念。在本文中,我们开发了通过dAta预处理进行公平学习(FLAP)算法,以从有偏见的训练数据中学习反事实公平决策,并形式化应使用不同数据预处理程序来保证反事实公平性的条件。我们还表明,反事实的公平性是等价的条件独立的决定和敏感属性的处理非敏感属性,这使我们能够检测歧视的原始决策使用处理后的数据。我们的算法的性能说明使用模拟数据和现实世界的应用程序。
2022-02-25 cs.LG stat.ML
Recover Experimental Data with Selection Bias using Counterfactual Logic
Department of Computer Science(计算机科学系);Florida State University(佛罗里达州立大学)
本文利用结构因果模型构建反事实世界,提出图形与理论准则及方法,从有偏实验数据中恢复无偏因果分布$P(Y^*_{x^*})$,并通过模拟验证其有效性。
2025-06-04 cs.AI stat.ME
Adversarial Learning for Counterfactual Fairness
Sorbonne Université(索邦大学);LIP6/CNRS(法国国家科学研究中心计算机科学实验室);AXA REV Research(安盛研究)
近年来,公平性已经成为机器学习研究界的一个重要话题。特别是,反事实公平的目的是建立预测模型,确保在最个人的水平公平。这个想法不是从全局上考虑整个人口的公平性,而是想象任何一个人在给定的兴趣属性(例如不同的性别或种族)变化的情况下会是什么样子。现有的方法依赖于个体的变分自动编码,使用最大平均离散(MMD)惩罚来限制推断表示与其相应的敏感属性的统计依赖性。这使得能够模拟用于训练目标公平模型的反事实样本,目标是为任何个体的每个替代版本产生类似的结果。在这项工作中,我们建议依赖于一种对抗性神经学习方法,这种方法可以实现比MMD惩罚更强大的推理,并且特别适合连续设置,其中敏感属性的值不能被穷举。实验表明,显着的改善,无论是离散和连续设置的反事实的公平性。
2020-08-30 cs.AI cs.CY cs.LG
Counterfactual Fair Opportunity: Measuring Decision Model Fairness with Counterfactual Reasoning
Polytechnic University of Bari(巴里理工大学);University of Bari(巴里大学)
越来越多的人工智能和机器学习模型的应用带来了不公平行为的潜在风险,根据最近的法规,已经引起了研究界的关注。一些研究人员专注于寻求新的公平定义或开发方法来识别有偏见的预测。然而,没有人试图利用反事实空间来达到这一目的。在这个方向上,在这项工作中提出的方法,旨在揭示不公平的模型行为,使用反事实推理的情况下,在无意识设置的公平。定义了机会平等的反事实版本--反事实公平机会,并引入了两种新的度量方法来分析反事实样本中的敏感信息。在三个不同数据集上的实验结果显示了我们的方法和指标的有效性,揭示了经典机器学习和去偏置模型的不公平行为。
2023-02-16 cs.AI cs.CY cs.LG
Prediction Sensitivity: Continual Audit of Counterfactual Fairness in Deployed Classifiers
University of Vermont(佛蒙特大学)
随着基于人工智能的系统越来越多地影响我们生活的许多领域,审计这些系统的公平性是一个越来越高的风险问题。传统的群体公平性度量可能会错过对个人的歧视,并且在部署后难以应用。反事实公平描述了一种个性化的公平概念,但在部署后评估更具挑战性。我们提出了预测灵敏度,部署分类器的反事实公平性的持续审计方法。预测灵敏度有助于回答这个问题:如果这个人属于不同的人口统计学群体,那么这个预测会有所不同吗?对于部署的模型所做的每一个预测。预测灵敏度可以利用受保护状态和其他特征之间的相关性,并且在预测时不需要受保护状态信息。我们的实证结果表明,预测灵敏度是有效的检测违反反事实公平。
2022-02-09 cs.AI cs.CY cs.LG
Counterfactually Fair Regression via Optimal Transport
Inria, Soda team(Inria,Soda团队);Inria, FairPlay joint team(Inria,FairPlay联合团队);CREST, ENSAE, IP Paris(CREST,ENSAE,IP巴黎);CMAP, CNRS, Ecole Polytechnique, Institut Polytechnique de Paris(CMAP,CNRS,Polytechnique学院,巴黎理工学院)
本文采用因果不确定性视角,通过重采样噪声定义反事实公平性,提出基于最优传输的后处理估计器,并证明其有限样本公平性保证和风险界。
2026-05-27 cs.CY cs.LG stat.ML
Counterfactual Situation Testing: Uncovering Discrimination under Fairness given the Difference
Scuola Normale Superiore, University of Pisa(比萨高等师范学校,比萨大学);University of Pisa(比萨大学)
本文提出因果数据挖掘框架CST,通过基于因果知识生成申诉人反事实并构建对照与测试组来检测分类器个体歧视,实验表明其即使在反事实公平条件下也能发现更多案例。
2023-10-16 cs.CY cs.LG stat.ML
Achieving Counterfactual Fairness with Imperfect Structural Causal Model
University of Technology Sydney(悉尼科技大学);Curtin University(科廷大学)
反事实公平性是指模型对现实世界(观察数据)中的个体的预测与反事实世界(即,如果该人属于其他敏感群体,该怎么办?现有的研究需要预先定义结构因果模型,以捕捉变量之间的相关性进行反事实推理;然而,潜在的因果模型通常是未知的,并且难以在现实世界中验证。此外,因果模型的错误设定可能会导致模型预测性能低下,从而做出不公平的决策。在这项研究中,我们提出了一种新的极小极大博弈理论模型的反事实的公平性,可以产生准确的结果,同时实现一个反事实的公平决策与结构因果模型的强假设放松。此外,我们还从理论上证明了所提出的minimax模型的误差界。在多个真实世界数据集上的实证实验表明,我们在准确性和公平性方面都有出色的表现。源代码可从\url{https://github.com/tridungduong16/counterfactual_fairness_game_theoretic}获得。
2023-03-26 cs.AI cs.CY cs.LG
Counterfactual Fairness in Mortgage Lending via Matching and Randomization
Albers School of Business and Economics(阿尔伯斯商业与经济学院);Seattle University(西雅图大学)
抵押贷款中的不公平造成了美国种族和族裔群体之间的代际不平等。许多研究解决了这个问题,但大多数现有的工作集中在基于相关性的技术。在我们的工作中,我们使用反事实公平的框架来训练公平的机器学习模型。我们提出了一个新的因果关系图的变量在住房抵押贷款披露法案(HMDA)的数据。我们使用基于匹配的方法,而不是潜变量建模方法,因为前一种方法不依赖于任何建模假设。此外,匹配为我们提供了反事实对,其中种族变量是孤立的。我们首先证明了非洲裔美国人和非西班牙裔白人亚群之间的抵押贷款批准和利率的不公平性。然后,我们证明了使用匹配来平衡数据并不能保证机器学习模型的完美反事实公平性。
2021-12-03 cs.CY cs.LG
Towards counterfactual fairness through auxiliary variables
University of Maryland(马里兰大学);Clemson University(克莱姆森大学)
针对现有反事实公平方法忽视敏感特征内在信息的问题,提出EXOC框架,通过辅助节点与控制节点建模外生因果和信息流,在合成及真实数据集上取得优于现有方法的公平性表现。
2025-02-20 cs.DS cs.LG stat.ML
Achieving Counterfactual Fairness for Anomaly Detection
Utah State University(犹他州立大学);University of Arkansas(阿肯色大学);Clemson University(克莱姆森大学)
由于许多异常检测应用都涉及到人类,因此保证异常检测模型的公平性受到了广泛关注。然而,现有的公平异常检测方法主要集中在基于关联的公平性的概念。在这项工作中,我们的目标是反事实公平,这是一个普遍的基于因果关系的公平概念。反事实公平异常检测的目标是确保个体在事实世界中的检测结果与个体属于不同群体的反事实世界中的检测结果相同。为此,我们提出了一个反事实公平的异常检测(CFAD)框架,其中包括两个阶段,反事实数据生成和公平的异常检测。在一个人工数据集和两个真实数据集上的实验结果表明,CFAD能够有效地检测异常,并确保反事实公平性。
2023-03-04 cs.LG
Fairness Aware Counterfactuals for Subgroups
Athena Research Center(雅典娜研究中心);Université Libre De Bruxelles(布鲁塞尔自由大学);National Technical University of Athens(雅典国立技术大学)
本文提出FACTS框架,通过反事实解释审计子组公平性,引入更精细的子组公平性概念及高效可解释的评估框架,并在多个基准数据集上验证了其优势与广泛适用性。
2023-06-26 cs.CY cs.LG
Fairness Through Counterfactual Utilities
University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
针对现有群体公平性定义局限于分类问题且在其他机器学习环境中存在多种定制化解释的问题,提出基于效用和反事实结果的广义公平框架,解决了分类、聚类和强化学习中的公平性问题。
2022-02-12 cs.CY cs.LG
Canonical Representations of Markovian Structural Causal Models: A Framework for Counterfactual Reasoning
本文提出结构因果模型的规范表示(反事实模型),通过归一化程序分离反事实选择与干预约束,从而在保留干预知识的同时灵活实现多种反事实假设,无需个体层面估计。
2025-09-22 cs.AI math.ST stat.TH
Learning Fair Node Representations with Graph Counterfactual Fairness
University of Virginia(弗吉尼亚大学);City University of Hong Kong(香港城市大学);Microsoft(微软)
公平机器学习旨在减轻模型预测对某些亚群的偏见,这些亚群涉及种族和性别等敏感属性。在众多现有的公平性概念中,反事实公平性通过比较每个个体从原始数据和反事实的预测,从因果的角度衡量模型的公平性。在反事实中,这个人的敏感属性值被修改了。近年来,一些研究将反事实公平性扩展到图数据,但大多数研究都忽略了以下可能导致偏差的事实:1)每个节点的邻居的敏感属性可能会因果地影响预测w.r.t.该节点; 2)敏感属性可能会对其他特征和图结构产生因果影响。为了解决这些问题,在本文中,我们提出了一个新的公平概念-图反事实公平,它考虑了上述事实导致的偏见。为了学习图反事实公平性的节点表示,我们提出了一种新的框架,基于反事实数据增强。在这个框架中,我们生成对应于每个节点及其邻居的敏感属性上的扰动的反事实。然后,我们通过最小化从原始图中学习的表示与每个节点的反事实之间的差异来执行公平性。在合成图和真实世界图上的实验表明,我们的框架在图反事实公平性方面优于最先进的基线,并且还实现了相当的预测性能。
2022-01-10 cs.AI cs.LG
FADE: FAir Double Ensemble Learning for Observable and Counterfactual Outcomes
Carnegie Mellon University(卡内基梅隆大学);J. P. Morgan AI Research(摩根大通人工智能研究院)
建立公平预测的方法通常涉及公平性和准确性之间以及不同公平性标准之间的权衡,但这些权衡的性质各不相同。最近的工作旨在描述这些权衡在特定的问题设置,但这些方法往往不适应用户谁希望提高现有的基准模型的公平性,而不牺牲准确性,反之亦然。这些结果通常也限于可观察的准确性和公平性标准。我们开发了一个灵活的公平集成学习框架,允许用户有效地探索公平性-准确性空间或提高基准模型的公平性或准确性。我们的框架可以同时针对多个可观察或反事实的公平标准,它使用户能够结合大量以前训练和新训练的预测。我们提供理论保证,我们的估计收敛速度快。我们将我们的方法应用于模拟和真实数据,以及可观察和反事实的准确性和公平性标准。我们发现,令人惊讶的是,多个不公平的措施,有时可以同时最小化,对准确性的影响很小,相对于无约束的预测或现有的基准模型。
2021-09-01 cs.LG stat.ML
CERTIFAI: Counterfactual Explanations for Robustness, Transparency, Interpretability, and Fairness of Artificial Intelligence models
University of Texas at Austin(德克萨斯大学奥斯汀分校);CognitiveScale
随着人工智能在我们的社会中发挥着越来越重要的作用,企业和研究人员都有道德和道德义务,以确保他们的机器学习模型得到负责任的设计,部署和维护。这些模型需要经过严格的审核,以确保公平性、鲁棒性、透明度和可解释性。已经开发了各种方法来单独关注这些问题,但是,将这些方法与模型开发结合起来管理可能会很麻烦且耗时。在本文中,我们介绍了一个统一的和模型无关的方法来解决这些问题:反事实的稳健性,透明度,可解释性和公平性的人工智能模型(CERTIFAI)。与该领域以前的方法不同,CERTIFAI是一个通用工具,可应用于任何黑盒模型和任何类型的输入数据。给定一个模型和一个输入实例,CERTIFAI使用自定义的遗传算法来生成反事实:接近输入的实例会改变模型的预测。我们展示了如何使用这些反事实来研究鲁棒性,可解释性,透明度和公平性的问题。此外,我们还引入了CERScore,这是第一个黑盒模型鲁棒性得分,它可以对可以访问模型内部的方法进行验证。
2019-05-20 cs.LG stat.ML
Counterfactual Fairness through Transforming Data Orthogonal to Bias
Carnegie Mellon University(卡内基梅隆大学)
提出模型无关的数据预处理算法Orthogonal to Bias (OB),通过确保数据与连续敏感变量正交来实现反事实公平,在合成和真实数据集上有效促进公平且不损害准确性。
2025-06-25 cs.LG stat.ML
FairPFN: Transformers Can do Counterfactual Fairness
University of Freiburg(弗莱堡大学);Zuse School ELIZA(楚塞ELIZA学院);Charité(夏里特医学院);ELLIS Institute Tübingen(蒂宾根ELLIS研究院)
本文提出 FairPFN,一种基于 ICL 与 PFN、用合成公平数据预训练的 Transformer,可无需真实因果模型而从观测数据中消除受保护属性的因果影响。
2024-07-08 cs.AI cs.CY cs.LG
"Explain it in the Same Way!" -- Model-Agnostic Group Fairness of Counterfactual Explanations
Bielefeld University(比勒费尔德大学);University of Cyprus(塞浦路斯大学)
反事实解释是一种流行的解释类型,用于使决策系统的结果对用户透明。反事实解释告诉用户做什么,以改变系统的结果在一个理想的方式。然而,最近发现,关于如何做的建议在受保护的个人群体之间的复杂性可能有很大差异。向一个群体提供更困难的行动建议会导致这个群体与其他群体相比处于不利地位。在这项工作中,我们提出了一个模型不可知的方法计算反事实的解释,不显着不同的保护组之间的复杂性。
2022-11-27 cs.AI cs.CY cs.LG
Procedural Fairness via Group Counterfactual Explanation
Gianforte School of Computing, Montana State University, Bozeman, MT, USA(蒙大拿州立大学戈登福特 computing 学院,博兹曼,MT,美国)
本文提出GCIG框架,通过强制跨群体解释不变性提升程序公平性,实验证明其能有效减少跨群体解释差异并保持预测性能。
2026-03-11 cs.AI cs.CY cs.LG
FACEGroup: Feasible and Actionable Counterfactual Explanations for Group Fairness
University of Ioannina(伊奥安纳大学);Archimedes, Athena Research Center(阿基米德研究所);Boston University(波士顿大学)
本文提出基于图的FACEGroup框架,通过建模可行性约束、识别相似子群并捕捉权衡,生成可行的群体反事实解释以审计群体公平性,并引入新指标量化公平性差异。
2025-09-08 cs.AI cs.LG stat.ME
Lookahead Counterfactual Fairness
The Ohio State University(俄亥俄州立大学)
针对反事实公平性忽视预测对个体下游影响的问题,提出前瞻反事实公平性 LCF,给出可满足条件、算法及路径依赖扩展,并通过合成与真实数据实验验证。
2024-12-02 cs.AI cs.LG stat.ML
Counterfactual Risk Assessments, Evaluation, and Fairness
Carnegie Mellon University(卡内基梅隆大学)
医学风险评估越来越多地用于帮助人类在高风险环境中做出决策,如医学,刑事司法和教育。在每一种情况下,风险评估工具的目的都是为医疗或释放条件等行动提供信息,其目的往往是降低再次入院或累犯等不良事件的可能性。问题是,大多数工具都是根据历史数据进行训练和评估的,其中观察到的结果取决于历史决策政策。因此,这些工具反映了历史政策下的风险,而不是该工具旨在提供信息的不同决策选项下的风险。即使构建工具来预测特定决策下的风险,它们也经常被不正确地评估为目标结果的预测因子。专注于评估任务,在本文中,我们定义了常见的预测性能和算法的公平性指标,我们认为更适合于决策环境的反事实的类似物。我们介绍了一种新的方法,估计建议的指标使用双重稳健估计。我们提供的理论结果表明,只有在强的条件下,公平性,根据标准度量和反事实度量同时举行。因此,在标准公平度量中以均等为目标的公平促进方法可能-正如我们的经验所示,确实-在反事实模拟中引起更大的不平衡。我们提供的合成数据和现实世界的儿童福利数据集的实证比较,以证明所提出的方法如何提高标准实践。
2020-01-10 cs.CY cs.LG stat.AP
Learning Counterfactually Fair Models via Improved Generation with Neural Causal Models
针对现有反事实公平方法的样本生成与正则项局限,提出用带核最小二乘损失的神经因果模型改进反事实生成,并结合MMD正则项显式约束公平性,实现了公平性与泛化性的更优权衡。
2025-09-05 cs.LG
Selection, Ignorability and Challenges With Causal Fairness
University of Oxford(牛津大学)
在本文中,我们看看流行的公平方法,使用因果反事实。这些方法捕捉到了一个直观的概念,即如果一个人的种族、性别或宗教与事实不符,那么如果这个预测与预测相吻合,那么这个预测就是公平的。为了实现这一点,我们必须有因果模型,能够捕捉到如果我们要反事实地改变这些特征,某人会是什么样子。然而,我们认为,任何模型,可以做到这一点必须位于特别表现良好的类,通常认为在公平文献之外。这是因为在公平环境中,这类模型需要特别强的因果假设,通常只在随机对照试验中看到。我们认为,在一般情况下,这是不太可能举行。此外,我们表明,在许多情况下,它可以被明确拒绝,因为样本是从更广泛的人群中选择的。我们发现这给反事实公平以及更一般的因果公平方法的应用带来了困难。
2022-03-02 cs.LG stat.ML
Achieving Counterfactual Fairness for Causal Bandit
University of Arkansas(阿肯色大学)
在在线推荐中,客户从底层分布以顺序和随机的方式到达,并且在线决策模型基于某种策略为每个到达的个体推荐所选物品。我们研究如何在每一步推荐一个项目,以最大化预期回报,同时实现用户端公平的客户,即,共享相似简档的客户将接收相似的奖励,而不管他们的敏感属性和被推荐的项目。通过将因果推理纳入土匪和采用软干预来模拟手臂选择策略,我们首先提出了基于d-分离的UCB算法(D-UCB),以探索利用d-分离集来减少所需的探索量,以实现低累积遗憾。在此基础上,我们提出了公平因果强盗(F-UCB)实现反事实的个人公平。理论分析和实验验证了算法的有效性。
2021-09-21 cs.AI cs.CY cs.LG