Intra-Processing Methods for Debiasing Neural Networks
RAIR Lab RPI(伦斯勒理工学院RAIR实验室)
随着深度学习模型越来越多地承担影响人类生活的决策任务,例如犯罪累犯、贷款偿还和执法人脸识别,偏见正成为一个越来越令人担忧的问题。去偏置算法通常分为三种范式:预处理、处理中和后处理。然而,在计算机视觉或自然语言应用中,通常从大型通用模型开始,然后根据特定用例进行微调。预处理或处理中的方法需要从头开始重新训练整个模型,而后处理方法只能对模型进行黑盒访问,因此它们不会利用训练模型的权重。专门为这种微调用例创建去偏置算法在很大程度上被忽视了。在这项工作中,我们发起了一个新的范式去偏置研究,内处理,它位于处理和后处理方法之间的研究。内部处理方法是专门设计来消除大型模型的偏差的,这些模型是在通用数据集上训练的,并在更具体的任务上进行了微调。我们展示了如何针对这种用例重新利用现有的处理方法,我们还提出了三种基线算法:随机扰动,分层优化和对抗性微调。我们所有的技术都可以用于所有流行的群体公平性度量,如均衡赔率或统计奇偶性差异。我们在AIF360工具包中的三个流行数据集以及CelebA人脸数据集上评估了这些方法。我们的代码可在https://github.com/abacusai/intraprocessing_debiasing上获得。
2020-12-07 cs.LG stat.ML
DeBayes: a Bayesian Method for Debiasing Network Embeddings
Ghent University(根特大学)
随着机器学习算法越来越多地用于高影响力的自动化决策,道德和越来越多的法律标准要求它们公平对待所有人,不基于年龄,性别,种族或其他敏感特征进行歧视。近年来,在确保标准机器学习设置的公平性和减少偏见方面取得了很大进展。然而,对于网络嵌入,在从社会网络分析到推荐系统的脆弱领域中的应用,当前的选项在数量和性能上都仍然有限。因此,我们提出了DeBayes:一个概念上优雅的贝叶斯方法,能够通过使用有偏的先验知识来学习去偏嵌入。我们的实验表明,这些表示,然后可以用来执行链接预测,这是显着更公平的流行指标,如人口均等和均等的机会。
2021-04-30 cs.LG stat.ML
LightFair: Towards an Efficient Alternative for Fair T2I Diffusion via Debiasing Pre-trained Text Encoders
State Key Laboratory of AI Safety, Institute of Computing Technology, CAS(人工智能安全国家重点实验室,计算技术研究所,中国科学院);School of Computer Science and Tech., University of Chinese Academy of Sciences(中国科学院大学计算机科学与技术学院);Peng Cheng Laboratory(鹏城实验室)
提出 LightFair 轻量公平 T2I 扩散方法,通过距离约束微调文本编码器去偏,并用两阶段采样保持生成质量,以四分之一训练成本达到 SOTA。
2025-09-28 cs.AI cs.CV cs.LG
Debiasing surgeon: fantastic weights and how to find them
LTCI, Télécom Paris, Institut Polytechnique de Paris(LTCI,巴黎电信学院,巴黎理工学院)
本文证明普通训练的深度模型内含可提取的无偏子网络,无需额外训练即可用于去偏,并发现特定架构无法学习特定偏见,为偏见问题提供了架构性对策。
2024-07-19 cs.AI cs.CV cs.CY
Debiasing Machine Learning Predictions for Causal Inference Without Additional Ground Truth Data: "One Map, Many Trials" in Satellite-Driven Poverty Analysis
本文提出两种无需额外数据的后处理方法,用于减少机器学习预测中的收缩偏见,从而提升因果推断的准确性,适用于贫困分析等多领域应用。
2025-12-12 cs.LG stat.ML
Man is to Computer Programmer as Woman is to Homemaker? Debiasing Word Embeddings
Boston University(波士顿大学);Microsoft Research New England(微软研究院新英格兰分院)
机器学习的盲目应用有放大数据中存在的偏差的风险。词嵌入是一种将文本数据表示为向量的流行框架,已用于许多机器学习和自然语言处理任务。我们发现,即使是在谷歌新闻文章上训练的词嵌入也会表现出令人不安的女性/男性性别刻板印象。这引起了人们的担忧,因为正如我们所描述的,它们的广泛使用往往会放大这些偏见。从几何学上讲,性别偏见首先被证明是由词嵌入中的方向捕获的。第二,性别中性词被证明是线性可分离的性别定义词的词嵌入。使用这些属性,我们提供了一种方法来修改嵌入,以消除性别刻板印象,如接待员和女性之间的关联,同时保持所需的关联,如女王和女性之间的话。我们定义的指标来量化嵌入中的直接和间接性别偏见,并开发算法来“消除”嵌入。使用人群工作者评估以及标准基准,我们经验证明,我们的算法显着减少性别偏见的嵌入,同时保留其有用的属性,如聚类相关的概念和解决类比任务的能力。由此产生的嵌入可以在不放大性别偏见的应用中使用。
2016-07-21 cs.AI cs.CL cs.LG
FairStyle: Debiasing StyleGAN2 with Style Channel Manipulations
Boğaziçi University(博阿齐奇大学)
生成对抗网络的最新进展表明,生成高分辨率和超现实图像是可能的。然而,GANs产生的图像只与它们训练的数据集一样公平和具有代表性。在本文中,我们提出了一种直接修改预训练的StyleGAN2模型的方法,该模型可用于生成关于一个(例如,眼镜)或更多属性(例如,性别和眼镜)。我们的方法利用StyleGAN2模型的样式空间来执行对要去偏置的目标属性的分离控制。我们的方法不需要训练额外的模型,并直接对GAN模型进行去偏置,为其在各种下游应用中的使用铺平了道路。我们的实验表明,我们的方法在几分钟内成功地消除了GAN模型的偏差,而不会影响生成图像的质量。为了促进公平的生成模型,我们在http://catlab-team.github.io/fairstyle上分享代码和去偏模型。
2022-02-13 cs.CV cs.LG
RieszNet and ForestRiesz: Automatic Debiased Machine Learning with Neural Nets and Random Forests
Massachusetts Institute of Technology(麻省理工学院);Microsoft Research New England(微软新英格兰研究院)
许多利益的因果和政策效应是由高维或非参数回归函数的线性泛函定义的。$\sqrt{n}$ -对感兴趣对象的一致和渐近正态估计需要去偏,以减少正则化和/或模型选择对感兴趣对象的影响。去偏通常通过向泛函的插入估计器添加校正项来实现,这导致诸如半参数效率、双鲁棒性和奈曼正交性等属性。我们实现了一个自动去偏过程的基础上自动学习的Riesz表示的线性功能,使用神经网络和随机森林。我们的方法只依赖于黑盒评估Oracle访问的线性功能,并不需要其解析形式的知识。我们提出了一个多任务神经网络去偏方法与随机梯度下降最小化的组合Riesz代表和回归损失,同时共享表示层的两个功能。我们还提出了一个随机森林方法,学习的Riesz函数的局部线性表示。尽管我们的方法适用于任意泛函,但我们通过实验发现,对于平均治疗效果泛函的情况,与Shi等人(2019)基于神经网络的最新算法相比,它表现良好。我们还评估了我们的方法估计平均边际效应的问题,连续治疗,使用半合成数据的汽油价格变化对汽油需求。
2022-06-15 cs.LG econ.EM stat.ML
Right for the Right Latent Factors: Debiasing Generative Models via Disentanglement
CS Department(计算机科学系);Centre for Cognitive Science, TU Darmstadt(达姆施塔特工业大学认知科学中心)
大多数统计机器学习方法的一个关键假设是,它们可以从测试时遇到的数据分布中获得独立样本。因此,这些方法在面对有偏差的数据时往往表现不佳,这打破了这一假设。特别是,机器学习模型已被证明表现出类似Clever-Hans的行为,这意味着训练集中的虚假相关性是无意中学习的。已经提出了许多工作来修改深度分类器以学习正确的相关性。然而,到目前为止,生成模型一直被忽视。我们观察到生成模型也倾向于Clever-Hans-like行为。为了解决这个问题,我们建议通过解开生成模型的内部表示来消除偏见,这是通过人类反馈来实现的。我们的实验表明,即使人类反馈只覆盖了所需分布的一小部分,这也能有效地消除偏见。此外,我们实现了强大的解纠缠结果与最近的方法进行定量比较。
2022-02-01 cs.LG
Low-rank Optimal Transport: Approximation, Statistics and Debiasing
CREST(Crest研究中心);ENSAE(法国国立统计与经济管理学院);Apple(苹果公司)
最优传输(OT)背后的匹配原则在机器学习中发挥着越来越重要的作用,当OT用于消除应用程序中的数据集(例如单细胞基因组学)或用于改进更复杂的方法(例如Transformers或自监督学习中的平衡注意力)时,可以观察到这种趋势。为了扩展到更具挑战性的问题,越来越多的人认为OT需要能够在数百万而不是数千个点上操作的解决方案。在\cite{scetbon2021lowrank}中提倡的低秩最优传输(LOT)方法在这方面有几个承诺,并且被证明是对更成熟的熵正则化方法的补充,能够将其插入更复杂的管道中,例如二次OT。LOT将低成本耦合的搜索限制在那些具有低非负秩的耦合上,在感兴趣的情况下产生线性时间算法。然而,这些承诺只有在LOT方法被视为熵正则化的合法竞争者时才能实现,当与感兴趣的属性进行比较时,记分卡通常包括理论属性(统计复杂性和与其他方法的关系)或实际方面(去偏,超参数调整,初始化)。在本文中,我们针对这些领域中的每一个,以巩固低秩方法在计算OT中的影响。
2022-09-15 cs.LG stat.ML
Pulling Up by the Causal Bootstraps: Causal Data Augmentation for Pre-training Debiasing
University of Toronto(多伦多大学);Vector Institute(向量研究所);Harvard University(哈佛大学);MIT(麻省理工学院)
机器学习模型在许多监督学习任务上实现了最先进的性能。然而,先前的证据表明,这些模型可能学会依赖于捷径偏差或虚假的相关性(直观地说,相关性在测试中不成立,因为它们在训练中成立),以获得良好的预测性能。这样的模型在部署环境中无法提供准确的预测。虽然从因果关系的角度来看问题是有用的,但将因果关系技术无缝集成到机器学习管道中仍然是繁琐和昂贵的。在这项工作中,我们研究并扩展了因果预训练去偏技术,称为因果自举(CB)在五个实际的混淆数据生成采集场景(已知和未知的混淆)。在这些设置下,我们系统地研究了混杂偏差对深度学习模型性能的影响,证明了当这些偏差没有得到适当考虑时,它们倾向于依赖捷径偏差。我们证明,这样的因果预训练技术可以显着优于现有的基本做法,以减轻混淆偏见对现实世界的领域泛化基准测试任务。这项系统性的调查强调了解释基本数据生成机制的重要性,并通过因果框架加强数据预处理管道,以开发对混淆偏差具有鲁棒性的方法。
2021-08-27 cs.LG
Debiasing Deep Chest X-Ray Classifiers using Intra- and Post-processing Methods
ETH Zurich(苏黎世联邦理工学院)
用于基于图像的筛查和计算机辅助诊断的深度神经网络已经在各种医学成像模式(包括胸部X光片)上实现了专家级性能。最近,一些研究表明,这些最先进的分类器可能会对敏感的患者属性(如种族或性别)产生偏见,从而导致人们越来越关注医疗保健中基于算法和模型的决策所导致的人口统计差异和歧视。公平机器学习的重点是减轻对弱势群体或边缘化群体的偏见,主要集中在表格数据或自然图像上。这项工作提出了两种新的帧内处理技术的基础上微调和修剪已经训练好的神经网络。这些方法简单而有效,并且可以在模型开发和测试期间在受保护属性未知的设置中随时应用。此外,我们比较了几个帧内和后处理方法应用于去偏深胸部X射线分类。据我们所知,这是研究胸片去偏方法的第一批努力之一。我们的研究结果表明,所考虑的方法成功地减轻了全连接和卷积神经网络的偏差,在各种设置下提供稳定的性能。当将它们部署在具有不同公平性考虑和约束的域中时,所讨论的方法可以帮助实现深度医学图像分类器的组公平性。
2022-07-26 cs.CV cs.LG stat.ML
AXOLOTL: Fairness through Assisted Self-Debiasing of Large Language Model Outputs
University of Illinois Chicago(伊利诺伊大学芝加哥分校);University of Toronto(多伦多大学);University of Texas at Arlington(德克萨斯大学阿灵顿分校)
本文提出 AXOLOTL 后处理框架,通过公共 API 以零样本式三步流程引导 LLM 自主识别并消除输出偏见,在降低计算成本的同时保持模型性能。
2024-03-01 cs.AI cs.CL cs.CY
DBR: Divergence-Based Regularization for Debiasing Natural Language Understanding Models
New Jersey Institute of Technology(新泽西理工学院);Rutgers University(罗格斯大学);University of Illinois Chicago(芝加哥伊利诺伊大学);Baidu(百度)
提出基于散度的正则化(DBR)方法,通过掩蔽捷径标记并测量输出分布散度,减少模型对表面特征的依赖,在三个NLU任务上提升域外泛化性能且域内准确率损失小。
2025-02-25 cs.CL cs.LG
Language Models Get a Gender Makeover: Mitigating Gender Bias with Few-Shot Data Interventions
Carnegie Mellon University(卡内基梅隆大学)
针对预训练语言模型传播性别偏见且重新训练成本高的问题,本文提出仅用10个去偏样本进行微调的少样本数据干预方法,在尽量保持语言建模能力的同时取得优于现有基线的去偏效果。
2023-06-07 cs.CL cs.LG
A non-intrusive machine learning framework for debiasing long-time coarse resolution climate simulations and quantifying rare events statistics
Massachusetts Institute of Technology(麻省理工学院);Pacific Northwest National Laboratory(太平洋西北国家实验室)
提出非侵入式神经网络校正框架,结合向参考数据逼近的粗模拟训练,以校正混沌气候动力学并量化超出训练期重现期的极端事件。
2024-02-28 cs.LG physics.ao-ph
Debiasing Vison-Language Models with Text-Only Training
Beijing Jiaotong University(北京交通大学);Hong Kong University of Science and Technology(香港科技大学)
针对CLIP模型因数据不平衡产生的偏差问题,提出纯文本去偏框架TOD,利用文本编码器替代图像编码器并结合多目标预测任务,在无需图像的情况下显著提升了群体鲁棒性。
2024-10-12 cs.CV cs.LG
Patterning in Practice: Debiasing Reward Models with Susceptibilities
Resolution(睿策尔(Resolution))
本文将基于奇异学习理论的模式化方法用于去偏奖励模型,利用偏好对的敏感性重新加权,在RM-Bench Hard上取得显著提升,权重可跨模型迁移,为奖励模型去偏提供了新方案。
2026-09-02 cs.LG
Debiasing Machine Learning Models by Using Weakly Supervised Learning
School of Electrical and Computing Engineering, University of Campinas (UNICAMP)(坎皮纳斯大学电气与计算机工程学院(UNICAMP));University of New York(纽约大学);Institut de Mathématiques de Toulouse, Université Paul Sabatier(图卢兹数学研究所,保罗·萨巴蒂埃大学);Toulouse School of Economics, University of Toulouse Capitole(图卢兹经济学院,图卢兹卡皮托勒大学);Center of Engineering, Modeling and Applied Social Sciences, Federal University of ABC (UFABC)(ABC联邦大学工程、建模与应用社会科学中心(UFABC))
本文针对连续敏感变量下的算法偏差问题,提出一种基于内生性概念的弱监督偏差缓解方法,仅需少量公平标注数据且与预测模型无关,并通过合成数据验证了其有效性。
2024-02-23 cs.CY cs.LG
Limits to scalable evaluation at the frontier: LLM as Judge won't beat twice the data
Max Planck Institute for Intelligent Systems, Tübingen(马克斯·普朗克智能系统研究所,图宾根);Tübingen AI Center(图宾根人工智能中心);ETH Zürich(苏黎世联邦理工学院)
本文研究了使用LLM作为裁判进行模型评估的局限性,发现当裁判准确性不足时,去偏方法无法显著减少所需的真实标签数量。
2026-08-18 cs.LG stat.ML
Developing a novel fair-loan-predictor through a multi-sensitive debiasing pipeline: DualFair
Floyd B. Buchanan High School(弗洛伊德·B·布坎南高中);Massachusetts Institute of Technology(麻省理工学院)
机器学习(ML)模型越来越多地用于高风险应用,这些应用可以极大地影响人们的生活。尽管使用这些模型,但它们有可能基于种族、性别或民族而偏向某些社会群体。许多先前的工作已经尝试通过更新训练数据(预处理)、改变模型学习过程(处理中)或操纵模型输出(后处理)来减轻这种“模型歧视”。然而,这些工作尚未扩展到多敏感参数和敏感选项(MSPSO)的领域,其中敏感参数是可以区分的属性(例如种族),敏感选项是敏感参数中的选项(例如黑色或白色),从而使它们在现实世界中的可用性有限。以前的公平性工作也遭受了准确性和公平性的权衡,这使得准确性和公平性都不高。此外,以前的文献未能提供与MSPSO一起工作的整体公平性指标。在本文中,我们解决了所有这三个问题,(a)创建一个新的偏见缓解技术称为DualFair和(b)开发一个新的公平性度量(即AWI),可以处理MSPSO。最后,我们使用全面的美国抵押贷款数据集测试了我们的新缓解方法,并表明我们的分类器或公平贷款预测器比当前最先进的模型获得了更好的公平性和准确性指标。
2021-11-14 cs.AI cs.CY cs.LG
Fast Model Debias with Machine Unlearning
Zhejiang University(浙江大学);Nanyang Technological University(南洋理工大学);Stanford University(斯坦福大学);Angelalign Technology Inc.(时代天使科技有限公司);Centre for Frontier AI Research(前沿人工智能研究中心)
针对深度模型偏见标注与重训练成本高的问题,本文提出 FMD 框架,利用反事实概念、影响函数和机器遗忘,以少量外部数据与参数更新实现高效去偏。
2023-11-03 cs.LG
Debiasing Credit Scoring using Evolutionary Algorithms
University College London(伦敦大学学院);Holistic AI
本文研究了机器学习在真实公开数据上训练信贷决策模型时的应用,同时考虑“偏差目标”。我们使用术语“偏见目标”来描述这样一种要求,即经过训练的模型对给定的个体群体表现出不超过规定水平的歧视性偏见,其中该水平可以为零。本研究提出了一个实证研究,探讨在所有情况下,包括一个或多个偏见目标的竞争模型的培训目标之间的紧张关系。这项工作的动机是观察到,与信誉模型相关的各方的要求,肯定不能完全同时满足。本文的研究旨在强调满足所有各方的目标是不切实际的,表明需要作出“权衡”。本文提出的结果和结论对于信用评分行业内的所有利益相关者都具有特别重要的意义,这些利益相关者在确定个人信用时依赖人工智能(AI)模型作为决策过程的一部分。本文阐述了训练AI模型的困难,这些模型能够同时满足多个偏差目标,同时保持可接受的准确度。利益攸关方应意识到这一困难,并应承认,在一些受保护的特征和偏见表述中,某种程度的歧视性偏见是不可避免的。
2021-10-25 cs.CY cs.LG cs.NE
AdapFair: Ensuring Adaptive Fairness for Machine Learning Operations
Department of Information Systems and Intelligent Business, School of Management, Xi’an Jiaotong University(信息系统与智能商业系,管理学院,西安交通大学);School of Statistics and Data Science, Shanghai University of Finance and Economics(统计与数据科学学院,上海财经大学)
本文提出AdapFair自适应去偏框架,利用归一化流和Wasserstein距离度量,与预训练黑盒分类器集成,在动态条件下高效实现公平性保证,并采用闭式梯度优化算法提升可扩展性。
2025-08-04 cs.CY cs.LG
Large-scale Causal Approaches to Debiasing Post-click Conversion Rate Estimation with Multi-task Learning
University of California, Los Angeles(加州大学洛杉矶分校);Alibaba Group(阿里巴巴集团);Columbia University(哥伦比亚大学)
点击后转化率(CVR)估计是电子商务推荐系统中的一项关键任务。这个任务在工业环境下被认为是相当具有挑战性的,有两个主要问题:1)由用户自我选择引起的选择偏差,以及2)由于罕见的点击事件引起的数据稀疏。成功的转换通常具有以下顺序事件:“曝光->点击->转换”。传统的CVR估计器是在点击空间中训练的,但推理是在整个曝光空间中完成的。他们没有考虑到缺失数据的原因,并将其视为随机缺失。因此,他们的估计很可能与实际价值大不相同。此外,数据稀疏性问题也会阻碍许多工业CVR估计,通常有大的参数空间。在本文中,我们提出了两个原则性的,高效的和高度有效的CVR估计工业CVR估计,即多IPW和多DR。所提出的模型接近CVR估计从因果关系的角度来看,并占的原因,失踪不是随机的。此外,我们的方法是基于多任务学习框架和减轻数据稀疏性问题。工业级数据集上的大量实验表明,我们的方法优于最先进的CVR模型。
2020-04-04 cs.IR cs.LG