Understanding and Improving Feature Learning for Out-of-Distribution Generalization
The Chinese University of Hong Kong(香港中文大学);RIKEN AIP(日本理化学研究所先进智能研究中心);Tencent AI Lab(腾讯AI实验室);Hong Kong Baptist University(香港浸会大学)
本文从理论上分析了ERM同时学习虚假特征与不变特征但虚假特征学习更快的问题,并提出特征增强训练FeAT,通过迭代保留与增强特征来提升分布外泛化性能。
2023-10-29 cs.LG stat.ML
Learning Invariant Graph Representations Through Redundant Information
University of Maryland, College Park(马里兰大学 College Park 分校)
本文提出RIG框架,通过冗余信息学习不变图表示,以实现分布外泛化。
2025-12-05 cs.AI cs.IT cs.LG
Environment-Adaptive Covariate Selection: Learning When to Use Spurious Correlations for Out-of-Distribution Prediction
Department of Statistics, University of Michigan, Ann Arbor(统计系,密歇根大学,安阿伯分校)
针对分布外预测中协变量选择问题,提出环境自适应算法,根据环境特征动态选择协变量集,在模拟和实际数据中优于静态方法。
2026-11-10 cs.LG stat.ME
Learning Invariant Modality Representation for Robust Multimodal Learning from a Causal Inference Perspective
School of Computer Science, South China Normal University(华南师范大学计算机学院)
本文提出CmIR框架,通过因果推断分离模态中的因果不变表示与环境特定的虚假表示,提升多模态学习的鲁棒性和泛化能力。
2026-04-20 cs.LG
Out-of-Distribution Optimality of Invariant Risk Minimization
The Institute of Statistical Mathematics(统计数学研究所)
本文针对不变风险最小化(IRM)缺乏理论保证的问题,严格证明了在特定条件下IRM的双层优化问题解可最小化分布外风险,并给出了对应的数据分布和特征空间维度的充分条件。
2024-10-29 cs.LG stat.ML
On the Impact of Spurious Correlation for Out-of-distribution Detection
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
现代神经网络可以为来自训练分布外部的输入分配高置信度,从而对现实世界部署中的模型构成威胁。虽然许多研究的重点放在设计新的OOD检测方法上,但OOD的精确定义往往是模糊的,并且与现实中所期望的OOD概念不符。在本文中,我们提出了一个新的形式化和模型的数据转移,同时考虑到不变和环境(虚假)的功能。在这种形式化下,我们系统地研究了训练集中的虚假相关性如何影响OOD检测。我们的研究结果表明,当训练集中虚假特征和标签之间的相关性增加时,检测性能会严重恶化。我们进一步展示了更有效地减少虚假相关影响的检测方法的见解,并提供了理论分析为什么依赖环境特征导致高OOD检测错误。我们的工作旨在促进更好地理解OOD样本及其形式化,以及探索增强OOD检测的方法。
2021-09-12 cs.AI cs.LG
Dissecting the Failure of Invariant Learning on Graphs
Peking University(北京大学);CSAIL, MIT(麻省理工学院计算机科学与人工智能实验室);State Key Laboratory of General Artificial Intelligence(通用人工智能国家重点实验室);Institute for Artificial Intelligence, Peking University(北京大学人工智能研究院)
本文通过结构因果模型剖析IRM和VREx在图节点级OOD泛化中因缺乏类别条件不变性约束而失败的原因,并提出CIA及无需环境标签的CIA-LRA方法,通过类内跨环境对齐消除虚假特征,显著提升节点级OOD泛化性能。
2025-01-03 cs.AI cs.LG
Nonlinear Invariant Risk Minimization: A Causal Approach
University of Cambridge(剑桥大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Toronto(多伦多大学);Vector Institute(向量研究所);Alan Turing Institute(艾伦·图灵研究所)
由于虚假的相关性,机器学习系统通常无法推广到分布与训练时使用的分布不同的环境。以前的工作解决这个问题,无论是显式或隐式,试图找到一个数据表示,具有不变的关系与目标。这是通过利用一组不同的训练环境来减少虚假特征的影响并构建一个不变的预测器来实现的。然而,这些方法只有在数据表示和分类器都来自线性模型类时才有泛化保证。我们提出了不变因果表示学习(iCaRL),这是一种在非线性环境中实现分布外(OOD)泛化的方法(即,非线性表示和非线性分类器)。它建立在一个实际和一般的假设之上:数据表示的先验(即,编码数据的一组潜在变量)属于一般指数族分布。在此基础上,我们表明,它是可能的,以确定简单的转换的数据表示。我们还证明了目标的所有直接原因可以被完全发现,这进一步使我们能够在非线性设置中获得泛化保证。在合成数据集和真实数据集上的大量实验表明,我们的方法优于各种基线方法。最后,在讨论中,我们进一步探讨了上述假设,并提出了一个更普遍的假设,称为不可知论假设:存在一组隐藏的因果因素影响输入和结果。不可知论假说可以提供机器学习的统一观点。更重要的是,它可以激发一个新的方向,探索一个通用的理论,识别隐藏的因果因素,这是关键,使面向对象的泛化保证。
2022-10-18 cs.LG stat.ML
Empowering Graph Invariance Learning with Deep Spurious Infomax
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);The Chinese University of Hong Kong(香港中文大学);Carnegie Mellon University(卡内基梅隆大学)
针对现有图不变性学习对虚假相关强度假设敏感的问题,提出基于信息最大化原理的EQuAD框架,通过分离虚假特征学习不变特征,在合成和真实数据集上性能稳定提升,最高达31.76%。
2024-07-13 cs.LG
Bias Challenges in Counterfactual Data Augmentation
Purdue University(普渡大学)
深度学习模型往往不是分布外鲁棒的,主要是因为它们依赖虚假特征来解决任务。反事实数据增强提供了一种(近似)实现对虚假特征反事实不变的表示的一般方法,这是对分布外(OOD)鲁棒性的要求。在这项工作中,我们表明,反事实的数据增强可能无法实现所需的反事实不变性,如果增强是由上下文猜测机,一个抽象的机器,猜测一个给定的输入最有可能的上下文。我们从理论上分析了这种反事实数据增强所施加的不变性,并描述了一个示例性的NLP任务,其中由上下文猜测机的反事实数据增强不会导致强大的OOD分类器。
2022-09-13 cs.LG stat.ML
Meta-Learned Invariant Risk Minimization
Graduate School of Artificial Intelligence, Kyungpook National University(庆北国立大学人工智能研究生院)
基于经验风险最小化(ERM)的机器学习算法在从分布外(OOD)获得的数据上的泛化性能较弱。为了解决这个问题,提出了不变风险最小化(Invariant Risk Minimization)目标,以找到受数据分布变化影响较小的不变最优预测器。然而,即使有这样的进展,IRMv1,实际的配方,仍然表现出性能下降时,没有足够的训练数据,甚至无法推广到OOD,如果假相关的数量大于环境的数量。在本文中,为了解决这些问题,我们提出了一种新的元学习为基础的方法。在该方法中,我们没有假设分类器的线性,以方便优化,并解决理想的双层分类器目标与模型无关的元学习(MAML)框架。我们的方法是更强大的数据与虚假的相关性,可以提供一个不变的最佳分类器,即使从每个分布的数据是稀缺的。在实验中,我们证明了我们的算法不仅具有更好的OOD泛化性能比IRMv1和所有的IRMv1的变种,但也解决了IRMv1的弱点,提高了稳定性。
2021-03-24 cs.AI cs.LG
Even Small Correlation and Diversity Shifts Pose Dataset-Bias Issues
University of Campinas(坎皮纳斯大学);Instituto Superior Técnico(高等理工学院)
本文研究多样性和相关性分布偏移对深度学习模型的影响,提出集成协议分析,发现模型会传播弱偏差、虚假相关性不损害稳健特征学习、多样性偏移减少虚假依赖,为分布偏移研究提供新见解。
2023-12-21 cs.AI cs.CV cs.LG
DivIL: Unveiling and Addressing Over-Invariance for Out-of- Distribution Generalization
The Chinese University of Hong Kong(香港中文大学);Harbin Institute of Technology(哈尔滨工业大学)
针对分布外泛化中强不变约束导致的过度不变性问题,提出DivIL方法,结合无监督对比学习和随机掩蔽机制,在12个数据集和6个模型上验证了有效性。
2025-05-22 cs.LG
Do Student LLMs Inherit OOD Robustness? Invariance-Weighted Distillation for Reliable Knowledge Transfer
University of Maryland, College Park(马里兰大学帕克分校)
针对知识蒸馏中学生模型在分布外场景性能下降的问题,提出不变性加权蒸馏(IWD),通过预测不变性动态加权样本,降低虚假相关性影响,在多个基准上显著提升OOD鲁棒性。
2026-09-22 cs.AI cs.CL cs.LG
Spurious Feature Diversification Improves Out-of-distribution Generalization
The Hong Kong University of Science and Technology(香港科技大学);Tsinghua University(清华大学);Fudan University(复旦大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
该研究探究权重空间集成方法WiSE-FT的分布外泛化机制,发现虚假特征多样化可提升OOD性能,提出BANG平均方法显著增强WiSE-FT的OOD表现。
2024-07-14 cs.LG
Data Augmentations for Improved (Large) Language Model Generalization
Google Research(谷歌研究院);Columbia University(哥伦比亚大学);Johns Hopkins University(约翰斯·霍普金斯大学)
针对文本分类器因虚假相关性导致泛化差的问题,提出基于因果结构的反事实数据增强方法,通过模拟干预和LLM表示文本条件概率,有效提升了分布外准确率。
2024-01-09 cs.CL cs.LG
Does Invariant Graph Learning via Environment Augmentation Learn Invariance?
The Chinese University of Hong Kong(香港中文大学);Tencent AI Lab(腾讯AI实验室);Hong Kong Baptist University(香港浸会大学)
本文指出仅靠环境增强无法学习图不变表示,提出最小假设条件并设计GALA框架,通过助手模型识别不变子图,在DrugOOD等数据集上验证了其分布外泛化效果。
2023-10-29 cs.LG stat.ML
Diagnosing and Rectifying Fake OOD Invariance: A Restructured Causal Approach
Jinan University(暨南大学);Sun Yat-sen University(中山大学);Pazhou Lab(琶洲实验室)
针对不变表示学习中存在的虚假OOD不变性问题,提出重构结构因果模型RS-SCM及基于条件互信息的纠正方法,通过小型特征选择子网络实现,在多个基准上验证了有效性。
2023-12-15 cs.AI cs.LG stat.ME
Causal invariant geographic network representations with feature and structural distribution shifts
Central South University(中南大学);School of Architecture and Art, Central South University(中南大学建筑与艺术学院)
针对地理网络表示学习中的特征与结构分布偏移问题,提出因果注意力采样与重加权策略的FSM-IRL模型,在OOD场景下提升泛化能力。
2025-03-25 cs.AI cs.LG stat.ML
Exploring Optimal Substructure for Out-of-distribution Generalization via Feature-targeted Model Pruning
The Hong Kong Polytechnic University(香港理工大学)
最近的研究表明,即使是高度偏置的稠密网络也包含一个无偏的子结构,可以实现比原始模型更好的分布外(OOD)泛化。现有的工作通常使用模块化风险最小化(MRM)与域外数据搜索的不变子网络。这样的范例可能会带来两个潜在的弱点:1)不公平,由于在训练期间对域外数据的观察不足;以及2)次优OOD泛化,由于对整个数据分布的特征非目标模型修剪。在本文中,我们提出了一种新的虚假目标模型剪枝框架,称为SFP,自动探索不变的子结构,而不涉及上述弱点。具体来说,SFP在训练过程中使用我们理论上验证的任务丢失来识别分布(ID)特征,在此基础上,SFP可以执行ID目标模型修剪,删除对ID特征具有强依赖性的分支。值得注意的是,通过衰减虚假特征到模型空间的投影,SFP可以将模型学习推向不变特征,并将其从环境特征中提取出来,从而设计出最佳的OOD泛化。此外,我们还进行了详细的理论分析,提供了合理性保证和证明框架的OOD结构通过模型稀疏性,并首次揭示了如何高度偏置的数据分布影响模型的OOD推广。在各种面向对象数据集上的大量实验表明,SFP可以显著优于基于结构和非结构的面向对象泛化SOTA,准确率分别提高了4.72%和23.35%。
2022-12-19 cs.AI cs.LG stat.ML
Decorr: Environment Partitioning for Invariant Learning and OOD Generalization
Institute of Statistics and Big Data, Renmin University of China(中国人民大学统计与大数据研究院);School of Data Science, City University of Hong Kong(香港城市大学数据科学学院)
本文提出Decorr方法,通过将训练数据划分为低相关子集来构建环境,以增强不变学习在OOD泛化中的性能,缓解虚假相关并识别稳定预测器。
2024-05-22 cs.LG
Image-based Outlier Synthesis With Training Data
Department of Computer Science(计算机科学系);Dartmouth College(达特茅斯学院)
针对OOD检测在细粒度、虚假关联场景下依赖外部数据的问题,本文提出无需外部数据的ASCOOD框架,从ID数据合成近流形虚拟异常值,在7个数据集上验证了其多场景下的检测优势。
2025-11-13 cs.CV cs.LG
The Pitfalls of Memorization: When Memorization Hurts Generalization
Mila(米拉研究所);Université de Montréal(蒙特利尔大学);FAIR at Meta(Meta FAIR研究院);CIFAR(加拿大高级研究院)
该研究揭示神经网络中记忆与虚假相关性结合会损害泛化能力,提出记忆感知训练(MAT)方法,通过留出集预测信号调整模型logits,学习跨分布鲁棒模式,提升分布偏移下的泛化性能。
2024-12-10 cs.AI cs.LG stat.ML
Invariant Learning via Diffusion Dreamed Distribution Shifts
University of Maryland(马里兰大学)
虽然背景是图像分类的一个重要信号,但当前景和背景之间的虚假相关性在测试时被打破时,过度依赖背景会导致不正确的预测。在这些相关性无偏的数据集上进行训练将导致更强大的模型。在本文中,我们提出了这样一个数据集称为扩散梦想分布偏移(D3S)。D3S由通过StableDiffusion生成的合成图像组成,该合成图像使用文本提示和通过将样本前景图像粘贴到背景模板图像上获得的图像引导。使用这种可扩展的方法,我们从10个不同背景中的所有1000个ImageNet类中生成120K的对象图像。由于扩散模型令人难以置信的照片真实感,我们的图像比以前的合成数据集更接近自然图像。D3S包含一个超过17K图像的验证集,其标签在MTurk研究中经过人工验证。使用验证集,我们评估了几种流行的DNN图像分类器,发现模型的分类性能通常会在我们的背景多样化图像上受到影响。接下来,我们利用D3S中的前景和背景标签来学习前景(背景)表示,该前景(背景)表示通过惩罚前景(背景)特征和背景(前景)标签之间的互信息来对背景(前景)的变化保持不变。在这些特征上训练的线性分类器从前景(背景)预测前景(背景)的准确率高达82.9%(93.8%),而从背景和前景预测这些标签的分类器的准确率分别为2.4%和45.6%。这表明我们的前景和背景特征很好地分离了。我们进一步测试这些表示的有效性,通过训练分类器的任务具有很强的虚假相关性。
2022-11-18 cs.CV cs.LG
On the Connection between Invariant Learning and Adversarial Training for Out-of-Distribution Generalization
Peking University(北京大学);New York University(纽约大学)
尽管在许多任务中取得了令人印象深刻的成功,但深度学习模型被证明依赖于虚假特征,当推广到分布外(OOD)数据时,这些特征将灾难性地失败。不变风险最小化算法(Invariant Risk Minimization,简称RISK)通过提取面向对象的领域不变特征来解决这一问题。然而,最近的工作表明,双折射仅对特定类型的分布偏移有效(例如,相关偏移)而对于其它情况则失败(例如,多样性转移)。与此同时,另一种方法,对抗训练(AT),表现出更好的域转移性能,这表明它有潜力成为提取域不变特征的有效候选者。本文探讨了这种可能性,通过探索的相似性之间的竞争和AT目标。受这种联系的启发,我们提出了域对抗训练(DAT),这是一种AT启发的方法,用于减轻特定于域的扰动引起的分布偏移。大量的实验表明,我们提出的DAT可以有效地去除领域变化的功能和提高OOD的泛化相关性和多样性的变化。
2022-12-18 cs.LG
GRIT: Out-of-Distribution Robustness from Finite and Noisy Invariant Pairs
Purdue University(普渡大学);Georgia Institute of Technology(佐治亚理工学院)
本文提出噪声反事实匹配(NCM)方法,利用少量含噪反事实数据对替代不变表示学习,并证明其测试域误差上界,从而提升模型对虚假相关性的鲁棒性。
2026-10-19 cs.LG
The Missing Invariance Principle Found -- the Reciprocal Twin of Invariant Risk Minimization
MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室);University of California(加利福尼亚大学)
机器学习模型通常对分布外(OOD)数据的泛化能力很差,这是因为在训练过程中依赖于与标签虚假相关的特征。最近,提出了不变风险最小化(Invariant Risk Minimization,简称RST)技术,通过在环境中保存特征条件标签期望$\mathbb{E}_e[y|f(x)]$来学习仅使用不变特征的预测器。然而,最近的研究表明,IRM-v1,一个实用的版本,可以在各种设置失败。在这里,我们确定了一个根本的缺陷,导致失败的可持续发展的制定。然后,我们介绍了一个互补的概念不变性,MRI,基于保存标签条件的功能期望$\mathbb{E}_e[f(x)|y]$,这是免费的这个缺陷。此外,我们介绍了一个简化的,实用的版本的MRI制定称为MRI-v1。我们证明,对于一般的线性问题,MRI-V1保证不变的预测足够数量的环境。我们还实证表明,MRI-v1的性能远远优于IRM-v1,并始终实现了基于图像的非线性问题的接近最佳的OOD泛化。
2023-01-16 cs.AI cs.CV cs.LG
Exploiting Personalized Invariance for Better Out-of-distribution Generalization in Federated Learning
The Hong Kong Polytechnic University(香港理工大学)
最近,本地客户端上的训练数据集之间的数据异构性(也称为,非IID数据)引起了联邦学习(Federated Learning,FL)的极大兴趣,许多个性化的联邦学习方法被提出来处理它。然而,尽管在现实世界中,训练数据集和测试数据集之间的分布偏移在FL中是普遍存在的,但FL从未考虑过。我们注意到分布偏移(也称为,由于个性化信息和虚假信息之间的纠缠,非IID联邦设置下的分布外泛化(out-of-distribution generalization)问题变得相当具有挑战性。为了解决上述问题,我们详细阐述了一个通用的双重正则化学习框架,以探索个性化的不变性,与现有的个性化联邦学习方法,由一个单一的基线(通常是全局模型)进行正则化。利用个性化的不变特征,开发的个性化模型可以有效地利用最相关的信息,同时消除虚假信息,以提高每个客户端的分布外泛化性能。理论分析和实验结果表明,在不同的分布外和非IID数据情况下,该方法优于现有的联邦学习和不变学习方法.
2022-11-21 cs.DC cs.LG
An Investigation of the (In)effectiveness of Counterfactually Augmented Data
New York University(纽约大学)
虽然预训练的语言模型在自然语言理解基准测试中取得了优异的性能,但它们往往依赖于虚假的相关性,并且对分布外(OOD)数据的泛化能力很差。最近的工作探索了使用反事实增强数据(CAD)-由最小扰动示例生成的数据翻转地面真实标签-来识别在分布偏移下不变的鲁棒特征。然而,使用CAD的OOD推广的经验结果是混合的。为了解释这种差异,我们从线性高斯模型中得出见解,并展示了CAD的陷阱。具体来说,我们表明:(a)虽然CAD在识别鲁棒特征方面是有效的,但它可能会阻止模型学习未受干扰的鲁棒特征;(b)CAD可能会加剧数据中现有的虚假相关性。在两个众包的CAD数据集上,我们的研究结果表明,扰动多样性的缺乏限制了它们在OOD推广上的有效性,这就要求创新的众包程序来引出不同的扰动示例。
2022-03-16 cs.CL cs.LG
An Empirical Study of Invariant Risk Minimization
Kakao Brain
不变风险最小化(Invariant Risk Minimization,ARJovsky et al.,2019)是最近提出的一个框架,旨在学习预测器,这些预测器在不同的训练环境中对虚假相关性是不变的。然而,尽管有理论上的理由,但在各种环境中,这种方法并没有得到广泛的测试。为了更好地理解该框架,我们使用IRMv1实证研究了几个研究问题,IRMv1是第一个提出来近似解决问题的实用算法。通过以不同的方式扩展ColoredMNIST实验,我们发现IRMv1(i)在训练环境之间的虚假相关性变化更大时表现更好,(ii)当底层关系近似不变时学习近似不变的预测器,(iii)可以扩展到文本分类的类似设置。
2020-07-06 cs.LG stat.ML
Robust Domain Generalisation with Causal Invariant Bayesian Neural Networks
NAOInstitute, University of Auckland(奥克兰大学NAO研究所)
针对训练域与目标域不一致时深度神经网络性能骤降的问题,提出解耦数据分布学习与推理机制的因果不变贝叶斯神经网络,经理论和实验验证可近似因果干预推理,在分布外图像识别任务上优于点估计同类模型。
2024-10-08 cs.LG stat.ME
Invariant Causal Set Covering Machines
Université Laval(拉瓦尔大学);ServiceNow Research(ServiceNow研究院)
针对基于规则的模型学习算法易受虚假关联影响、难提取因果洞见的问题,提出不变因果集覆盖机,扩展经典集覆盖机算法,可证明避免虚假关联,能在多项式时间内识别目标变量的因果父节点。
2025-03-21 cs.LG stat.ME stat.ML
Invariant Risk Minimization Games
IBM Research(IBM研究院);Thomas J. Watson Research Center(托马斯·J·沃森研究中心)
机器学习的标准风险最小化范式在测试分布由于伪相关性而不同于训练分布的环境中操作时是脆弱的。对来自许多环境的数据进行训练,并找到不变的预测因子,通过将模型集中在与结果有因果关系的特征上,减少了虚假特征的影响。在这项工作中,我们提出这样的不变风险最小化,寻找纳什均衡的合奏游戏之间的几个环境。通过这样做,我们开发了一种简单的训练算法,该算法使用最佳响应动态,并且在我们的实验中,产生了类似或更好的经验准确性,其方差比Arjovsky等人(2019)具有挑战性的双层优化问题低得多。一个关键的理论贡献是表明,所提出的游戏的纳什均衡集是等价的不变预测的任何有限数量的环境,即使非线性分类器和变换。因此,我们的方法还保留了Arjovsky等人(2019)中所示的大量环境的泛化保证。该算法增加了成功的博弈论机器学习算法的集合,如生成对抗网络。
2020-03-18 cs.LG stat.ML
Towards Causal VQA: Revealing and Reducing Spurious Correlations by Invariant and Covariant Semantic Editing
TomTom(TomTom公司);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心);Saarland Informatics Campus(萨尔信息学园区)
尽管在视觉问答(VQA)中取得了巨大的成功,但VQA模型已经被证明对问题中的语言变化非常脆弱。由于模型和数据集的缺陷,今天的模型往往依赖于相关性,而不是预测的因果w.r.t.数据在本文中,我们提出了一种新的方法来分析和测量最先进的模型的鲁棒性w.r.t语义视觉变化,以及提出的方法,使模型更强大的虚假相关。我们的方法执行自动语义图像操作和测试模型预测的一致性,以量化模型的鲁棒性,以及生成合成数据来解决这些问题。我们对三种不同的、最先进的VQA模型和不同的问题类型进行了分析,特别关注具有挑战性的计数问题。此外,我们还表明,使用我们编辑的数据,可以使模型对不一致的预测更加鲁棒。最后,我们表明,结果也转化为现实世界的错误情况下,最先进的模型,从而提高整体性能。
2020-05-29 cs.CL cs.CV cs.LG
When Do Conservation Laws Survive Learned Representations? Certified Horizons for Latent World Models
Department of Mathematics, Stony Brook University(石溪大学数学系)
研究物理世界模型中守恒律在潜表示学习后的可认证性,提出一种通过解码物理不变量并分解模型缺陷来预计算认证视界的方法,实验表明硬规范辛结构在已知相坐标中表现最佳,但软约束在潜表示设置中更鲁棒。
2026-07-03 cs.LG cs.RO
Breaking Correlation Shift via Conditional Invariant Regularizer
University of Chinese Academy of Sciences(中国科学院大学);Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
近年来,对具有相关位移的分布外(OOD)数据的推广引起了广泛的关注。相关性偏移是由与类标签相关的虚假属性引起的,因为它们之间的相关性在训练和测试数据中可能会有所不同。对于这样的问题,我们表明,给定的类标签,有条件地独立于虚假属性的模型是OOD推广。在此基础上,提出了一种控制OOD泛化误差的度量条件伪变差(CSV)来度量这种条件独立性。为了提高OOD的泛化能力,我们使用建议的CSV规范了训练过程。在温和的假设下,我们的训练目标可以被公式化为一个非凸-凹极小-极大问题。提出了一个具有可证明收敛速度的算法来求解该问题。大量的实验结果验证了我们的算法在提高OOD推广的有效性。
2023-02-24 cs.LG
Disentangling Spurious Correlations in Vision-Language-Action Models via Predicting Domain-Invariant Latent Lookahead
OpenMind;Seoul National University(首尔大学);Hyundai Motors(现代汽车);Ajou University(亚洲大学);Tommoro Robotics
提出域不变潜在前瞻(DILL)框架,通过预测域不变未来潜在变量解耦任务相关结构与域特定变化,缓解VLA模型中的捷径学习,提升视觉鲁棒性,在LIBERO-Plus上平均成功率69.1%,超最强基线11.4个百分点。
2026-09-30 cs.LG cs.RO
Invariant Language Modeling
EPFL(洛桑联邦理工学院);Microsoft Corporation(微软公司)
大型预训练语言模型是现代NLP管道的关键组成部分。然而,他们遭受虚假的相关性,穷人的领域泛化,和偏见。受因果机器学习最新进展的启发,特别是不变风险最小化(Invariant Risk Minimization,简称VRM)范式,我们提出了不变语言建模,这是一个学习不变表示的框架,可以更好地在多个环境中推广。特别是,我们适应了一个游戏理论的配方,以语言模型,其中的不变性出现在一个特定的训练时间表中,所有的环境竞争,以优化自己的环境特定的损失,通过更新模型的子集在循环的方式。我们专注于控制实验,以精确地证明我们的方法的能力(i)去除结构化噪声,(ii)忽略特定的虚假相关性,而不影响全局性能,(iii)实现更好的领域泛化。与标准训练相比,这些好处的计算开销可以忽略不计,不需要改变局部损失,并且可以应用于任何语言模型。我们相信这个框架是有希望的,以帮助减轻虚假的相关性和偏见的语言模型。
2022-11-14 cs.CL cs.LG
Invariant Rationalization
MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);IBM Research(IBM研究);CSAIL MIT(麻省理工学院计算机科学与人工智能实验室)
选择性合理化通过识别最能解释或支持预测的输入特征的一个小子集(基本原理)来提高神经网络的可解释性。一个典型的合理化标准,即最大互信息(MMI),找到的理由,最大化的预测性能的基础上,只有。然而,MMI可能是有问题的,因为它拾取输入特征和输出之间的虚假相关。相反,我们引入了一个博弈论不变的合理化标准,其中的理由受到限制,使相同的预测是最佳的不同的环境。我们从理论上和经验上表明,所提出的理论基础可以排除虚假的相关性,更好地推广到不同的测试场景,并更好地与人类的判断。我们的数据和代码是可用的。
2020-03-22 cs.AI cs.CL cs.LG
Repeated Environment Inference for Invariant Learning
Johns Hopkins University(约翰斯·霍普金斯大学)
研究了环境标签未知时的不变学习问题。我们专注于不变表示的概念时,贝叶斯最优条件标签分布是相同的,在不同的环境。以前的工作进行环境推理(EI)最大化的惩罚项从不变风险最小化(EI)框架。EI步骤使用关注伪相关性的参考模型,以有效地达到良好的环境分区。然而,如何找到这样一个参考模型尚不清楚。在这项工作中,我们建议重复EI过程,并在由前一个EI步骤推断的\textit{majority}环境上重新训练ERM模型。在温和的假设下,我们发现这种迭代过程有助于学习比单步的更好地捕捉虚假相关的表示。这导致更好的环境推理和更好的不变学习。我们表明,这种方法在合成和真实世界的数据集上都优于基线。
2022-08-05 cs.LG
Out of Spuriousity: Improving Robustness to Spurious Correlations without Group Annotations
Marburg University(马堡大学);University of Mannheim(曼海姆大学)
本文提出了一种方法,通过提取子网络来提高机器学习模型对虚假相关性的鲁棒性,利用监督对比损失迫使模型去除虚假关联,从而提升最差组的性能。
2026-04-27 cs.AI cs.LG
Provable Domain Generalization via Invariant-Feature Subspace Recovery
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
领域泛化要求在一组训练环境中训练的模型在看不见的测试环境中表现良好。近年来,针对领域泛化提出了一系列的算法,如不变风险最小化算法。然而,Rosenfeld等人(2021)表明,在一个简单的线性数据模型中,即使忽略非凸性问题,也不能将非凸性及其扩展推广到具有小于$d_s+1$训练环境的不可见环境,其中$d_s$是虚假特征子空间的维度。在本文中,我们提出了实现领域泛化与不变特征子空间恢复(ISR)。我们的第一个算法ISR-Mean可以从类条件分布的一阶矩中识别出由不变特征所覆盖的子空间,并在Rosenfeld等人(2021)的数据模型下使用$d_s+1$训练环境实现可证明的领域泛化。我们的第二个算法,ISR-Cov,进一步减少了所需的训练环境的数量,$O(1)$使用二阶矩的信息。值得注意的是,与非凸性问题不同,我们的算法绕过了非凸性问题,并享有全局收敛保证。从经验上讲,我们的ISR可以获得优越的性能相比,在合成基准测试。此外,在三个真实世界的图像和文本数据集上,我们证明了这两种ISR都可以用作简单而有效的后处理方法,以提高(预)训练模型在最坏情况下的准确性,以对抗虚假相关性和组移位。
2022-07-07 cs.LG stat.ML
Is Spurious Correlation Removal Always Learnable?
University of Science and Technology of China(中国科学技术大学)
研究不变学习在统计可识别时的计算障碍,证明存在一维不变子空间的可采样多环境实例,多项式时间算法无法达到常数精度,并量化环境多样性对可识别性和风险的影响。
2026-06-12 cs.LG
FedGen: Generalizable Federated Learning for Sequential Data
IBM Research(IBM研究院);UC Irvine(加州大学欧文分校)
本文提出联邦学习框架 FedGen,使客户端在无训练分布先验知识的情况下协作区分虚假特征与不变特征,从而提升模型泛化能力,并在多个真实数据集上实现准确率提升超过24%。
2023-05-30 cs.AI cs.LG
Causal Neighbourhood Learning for Invariant Graph Representations
School of Science, Engineering and Digital Technologies, University of Southern Queensland(科学、工程与数字技术学院,南方昆士兰大学);School of Data Science, Lingnan University(数据科学学院,岭南大学);School of Business, Law, Humanities and Pathways, University of Southern Queensland(商业、法律、人文与路径学院,南方昆士兰大学)
CNL-GNN通过因果干预和反事实邻域生成,提升图表示的鲁棒性和泛化能力,优于传统GNN方法。
2026-02-20 cs.AI cs.LG
ShortcutProbe: Probing Prediction Shortcuts for Learning Robust Models
University of Virginia(弗吉尼亚大学)
本文提出ShortcutProbe框架,无需组标签,通过识别模型潜在空间中的预测捷径并重新训练使其不变,以缓解虚假偏差,提高模型鲁棒性。
2025-06-17 cs.LG
Informativeness and Invariance: Two Perspectives on Spurious Correlations in Natural Language
Google Research(谷歌研究院)
伪相关性是对自然语言处理系统可信度的威胁,促使人们研究识别和消除伪相关性的方法。然而,解决虚假相关的问题需要更清楚地了解它们是什么以及它们如何在语言数据中出现。Gardner et al(2021)认为,语言的组成性质意味着标签和个体“输入特征”之间的\emph{all}相关性是虚假的。本文分析了这一建议的背景下,一个玩具的例子,展示了三个不同的条件,可以引起一个简单的PCFG的特征标签的相关性。将玩具示例链接到结构化因果模型表明:(1)即使标签对特征上的干预是不变的,特征-标签相关性也会出现;(2)即使标签对特征上的干预敏感,特征-标签相关性也可能不存在。由于输入特征将单独与标签相关,但在非常罕见的情况下,必须应用领域知识来识别虚假的相关性,构成真正的鲁棒性威胁。
2022-05-03 cs.CL cs.LG
Improving Group Robustness on Spurious Correlation Requires Preciser Group Inference
The University of Hong Kong(香港大学)
针对ERM模型因虚假相关性导致最差群体准确率低的问题,提出GIC方法,利用虚假相关性的高相关性与可变性精确推断群体标签,结合下游不变学习显著提升群体鲁棒性,并发现语义一致性现象以缓解虚假相关性。
2024-06-04 cs.LG
Large Learning Rates Simultaneously Achieve Robustness to Spurious Correlations and Compressibility
Imperial College London(伦敦帝国学院)
本文发现大学习率能同时提升模型对虚假相关性的鲁棒性和网络可压缩性,并产生不变特征利用等理想表示属性,其机制在于对偏见冲突样本的自信错误预测。
2025-08-05 cs.AI cs.CV cs.LG
Causal Effect Regularization: Automated Detection and Removal of Spurious Attributes
Microsoft Research(微软研究院)
针对未知虚假属性导致分类器依赖伪相关的问题,提出通过估计属性对标签的因果效应自动识别虚假属性并加以正则化,在多类数据集上降低$Δ$Prob且保持准确率,并证明效应排序正确即可保证选择。
2023-12-08 cs.LG
Controlling Learned Effects to Reduce Spurious Correlations in Text Classifiers
Microsoft Research(微软研究院)
本文提出一种基于因果推断的正则化算法,控制文本分类器中特征的学习效应以匹配其因果效应,从而减少虚假相关性,在毒性评论和IMDB数据集上提升少数群体及总体准确率。
2023-06-21 cs.CL cs.LG
Pareto Invariant Representation Learning for Multimedia Recommendation
Chongqing University(重庆大学);Peking University(北京大学);University of California, San Diego(加利福尼亚大学圣地亚哥分校)
针对多媒体推荐中通用表示存在虚假相关性、现有不变表示方法忽略IID与OOD泛化平衡的问题,提出帕累托不变表示学习框架PaInvRL,通过三个迭代模块同时学习不变与变体表示,在三个公开数据集上验证了其在环境内和跨环境学习的有效性。
2023-08-23 cs.IR cs.LG
Are All Spurious Features in Natural Language Alike? An Analysis through a Causal Lens
New York University(纽约大学)
在NLP中,术语“虚假相关性”被用来非正式地表示任何不受欢迎的特征-标签相关性。然而,相关性可能是不期望的,因为(i)特征与标签无关(例如,评论中的标点符号),或者(ii)特征对标签的影响取决于上下文(例如,评论中的否定词),这在语言任务中是普遍存在的。在情况(i)中,我们希望模型对特征保持不变,这对于预测来说既不必要也不充分。但在情况(ii)中,即使是理想的模型(例如人类)也必须依赖于该特征,因为它对于预测是必要的(但不是充分的)。因此,需要对虚假特征进行更细粒度的处理,以指定所需的模型行为。我们使用因果模型和必要性和充分性的概率来形式化这种区分,它描绘了特征和标签之间的因果关系。然后,我们表明,这种区别有助于解释现有的去偏置方法对不同的虚假功能的结果,并揭秘令人惊讶的结果,如在模型表示的虚假功能的编码后,去偏置。
2022-10-25 cs.CL cs.LG
Mitigating Spurious Correlations with Memorization-Guided Dataset De-Biasing
School of Electrical and Computer Engineering, Purdue University(电子与计算机工程学院,普渡大学)
提出一种两阶段样本评分函数,通过解耦核心特征与虚假特征的学习动态来识别并优先选择信息性样本,从而在仅需10%原始数据的情况下,使用标准ERM模型超越现有去偏技术。
2026-06-01 cs.LG math.OC