Removing Spurious Concepts from Neural Network Representations via Joint Subspace Estimation
University of Amsterdam(阿姆斯特丹大学);Tinbergen Institute(蒂尔堡大学和阿姆斯特丹大学联合的蒂宁根研究所)
针对神经网络分布外泛化受虚假相关性阻碍及现有概念移除方法易损害主任务性能的问题,提出一种联合估计两个低维正交子空间的迭代算法,有效分离并移除虚假概念,在视觉和NLP基准上优于现有方法。
2024-07-22 cs.LG stat.ML
Aggregation Hides Out-of-Distribution Generalization Failures from Spurious Correlations
Massachusetts Institute of Technology(麻省理工学院)
该研究发现分布内与分布外准确率的正相关是聚合异质OOD样本的假象,提出OODSelect方法可识别出分布内准确率越高、分布外准确率越低的语义一致OOD子集,揭示聚合指标会掩盖OOD鲁棒性失效模式。
2025-10-28 cs.LG
Can Subnetwork Structure be the Key to Out-of-Distribution Generalization?
Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);Massachusetts Institute of Technology(麻省理工学院);Peking University(北京大学)
具有特定结构的模型能否避免在分布外(OOD)推广中偏向伪相关?Peters等人(2016)为线性情况提供了肯定的答案。在本文中,我们使用功能模块探测方法来分析深层模型结构下的OOD设置。我们证明,即使在有偏模型(专注于虚假的相关性)仍然存在无偏功能子网络。此外,我们阐明并证明了功能彩票假设:全网络包含一个子网络,可以实现更好的OOD性能。然后,我们提出了模块化风险最小化来解决子网络的选择问题。我们的算法从给定的数据集中学习子网络结构,并且可以与任何其他OOD正则化方法相结合。各种OOD推广任务的实验证实了我们的方法的有效性。
2021-06-05 cs.LG stat.ML
Generalization vs. Memorization in the Presence of Statistical Biases in Transformers
该研究通过在多个合成算法任务中系统引入并改变统计偏差,评估并分析 transformer 各组件,揭示模型依赖虚假相关性会造成泛化能力高估并削弱分布外表现。
2024-09-06 cs.LG stat.ML
Spurious Feature Diversification Improves Out-of-distribution Generalization
The Hong Kong University of Science and Technology(香港科技大学);Tsinghua University(清华大学);Fudan University(复旦大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
该研究探究权重空间集成方法WiSE-FT的分布外泛化机制,发现虚假特征多样化可提升OOD性能,提出BANG平均方法显著增强WiSE-FT的OOD表现。
2024-07-14 cs.LG
When Does Group Invariant Learning Survive Spurious Correlations?
Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);University of Chinese Academy of Sciences(中国科学院大学);Baidu Inc.(百度公司);Institute for AI Industry Research, Tsinghua University(清华大学智能产业研究院);Beijing Academy of Artificial Intelligence(北京智源人工智能研究院)
通过推断潜在的组中的训练数据,最近的作品引入不变学习的情况下,环境注释是不可用的。通常,经验表明,在多数/少数分裂下的学习组不变性在许多数据集上有效地改善了分布外泛化。然而,这些方法的学习不变机制缺乏理论保证。在本文中,我们揭示了现有的组不变学习方法在防止分类器依赖于训练集中的虚假相关性的不足。具体而言,我们提出了两个标准来判断这种充分性。理论和经验,我们表明,现有的方法可以违反这两个标准,从而无法概括到虚假的相关位移。基于此,本文设计了一种新的组不变学习方法,该方法通过统计独立性检验构造组,并根据组标签比例对样本进行重新加权以满足标准。在合成数据和真实数据上的实验表明,新方法在推广伪相关移位方面明显优于现有的组不变学习方法。
2022-10-18 cs.LG stat.ML
The Pitfalls of Memorization: When Memorization Hurts Generalization
Mila(米拉研究所);Université de Montréal(蒙特利尔大学);FAIR at Meta(Meta FAIR研究院);CIFAR(加拿大高级研究院)
该研究揭示神经网络中记忆与虚假相关性结合会损害泛化能力,提出记忆感知训练(MAT)方法,通过留出集预测信号调整模型logits,学习跨分布鲁棒模式,提升分布偏移下的泛化性能。
2024-12-10 cs.AI cs.LG stat.ML
Increasing Robustness to Spurious Correlations using Forgettable Examples
Microsoft Turing(微软图灵);Microsoft Research(微软研究院)
神经NLP模型往往依赖于标签和输入特征之间的虚假相关性来执行其任务。少数民族的例子,即,与存在于大多数数据点中的虚假相关性相矛盾的示例已经被证明增加了预先训练的语言模型的分布外泛化。在本文中,我们首先提出使用例子遗忘来找到少数的例子,而不需要事先知道数据集中存在的虚假相关性。遗忘的例子是在训练中学习然后忘记的例子,或者从来没有学习过的例子。我们经验性地展示了这些例子是如何与我们训练集中的少数民族相关的。然后,我们引入了一种新的方法,通过两次微调我们的模型来增强模型的鲁棒性,第一次是在完整的训练数据上,第二次是在少数数据上。当我们将我们的方法应用于MNLI,QQP和FEVER数据集时,我们在分布外泛化方面获得了实质性的改进。
2021-02-02 cs.CL cs.LG
ACE and Diverse Generalization via Selective Disagreement
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);AlignedAI(对齐人工智能);CentraleSupélec(中央超导学院);University of Oxford(牛津大学)
针对深度学习中完整虚假相关性导致的欠定泛化问题,本文提出ACE方法,通过自训练鼓励概念间自信且选择性分歧,在多个基准上优于现有方法,并支持先验编码与无监督模型选择。
2025-09-09 cs.AI cs.LG
Latent Causal Invariant Model
Microsoft Research Asia(微软亚洲研究院);Peking University(北京大学)
当前的监督学习可以在数据拟合过程中学习虚假的相关性,从而带来关于可解释性、分布外(OOD)泛化和鲁棒性的问题。为了避免虚假的相关性,我们提出了一个潜在的因果不变性模型(LaCIM),追求因果预测。具体来说,我们引入的潜在变量分为(a)输出的原因因素和(b)其他虚假相关的输出通过混杂因素,建模的潜在因果因素。我们进一步假设从潜在空间到观测数据的生成机制是因果不变的。我们给出了这种不变性的可识别的主张,特别是从其他人的输出因果因素的解纠缠,作为精确推理和避免虚假相关的理论保证。我们提出了一种基于变分贝叶斯的估计方法,并优化了潜在的预测空间。我们的方法的实用性得到了验证,提高了可解释性,预测能力的各种OOD方案(包括医疗保健)和安全的鲁棒性。
2021-04-27 cs.LG stat.ML
Low-Dimension-to-High-Dimension Generalization And Its Implications for Length Generalization
State Key Lab of General Artificial Intelligence, School of Intelligence Science and Technology, Peking University(国家一般人工智能重点实验室,智能科学与技术学院,北京大学);Institute for Artificial Intelligence, Peking University(人工智能研究院,北京大学);Beijing Institute for General Artificial Intelligence(北京一般人工智能研究院);Pazhou Laboratory (Huangpu), Guangzhou, Guangdong, China(黄埔实验室(华南),广州,广东,中国)
该研究聚焦低维到高维(LDHD)泛化问题,从理论上证明无归纳偏置时LDHD泛化难以实现,解释了CoT的有效性,并提出RPE-Square位置嵌入以优化长度泛化。
2025-10-05 cs.LG
Unifying Invariance and Spuriousity for Graph Out-of-Distribution via Probability of Necessity and Sufficiency
Guangdong University of Technology(广东工业大学);Shantou University(汕头大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
针对图分布外泛化中语义子图丢失或冗余的问题,提出统一框架PNSIS,利用必要性与充分性概率提取不变子图,并结合伪相关子图以集成方式增强鲁棒性,在多个基准上优于现有技术。
2024-02-14 cs.LG
Out of Distribution Generalization via Interventional Style Transfer in Single-Cell Microscopy
Columbia University(哥伦比亚大学);Broad Institute(博德研究所);MIT(麻省理工学院);University College London(伦敦大学学院);New York University(纽约大学)
针对单细胞显微镜图像,提出干预式风格迁移(IST)方法,通过生成干预式训练分布缓解虚假相关,显著提升分布外泛化,并发布代码与数据集。
2023-06-15 cs.AI cs.CV cs.LG
Simple and Fast Group Robustness by Automatic Feature Reweighting
New York University(纽约大学)
针对分布外泛化中虚假特征依赖问题,提出自动特征重加权(AFR)方法,通过加权损失重训练ERM模型最后一层,无需组标签即可提升多个视觉和语言基准的鲁棒性,且计算开销极小。
2023-06-19 cs.LG stat.ML
Meta Learning not to Learn: Robustly Informing Meta-Learning under Nuisance-Varying Families
Biomedical Data Science Center(生物医学数据科学中心);Lausanne University Hospital(洛桑大学医院)
针对神经网络依赖伪特征导致泛化困难的问题,提出RIME方法,通过同时整合正负归纳偏置,在干扰变量变化族的知情元学习场景下实现了分布鲁棒的最先进性能。
2025-03-06 cs.LG
Understanding the Failure Modes of Out-of-Distribution Generalization
Carnegie Mellon University(卡内基梅隆大学);Blueshift(蓝移公司);Alphabet(字母表公司)
本文从理论上分析梯度下降训练的线性分类器,揭示虚假相关导致分布外泛化失败的几何与统计两类机制,并通过改造图像数据集和神经网络实验加以隔离验证。
2024-09-06 cs.CV cs.LG stat.ML
Data Augmentations for Improved (Large) Language Model Generalization
Google Research(谷歌研究院);Columbia University(哥伦比亚大学);Johns Hopkins University(约翰斯·霍普金斯大学)
针对文本分类器因虚假相关性导致泛化差的问题,提出基于因果结构的反事实数据增强方法,通过模拟干预和LLM表示文本条件概率,有效提升了分布外准确率。
2024-01-09 cs.CL cs.LG
Exploring Optimal Substructure for Out-of-distribution Generalization via Feature-targeted Model Pruning
The Hong Kong Polytechnic University(香港理工大学)
最近的研究表明,即使是高度偏置的稠密网络也包含一个无偏的子结构,可以实现比原始模型更好的分布外(OOD)泛化。现有的工作通常使用模块化风险最小化(MRM)与域外数据搜索的不变子网络。这样的范例可能会带来两个潜在的弱点:1)不公平,由于在训练期间对域外数据的观察不足;以及2)次优OOD泛化,由于对整个数据分布的特征非目标模型修剪。在本文中,我们提出了一种新的虚假目标模型剪枝框架,称为SFP,自动探索不变的子结构,而不涉及上述弱点。具体来说,SFP在训练过程中使用我们理论上验证的任务丢失来识别分布(ID)特征,在此基础上,SFP可以执行ID目标模型修剪,删除对ID特征具有强依赖性的分支。值得注意的是,通过衰减虚假特征到模型空间的投影,SFP可以将模型学习推向不变特征,并将其从环境特征中提取出来,从而设计出最佳的OOD泛化。此外,我们还进行了详细的理论分析,提供了合理性保证和证明框架的OOD结构通过模型稀疏性,并首次揭示了如何高度偏置的数据分布影响模型的OOD推广。在各种面向对象数据集上的大量实验表明,SFP可以显著优于基于结构和非结构的面向对象泛化SOTA,准确率分别提高了4.72%和23.35%。
2022-12-19 cs.AI cs.LG stat.ML
Fighting Spurious Correlations in Text Classification via a Causal Learning Perspective
George Mason University(乔治梅森大学)
针对文本分类中模型依赖虚假相关性导致鲁棒性差的问题,提出因果校准鲁棒分类器CCR,结合反事实推理的因果特征选择与无偏逆倾向加权损失,有效降低对虚假特征的依赖,在无组标签方法中达到SOTA性能。
2025-02-01 cs.CL cs.LG
Learning Invariant Representations with Missing Data
New York University(纽约大学);Apple(苹果公司)
虚假相关性允许灵活的模型在训练期间预测良好,但在相关测试分布上预测不佳。最近的工作表明,模型,满足特定的独立性,涉及相关诱导\textit{nuisance}变量有保证他们的测试性能。执行这种独立性需要在培训期间观察到滋扰。然而,诸如人口统计或图像背景标签之类的讨厌的东西经常丢失。仅对观察到的数据强制独立并不意味着对整个群体的独立。在这里,我们推导出\acrshort{mmd}估计用于不变性目标下丢失的滋扰。在模拟和临床数据上,通过这些估计进行优化可以实现与使用利用完整数据的估计器类似的测试性能。
2022-06-08 cs.LG stat.ML
Mitigating Spurious Correlations in LLMs via Causality-Aware Post-Training
Texas A&M University(德克萨斯A&M大学)
本文提出因果感知后训练 CAPT,通过事件估计与事件干预两步分解有偏预测,在仅用100个ID样本微调3B模型时提升ID与OOD表现。
2025-06-11 cs.LG
Generalization of Neural Combinatorial Solvers Through the Lens of Adversarial Robustness
Technical University of Munich(慕尼黑工业大学);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心)
端到端(几何)深度学习在近似解决组合优化问题方面取得了第一次成功。然而,在NP难/完全任务领域生成数据带来了实践和理论挑战,导致评估协议过于乐观。具体来说,大多数数据集只捕获一个更简单的子问题,并可能遭受虚假特征。我们通过研究对抗鲁棒性(一种局部泛化特性)来研究这些影响,以揭示硬的、特定于模型的实例和虚假特征。为此,我们推导出SAT和TSP的扰动模型。与其他应用程序不同,扰动模型是围绕主观的不可感知性概念设计的,我们的扰动模型是有效的和健全的,使我们能够确定扰动样本的真实标签,而无需求解器。令人惊讶的是,在这样的扰动下,一个足够有表现力的神经求解器不会受到监督学习中常见的准确性-鲁棒性权衡的限制。虽然这样强大的求解器存在,我们经验表明,评估神经求解器不概括以及w.r.t.问题实例的小扰动。
2022-03-21 cs.LG
Exact Generalization Guarantees for (Regularized) Wasserstein Distributionally Robust Models
Univ. Grenoble Alpes, CNRS, Grenoble INP(格勒诺布尔阿尔卑斯大学,法国国家科学研究中心,格勒诺布尔国立理工学院)
针对现有Wasserstein分布鲁棒估计器泛化保证存在维度灾难、适用场景受限等问题,证明其泛化保证适用于通用模型、无维度灾难且可覆盖测试分布偏移,并可推广至正则化版本。
2023-11-06 cs.LG stat.ML
Improving Group Robustness on Spurious Correlation via Evidential Alignment
University of Virginia(弗吉尼亚大学)
本文提出 Evidential Alignment 框架,利用不确定性量化和证据校准,在无需群体标注的情况下识别并抑制模型中的虚假相关,从而提升群体鲁棒性。
2025-07-20 cs.LG
Using Interventions to Improve Out-of-Distribution Generalization of Text-Matching Recommendation Systems
Microsoft Research(微软研究院)
针对文本匹配推荐系统微调后分布外泛化能力下降的问题,提出基于干预的正则化方法约束token因果效应与基础模型相近,在多数据集上有效提升了泛化表现。
2023-06-14 cs.IR cs.LG
Exploiting Personalized Invariance for Better Out-of-distribution Generalization in Federated Learning
The Hong Kong Polytechnic University(香港理工大学)
最近,本地客户端上的训练数据集之间的数据异构性(也称为,非IID数据)引起了联邦学习(Federated Learning,FL)的极大兴趣,许多个性化的联邦学习方法被提出来处理它。然而,尽管在现实世界中,训练数据集和测试数据集之间的分布偏移在FL中是普遍存在的,但FL从未考虑过。我们注意到分布偏移(也称为,由于个性化信息和虚假信息之间的纠缠,非IID联邦设置下的分布外泛化(out-of-distribution generalization)问题变得相当具有挑战性。为了解决上述问题,我们详细阐述了一个通用的双重正则化学习框架,以探索个性化的不变性,与现有的个性化联邦学习方法,由一个单一的基线(通常是全局模型)进行正则化。利用个性化的不变特征,开发的个性化模型可以有效地利用最相关的信息,同时消除虚假信息,以提高每个客户端的分布外泛化性能。理论分析和实验结果表明,在不同的分布外和非IID数据情况下,该方法优于现有的联邦学习和不变学习方法.
2022-11-21 cs.DC cs.LG
DivIL: Unveiling and Addressing Over-Invariance for Out-of- Distribution Generalization
The Chinese University of Hong Kong(香港中文大学);Harbin Institute of Technology(哈尔滨工业大学)
针对分布外泛化中强不变约束导致的过度不变性问题,提出DivIL方法,结合无监督对比学习和随机掩蔽机制,在12个数据集和6个模型上验证了有效性。
2025-05-22 cs.LG
Learning Invariant Graph Representations Through Redundant Information
University of Maryland, College Park(马里兰大学 College Park 分校)
本文提出RIG框架,通过冗余信息学习不变图表示,以实现分布外泛化。
2025-12-05 cs.AI cs.IT cs.LG
Explanation-based Finetuning Makes Models More Robust to Spurious Cues
University of Pennsylvania(宾夕法尼亚大学)
本文提出让模型在预测答案外生成自由文本解释的微调方法,显著提升 GPT-3 等 LLM 对虚假线索的分布外鲁棒性,并验证其跨模型规模及自生成解释场景的有效性。
2023-06-06 cs.CL cs.LG
Our Evaluation Metric Needs an Update to Encourage Generalization
Arizona State University(亚利桑那州立大学)
在几个流行的基准测试中超过人类表现的模型在暴露于分布外(OOD)数据时表现出显着的性能下降。最近的研究表明,模型过度拟合虚假的偏见和“黑客”数据集,而不是像人类一样学习可概括的特征。为了阻止模型性能的膨胀--从而高估AI系统的能力--我们提出了一个简单而新颖的评估指标,WOOD Score,它鼓励在评估过程中进行泛化。
2020-07-14 cs.AI cs.CL cs.CV
Individual and Structural Graph Information Bottlenecks for Out-of-Distribution Generalization
Peking University(北京大学);Ant Group(蚂蚁集团);Peking University (Qingdao)(北京大学(青岛));Mila - Québec AI Institute(米拉-魁北克人工智能研究所);HEC Montréal(蒙特利尔高等商学院)
针对分布外图泛化中虚假特征及实例级学习局限,提出统一框架IS-GIB,结合I-GIB丢弃无关信息与S-GIB从高阶视角学习类关系不变特征,在节点与图级任务上展现卓越泛化能力。
2023-06-28 cs.AI cs.CV cs.LG
Learning Diverse Features in Vision Transformers for Improved Generalization
Idiap Research Institute(Idiap研究所);Mila(米拉人工智能研究所);University of Montreal(蒙特利尔大学);University of Bucharest(布加勒斯特大学);Gheorghe Mihoc - Caius Iacob Institute of Mathematical Statistics and Applied Mathematics of the Romanian Academy(罗马尼亚科学院Gheorghe Mihoc-Caius Iacob数理统计与应用数学研究所)
本文发现ViT通过不同注意力头提取鲁棒和虚假特征,提出基于梯度正交化的方法增强特征多样性,并剪除虚假头以提升分布外泛化性能。
2023-08-30 cs.CV cs.LG
An Investigation of the (In)effectiveness of Counterfactually Augmented Data
New York University(纽约大学)
虽然预训练的语言模型在自然语言理解基准测试中取得了优异的性能,但它们往往依赖于虚假的相关性,并且对分布外(OOD)数据的泛化能力很差。最近的工作探索了使用反事实增强数据(CAD)-由最小扰动示例生成的数据翻转地面真实标签-来识别在分布偏移下不变的鲁棒特征。然而,使用CAD的OOD推广的经验结果是混合的。为了解释这种差异,我们从线性高斯模型中得出见解,并展示了CAD的陷阱。具体来说,我们表明:(a)虽然CAD在识别鲁棒特征方面是有效的,但它可能会阻止模型学习未受干扰的鲁棒特征;(b)CAD可能会加剧数据中现有的虚假相关性。在两个众包的CAD数据集上,我们的研究结果表明,扰动多样性的缺乏限制了它们在OOD推广上的有效性,这就要求创新的众包程序来引出不同的扰动示例。
2022-03-16 cs.CL cs.LG
Dissecting the Failure of Invariant Learning on Graphs
Peking University(北京大学);CSAIL, MIT(麻省理工学院计算机科学与人工智能实验室);State Key Laboratory of General Artificial Intelligence(通用人工智能国家重点实验室);Institute for Artificial Intelligence, Peking University(北京大学人工智能研究院)
本文通过结构因果模型剖析IRM和VREx在图节点级OOD泛化中因缺乏类别条件不变性约束而失败的原因,并提出CIA及无需环境标签的CIA-LRA方法,通过类内跨环境对齐消除虚假特征,显著提升节点级OOD泛化性能。
2025-01-03 cs.AI cs.LG
Class-Conditional Distribution Balancing for Group Robust Classification
Dalian University of Technology(大连理工大学)
本文提出了一种基于类别条件分布平衡的鲁棒分类方法,通过样本重新加权策略消除对偏见注释的依赖,有效消除虚假相关性,提升模型在现实世界中的泛化能力。
2025-12-01 cs.CV cs.LG
Trained Models Tell Us How to Make Them Robust to Spurious Correlation without Group Annotation
Sharif University of Technology(谢里夫理工大学)
针对依赖虚假相关的ERM分类器在少数分组性能差、现有鲁棒性方法依赖分组标注的问题,提出EVaLS方法,通过损失采样平衡数据、环境推断替代分组标注,实现无分组标注下接近最优的最差分组鲁棒性。
2024-10-07 cs.AI cs.CV cs.LG
Improving Adversarial Robustness in Android Malware Detection by Reducing the Impact of Spurious Correlations
Radboud University(拉德堡德大学);Xi’an Jiaotong University(西安交通大学);Ruhr University Bochum(波鸿鲁尔大学)
本文提出一种领域自适应技术,通过构建鲁棒特征空间对齐恶意软件样本与对抗样本分布,减少虚假相关性影响,在DREBIN上相较Sec-SVM将对抗鲁棒性提升最高55%。
2024-08-27 cs.CR cs.LG cs.SE
AGRO: Adversarial Discovery of Error-prone groups for Robust Optimization
University of Washington(华盛顿大学);Allen Institute of Artificial Intelligence(艾伦人工智能研究所);University of Utah(犹他大学);Meta AI
通过经验风险最小化(ERM)训练的模型依赖于标签和任务无关输入特征之间的虚假相关性,导致对分布变化的泛化能力差。组分布鲁棒优化(G-DRO)可以通过最小化训练数据上的一组预定义组的最坏情况损失来缓解这个问题。G-DRO成功地提高了相关性不成立的最差组的性能。然而,G-DRO假设虚假相关性和相关的最差组是预先已知的,这使得将其应用于具有潜在的多个未知虚假相关性的新任务具有挑战性。我们提出了AGRO --分布式鲁棒优化的对抗组发现--一种端到端的方法,可以联合识别易出错的组并提高其准确性。AGRO为G-DRO配备了一个对抗切片模型,以找到一个训练样本的组分配,从而最大限度地提高所发现的组的最坏情况损失。在WILDS基准测试中,与G-DRO使用的先前组发现方法相比,AGRO在已知最差组上的平均模型性能高出8%。AGRO还提高了SST 2、QQP和MS-COCO数据集的分布外性能,这些数据集的潜在虚假相关性尚未得到表征。对ARGO组的人类评估表明,它们包含定义明确、但以前未研究过的导致模型误差的虚假相关性。
2022-12-08 cs.AI cs.CL cs.LG
Learning Invariant Representations for Sentiment Analysis: The Missing Material is Datasets
Centrale Supélec(中央理工-高等电力学院);Université Paris-Saclay(巴黎萨克雷大学);Sidetrade
保持对干扰因素不变的学习表示在领域自适应、迁移学习和公平机器学习中具有极大的兴趣。在NLP任务中找到这样的表示变得非常具有挑战性,因为滋扰因素纠缠在原始文本中。据我们所知,一个主要问题是只有少数NLP数据集可以评估这些因素的影响。在本文中,我们引入了两个泛化指标来评估模型的鲁棒性滋扰因素:\textit{generalization under target bias}和\textit{generalization onto unknown}。我们将这些指标与一个简单的数据过滤方法相结合,以控制滋扰因素对数据的影响,从而构建实验偏置数据集。我们将我们的方法应用于文献(\textit{Amazon}和\textit{Yelp})的标准数据集。我们的工作表明,一个简单的文本分类基线(即,对评论的情感分析)可能在学习评论的极性时受到\textit{product ID}的严重影响(被认为是干扰因素)。所提出的方法是通用的和适用的滋扰变量被注释在数据集中。
2019-07-29 cs.IR cs.LG stat.ML
Meta-Learned Invariant Risk Minimization
Graduate School of Artificial Intelligence, Kyungpook National University(庆北国立大学人工智能研究生院)
基于经验风险最小化(ERM)的机器学习算法在从分布外(OOD)获得的数据上的泛化性能较弱。为了解决这个问题,提出了不变风险最小化(Invariant Risk Minimization)目标,以找到受数据分布变化影响较小的不变最优预测器。然而,即使有这样的进展,IRMv1,实际的配方,仍然表现出性能下降时,没有足够的训练数据,甚至无法推广到OOD,如果假相关的数量大于环境的数量。在本文中,为了解决这些问题,我们提出了一种新的元学习为基础的方法。在该方法中,我们没有假设分类器的线性,以方便优化,并解决理想的双层分类器目标与模型无关的元学习(MAML)框架。我们的方法是更强大的数据与虚假的相关性,可以提供一个不变的最佳分类器,即使从每个分布的数据是稀缺的。在实验中,我们证明了我们的算法不仅具有更好的OOD泛化性能比IRMv1和所有的IRMv1的变种,但也解决了IRMv1的弱点,提高了稳定性。
2021-03-24 cs.AI cs.LG
Enhancing NLP Robustness and Generalization through LLM-Generated Contrast Sets: A Scalable Framework for Systematic Evaluation and Adversarial Training
College of Natural Sciences, The University of Texas at Austin(德克萨斯大学奥斯汀分校自然科学学院)
本文提出利用LLM自动生成多样化对比集,并在SNLI上构建3000样本对比集,通过微调提升模型鲁棒性和泛化能力,为NLP系统评估与对抗训练提供可扩展框架。
2025-03-09 cs.AI cs.CL cs.LG
DIVE: Subgraph Disagreement for Graph Out-of-Distribution Generalization
University of Science and Technology of China(中国科学技术大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
本文提出 DIVE 方法,通过正则化惩罚促使多个模型关注不同的标签预测子图,以克服 SGD 训练的简单性偏置,从而提升图机器学习在分布外场景下的泛化性能。
2024-08-08 cs.AI cs.LG
Discovery and Separation of Features for Invariant Representation Learning
Information Sciences Institute(信息科学研究所);University of Southern California(南加州大学)
有监督的机器学习模型通常将不相关的干扰因素与预测目标相关联,这损害了泛化。我们提出了一个框架来训练强大的神经网络,通过学习发现和分离数据的预测和滋扰因素,诱导不变性的滋扰。我们提出了一个信息理论制定我们的方法,从中我们得到的培训目标和它与以前的方法的连接。大量数据集的实证结果表明,所提出的框架实现了最先进的性能,并且在训练期间不需要多余的注释。
2019-12-02 cs.LG stat.ML
Certified Causal Defense with Generalizable Robustness
Case Wester Reserve University(凯斯西储大学);University of Virginia(弗吉尼亚大学)
提出GLEAN框架,通过可认证因果因子学习解耦因果关系与虚假相关性,并设计因果认证防御策略,实现跨分布偏移域的鲁棒性泛化。
2026-05-28 cs.CR cs.LG stat.ME
Understanding and Testing Generalization of Deep Networks on Out-of-Distribution Data
Beijing Jiaotong University(北京交通大学)
深度网络模型在分发(ID)数据上表现出色,但在分发(OOD)数据上可能会严重失败。虽然开发方法的重点是提高面向对象的推广,很少有人注意到评估模型处理面向对象数据的能力。本研究致力于分析实验性ID测试存在的问题,并设计面向对象的测试范式,以准确地评估实际性能。我们的分析是基于三种类型的分布偏移,以产生OOD数据的介绍分类。主要意见包括:(1)ID检验既不能反映单个模型的实际性能,也不能在OOD数据下进行不同模型之间的比较。(2)ID测试失败的原因是由相应的分布偏移导致的学习到的边缘和条件虚假相关。在此基础上,我们提出了新的面向对象的测试范式来评估模型对未知数据的泛化能力,并讨论了如何使用面向对象的测试结果来发现模型的错误,以指导模型调试。
2021-11-19 cs.AI cs.LG
Generalizing Graph Neural Networks on Out-Of-Distribution Graphs
Beijing University of Posts and Telecommunications(北京邮电大学);Tsinghua University(清华大学);Beihang University(北京航空航天大学)
针对图神经网络因依赖训练集虚假相关性、在分布外图上泛化能力退化的问题,提出基于因果表示的StableGNN框架,通过子图表征提取与因果变量区分正则化修正分布偏差,提升模型稳定性与泛化性。
2024-03-10 cs.AI cs.LG
Graph Out-of-Distribution Generalization with Controllable Data Augmentation
Shanghai Jiao Tong University(上海交通大学);Institute of Geographical Science and Natural Resources Research, Chinese Academy of Sciences(中国科学院地理科学与资源研究所)
针对图数据中规模与密度混合分布偏移导致GNN性能下降的问题,提出OOD-GMixup,通过图理据提取、扰动生成虚拟OOD样本及极值理论校准来主动控制训练分布,并在多个数据集上优于现有方法。
2023-08-16 cs.AI cs.LG cs.SI
InBiaseD: Inductive Bias Distillation to Improve Generalization and Robustness through Shape-awareness
NavInfo Europe(四维图新欧洲)
与深度神经网络相比,人类对虚假相关性和琐碎线索(如纹理)的依赖更少,深度神经网络具有更好的泛化性和鲁棒性。它可以归因于先验知识或大脑中存在的高级认知归纳偏见。因此,向神经网络引入有意义的归纳偏差可以帮助学习更多的通用和高级表示,并减轻一些缺点。我们提出InBiaseD来提取归纳偏差,并为神经网络带来形状感知。我们的方法包括一个偏差对齐目标,该目标强制网络学习更通用的表示,这些表示不太容易受到数据中意外线索的影响,从而提高泛化性能。InBiaseD不太容易受到捷径学习的影响,并且还表现出较低的纹理偏差。更好的表示也有助于提高对对抗攻击的鲁棒性,因此我们将InBiaseD无缝地插入到现有的对抗训练方案中,以显示泛化和鲁棒性之间更好的权衡。
2022-06-12 cs.AI cs.CV cs.LG
Deep Stable Learning for Out-Of-Distribution Generalization
Tsinghua University(清华大学)
基于深度神经网络的方法在测试数据和训练数据共享相似分布时取得了惊人的性能,但否则可能会严重失败。因此,消除训练和测试数据之间的分布偏移的影响对于构建性能有希望的深度模型至关重要。传统方法假设训练数据(例如域标签)的已知异质性或不同域的近似相等容量。在本文中,我们考虑一个更具挑战性的情况下,上述假设都不成立。我们建议通过学习训练样本的权重来消除特征之间的依赖关系来解决这个问题,这有助于深度模型摆脱虚假的相关性,从而更专注于区分性特征和标签之间的真正联系。大量的实验清楚地证明了我们的方法的有效性多分布泛化基准相比,国家的最先进的同行。通过在PACS、VLCS、MNIST-M和NICO等分布泛化基准上的大量实验,我们证明了该方法与现有方法相比的有效性。
2021-04-16 cs.AI cs.CV cs.LG
Does Weak-to-strong Generalization Happen under Spurious Correlations?
本文研究了在存在伪相关性的情况下,通过强预训练学生在下游任务中使用伪标签进行弱到强泛化是否发生,并提出改进方法。
2026-03-19 cs.LG stat.ML
Improving Multi-Task Generalization via Regularizing Spurious Correlation
University of California, Los Angeles(加州大学洛杉矶分校);Google Research(谷歌研究院)
多任务学习(MTL)是一种通过知识共享来提高泛化性能的强大学习范式。然而,现有的研究发现,MTL有时会损害概括,特别是当两个任务相关性较低时。损害泛化的一个可能原因是虚假相关,即,有些知识是虚假的,与任务标签没有因果关系,但模型可能错误地利用它们,因此当这种相关性发生变化时,模型就会失败。在MTL设置中,存在伪相关的几个独特挑战。首先,具有非因果知识的风险更高,因为共享的MTL模型需要对来自不同任务的所有知识进行编码,并且一个任务的因果知识可能对另一个任务是虚假的。第二,任务标签之间的混淆给MTL带来了不同类型的虚假相关。我们从理论上证明了MTL比单任务学习更倾向于从其他任务中获取非因果知识,从而概括性更差。针对这一问题,本文提出了多任务因果表示学习框架,旨在通过分解神经模块来表示多任务知识,并通过特定于MTL的不变正则化来学习哪个模块与每个任务有因果关系。实验结果表明,通过缓解虚假相关问题,MTL模型的性能比Multi-MNIST,MovieLens,Taskonomy,CityScape和NYUv 2平均提高了5.5%。
2022-11-24 cs.AI cs.LG
Are Domain Generalization Benchmarks with Accuracy on the Line Misspecified?
Massachusetts Institute of Technology(麻省理工学院);Stanford University(斯坦福大学)
本文指出流行OOD基准因未包含损害泛化的虚假相关性偏移而被错误设定,导致ERM表现优异且“准确性在线性关系上”现象出现;作者推导了揭示虚假依赖的条件,审查数据集并提出设计原则。
2025-08-02 cs.AI cs.LG stat.ML
Challenges and Opportunities in Improving Worst-Group Generalization in Presence of Spurious Features
University of YYY(YYY大学);School of ZZZ(ZZZ学院);Institute of WWW(WWW研究院)
本研究针对虚假特征导致的最差组泛化问题,在三类挑战性场景中提出缓解方法,引入新数据集并系统测试8种SOTA方法,揭示现有方法局限并提出更优模型选择策略,为该领域提供新方向。
2025-04-16 cs.LG
Beyond Invariance: Test-Time Label-Shift Adaptation for Distributions with "Spurious" Correlations
Cornell University(康奈尔大学);Google DeepMind(谷歌DeepMind);Google Cloud AI Research(谷歌云人工智能研究部)
本文提出测试时标签偏移自适应方法 TTLSA,通过 EM 算法对目标域无标签样本重新加权源判别模型输出,以适应联合分布 p(y,z) 的变化,无需拟合生成模型,并在多个数据集上验证其优于不变性方法和经验风险最小化基线。
2023-11-29 cs.CV cs.LG stat.ML