On how to avoid exacerbating spurious correlations when models are overparameterized
University of British Columbia(不列颠哥伦比亚大学)
过度参数化的模型无法推广以及在数据不平衡的存在下,即使与传统的技术来减轻不平衡。本文关注的是不平衡的分类数据集,其中一小部分人口(少数)可能包含与类标签虚假相关的特征。对于交叉熵损失修正的参数族和代表性的高斯混合模型,我们推导出最坏组误差的非渐近推广界,从而揭示了不同超参数的作用。具体来说,我们证明了,当适当调整时,最近提出的VS-损失学习模型,即使在虚假特征很强的情况下,也对少数群体公平。另一方面,替代的算法,如加权CE和LA损失,可能会严重失败。与以前的作品相比,我们的界限适用于更一般的模型,它们是非渐近的,甚至在极端不平衡的情况下也适用。
2022-06-25 cs.LG
UnLearning from Experience to Avoid Spurious Correlations
Queen’s University Belfast(贝尔法斯特女王大学);School of EEECS(EEECS学院)
本文提出从经验中反学习(ULE)方法,通过并行训练学生和教师模型,让教师利用学生输出的梯度反学习学生学到的虚假相关性,从而提升模型鲁棒性,并在多个数据集上验证有效。
2024-09-04 cs.CV cs.LG
Mitigating Spurious Correlation via Distributionally Robust Learning with Hierarchical Ambiguity Sets
Pohang University of Science and Technology(釜山科学技术大学)
本文提出一种分层扩展的Group DRO方法,通过扩大模糊集以提高对组间和组内分布偏移的鲁棒性,并在少数群体分布偏移模拟中取得优异表现。
2026-02-12 cs.LG
When Does Group Invariant Learning Survive Spurious Correlations?
Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);University of Chinese Academy of Sciences(中国科学院大学);Baidu Inc.(百度公司);Institute for AI Industry Research, Tsinghua University(清华大学智能产业研究院);Beijing Academy of Artificial Intelligence(北京智源人工智能研究院)
通过推断潜在的组中的训练数据,最近的作品引入不变学习的情况下,环境注释是不可用的。通常,经验表明,在多数/少数分裂下的学习组不变性在许多数据集上有效地改善了分布外泛化。然而,这些方法的学习不变机制缺乏理论保证。在本文中,我们揭示了现有的组不变学习方法在防止分类器依赖于训练集中的虚假相关性的不足。具体而言,我们提出了两个标准来判断这种充分性。理论和经验,我们表明,现有的方法可以违反这两个标准,从而无法概括到虚假的相关位移。基于此,本文设计了一种新的组不变学习方法,该方法通过统计独立性检验构造组,并根据组标签比例对样本进行重新加权以满足标准。在合成数据和真实数据上的实验表明,新方法在推广伪相关移位方面明显优于现有的组不变学习方法。
2022-10-18 cs.LG stat.ML
Generative Classifiers Avoid Shortcut Solutions
Carnegie Mellon University(卡内基梅隆大学);Stanford University(斯坦福大学)
生成分类器通过建模所有特征避免捷径解法,提升在分布偏移下的性能。
2025-12-31 cs.AI cs.CV cs.LG
Examining and Combating Spurious Features under Distribution Shift
Carnegie Mellon University(卡内基梅隆大学);University of Southern California(南加州大学)
机器学习的一个中心目标是学习鲁棒的表示,这些表示捕获输入特征和输出标签之间的因果关系。然而,最小化有限或有偏数据集的经验风险通常会导致模型锁定在训练输入/输出对之间的虚假相关性上,而这些相关性对手头的问题并不重要。在本文中,我们定义和分析强大的和虚假的表示使用信息论的概念,最小的充分统计。我们证明了即使只有输入分布的偏差(即协变量偏移),模型仍然可以从其训练数据中提取虚假特征。组分布鲁棒优化(DRO)通过最小化一组预定义组上的最坏情况训练损失,提供了一种有效的工具来减轻协变量偏移。我们的分析的启发,我们表明,组DRO可以失败时,组不直接占各种虚假的相关性,发生在数据中。为了解决这个问题,我们进一步建议在一组更灵活的分布上最小化最坏情况下的损失,这些分布是在组和实例的联合分布上定义的,而不是在优化时将每个组作为一个整体来处理。通过对一个图像和两种语言任务的广泛实验,我们表明,我们的模型在各种分区下比可比基线更鲁棒。我们的代码可在https://github.com/violet-zct/group-conditional-DRO上获得。
2021-06-14 cs.AI cs.LG
Spurious samples in deep generative models: bug or feature?
CNRS/Université Paris-Saclay(法国国家科学研究中心/巴黎-萨克雷大学);PSL Research University(巴黎文理研究大学)
生成式建模文献中的传统观点是,模型可能生成的虚假样本是错误的,应该避免。然而,最近的研究表明,人们有兴趣研究甚至利用这些样本,而不是消除它们。在本文中,我们问这样的样本是否可以一起消除,而不牺牲生成分布的覆盖范围的问题。对于我们考虑的模型类,我们通过实验证明,这是不可能的,而不会失去模拟一些测试样本的能力。虽然我们的结果需要在更广泛的模型家族上得到证实,但这些初步发现提供了部分证据,证明虚假样本与学习数据集具有相同的结构特性,这反过来表明它们不仅仅是错误,而是深度生成网络的一个特征。
2018-10-03 cs.LG stat.ML
Robustness to Spurious Correlations via Human Annotations
Stanford University(斯坦福大学)
机器学习系统的可靠性严格假设特征和标签之间的关联在训练和测试分布之间保持相似。然而,不可测量的变量,如混杂因素,打破了这一假设--在训练时特征和标签之间有用的相关性在测试时可能变得无用甚至有害。例如,高度肥胖通常预示着心脏病,但这种关系可能不适用于吸烟者,他们通常肥胖率较低,心脏病发病率较高。我们提出了一个框架,使模型鲁棒虚假的相关性,利用人类的常识知识的因果关系。具体来说,我们使用人类注释来增强每个训练样本与一个潜在的不可测量的变量(即体重不足的心脏病患者可能是一个吸烟者),减少了问题的协变量偏移问题。然后,我们引入了一个新的分布鲁棒优化目标不可测变量(UV-DRO),以控制最坏情况下的损失超过可能的测试时间的变化。从经验上讲,我们表现出5-10%的数字识别任务混淆旋转,和1.5-5%的任务分析纽约警察局警察站混淆的位置。
2020-08-13 cs.LG stat.ML
Data Curation Matters: Model Collapse and Spurious Shift Performance Prediction from Training on Uncurated Text Embeddings
本研究揭示在未整理文本嵌入上训练模型会导致模型崩溃,提出崩溃度量指标,并发现崩溃会引发虚假的准确率-线性相关性,强调嵌入表示需更细致的整理与评估。
2025-06-22 cs.LG
Even Small Correlation and Diversity Shifts Pose Dataset-Bias Issues
University of Campinas(坎皮纳斯大学);Instituto Superior Técnico(高等理工学院)
本文研究多样性和相关性分布偏移对深度学习模型的影响,提出集成协议分析,发现模型会传播弱偏差、虚假相关性不损害稳健特征学习、多样性偏移减少虚假依赖,为分布偏移研究提供新见解。
2023-12-21 cs.AI cs.CV cs.LG
When Are Learning Biases Equivalent? A Unifying Framework for Fairness, Robustness, and Distribution Shift
针对机器学习中公平性、鲁棒性等失效模式被单独研究的问题,提出统一理论框架,通过信息论度量将偏差形式化为条件独立性违反,证明多种偏差的等价条件,实证验证等价性并支持去偏方法跨域迁移。
2025-11-09 cs.AI cs.LG stat.ML
Breaking Correlation Shift via Conditional Invariant Regularizer
University of Chinese Academy of Sciences(中国科学院大学);Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
近年来,对具有相关位移的分布外(OOD)数据的推广引起了广泛的关注。相关性偏移是由与类标签相关的虚假属性引起的,因为它们之间的相关性在训练和测试数据中可能会有所不同。对于这样的问题,我们表明,给定的类标签,有条件地独立于虚假属性的模型是OOD推广。在此基础上,提出了一种控制OOD泛化误差的度量条件伪变差(CSV)来度量这种条件独立性。为了提高OOD的泛化能力,我们使用建议的CSV规范了训练过程。在温和的假设下,我们的训练目标可以被公式化为一个非凸-凹极小-极大问题。提出了一个具有可证明收敛速度的算法来求解该问题。大量的实验结果验证了我们的算法在提高OOD推广的有效性。
2023-02-24 cs.LG
Calibrated ensembles can mitigate accuracy tradeoffs under distribution shift
Stanford University(斯坦福大学);Carnegie Mellon University(卡内基梅隆大学)
我们经常在健壮的机器学习中看到不期望的权衡,其中分布外(OOD)准确性与分布内(ID)准确性不一致:与通过ERM训练的标准分类器相比,通过专门技术(如去除虚假特征)获得的健壮分类器通常具有更好的OOD但更差的ID准确性。在本文中,我们发现ID校准的集成-在仅对ID数据进行校准后,我们简单地集成标准和鲁棒模型-在ID和OOD准确性方面优于现有技术(基于自我训练)。在11个自然分布偏移数据集上,ID校准的集成获得了两个世界中最好的:强大的ID准确性和OOD准确性。我们分析了这种方法在程式化的设置,并确定了两个重要的条件,合奏,以及执行ID和OOD:(1)我们需要校准的标准和鲁棒模型(ID数据,因为OOD数据是不可用的),(2)OOD没有相关的虚假特征。
2022-07-18 cs.LG stat.ML
Environment-Adaptive Covariate Selection: Learning When to Use Spurious Correlations for Out-of-Distribution Prediction
Department of Statistics, University of Michigan, Ann Arbor(统计系,密歇根大学,安阿伯分校)
针对分布外预测中协变量选择问题,提出环境自适应算法,根据环境特征动态选择协变量集,在模拟和实际数据中优于静态方法。
2026-11-10 cs.LG stat.ME
Spurious Correlation-Aware Embedding Regularization for Worst-Group Robustness
Yonsei University(延世大学);LG CNS;Korea Development Bank(韩国发展银行)
SCER通过正则化特征表示,减少模型对虚假线索的依赖,提升最差群体的鲁棒性。
2026-03-02 cs.AI cs.LG
Last Layer Re-Training is Sufficient for Robustness to Spurious Correlations
New York University(纽约大学)
针对神经网络依赖虚假特征的问题,本文证明仅对模型最后一层进行重训练即可匹敌或超越现有方法,大幅降低复杂度与计算开销,并显著提升对协变量偏移的鲁棒性。
2023-06-30 cs.CV cs.LG stat.ML
Beyond Distribution Shift: Spurious Features Through the Lens of Training Dynamics
University of Pittsburgh(匹兹堡大学);New York University(纽约大学);Boston University(波士顿大学)
本文通过训练动态视角区分良性/有害虚假特征,提出用实例难度指标(如Prediction Depth)在早期训练中检测有害特征,并验证其有效性,强调需监控训练动态而非仅准确性。
2023-10-14 cs.AI cs.CV cs.LG
Decompose-and-Compose: A Compositional Approach to Mitigating Spurious Correlation
Sharif University of Technology(谢里夫理工大学)
针对图像分类中虚假相关导致的分布偏移问题,提出分解与组合(DaC)方法,通过识别因果组件并组合图像生成反事实数据进行训练,无需组标签即可提升最差组准确率。
2024-07-21 cs.CV cs.LG
Attention Is All You Need (to Avoid Spurious Oscillations)
Kyungpook National University(庆北国立大学);University of Virginia(弗吉尼亚大学);University of Iowa(爱荷华大学)
本研究提出一种基于CFL条件注意力通量的守恒有限体积格式,实现大步长下激波的无振荡输运,并通过Burgers与浅水方程验证其有效性与局限性。
2026-10-01 cs.AI cs.LG physics.flu-dyn
Continual Feature Selection: Spurious Features in Continual Learning
Université de Montréal(蒙特利尔大学);MILA-Quebec AI Institute(魁北克人工智能研究所MILA)
持续学习(ContinualLearning,CL)是研究数据分布非静态时的无遗忘学习的领域。研究了虚假特征对持续学习算法的影响。我们表明,持续学习算法解决任务,选择的功能是不可推广的。我们的实验强调,持续学习算法面临两个相关的问题:(1)虚假特征和(2)局部虚假特征。第一个是由于训练和测试数据之间的协变量偏移,而第二个是由于在每个训练步骤中对数据的访问有限。我们通过一组一致的持续学习实验来研究(1),这些实验改变了伪相关量和数据分布支持。我们发现,(2)是一个主要的原因,在持续学习的性能下降,随着灾难性遗忘。本文提出了一种不同的方式来理解性能下降的持续学习突出的影响,(本地)虚假功能的算法能力。
2022-05-25 cs.AI cs.LG
Beyond Invariance: Test-Time Label-Shift Adaptation for Distributions with "Spurious" Correlations
Cornell University(康奈尔大学);Google DeepMind(谷歌DeepMind);Google Cloud AI Research(谷歌云人工智能研究部)
本文提出测试时标签偏移自适应方法 TTLSA,通过 EM 算法对目标域无标签样本重新加权源判别模型输出,以适应联合分布 p(y,z) 的变化,无需拟合生成模型,并在多个数据集上验证其优于不变性方法和经验风险最小化基线。
2023-11-29 cs.CV cs.LG stat.ML
Causal Fine-Tuning under Latent Confounded Shift
University of Oxford, United Kingdom(牛津大学);Queen Mary University of London, United Kingdom(伦敦玛丽女王大学);Peking University, China(北京大学);University of Bristol, United Kingdom(布里斯托大学);King's College London, United Kingdom(伦敦国王学院);Hong Kong University of Science(香港科学大学);University College London, United Kingdom(伦敦大学学院)
本文提出Causal Fine-Tuning方法,通过结构因果模型分解表示为稳定高层和敏感低层成分,提升模型在存在潜在混杂偏移时的鲁棒性,实验显示优于其他基线方法。
2026-05-12 cs.CL cs.LG
When Prompts Interact: Assessing Prompt Arithmetic for Deconfounding under Distribution Shift
University of Minnesota(明尼苏达大学);University of Washington(华盛顿大学);Stanford University(斯坦福大学)
本研究提出混合提示词算术(HyPA),结合任务提示词与线性化混淆提示词,在多个基准测试中改善分布偏移下的鲁棒性-性能权衡,为提升混淆偏移下的模型鲁棒性提供了参数高效的方法。
2026-09-03 cs.CL cs.LG
On the Impact of Spurious Correlation for Out-of-distribution Detection
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
现代神经网络可以为来自训练分布外部的输入分配高置信度,从而对现实世界部署中的模型构成威胁。虽然许多研究的重点放在设计新的OOD检测方法上,但OOD的精确定义往往是模糊的,并且与现实中所期望的OOD概念不符。在本文中,我们提出了一个新的形式化和模型的数据转移,同时考虑到不变和环境(虚假)的功能。在这种形式化下,我们系统地研究了训练集中的虚假相关性如何影响OOD检测。我们的研究结果表明,当训练集中虚假特征和标签之间的相关性增加时,检测性能会严重恶化。我们进一步展示了更有效地减少虚假相关影响的检测方法的见解,并提供了理论分析为什么依赖环境特征导致高OOD检测错误。我们的工作旨在促进更好地理解OOD样本及其形式化,以及探索增强OOD检测的方法。
2021-09-12 cs.AI cs.LG
Spurious Correlation Learning in Preference Optimization: Mechanisms, Consequences, and Mitigation via Tie Training
Department of Mathematics, Purdue University, West Lafayette IN, USA(普渡大学数学系);School of Mechanical Engineering, Purdue University, West Lafayette IN, USA(普渡大学机械工程学院);Massachusetts Institute of Technology, Cambridge MA, USA(麻省理工学院)
本文通过统一理论分析揭示了偏好优化(如DPO)中虚假相关学习的机制(均值虚假偏差和因果-虚假相关泄漏),证明其导致分布偏移下的不可逆脆弱性,并提出平局训练数据增强策略以选择性减少虚假学习。
2026-05-29 cs.AI cs.LG
Learning Diverse Representations for Fast Adaptation to Distribution Shift
Imperial College London(帝国理工学院)
身份证。假设是一种有用的理想化,它支撑了许多成功的监督机器学习方法。然而,违反它可能导致模型学会利用训练数据中的虚假相关性,使它们容易受到对抗性干预,破坏其可靠性,并限制其实际应用。为了缓解这个问题,我们提出了一种学习多个模型的方法,结合一个目标,迫使每个模型学习一种不同的方法来解决任务。我们提出了一个多样性的概念,基于最小化给定标签的模型之间的最终层表示的条件总相关性,我们使用变分估计器近似,并使用对抗训练最小化。为了证明我们的框架的能力,以促进快速适应分布偏移,我们训练一些简单的分类器从头开始对我们的模型的冻结输出使用少量的数据从移动的分布。在此评估协议下,我们的框架显着优于使用经验风险最小化原则训练的基线。
2020-06-12 cs.LG stat.ML
Out-of-distribution Prediction with Invariant Risk Minimization: The Limitation and An Effective Fix
Arizona State University(亚利桑那州立大学);Microsoft Research(微软研究院);Caltech(加州理工学院)
本文研究了分布外(out-of-distribution,OOD)预测问题,其中(1)训练数据来自多个域,(2)测试域在训练中不可见。DNN在OOD预测中失败,因为它们容易获得虚假的相关性。最近,不变风险最小化(Invariant Risk Minimization,简称RST)被提出来解决这个问题。其有效性已在有色MNIST实验中得到证实。然而,我们发现,在\emph{strong $Λ$ spuriousness}下,当虚假特征和类标签之间的虚假相关性很强时,由于它们的共同原因(域标签)对它们两者的因果影响很强时,ESTA的性能会显著下降(见图1)。在这项工作中,我们试图回答的问题:为什么在上述设置中的ESTA失败?为什么RISK适用于原始的彩色MNIST数据集?我们怎样才能解决这一问题?然后,我们提出了一个简单而有效的方法来解决这个问题。我们结合了条件分布匹配,以避免一个特定类型的虚假相关性强$Λ$虚假。经验上,我们设计了一系列的半合成数据集-彩色MNIST加,暴露的问题,并证明了所提出的方法的有效性。
2021-02-22 cs.AI cs.LG
Causal invariant geographic network representations with feature and structural distribution shifts
Central South University(中南大学);School of Architecture and Art, Central South University(中南大学建筑与艺术学院)
针对地理网络表示学习中的特征与结构分布偏移问题,提出因果注意力采样与重加权策略的FSM-IRL模型,在OOD场景下提升泛化能力。
2025-03-25 cs.AI cs.LG stat.ML
Freeze then Train: Towards Provable Representation Learning under Spurious Correlations and Feature Noise
Peking University(北京大学);Stanford University(斯坦福大学);Rutgers University(罗格斯大学)
本文提出冻结后再训练(FTT)算法,通过冻结显著特征并训练其余特征,有效应对伪相关和特征噪声,提升测试环境下的表示学习性能。
2025-12-09 cs.LG
Spuriosity Didn't Kill the Classifier: Using Invariant Predictions to Harness Spurious Features
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Edinburgh(爱丁堡大学);University of Cambridge(剑桥大学)
针对分布外泛化中丢弃虚假不稳定特征会损失信息的问题,提出基于条件独立假设、用稳定特征伪标签引导的SFB算法,无需测试域标签即可结合两类特征实现渐近最优预测,经实验验证有效。
2023-11-08 cs.AI cs.CV cs.LG
Invariance Pair Guidance: Robustness to Spurious Correlations via Corrective Gradients
Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
提出不变性对引导(IPG)方法,利用稀疏的反事实对和双更新机制动态校正优化轨迹,减少模型对虚假相关性的依赖,在多个数据集上验证了有效性。
2026-07-29 cs.LG
The Clever Hans Mirage: A Comprehensive Survey on Spurious Correlations in Machine Learning
University of Virginia(弗吉尼亚大学);Purdue University(普渡大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Pennsylvania State University(宾夕法尼亚州立大学);Amazon(亚马逊);New York University(纽约大学)
该综述聚焦机器学习模型易受输入非必要特征与标签间伪相关影响、泛化鲁棒性受损的问题,梳理了前沿解决方法的细粒度分类,总结相关数据集、基准与指标,并探讨生成式AI时代的影响、进展与挑战。
2025-10-01 cs.LG
When PINNs Go Wrong: Pseudo-Time Stepping Against Spurious Solutions
Institute for Foundations of Data Science, Yale University(数据科学基础研究所,耶鲁大学);Department of Mechanical Engineering and Applied Mechanics, University of Pennsylvania(机械工程与应用力学系,宾夕法尼亚大学);Industrial Engineering & Management Science, Northwestern University(工业工程与管理科学,西北大学)
本文探讨了PINNs在处理复杂问题时出现虚假解的原因,提出通过伪时间步长与重采样点结合来提高鲁棒性,并通过自适应步长策略提升准确性。
2026-04-26 cs.LG
ReCCoVER: Detecting Causal Confusion for Explainable Reinforcement Learning
Trinity College Dublin(都柏林圣三一学院)
尽管近年来在各个领域取得了显着的成果,但深度强化学习(DRL)算法缺乏透明度,影响了用户的信任并阻碍了其部署到高风险任务中。因果混淆是指一种现象,其中代理学习可能不在整个状态空间中保持的特征之间的虚假相关性,从而阻止安全部署到可能会破坏这种相关性的真实任务。在这项工作中,我们研究了代理是否依赖于虚假的相关性在关键状态,并提出了一个替代的子集的功能,它应该根据其决定,而不是,使其不太容易受到因果混淆。我们的目标是通过暴露学习到的虚假相关性对其决策的影响来增加DRL代理的透明度,并为开发人员提供关于状态空间不同部分的特征选择的建议,以避免因果混淆。我们提出了ReCCoVER,一种算法,它检测因果混淆代理的推理部署前,通过执行其政策在替代环境中,某些功能之间的相关性不举行。我们在出租车和网格世界环境中展示了我们的方法,其中ReCCoVER检测代理依赖于虚假相关性的状态,并提供了一组应该考虑的功能。
2022-03-21 cs.AI cs.LG
Towards Understanding the Importance of Shortcut Connections in Residual Networks
Georgia Tech(佐治亚理工学院);Duke University(杜克大学);Institute of Advanced Study(高等研究院);Peking University(北京大学);CMU(卡内基梅隆大学)
残差网络(ResNet)无疑是深度学习的一个里程碑。ResNet配备了层之间的快捷连接,并使用简单的一阶算法进行有效的训练。尽管取得了巨大的实证成功,但背后的原因还远未得到很好的理解。在本文中,我们研究了一个两层非重叠卷积ResNet。训练这样的网络需要解决具有伪局部最优值的非凸优化问题。然而,我们表明,梯度下降结合适当的规范化,避免被困在虚假的局部最优,并收敛到全局最优的多项式时间,当第一层的权重初始化为0,第二层的初始化任意球。数值实验支持我们的理论。
2019-11-02 cs.LG math.OC stat.ML
Optimal Transport Reweighting for Robust Learning under Spurious Correlations and Label Noise
Pohang University of Science and Technology (POSTECH)(浦项科技大学)
针对虚假相关与标签噪声下的子群体偏移问题,提出基于最优传输的POTER重加权框架,通过传输几何度量样本重要性,仅需单阶段ERM训练,在标准基准上实现最先进的组内最差精度。
2026-10-02 cs.AI cs.LG
Nuisances via Negativa: Adjusting for Spurious Correlations via Data Augmentation
New York University(纽约大学);Center for Data Science, New York University(纽约大学数据科学中心);Langone Health, New York University(纽约大学兰贡医疗中心)
本文提出通过破坏语义数据来识别干扰因素与标签的相关性,并据此调整预测,从而在多个分布外任务中提升模型对虚假相关性的鲁棒性。
2024-07-03 cs.CV cs.LG
CLEAR: Unlearning Spurious Style-Content Associations with Contrastive LEarning with Anti-contrastive Regularization
Duke University(杜克大学)
提出CLEAR框架,通过Pair-Switching反对比正则化在VAE潜空间中解耦内容与风格,减少虚假关联并提升分布变化下的分类与风格操控能力。
2025-07-24 cs.LG
Is Spurious Correlation Removal Always Learnable?
University of Science and Technology of China(中国科学技术大学)
研究不变学习在统计可识别时的计算障碍,证明存在一维不变子空间的可采样多环境实例,多项式时间算法无法达到常数精度,并量化环境多样性对可识别性和风险的影响。
2026-06-12 cs.LG
FairDropout: Using Example-Tied Dropout to Enhance Generalization of Minority Groups
Concordia University(康考迪亚大学);Mila – Quebec AI Institute(米拉-魁北克人工智能研究所)
针对深度学习模型在少数群体泛化能力差的问题,提出FairDropout方法,通过示例绑定的Dropout将少数群体实例的记忆重定向到特定神经元并在推理时丢弃,显著降低对虚假相关性的依赖,优于现有方法。
2025-02-10 cs.LG
An Analysis of Model Robustness across Concurrent Distribution Shifts
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);Seoul National University(首尔大学);Samsung Research(三星研究院);Singapore-MIT Alliance for Research and Technology(新加坡-麻省理工学院研究与技术联盟)
本文评估八种数据集168个源-目标对上的26种算法,分析多种并发分布偏移下的模型鲁棒性,发现启发式数据增强整体表现最佳。
2025-01-08 cs.LG
Disentangling Spurious Correlations in Vision-Language-Action Models via Predicting Domain-Invariant Latent Lookahead
OpenMind;Seoul National University(首尔大学);Hyundai Motors(现代汽车);Ajou University(亚洲大学);Tommoro Robotics
提出域不变潜在前瞻(DILL)框架,通过预测域不变未来潜在变量解耦任务相关结构与域特定变化,缓解VLA模型中的捷径学习,提升视觉鲁棒性,在LIBERO-Plus上平均成功率69.1%,超最强基线11.4个百分点。
2026-09-30 cs.LG cs.RO
Generalizing Graph Neural Networks on Out-Of-Distribution Graphs
Beijing University of Posts and Telecommunications(北京邮电大学);Tsinghua University(清华大学);Beihang University(北京航空航天大学)
针对图神经网络因依赖训练集虚假相关性、在分布外图上泛化能力退化的问题,提出基于因果表示的StableGNN框架,通过子图表征提取与因果变量区分正则化修正分布偏差,提升模型稳定性与泛化性。
2024-03-10 cs.AI cs.LG
Deceptive Risk Minimization: Out-of-Distribution Generalization by Deceiving Distribution Shift Detectors
Princeton University(普林斯顿大学)
本文提出欺骗风险最小化(DRM),通过学习使训练数据呈现独立同分布的表示来欺骗分布偏移检测器,从而消除虚假相关性并实现分布外泛化,无需访问测试数据或领域划分。
2025-09-15 cs.AI cs.LG cs.RO
Using causal inference to avoid fallouts in data-driven parametric analysis: a case study in the architecture, engineering, and construction industry
Leibniz University Hannover(汉诺威莱布尼茨大学);University of California(加利福尼亚大学)
本文以建筑能耗案例证明数据驱动建模必须引入因果分析,以避免有偏和虚假结果,并指导特征选择与第一性原理模拟设计。
2023-09-11 cs.CE cs.LG stat.ME