Tradeoffs Between Contrastive and Supervised Learning: An Empirical Study
Stanford University(斯坦福大学)
对比学习在计算机视觉方面取得了相当大的进展,在一系列下游数据集上的表现优于有监督的预训练。然而,对比学习是否在所有情况下都是更好的选择?我们证明了两种情况下,它不是。首先,在足够小的预训练预算下,ImageNet上的监督预训练在八个不同的图像分类数据集上的表现始终优于可比的对比模型。这表明,在数百或数千个epoch上比较预训练方法的常见做法可能不会为那些计算预算有限的人提供可操作的见解。其次,即使预训练预算较大,我们也可以识别出监督学习占主导地位的任务,这可能是因为监督预训练的以对象为中心的偏见使模型对常见的腐败和虚假的前景-背景相关性更具弹性。这些结果强调,需要在更广泛的背景和培训制度的特点权衡不同的预培训目标。
2021-12-10 cs.CV cs.LG
Understanding the Robustness of Multi-modal Contrastive Learning to Distribution Shift
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本研究揭示了多模态对比学习(如CLIP)对分布偏移鲁棒性的两种机制:类内对比与类间特征共享,并通过理论分析与实验验证了其提升零样本分类准确率的效果。
2024-03-17 cs.LG
Object-aware Contrastive Learning for Debiased Scene Representation
KAIST(韩国科学技术院);Google Cloud AI(谷歌云人工智能)
对比自监督学习通过对不同的数据增强实施不变性,在从未标记图像中学习视觉表示方面表现出令人印象深刻的结果。然而,学习的表示往往在上下文上偏向于不同对象或对象与背景的虚假场景相关性,这可能会损害其在下游任务上的泛化。为了解决这个问题,我们开发了一种新的对象感知的对比学习框架,首先(a)以自我监督的方式定位对象,然后(b)通过考虑推断的对象位置的适当的数据增强来消除场景相关性。对于(a),我们提出了对比类激活图(ContraCAM),它找到了最具区别性的区域(例如,对象)与其他图像进行比较。我们进一步提高了ContraCAM检测多个对象和整个形状通过迭代细化过程。对于(b),我们引入了两种基于ContraCAM的数据增强,对象感知随机裁剪和背景混合,它们分别减少了对比自监督学习期间的上下文和背景偏差。我们的实验证明了我们的表示学习框架的有效性,特别是在多对象图像下训练或在背景(和分布)移动图像下评估时。
2021-10-26 cs.CV cs.LG
Learning by Shifting: Temporal View Construction for Time Series Contrastive Learning
Norwegian University of Science and Technology(挪威科技大学);United States Naval Academy(美国海军学院)
提出Shift Invariant Feature Training (ShiFT)方法,通过确定性视图构建编码时间移位不变性,在六个真实世界时间序列基准和UCR/UEA数据集上达到最优性能,并减少训练时间。
2026-06-23 cs.LG
Sebra: Debiasing Through Self-Guided Bias Ranking
University of Surrey(萨里大学);Fujitsu Research of Europe(富士通欧洲研究院);University of Texas(德克萨斯大学);Queen Mary University of London(伦敦大学玛丽皇后学院)
提出自引导偏差排序去偏框架Sebra,利用ERM训练中局部对称性自动按虚假性对样本排序,并在对比学习框架中缓解多源偏差,在多个基准上优于现有无监督去偏技术。
2025-01-30 cs.LG
On self-supervised multi-modal representation learning: An application to Alzheimer's disease
Georgia Institute of Technology(佐治亚理工学院);Georgia State University(佐治亚州立大学);Emory University(埃默里大学);Center for Translational Research in Neuroimaging and Data Science(神经影像与数据科学转化研究中心);Mila(米拉);Université de Montréal(蒙特利尔大学)
在功能和结构脑成像上训练的深度监督预测模型的内省可能会发现阿尔茨海默病(AD)的新标志物。然而,监督式训练容易从虚假特征中学习(捷径学习),这会削弱其在发现过程中的价值。深度无监督和最近的对比自监督方法,不偏向于分类,是这项任务的更好候选者。他们的多模态选项通过模态交互提供了额外的正则化。在本文中,我们介绍了一种方法来详尽地考虑多模态架构的对比自我监督融合功能磁共振成像和MRI的AD患者和对照。我们表明,这种多模态融合的结果表示,提高了两种方式的下游分类的结果。我们研究了投射到大脑空间的融合自监督特征,并引入了一种数值稳定的方法来实现。
2022-05-23 cs.LG
Perceptual Grouping in Contrastive Vision-Language Models
Apple(苹果公司)
针对现有对比视觉-语言模型定位信息不足的问题,本研究提出极简修改方案,使模型同时学习语义与空间信息,在无监督分割上达SOTA,且对数据集虚假关联鲁棒性更强。
2023-08-22 cs.CV cs.LG
Contrastive Siamese Representation Learning for Predictive Maintenance of Electrical Submersible Pumps
University of Alberta(阿尔伯塔大学);University of Shanghai for Science and Technology(上海理工大学)
针对电潜泵故障诊断中类别不平衡与单元差异性问题,提出结合孪生对比学习和先验校正KNN的框架,经LOEO验证,实现稳健的故障分类,支持可靠预测性维护。
2026-09-22 cs.LG
Spectral Disentanglement and Enhancement: A Dual-domain Contrastive Framework for Representation Learning
State Key Laboratory of General Artificial Intelligence, BIGAI(通用人工智能国家重点实验室)
SDE通过双域对比损失和谱增强策略,提升多模态表示学习的鲁棒性和泛化能力。
2026-02-09 cs.AI cs.LG
Disentangling Spurious Correlations in Vision-Language-Action Models via Predicting Domain-Invariant Latent Lookahead
OpenMind;Seoul National University(首尔大学);Hyundai Motors(现代汽车);Ajou University(亚洲大学);Tommoro Robotics
提出域不变潜在前瞻(DILL)框架,通过预测域不变未来潜在变量解耦任务相关结构与域特定变化,缓解VLA模型中的捷径学习,提升视觉鲁棒性,在LIBERO-Plus上平均成功率69.1%,超最强基线11.4个百分点。
2026-09-30 cs.LG cs.RO
Contrastive Learning for Climate Model Bias Correction and Super-Resolution
Sust Global
气候模式通常需要后处理,以便对局地气候风险进行准确估计。最常用的后处理是偏置校正和空间分辨率增强。然而,通常用于此的统计方法不仅无法捕获多元空间相关性信息,而且还依赖于发达国家以外通常无法获得的丰富观测数据,从而限制了其潜力。在这里,我们提出了一种基于图像超分辨率(SR)和对比学习生成对抗网络(GANs)组合的替代方法来应对这一挑战。我们的基准性能对美国宇航局的旗舰后处理CMIP 6气候模式产品,NEX-GDDP。我们发现,我们的模型成功地达到了空间分辨率的两倍,美国宇航局的产品,同时也实现了可比的或改进的水平的偏差校正在每日降水量和温度。由此产生的对当前和前瞻性气候的高保真度模拟可以实现更本地化,更准确的洪水,干旱和热浪等灾害模型。
2022-11-10 cs.CV cs.LG physics.ao-ph
Unveil Multi-Picture Descriptions for Multilingual Mild Cognitive Impairment Detection via Contrastive Learning
Computer Science, University of Massachusetts, Boston, MA, USA(马萨诸塞大学计算机科学系,波士顿分校);Computer Science, University of Massachusetts, Lowell, MA, USA(马萨诸塞大学计算机科学系,洛厄尔分校)
针对多语言多图片场景下轻度认知障碍检测的新挑战,提出结合有监督对比学习、多模态融合与专家乘积策略的框架,显著提升了检测性能。
2025-09-03 cs.AI cs.CL cs.LG
Probabilistic Contrastive Learning Recovers the Correct Aleatoric Uncertainty of Ambiguous Inputs
University of Tübingen(图宾根大学);TUM University(慕尼黑工业大学);Tübingen AI Center(图宾根人工智能中心)
针对模糊输入导致潜变量后验具有异方差不确定性的问题,扩展InfoNCE目标预测潜变量分布,证明其能恢复正确后验及偶然不确定性,并提供校准的不确定性估计与图像检索可信区间。
2023-05-17 cs.AI cs.LG stat.ML
Robust Representation Learning via Perceptual Similarity Metrics
Autodesk AI Lab(欧特克人工智能实验室);Stanford University(斯坦福大学);Mila(米拉人工智能研究所);Université de Montréal(蒙特利尔大学)
人工智能的一个基本挑战是学习有用的数据表示,在下游任务中产生良好的性能,而不会过度拟合虚假的输入特征。提取这种任务相关的预测信息对于现实世界的数据集来说特别困难。在这项工作中,我们提出了对比输入变形(CIM),一个表示学习框架,学习数据的输入空间变换,以减轻不相关的输入功能对下游性能的影响。我们的方法利用感知相似性度量通过一个三重损失,以确保转换保留任务相关的information.Empirically,我们证明了我们的方法对任务的有效性,通常遭受的虚假相关性的存在:分类与滋扰信息,分布外泛化,并保存子组的准确性。我们还表明,CIM与其他基于互信息的表示学习技术是互补的,并证明当一起使用时,它可以提高变分信息瓶颈(VIB)的性能。
2021-06-11 cs.CV cs.LG
A Unified Mixture-View Framework for Unsupervised Representation Learning
Meituan(美团);The Chinese University of Hong Kong(香港中文大学)
最近的无监督对比表示学习遵循单实例多视图(SIM)范例,其中通常使用图像内数据增强来构造正对。在本文中,我们提出了一种有效的方法称为超越单实例多视图(BSIM)。具体来说,我们通过测量两个随机采样的实例及其混合物(即假阳性对)之间的联合相似性来实现更准确的实例鉴别能力。我们认为,学习联合相似性有助于提高性能时,编码的功能更均匀地分布在潜在的空间。我们将其应用于无监督对比表示学习的正交改进,包括当前优秀的方法Simplified,MoCo和BYOL。我们在许多下游基准上评估了我们学习的表示,如ImageNet-1 k和PASCAL VOC 2007上的线性分类,MS COCO 2017和VOC上的目标检测等。
2022-10-10 cs.CV cs.LG
The Loss Is Not Enough: Sampling Conditions and Inductive Bias in Contrastive Representation Learning
ETH Zürich(苏黎世联邦理工学院)
本文通过测度论框架形式化对比学习中的多样性条件,提出支持校正的InfoNCE变体,并实验验证了采样多样性与编码器归纳偏置的相互作用。
2026-06-02 cs.AI cs.IR cs.LG
Supervised Contrastive Block Disentanglement
Center for Data Science, New York University(纽约大学数据科学中心);Genentech(基因泰克公司);Stanford University(斯坦福大学)
针对现实数据集因不同实验条件引入虚假相关性的问题,提出监督对比块解纠缠(SCBD)算法,通过学习两个独立嵌入分别表示目标现象与虚假相关性,强化对环境变量的不变性,在领域泛化和批次校正任务上表现优异。
2025-02-11 cs.LG
Calibrating Multi-modal Representations: A Pursuit of Group Robustness without Annotations
Yale University(耶鲁大学)
针对预训练视觉-语言模型微调存在的计算成本高、依赖伪特征等问题,本文提出无需群体标注的轻量级表征校准方法,通过生成校准集并对比学习校准表征,有效提升CLIP的群体鲁棒性与泛化能力。
2024-11-01 cs.CV cs.LG
CLIPO: Contrastive Learning in Policy Optimization Generalizes RLVR
Qwen Large Model Application Team, Alibaba Institute of Automation, Chinese Academy of Sciences(文勤大模型应用团队,阿里巴巴自动化研究所,中国科学院);Qwen Large Model Application Team, Alibaba(文勤大模型应用团队,阿里巴巴)
CLIPO通过对比学习机制改进RLVR,提升大语言模型的策略优化泛化与鲁棒性
2026-03-10 cs.AI cs.CL cs.LG
Bias Leaves a Gradient Trail: Label-Free Bias Identification via Gradient Probes on Concept Decompositions
University of Hamburg(汉堡大学);Ecole Normale Superieure de Rennes(里昂高等师范学校)
提出一种无需偏差标签的后处理方法,通过非负矩阵分解提取概念向量,并利用误分类样本的梯度信号识别视觉模型中的虚假关联,在不重新训练的情况下提升最差组准确率。
2026-05-27 cs.CV cs.LG
Contrastive UCB: Provably Efficient Contrastive Self-Supervised Learning in Online Reinforcement Learning
University of Chicago(芝加哥大学);Northwestern University(西北大学);Shanghai AI Laboratory(上海人工智能实验室);Yale University(耶鲁大学)
该研究针对低秩转移的MDPs和MGs场景,提出融合对比损失的UCB类在线强化学习算法,从理论上证明其能恢复真实表示且具备样本效率,并通过实证验证了有效性,是首个可证明高效的结合对比学习做表示学习的在线RL算法。
2024-04-13 cs.LG stat.ML
When Softmax Fails at the Top: Extreme Value Corrections for InfoNCE
University of Waterloo(滑铁卢大学)
针对 InfoNCE 中 softmax 假设与对比学习嵌入设置不匹配的问题,提出基于极值理论的 WEINCE 修正方法,在五个视觉基准上提升冻结特征评估性能。
2026-05-29 cs.AI cs.LG stat.AP
Contrastive ECOC: Learning Output Codes for Adversarial Defense
Computer Science and Information Engineering(计算机科学与信息工程系)
本文针对传统 ECOC 码本设计耗时且次优的问题,提出三种基于对比学习的自动化码本学习模型,在四个数据集上显著提升了对对抗攻击的鲁棒性。
2025-08-14 cs.AI cs.IT cs.LG
Contrastive Mixture of Posteriors for Counterfactual Inference, Data Integration and Fairness
Microsoft Research(微软研究院);BenevolentAI(BenevolentAI公司);University of Oxford(牛津大学);Human Technopole(人类技术园)
学习有意义的数据表示,可以解决诸如批量效应校正和反事实推理等挑战,是包括计算生物学在内的许多领域的核心问题。采用条件VAE框架,我们表明,边际独立的表示和条件变量之间起着关键作用,在这两个挑战。我们提出了对比混合后验(CoMP)的方法,使用一种新的错位罚款定义的混合物的变分后验来执行这种独立性在潜在的空间。我们发现,CoMP有吸引力的理论特性相比,以前的方法,我们证明了反事实的CoMP下的额外假设的可识别性。我们在一系列具有挑战性的任务上展示了最先进的性能,包括将人类肿瘤样本与癌细胞系对齐,预测转录组水平的扰动响应,以及对单细胞RNA测序数据进行批量校正。我们还发现了与公平表示学习的相似之处,并证明了CoMP在该领域的共同任务上具有竞争力。
2022-06-26 cs.LG q-bio.GN stat.ML
SimPer: Simple Self-Supervised Learning of Periodic Targets
MIT(麻省理工学院);University of Washington(华盛顿大学);Google(谷歌)
从人类生理学到环境演化,自然界中的重要过程往往表现出有意义的、强烈的周期性或准周期性变化。由于其固有的标签稀缺性,学习有用的表示周期性任务有限或没有监督是非常有益的。然而,现有的自监督学习(SSL)方法忽略了数据中固有的周期性,并且无法学习捕获周期或频率属性的表示。在本文中,我们提出了SimPer,一个简单的对比SSL制度,用于学习数据中的周期性信息。为了利用周期性归纳偏差,SimPer引入了定制的增强,特征相似性度量和广义对比损失,以学习有效和鲁棒的周期表示。在人类行为分析、环境传感和医疗保健领域的常见现实任务上进行的广泛实验验证了SimPer与最先进的SSL方法相比的卓越性能,突出了其有趣的特性,包括更好的数据效率、对虚假相关的鲁棒性以及对分布偏移的泛化。代码和数据可在https://github.com/YyzHarry/SimPer上获得。
2023-02-21 cs.AI cs.CV cs.LG
Data Cleansing with Contrastive Learning for Vocal Note Event Annotations
Ircam(声学/音乐研究与协调研究所);CNRS(法国国家科学研究中心);Spotify
数据清洗是一种用于清洗数据集中错误标签的策略,但在音乐信息检索中尚未得到广泛应用。以前提出的数据清洗模型不考虑结构化(例如,时变)标签,例如音乐数据常见的标签。我们提出了一种新的数据清洗模型的时变,结构化的标签,利用本地结构的标签,并证明其有用的声乐音符事件注释音乐。%我们的模型通过自动创建可能正确标签的局部变形,以对比学习方式进行训练。我们的模型以对比学习的方式进行训练,通过自动对比可能正确的标签对与它们的局部变形。我们证明,与使用原始数据集训练时的准确性相比,使用我们提出的策略训练时,转录模型的准确性大大提高。此外,我们使用我们的模型来估计DALI数据集中的注释出错率,并强调这种类型的模型的其他潜在用途。
2021-04-27 cs.IR cs.LG cs.SD
Invariance Pair Guidance: Robustness to Spurious Correlations via Corrective Gradients
Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
提出不变性对引导(IPG)方法,利用稀疏的反事实对和双更新机制动态校正优化轨迹,减少模型对虚假相关性的依赖,在多个数据集上验证了有效性。
2026-07-29 cs.LG
Out of Spuriousity: Improving Robustness to Spurious Correlations without Group Annotations
Marburg University(马堡大学);University of Mannheim(曼海姆大学)
本文提出了一种方法,通过提取子网络来提高机器学习模型对虚假相关性的鲁棒性,利用监督对比损失迫使模型去除虚假关联,从而提升最差组的性能。
2026-04-27 cs.AI cs.LG
Causal Effect Regularization: Automated Detection and Removal of Spurious Attributes
Microsoft Research(微软研究院)
针对未知虚假属性导致分类器依赖伪相关的问题,提出通过估计属性对标签的因果效应自动识别虚假属性并加以正则化,在多类数据集上降低$Δ$Prob且保持准确率,并证明效应排序正确即可保证选择。
2023-12-08 cs.LG
Breaking the Spurious Causality of Conditional Generation via Fairness Intervention with Corrective Sampling
Samsung Advanced Institute of Technology (SAIT)(三星先进技术研究院);Korea Advanced Institute of Science & Technology (KAIST)(韩国科学技术院);Pohang University of Science and Technology (POSTECH)(浦项科技大学)
本文提出FICS两步策略,通过公平干预强调少数样本生成,并用校正采样过滤样本以符合潜在属性分布,从而消除条件生成模型中的虚假因果关系。
2023-07-04 cs.AI cs.CV cs.LG
Mitigating Spurious Correlations in Multi-modal Models during Fine-tuning
University of California, Los Angeles(加州大学洛杉矶分校);Microsoft Research(微软研究院)
本文提出在微调阶段利用多模态对比损失函数检测并分离虚假属性,在CLIP上显著提升最差组准确率且不损失平均准确率。
2023-05-30 cs.AI cs.LG
PRISM: Reducing Spurious Implicit Biases in Vision-Language Models with LLM-Guided Embedding Projection
Queen’s University(皇后大学)
提出 PRISM,一种无数据且与任务无关的去偏框架,通过 LLM 生成场景描述并利用对比式去偏损失学习嵌入投影,有效减少 CLIP 等 VLM 的虚假偏差,在 Waterbirds 和 CelebA 上优于现有方法。
2025-07-11 cs.CV cs.LG
Avoiding spurious correlations via logit correction
New York University(纽约大学);Amazon Alexa AI(亚马逊Alexa人工智能部门)
实证研究表明,用经验风险最小化(ERM)训练的机器学习模型通常依赖于可能与类别标签虚假相关的属性。这样的模型通常导致在对缺乏这种相关性的数据进行推断期间性能较差。在这项工作中,我们明确考虑的情况下,潜在的虚假相关性存在于大多数的训练数据。与现有的方法相比,这些方法使用ERM模型输出来检测没有虚假相关性的样本,并对这些样本进行逐层加权或上采样,我们提出了logit校正(LC)损失,这是对softmax交叉熵损失的一种简单而有效的改进,以校正样本logit。我们证明了最小化LC损失相当于最大化组平衡精度,因此所提出的LC可以减轻虚假相关的负面影响。我们广泛的实验结果进一步表明,所提出的LC损失优于国家的最先进的解决方案,在多个流行的基准的大幅度,平均5.5%的绝对改善,没有访问虚假的属性标签。LC也与使用属性标签的Oracle方法竞争。代码可在https://github.com/shengliu66/LC上获得。
2023-02-28 cs.CL cs.CV cs.LG
Spurious Correlations in Concept Drift: Can Explanatory Interaction Help?
University of Trento(特伦托大学);CIMeC, University of Trento(特伦托大学认知科学与技术跨学科研究中心);DISI, University of Trento(特伦托大学信息工程与计算机科学系)
针对概念漂移中虚假相关性破坏检测统计量的问题,提出新型检测器 ebc-exstream,利用模型解释和人类反馈纠正虚假相关性,并采用基于熵的启发式方法降低标注成本,初步实验证明其能有效减少虚假相关性对检测的影响。
2024-07-23 cs.LG
Understanding Rare Spurious Correlations in Neural Networks
DeepMind(深度思维);University of California San Diego(加州大学圣地亚哥分校);Harvard University(哈佛大学)
已知神经网络使用诸如背景信息的伪相关性来进行分类。虽然之前的工作已经研究了训练数据中广泛存在的虚假相关性,但在这项工作中,我们研究了神经网络对罕见的虚假相关性的敏感程度,这可能更难检测和纠正,并可能导致隐私泄露。我们将与固定类相关的虚假模式引入到一些训练样本中,发现网络只需要少数这样的样本就可以学习相关性。此外,这些罕见的虚假相关性也会影响准确性和隐私。我们从经验和理论上分析了罕见的虚假相关性所涉及的不同因素,并提出了相应的缓解方法。具体来说,我们观察到,$\ell_2$正则化和添加高斯噪声的输入可以减少不良影响。代码可在https://github.com/yangarbiter/rare-spurious-correlation获得。
2022-10-05 cs.LG stat.ML
Revisiting Spurious Correlation in Domain Generalization
Institute of Software(软件研究所);Chinese Academy of Sciences(中国科学院)
本文针对域泛化中的虚假相关性问题,为表示学习过程构建 SCM,并提出可即插即用的倾向得分加权估计量以控制混杂偏差,实验验证其有效性。
2024-06-17 cs.AI cs.LG
IR$^3$: Contrastive Inverse Reinforcement Learning for Interpretable Detection and Mitigation of Reward Hacking
UC Davis(加州大学戴维斯分校);Virginia Tech(弗吉尼亚理工大学);Salesforce(Salesforce公司);Meta AI
IR3通过对比逆强化学习重建隐含奖励并修正模型,有效识别和缓解奖励黑客问题,提升模型对齐性能。
2026-02-23 cs.AI cs.LG
FairNet: Dynamic Fairness Correction without Performance Loss via Contrastive Conditional LoRA
FairNet提出一种结合偏置检测器与条件LoRA的动态公平性校正框架,通过新对比损失函数处理数据稀疏,在保持整体性能的同时提升最差群体表现。
2025-10-22 cs.AI cs.LG
Encouraging Intra-Class Diversity Through a Reverse Contrastive Loss for Better Single-Source Domain Generalization
LIRIS(里昂图像与信息系统实验室);École Centrale de Lyon(里昂中央理工学院);Thales LAS France(法国泰雷兹激光系统公司)
传统的深度学习算法在训练数据的域之外进行测试时通常无法推广。这个问题可以通过在训练时使用来自目标域的未标记数据来缓解,但是由于一旦部署了学习模型,数据分布就会在现实应用中动态变化,因此创建对未知和不可预见的域变化具有鲁棒性的网络至关重要。在本文中,我们将重点讨论神经网络无法做到这一点的原因之一:深度网络只关注最明显的、可能是虚假的线索来进行预测,而对有用但效率略低或更复杂的模式视而不见。这种行为已经被发现,有几种方法部分解决了这个问题。为了研究它们的有效性和局限性,我们首先设计了一个公开的基于MNIST的基准测试,以精确地测量算法找到“隐藏”模式的能力。然后,我们通过我们的基准测试评估最先进的算法,并表明这个问题在很大程度上是未解决的。最后,我们提出了一个部分反向的对比损失,以鼓励类内的多样性,并找到不太强的相关模式,其效率是由我们的实验证明。
2023-02-02 cs.AI cs.CV cs.LG
CROCODILE: Causality aids RObustness via COntrastive DIsentangled LEarning
National Research Council(国家研究委员会);University of Pisa(比萨大学);The University of Edinburgh(爱丁堡大学)
提出 CROCODILE 框架,利用因果、特征解耦、对比学习和先验知识缓解 CXR 多标签肺病分类中的虚假相关,在四个数据集逾75万张图像上提升 OOD 泛化与公平性。
2024-08-09 cs.AI cs.CV cs.LG
Right for the Wrong Reason: Can Interpretable ML Techniques Detect Spurious Correlations?
University of Tübingen(图宾根大学)
本文提出严格评估策略,比较多种可解释机器学习方法在胸部X光诊断任务中检测虚假相关性的能力,发现SHAP和Attri-Net表现最佳,可可靠识别错误模型行为。
2023-08-08 cs.AI cs.CV cs.LG
eXplaining to Learn (eX2L): Regularization Using Contrastive Visual Explanation Pairs for Distribution Shifts
Center for AI Research PH(人工智能研究菲律宾中心)
eX2L通过对比视觉解释对正则化,解耦分类器的潜在表示中的混淆特征,提升模型在分布偏移下的性能,实现功能域不变性。
2026-09-23 cs.AI cs.CV cs.LG
ACE and Diverse Generalization via Selective Disagreement
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);AlignedAI(对齐人工智能);CentraleSupélec(中央超导学院);University of Oxford(牛津大学)
针对深度学习中完整虚假相关性导致的欠定泛化问题,本文提出ACE方法,通过自训练鼓励概念间自信且选择性分歧,在多个基准上优于现有方法,并支持先验编码与无监督模型选择。
2025-09-09 cs.AI cs.LG
Reproducibility study on how to find Spurious Correlations, Shortcut Learning, Clever Hans or Group-Distributional non-robustness and how to fix them
Technische Universität Berlin(柏林工业大学)
本文通过比较分析探讨了在数据有限和子群不平衡等约束下,XAI方法在修复模型失败中的优势,发现CFKD在提升泛化能力上表现最佳,但许多方法依赖群体标签导致实际应用受限。
2026-04-06 cs.AI cs.CV cs.LG