Mind the gap: Challenges of deep learning approaches to Theory of Mind
University of Tartu（塔尔图大学）
心理理论是人类推断他人心理状态的基本能力。在这里，我们对心理理论的深度学习方法的潜力、当前进展和问题进行了连贯的总结。我们强调，目前的许多发现可以通过捷径来解释。这些捷径之所以出现，是因为用于研究深度学习系统中的心理理论的任务过于狭窄。因此，我们鼓励研究人员在复杂的开放式环境中研究心理理论。此外，为了激励未来的深度学习系统，我们提供了对人类先前工作的简要概述。我们进一步认为，当用深度学习研究心理理论时，研究的主要焦点和贡献应该是开放网络的表征。我们建议研究人员使用人工智能可解释性领域的工具来研究不同网络组件与心理理论各方面之间的关系。
2022-12-12 cs.AI cs.LG q-bio.NC
Inductive Subgraphs as Shortcuts: Causal Disentanglement for Heterophilic Graph Learning
The Hong Kong Polytechnic University（香港理工大学）；Curtin University（Curtin大学）；University of Macau（澳门大学）；The Education University of Hong Kong（香港教育大学）
本文提出因果解缠图神经网络CD-GNN，通过阻断非因果路径提升异质图节点分类的鲁棒性和准确性。
2026-04-21 cs.AI cs.LG
Causal Attention for Interpretable and Generalizable Graph Classification
University of Science and Technology of China（中国科学技术大学）；Sea AI Lab（Sea人工智能实验室）；National University of Singapore（新加坡国立大学）
在图分类中，基于注意力和池化的图神经网络（GNNs）从输入图中提取关键特征并支持预测。它们大多遵循学习参与的范式，这最大化了参与图和地面真实标签之间的互信息。然而，这种模式使得GNN分类器鲁莽地吸收训练数据中输入特征和标签之间的所有统计相关性，而不区分特征的因果和非因果影响。而不是强调因果关系的特点，关注图倾向于访问非因果关系的功能作为预测的捷径。这种快捷特征可能很容易在训练分布之外发生变化，从而使GNN分类器的泛化能力较差。在这项工作中，我们对图分类的GNN建模进行了因果分析。在我们的因果假设下，捷径特征充当因果特征和预测之间的混淆因素。它欺骗分类器学习虚假的相关性，这有助于在分布（ID）测试评估中的预测，同时导致分布外（OOD）测试数据的性能下降。为了赋予分类器更好的解释和泛化能力，我们提出了因果注意学习（CAL）策略，该策略发现因果模式并减轻捷径的混淆效应。具体来说，我们采用注意力模块来估计输入图的因果和捷径特征。然后，我们对因果理论的后门调整进行参数化--将每个因果特征与各种快捷特征相结合。它鼓励因果估计和预测之间的稳定关系，而不管捷径部分和分布的变化。在合成数据集和真实数据集上的大量实验证明了CAL的有效性。
2022-06-13 cs.AI cs.LG
XOResNet: Exclusive-OR Meta-Residuals Facilitate Deep Spiking Neural Networks Learning
School of Artificial Intelligence, Shenzhen Technology University（人工智能学院，深圳技术大学）；Faculty of Data Science, City University of Macau（数据科学学院，澳门城市大学）
针对深度脉冲神经网络中残差结构存在的脉冲冗余、信息损失和冗余学习问题，提出OR-ADD捷径连接和XOR元残差机制，构建XOResNet，在多个数据集上超越现有方法。
2026-05-15 cs.AI cs.CV cs.NE
A Compression Perspective on Simplicity Bias
Mila – Quebec AI Institute（米拉-魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）
本文从最小描述长度原理出发，探讨神经网络的简单性偏差，揭示模型复杂度与预测能力间的权衡，验证了特征选择与最优两部分压缩器的相似性。
2026-03-26 cs.AI cs.LG
Tackling Shortcut Learning in Deep Neural Networks: An Iterative Approach with Interpretable Models
Boston University（波士顿大学）；University of Pittsburgh（匹兹堡大学）；MetaAI（Meta人工智能研究院）
本文提出一种迭代方法，通过从黑盒模型中划分可解释专家混合模型（MoIE）并用一阶逻辑检测捷径，再结合元数据归一化（MDN）微调消除捷径，在不损失准确性的前提下缓解深度神经网络的捷径学习问题。
2023-07-07 cs.CV cs.LG
Automated Processing of eXplainable Artificial Intelligence Outputs in Deep Learning Models for Fault Diagnostics of Large Infrastructures
Politecnico di Milano（米兰理工大学）；MINES Paris-PSL（巴黎矿业学院（PSL大学））；EPFL（洛桑联邦理工学院）
针对大型基础设施故障诊断中深度学习模型的偏差问题及XAI解释手动分析效率低的痛点，提出结合事后XAI解释与半监督学习的异常解释自动识别框架，在电网绝缘子图像任务上提升了分类准确率，减少了人工复检量。
2025-03-19 cs.AI cs.CV
Navigate Beyond Shortcuts: Debiased Learning through the Lens of Neural Collapse
School of Computer Science, Fudan University, China（复旦大学计算机学院）
本文针对偏置数据上的捷径学习问题，提出基于神经坍缩结构的避免捷径学习框架，在不增加训练复杂度的情况下提升模型泛化性能，并在合成与真实偏置数据集上取得最先进结果。
2025-09-19 cs.CV cs.LG
ResNet: Enabling Deep Convolutional Neural Networks through Residual Learning
School of Computing（计算学院）；Singapore Polytechnic（新加坡理工学院）；Singapore（新加坡）
针对深度卷积神经网络训练中的梯度消失问题，研究了采用跳跃连接的ResNet，实验证明其在CIFAR-10数据集上比同深度传统CNN准确率更高、收敛更快更稳定。
2025-10-28 cs.AI cs.CV
A concatenating framework of shortcut convolutional neural networks
卷积神经网络在学习图像分类和识别的优良特征方面发挥着重要作用。然而，在传统上，它们只允许相邻层连接，限制了多尺度信息的集成。为了进一步提高它们的性能，我们提出了一个连接框架的快捷卷积神经网络。该框架可以通过直接馈送到输出层的全连接层的快捷连接来连接多尺度特征。我们做了大量的实验，以研究性能的捷径卷积神经网络在许多基准的视觉数据集不同的任务。这些数据集包括用于性别分类的AR，FERET，FaceScrub，CelebA，用于纹理分类的CURET，用于数字识别的MNIST和用于对象识别的CIFAR-10。实验结果表明，在不同的池化方案、激活函数、优化、初始化、核数和核大小设置下，快捷卷积神经网络都能取得比传统神经网络更好的结果，具有更高的稳定性。
2017-10-03 cs.CV
What do neural networks learn in image classification? A frequency shortcut perspective
University of Twente（特文特大学）
本研究从频率捷径视角实证探究神经网络在图像分类中的学习机制，提出度量与识别方法，验证其可迁移性，并建议未来研究关注缓解频率捷径的有效训练方案。
2023-08-30 cs.CV cs.LG
Be Persistent: Towards a Unified Solution for Mitigating Shortcuts in Deep Learning
School of Computing and Information Systems, The University of Melbourne（墨尔本大学计算与信息系统学院）
本文针对深度神经网络中的捷径学习问题，利用拓扑数据分析（TDA）和持久同调（PH）提出了一种检测捷径的统一路线图，并通过分析计算图的拓扑特征在不可学习示例和决策偏见案例中验证了其有效性。
2024-08-26 cs.CV cs.LG
SoFAr: Shortcut-based Fractal Architectures for Binary Convolutional Neural Networks
Delft University of Technology（代尔夫特理工大学）；IBM Research（IBM研究院）；Yonsei University（延世大学）
二进制卷积神经网络（BCNN）可以显著提高深度卷积神经网络（DCNN）在资源受限平台（如移动和嵌入式系统）上的部署效率。然而，BCNN的准确性下降仍然是相当大的相比，他们的全精度对应，阻碍了他们的实际部署。由于前向传播中不可避免的二值化误差和后向传播中的梯度失配问题，训练BCNN以达到令人满意的精度是不平凡的。为了减轻训练的难度，基于快捷方式的BCNN，如基于剩余连接的Bi-real ResNet和基于密集连接的BinaryDenseNet，除了全精度对应物中已经存在的快捷方式之外，还引入了额外的快捷方式。此外，分形架构也被用于改进全精度DCNN的训练过程，因为分形结构触发了类似于深度监督和横向学生-教师信息流的效果。受捷径和分形架构的启发，我们提出了两种专门为BCNN设计的基于捷径的分形架构（SoFAR）：1。二进制ResNet的基于残差连接的分形架构，以及2.二进制DenseNet的基于密集连接的分形架构。我们提出的SoFAr将捷径和分形架构的采用结合在一个统一的模型中，这对于BCNN的训练很有帮助。结果表明，我们提出的SoFAR实现更好的准确性相比，基于捷径的BCNN。具体来说，我们提出的RF-c4 d8 ResNet 37（41）和DRF-c2 d2 DenseNet 51（53）在ImageNet上的Top-1准确度分别比Bi-real ResNet 18（64）和Bin…
2020-09-11 cs.CV
An XAI-based Analysis of Shortcut Learning in Neural Networks
University of Marburg（马尔堡大学）；University of Mannheim（曼海姆大学）
本文提出基于XAI的神经元虚假分数，系统分析CNN和ViT中虚假特征的编码与解耦程度，揭示现有缓解方法假设不完整，为开发新方法奠定基础。
2025-04-22 cs.CV cs.LG
Overcoming Shortcut Learning in a Target Domain by Generalizing Basic Visual Factors from a Source Domain
Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Freiburg（弗莱堡大学）
当深度神经网络过度依赖训练数据集中的虚假相关性来解决下游任务时，就会发生重复学习。先前的工作已经表明这如何损害深度学习模型的组合泛化能力。为了解决这个问题，我们提出了一种新的方法来减轻不受控制的目标域中的捷径学习。我们的方法用一个额外的数据集（源域）扩展了训练集，该数据集是专门为促进学习基本视觉因素的独立表示而设计的。我们在合成目标域上对我们的想法进行基准测试，在合成目标域中，我们明确控制捷径机会以及现实世界的目标域。此外，我们分析了不同规格的源域和网络结构的组合泛化的效果。我们的主要发现是，利用来自源域的数据是减轻捷径学习的有效方法。通过促进学习表征中不同变异因素的独立性，网络可以学会在推理过程中只考虑预测因素，而忽略潜在的捷径因素。
2022-07-20 cs.AI cs.CV
A Too-Good-to-be-True Prior to Reduce Shortcut Reliance
HSE University（俄罗斯高等经济大学）；University College London（伦敦大学学院）；Research Center Jülich（尤利希研究中心）；Heinrich Heine University Düsseldorf（海因里希·海涅大学杜塞尔多夫分校）；The Alan Turing Institute（阿兰·图灵研究所）
尽管在标准测试条件下，深度网络在对象识别和其他任务中表现令人印象深刻，但它们通常无法推广到分布外（o.o.d.）。样品这个缺点的一个原因是现代架构倾向于依赖于“捷径”-与类别相关的表面特征，而没有捕获跨上下文保持的更深层次的不变量。现实世界的概念通常具有复杂的结构，可以在不同的上下文中表面上有所不同，这可以使一个上下文中最直观和最有前途的解决方案不能推广到其他上下文中。一个潜在的改善O.O.D.的方法。一般化是假设简单的解决方案不太可能在上下文中有效，并避免它们，我们称之为太好而不真实的先验。具有浅架构的低容量网络（LCN）应该只能学习表面关系，包括快捷方式。我们发现LCN可以作为捷径探测器。此外，LCN的预测可以用于两阶段方法，以鼓励高容量网络（HCN）依赖于更深层次的不变特征，这些特征应该广泛推广。特别地，当训练HCN时，LCN可以掌握的项目被降低权重。使用CIFAR-10数据集的修改版本，其中我们引入了快捷方式，我们发现两阶段LCN-HCN方法减少了对快捷方式的依赖，并促进了o.o.d.。一般化
2021-10-21 cs.CV cs.LG
Problems and shortcuts in deep learning for screening mammography
这项工作揭示了深度学习模型的性能和可推广性方面未被发现的挑战。我们（1）识别可能提高性能的虚假捷径和评估问题，（2）提出培训和分析方法来解决这些问题。我们训练了一个人工智能模型来对2008年至2017年获得的120，112项美国检查（3，467种癌症）和2011年至2015年获得的16，693项英国检查（5，655种癌症）的回顾性数据集进行癌症分类。我们评估了11，593例美国检查（102例癌症; 7，594例女性;年龄57.1 \pm 11.0）和1，880例英国检查（590例癌症; 1，745例女性;年龄63.3 \pm 7.2）的筛查性乳腺X线摄影测试集。仅在视图标记（无乳房）的图像上训练的模型实现了0.691 AUC。在两个数据集上训练的原始模型在美国+英国组合数据集上达到了0.945 AUC，但矛盾的是，在美国和英国数据集上分别只有0.838和0.892。在训练过程中，从两个数据集平等地对癌症进行采样缓解了这种捷径。当评价诊断检查与筛选检查（分别为0.862与0.861）时，也出现了类似的AUC悖论（0.903）。在培训期间取消诊断性检查缓解了这种偏倚。最后，该模型与扫描仪模型相比没有表现出AUC悖论，但与Hologic Selenia（HS）检查相比，仍然表现出对Selenia维度（SD）的偏倚。分析表明，当数据集属性具有较高癌症患病率的值（数据集偏倚）时，会发生这种A…
2023-03-29 cs.CV cs.LG q-bio.QM
One Step Diffusion via Shortcut Models
UC Berkeley（伯克利大学）
捷径模型通过单一网络和训练阶段，按噪声水平和步长条件化，实现单步或多步高质量采样，优于一致性模型和重流，并支持推理时灵活调整步数。
2025-06-23 cs.CV cs.LG
Diagnosing Shortcut-Induced Rigidity in Continual Learning: The Einstellung Rigidity Index (ERI)
Department of Computer Science and Engineering（计算机科学与工程系）；University of North Texas（北卡罗来纳大学达顿分校）
针对持续学习中捷径特征引发的僵化问题，提出可解释的Einstellung僵化指数（ERI），通过三个维度区分真实迁移与线索放大性能，实验验证了该设置下捷径色块是干扰项而非有用捷径。
2025-10-01 cs.CV cs.LG
Exposing Image Classifier Shortcuts with Counterfactual Frequency (CoF) Tables
University of Antwerp（安特卫普大学）
针对图像分类器依赖“捷径”且现有检测方法劳动密集的问题，提出反事实频率（CoF）表方法，通过聚合实例级解释为全局见解并标记图像片段，有效揭示多个数据集中的模型捷径。
2025-01-29 cs.AI cs.CV
Take A Shortcut Back: Mitigating the Gradient Vanishing for Training Spiking Neural Networks
Intelligent Science & Technology Academy of CASIC（中国航天科工集团智能科学与技术研究院）；School of Computer Science, Peking University（北京大学计算机学院）
本文针对脉冲神经网络训练中的梯度消失问题，提出捷径反向传播方法将梯度直接传递到浅层，并结合进化训练框架动态调整平衡系数，在多个数据集和网络结构上取得了优于现有方法的性能。
2024-09-30 cs.CV
Shortcut Learning Susceptibility in Vision Classifiers
IIT Bombay（博扬理工学院）
本研究通过引入位置和强度相关的人为捷径，系统评估CNNs、MLPs、ViTs三类视觉分类器的捷径学习易感性，发现低学习率下CNNs更难采纳捷径特征，无位置编码的ViTs易忽略图像本身特征。
2025-09-01 cs.CV cs.LG
Eye-gaze-guided Vision Transformer for Rectifying Shortcut Learning
Northwestern Polytechnical University（西北工业大学）；University of Georgia（佐治亚大学）；University of Electronic Science and Technology of China（电子科技大学）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）；Athens Academy（雅典学院）；Shanghai Jiao Tong University（上海交通大学）；ShanghaiTech University（上海科技大学）
学习有害的捷径，如虚假的相关性和偏差，会阻止深度神经网络学习有意义和有用的表示，从而危及学习到的表示的可推广性和可解释性。这种情况在医学成像中变得更加严重，其中临床数据（例如，MR图像与病理）是有限的和稀缺的，而学习模型的可靠性，通用性和透明度是非常需要的。为了解决这个问题，我们建议将人类专家的智能和领域知识注入到深度神经网络的训练中。其核心思想是，我们注入来自放射科专家的视觉注意力信息，以主动引导深度模型关注具有潜在病理的区域，避免陷入学习有害捷径的困境。为此，我们提出了一种新的眼睛凝视引导的视觉Transformer（EG-ViT）的诊断与有限的医学图像数据。我们屏蔽了放射科医生不感兴趣的输入图像块，并在EG-ViT的最后一个编码器层中添加额外的残差连接，以保持所有块的相关性。在INbreast和SIIM-ACR两个公共数据集上的实验表明，EG-ViT模型能够有效地学习/传递专家的领域知识，并取得比基线更好的性能。同时，它成功地纠正了有害的捷径学习，并显着提高了EG-ViT模型的可解释性。一般来说，EG-ViT利用了人类专家的先验知识和深度神经网络的能力。这项工作通过注入人类智能为推进当前的人工智能范式开辟了新的途径。
2022-05-25 cs.CV
Patch Shortcuts: Interpretable Proxy Models Efficiently Find Black-Box Vulnerabilities
Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）；Fraunhofer Center for Machine Learning（弗劳恩霍夫机器学习中心）
安全机器学习（ML）的一个重要支柱是系统地减轻神经网络的弱点，以在关键应用中部署它们。一类无处不在的安全风险是习得的捷径，即网络在其决策中利用的虚假相关性，这些决策与实际任务没有语义联系。依赖这种捷径的网络承担着无法很好地推广看不见的输入的风险。可解释性方法有助于发现此类网络漏洞。然而，如果在所谓的黑盒设置中对网络的访问受到限制，则这些技术中的许多技术不能直接应用。这些设置在使用第三方ML组件时很普遍。为了解决这个问题，我们提出了一种方法来检测学习的捷径使用可解释的设计网络作为代理的黑盒模型的兴趣。利用代理对内省的保证，我们自动提取学习捷径的候选者。他们的可转移到黑盒是在一个系统的方式验证。具体地说，作为代理模型，我们选择了BagNet，它完全基于局部图像补丁的决定。我们在自动驾驶数据集A2D2上证明，提取的补丁快捷方式对黑盒模型有显著影响。通过有效地识别这种基于补丁的漏洞，我们有助于更安全的ML模型。
2021-04-22 cs.CR cs.CV cs.LG
Spatial Shortcut Network for Human Pose Estimation
Shanghai Jiao Tong University（上海交通大学）
像许多计算机视觉问题一样，人体姿态估计是一个具有挑战性的问题，因为识别身体部位不仅需要来自局部区域的信息，而且需要来自具有大空间距离的区域的信息。为了在空间上传递信息，通常使用大卷积核和深层，这引入了高计算成本和大参数空间。幸运的是，对于姿势估计，人体在图像中是几何结构的，从而能够对空间依赖性进行建模。在本文中，我们提出了一个空间捷径网络的姿态估计任务，其中信息更容易在空间上流动。我们评估我们的模型进行了详细的分析，并提出了其出色的性能与较小的结构。
2019-04-05 cs.CV
Which Shortcut Cues Will DNNs Choose? A Study from the Parameter-Space Perspective
NAVER AI Lab, NAVER Corp（NAVER人工智能实验室，NAVER公司）
深度神经网络（DNN）通常依赖于易于学习的区分特征或线索，这些特征或线索对手头的问题不一定是必不可少的。例如，图像中的鸭子可以基于它们的典型背景风景（诸如湖泊或溪流）来识别。这种现象，也被称为捷径学习，正在成为当前一代机器学习模型的关键限制。在这项工作中，我们介绍了一组实验，以加深我们对捷径学习及其影响的理解。我们设计了一个训练设置，有几个快捷提示，命名为WCST-ML，其中每个提示都同样有利于手头的视觉识别问题。即使在机会均等的情况下，我们也观察到：（1）某些线索比其他线索更受欢迎;（2）偏向于易学线索的解决方案往往收敛到损失曲面上相对平坦的最小值;（3）专注于这些首选线索的解决方案在参数空间中要丰富得多。我们解释了丰富的某些线索通过他们的柯尔莫哥洛夫复杂性：解决方案对应的柯尔莫哥洛夫简单的线索是丰富的参数空间，因此首选DNN。我们的研究是基于合成数据集DSprites和人脸数据集UTKFace。在我们的WCST-ML中，我们观察到模型的先天偏见倾向于简单的线索，如颜色和种族。我们的研究结果强调了积极的人类干预的重要性，以消除可能导致负面社会影响的先天模型偏见。
2022-02-10 cs.CV cs.LG stat.ML
DiagViB-6: A Diagnostic Benchmark Suite for Vision Models in the Presence of Shortcut and Generalization Opportunities
Bosch Center for AI (BCAI)（博世人工智能中心（BCAI））；Heidelberg University（海德堡大学）；University of Freiburg（弗莱堡大学）
用于图像分类的常见深度神经网络（DNN）已被证明依赖于预测和易于表示的视觉因素形式的捷径机会（SO）。这被称为捷径学习，并导致受损的概括。在这项工作中，我们表明，常见的DNN在预测基本的视觉对象变化因素（FoV）（如形状，颜色或纹理）时也会受到快捷学习的影响。我们认为，除了捷径的机会，泛化的机会（GO）也是现实世界的视觉数据的固有部分，并从预测类和FoVs之间的部分独立性。我们还认为，这是必要的DNN利用GO克服捷径学习。我们的核心贡献是引入诊断视觉基准套件DiagViB-6，其中包括数据集和指标，用于研究六个独立FoV的网络捷径漏洞和泛化能力。特别是，DiagViB-6允许控制数据集中SO和GO的类型和程度。我们对各种流行的视觉架构进行了基准测试，并表明它们只能在有限的程度上利用GO。
2021-10-08 cs.CV
Mitigating Backdoors via Decoy Shortcuts and Knowledge Decoupling
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）
本研究提出TR防御方法，通过蜜罐捷径捕获后门知识，结合知识解耦策略与自动捷径生成，在四个基准数据集和五个模型架构上有效缓解多种后门攻击，同时保留良性性能。
2026-08-04 cs.CV cs.LG
IamNN: Iterative and Adaptive Mobile Neural Network for Efficient Image Classification
Ghent University - imec, IDLab（根特大学-imec信息处理实验室）；NVIDIA（英伟达）
深度残差网络（ResNets）最近在深度学习方面取得了突破。ResNets的核心思想是在层之间建立快捷连接，使网络更深，同时仍然易于优化，避免梯度消失。这些快捷连接具有有趣的副作用，使ResNet的行为与其他典型的网络架构不同。在这项工作中，我们使用这些属性来设计一个基于ResNet的网络，但具有参数共享和自适应计算时间。所得网络比原始网络小得多，并且可以使计算成本适应输入图像的复杂性。
2018-04-26 cs.CV cs.NE
Shift-based Primitives for Efficient Convolutional Neural Networks
Tsinghua University（清华大学）；Carnegie Mellon University（卡内基梅隆大学）
我们提出了一个集合的三个移位基元建立高效紧凑的基于CNN的网络。这三种基元（通道移位、地址移位、捷径移位）可以在保持预测精度的同时减少GPU上的推理时间。这些基于移位的原语只移动指针，但避免了内存复制，因此非常快。例如，与ShuffleNet中的通道混洗相比，通道移位操作快12.7倍，但达到相同的精度。地址移位和通道移位可以合并到逐点组卷积中，并且仅调用单个内核调用，执行空间卷积和通道移位花费很少的时间。通过预先分配空间，实现剩余连接，不需要时间。我们将这些基于移位的基元与逐点组卷积混合，并构建了两个名为AddressNet和Enhanced AddressNet的推理高效的CNN架构。在CIFAR100和ImageNet数据集上的实验表明，我们的模型速度更快，并且达到了相当或更好的准确性。
2018-09-25 cs.CV cs.LG
Gaze-directed Vision GNN for Mitigating Shortcut Learning in Medical Image
School of Information Science and Technology, Northwest University（西北大学信息科学与技术学院）；Northwestern University（西北大学）
本文提出凝视引导视觉图神经网络GD-ViG，利用放射科医生凝视模式作为专家知识引导网络关注疾病相关区域，从而缓解医学图像分析中的捷径学习并提升可解释性。
2024-07-30 cs.CV
Preventing Shortcut Learning in Medical Image Analysis through Intermediate Layer Knowledge Distillation from Specialist Teachers
Canon Medical Research Europe（康特拉医疗研究欧洲公司）；School of Engineering, The University of Edinburgh（爱丁堡大学工程学院）
通过专家教师的中间层知识蒸馏方法，有效缓解医学图像分析中的捷径学习问题，提升模型鲁棒性和临床实用性。
2025-11-24 cs.AI cs.CV
Beyond Forward Shortcuts: Fully Convolutional Master-Slave Networks (MSNets) with Backward Skip Connections for Semantic Segmentation
Nanyang Technological University（南洋理工大学）；Alibaba Group（阿里巴巴集团）
最近的深度CNN包含前向快捷连接;即从低层到高层的跳过连接。重用来自较低层的具有较高分辨率（位置信息）的特征有利于较高层恢复丢失的细节并减轻信息退化。然而，在推理过程中，较低层不知道高层特征，尽管它们包含上下文高语义，有利于低层自适应地为后面的层提取信息特征。在本文中，我们研究了反向跳跃连接的影响，这是在相反的方向向前捷径，即从高层到低层的路径。为了实现这一点--这确实与前馈网络的本质背道而驰--我们提出了一个新的完全卷积模型，它由一对网络组成。“从”网络专用于提供从其顶层到“主”网络底层的反向连接。主网络用于生成最终的标签预测。在我们的实验中，我们在ADE 20 K（ImageNet场景解析），PASCAL-Context和PASCAL VOC 2011数据集上验证了所提出的FCN模型。
2017-07-18 cs.CV
Rethinking Annotation Granularity for Overcoming Shortcuts in Deep Learning-based Radiograph Diagnosis: A Multicenter Study
The Chinese University of Hong Kong（香港中文大学）；The Hong Kong University of Science and Technology（香港科技大学）；Imsight Technology, Co., Ltd.（深圳视见科技有限公司）；The University of Hong Kong（香港大学）；Shenzhen People's Hospital（深圳市人民医院）；Guangdong Provincial People's Hospital（广东省人民医院）；Guangdong Academy of Medical Sciences（广东省医学科学院）；Queen Marry Hospital（玛丽医院）；Hospital Authority（医院管理局）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
两个DL模型分别使用X线片级注释（有或无疾病）和细粒度病变级注释（病变边界框）开发，分别命名为CheXNet和CheXDet。在测试集（n= 2，922）上比较了模型的内部分类性能和病变定位性能，在NIH-Google（n= 4，376）和PadChest（n= 24，536）数据集上比较了外部分类性能，在NIH-ChestX-ray 14数据集（n=880）上比较了外部病变定位性能。还将模型与放射科医生在内部测试集的子集（n=496）上进行了比较。如果有足够的训练数据，这两个模型都可以对放射科医生进行验证。CheXDet在外部分类方面取得了显著改善，例如在NIH-Google（CheXDet ROC曲线下面积[AUC]：0.67，CheXNet AUC：0.51; p<.001）和PadChest（CheXDet AUC：0.78，CheXNet AUC：0.55; p<.001）上对骨折进行分类。对于所有数据集上的大多数异常，CheXDet实现了比CheXNet更高的病变检测性能，例如在检测内部集上的气胸（CheXDet jacknife alternative free-response ROC-figure of merit [JAFROC-FOM]：0.87，CheXNet JAFROC-FOM：0.13; p<.001）和NIH-ChestX-ray 14（CheXDe…
2022-11-08 cs.CV eess.IV
Improving deep neural network generalization and robustness to background bias via layer-wise relevance propagation optimization
Alma Mater Studiorum - University of Bologna（博洛尼亚大学）；Center for Biomolecular Nanotechnologies, Istituto Italiano di Tecnologia（意大利技术研究院生物分子纳米技术中心）；School of Medical Sciences, University of Campinas (UNICAMP)（坎皮纳斯大学（UNICAMP）医学院）；Istituto Italiano di Tecnologia（意大利技术研究院）
本文提出ISNet方法，通过优化逐层相关性传播热力图抑制背景偏差和捷径学习，在胸部X光片分类等任务中显著提升深度神经网络对分布外数据的泛化鲁棒性。
2024-01-10 cs.CV cs.LG eess.IV
TextAdaIN: Paying Attention to Shortcut Learning in Text Recognizers
AWS AI Labs（亚马逊云科技人工智能实验室）
利用卷积层的特性，神经网络对于模式识别任务非常有效。然而，在某些情况下，他们的决策是基于非预期的信息，导致在标准基准测试中的高性能，但也缺乏对具有挑战性的测试条件和非直观故障的概括。最近的研究称之为“捷径学习”，并解决了它在多个领域的存在。在文本识别中，我们揭示了另一个这样的捷径，即识别器过度依赖于本地图像统计。出于这一动机，我们提出了一种方法来调节依赖本地统计数据，提高文本识别性能。我们的方法，称为TextAdaIN，在特征图中创建局部扭曲，防止网络过度拟合局部统计数据。它通过将每个特征图看作一个元素序列，并故意在一个小批中的元素之间不匹配细粒度的特征统计信息来实现这一点。尽管TextAdaIN很简单，但大量的实验表明，与其他更复杂的方法相比，它是有效的。TextAdaIN在标准手写文本识别基准测试中获得了最先进的结果。它可以推广到多种体系结构和场景文本识别领域。此外，我们证明，集成TextAdaIN提高了对更具挑战性的测试条件的鲁棒性。官方的Pytorch实现可以在https://github.com/amazon-research/textadain-robust-recognition上找到。
2022-07-24 cs.CV
Distillation Guided Residual Learning for Binary Convolutional Neural Networks
Microsoft（微软）
弥合二进制CNN（BCNN）和浮点CNN（FCNN）之间的性能差距具有挑战性。我们观察到，这种性能差距导致BCNN和FCNN的中间特征图之间存在大量残差。为了最小化性能差距，我们强制BCNN产生与FCNN类似的中间特征图。这种训练方法，即利用从FCNN导出的逐块蒸馏损失来优化每个二进制卷积块，导致对BCNN的更有效的优化。这也促使我们更新二进制卷积块架构，以促进逐块蒸馏损失的优化。具体地，将轻量级快捷分支插入到每个二进制卷积块中以补充每个块处的残差。得益于其挤压和相互作用（SI）结构，这个快捷分支引入了一小部分参数，例如，10\%的间接费用，但有效地补充了残差。在ImageNet上的大量实验证明了我们的方法在分类效率和准确性方面的优越性能，例如，使用我们的方法训练的BCNN在ImageNet上达到了60.45%的准确率。
2020-07-27 cs.CV
Deep Competitive Pathway Networks
National Chiao Tung University（台湾交通大学）
在深度神经架构的设计中，最近的研究已经证明了将子网络分组为更大网络的好处。例如，Inception架构集成了多尺度子网络，而残差网络可以被认为是残差单元将残差子网络与身份捷径组合在一起。在这项工作中，我们接受了这一观察，并提出了竞争路径网络（CoPaNet）。CoPaNet由一堆竞争路径单元组成，每个单元包含多个并行的剩余型子网络，后面是用于特征竞争的最大操作。这种机制通过学习子网络中的各种特征来增强模型的能力。所提出的策略明确地表明，通过各种路由模式，这是被称为类别信息的路径编码的路径传播的功能。此外，跨块快捷方式可以添加到CoPaNet，以鼓励功能重用。我们在四个对象识别基准上评估了CoPaNet：CIFAR-10，CIFAR-100，SVHN和ImageNet。CoPaNet使用类似数量的参数获得了最先进或可比的结果。CoPaNet的代码可在https://github.com/JiaRenChang/CoPaNet上查阅。
2017-09-29 cs.CV
Faster ISNet for Background Bias Mitigation on Deep Neural Networks
Alma Mater Studiorum - University of Bologna（博洛尼亚大学）；Center for Biomolecular Nanotechnologies（生物分子纳米技术中心）；Istituto Italiano di Tecnologia（意大利技术研究院）；Centre Européen de Calcul Atomique et Moléculaire (CECAM)（欧洲原子与分子计算中心）；Ecole Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
本文提出改进的ISNet架构，使训练时间与类别数无关，并引入模型无关的LRP实现，在背景偏差场景下超越现有模型，大幅提升训练速度。
2024-03-31 cs.CV cs.CY cs.LG
Learning Deep Representations Using Convolutional Auto-encoders with Symmetric Skip Connections
Nanjing University（南京大学）；University of Adelaide（阿德莱德大学）
多年前，无监督预训练是训练深度神经网络的关键技术。有了足够的标记数据和现代训练技术，现在有可能以纯监督的方式从头开始训练非常深的神经网络。然而，未标记的数据更容易获得，并且通常具有非常大的规模。如何更好地利用它们来帮助监督学习仍然是一个值得研究的课题。在本文中，我们研究了卷积去噪自动编码器，以证明无监督预训练仍然可以提高图像分类和语义分割等高级图像相关任务的性能。我们使用的架构是具有对称快捷连接的卷积自动编码器网络。我们的经验表明，对称快捷连接是非常重要的学习抽象表示通过图像重建。当没有额外的未标记数据可用时，使用我们的网络进行无监督预训练可以正则化监督训练，从而获得更好的泛化性能。在无监督预训练的帮助下，我们的方法在使用非常简单的全卷积网络的图像分类中取得了非常有竞争力的结果。当标记数据有限，但额外的未标记数据可用时，我们的方法在几个半监督学习任务中取得了良好的效果。
2017-03-28 cs.CV
Weight Space Correlation Analysis: Quantifying Feature Utilization in Deep Learning Models
Technical University of Denmark（丹麦技术大学）；Pioneer Centre for AI（人工智能先锋中心）；University of Copenhagen（哥本哈根大学）；CAMES Rigshospitalet（国立医院CAMES）
本文提出权重空间相关性分析方法，用于量化深度学习模型中特征利用情况，验证模型在无偏差情况下对真实临床信号的利用能力。
2026-02-04 cs.CV cs.LG eess.IV
Pseudo Bias-Balanced Learning for Debiased Chest X-ray Classification
The Chinese University of Hong Kong（香港中文大学）；The Hong Kong University of Science and Technology（香港科技大学）
据报道，深度学习模型经常从数据集偏差等捷径中学习。随着深度学习在现代医疗系统中发挥越来越重要的作用，迫切需要打击医疗数据中的捷径学习，并开发无偏见和值得信赖的模型。在本文中，我们研究的问题，开发去偏的胸部X射线诊断模型从有偏的训练数据，而不知道确切的偏见标签。我们首先观察到，偏差分布的不平衡是导致捷径学习的关键原因之一，如果数据集偏差比预期的特征更容易学习，则模型更喜欢数据集偏差。基于这些观察，我们提出了一种新的算法，伪偏差平衡学习，它首先通过广义交叉熵损失捕获和预测每个样本的偏差标签，然后使用伪偏差标签和偏差平衡softmax函数训练去偏差模型。我们构建了几个胸部X射线数据集与各种数据集的偏见的情况下，并与广泛的实验表明，我们提出的方法实现了一致的改进，比其他国家的最先进的方法。
2022-08-04 cs.CV eess.IV
Residual Convolutional Neural Network Revisited with Active Weighted Mapping
Ajou University（亚洲大学）；KISTI（韩国科学技术信息研究院）
在视觉识别中，ResNet性能提升的关键是通过快捷连接使用相同映射成功建立深度顺序卷积层堆栈。它导致网络下数据流的多条路径，并且路径以相等的权重合并。然而，在所有路径的映射单元处使用固定且预定义的权重是否正确是值得怀疑的。本文介绍了主动加权映射方法，该方法根据输入数据的特点动态地推断出合适的权值。每个映射单元的权重值不是固定的，而是随着输入图像的变化而变化，并且根据输入图像导出每个映射单元的最合适的权重值。为此，从快捷连接和卷积块嵌入信道信息，然后使用全连接层来估计映射单元的权重值。我们交替地训练骨干网络和所提出的模块，以便更稳定地学习所提出的方法。大量的实验结果表明，所提出的方法在从ResNet到DenseNet的各种骨干架构上都能成功工作。我们还验证了所提出的方法的优越性和通用性在各种数据集上的基线相比。
2018-11-16 cs.CV
Inception-Residual Block based Neural Network for Thermal Image Denoising
Chonnam National University（全南国立大学）
由于热分辨率有限，热成像仪显示出嘈杂的图像，特别是对于低温差的场景。为了解决噪声问题，提出了一种新的基于可重复去噪起始-残差块（DnIRB）的神经网络结构。每个DnIRB具有两个具有不同感受野的子块和一个快捷连接以防止消失梯度问题。所提出的方法进行测试的热图像。实验结果表明，该方法显示出最好的SQNR性能和合理的处理时间相比，国家的最先进的去噪方法。
2018-11-19 cs.CV
Mitigating Shortcut Learning: Texture-Penalized Prototype Networks
Institute for AI Safety and Security（人工智能安全与安全研究院）；DLR（德国航空航天中心）
提出纹理惩罚原型网络（TPPN），通过纹理惩罚分支抑制高频线索，增强形状偏置，将ResNet-50纹理偏差从55.11%降至29.73%，并提升分布外泛化能力。
2026-09-09 cs.CV
Sequentially Aggregated Convolutional Networks
Wenhua College（文华学院）；Huazhong University of Science and Technology（华中科技大学）；Virginia Tech（弗吉尼亚理工大学）；University of Sydney（悉尼大学）；DeepGlint Technology Limited（深鉴科技有限公司）
现代深度网络通常会实现某种形式的快捷连接，以缓解优化困难。然而，我们观察到这种网络拓扑结构改变了深度网络的性质。在许多方面，这些网络的行为类似于聚合的广域网。因此，我们在更精细的架构级别上利用快捷连接的聚合性质，并将它们放置在宽卷积层中。我们最终得到了一个顺序聚合卷积（SeqConv）层，它通过按顺序聚合各种深度的特征，结合了宽表示和深表示的优点。所提出的SeqConv作为常规宽卷积层的直接替代品，因此可以方便地集成到任何骨干网络中。我们将SeqConv应用于广泛采用的主干，包括ResNet和ResNeXt，并在公共基准数据集上进行图像分类实验。我们基于ResNet的网络，模型大小为ResNet-50，轻松超越了2.35 $\times$更大的ResNet-152的性能，而我们基于ResNeXt的模型为具有类似模型复杂度的网络的ImageNet分类设置了新的最先进的准确性。我们工作的代码和预训练模型可在www.example.com上公开获取。
2019-08-31 cs.CV
Contextual Hourglass Networks for Segmentation and Density Estimation
NEC Labs Europe（日本电气欧洲实验室）
沙漏网络（如U-Net和V-Net）是用于医学图像分割和计数问题的流行神经架构。沙漏网络的典型实例包含镜像层之间的快捷连接。这些快捷连接提高了性能，并且假设这是由于减轻了对消失梯度问题的影响以及模型将早期和后期层的特征图组合起来的能力。我们提出了一种方法，不仅结合镜像层的特征图，但也具有不同的空间维度的层的特征图。例如，该方法使得能够将瓶颈特征图与重构层的瓶颈特征图集成。所提出的方法适用于任何沙漏架构。我们评估了上下文沙漏网络在医学领域的图像分割和对象计数问题。我们实现了竞争性的结果，超过流行的沙漏网络高达17个百分点。
2018-06-08 cs.CV
Dual Reconstruction with Densely Connected Residual Network for Single Image Super-Resolution
National Pingtung University of Science and Technology（国立屏东科技大学）；National Cheng Kung University（国立成功大学）
基于深度学习的单图像超分辨率可以实现非常快速和高视觉质量的重建。最近，基于生成对抗网络的增强超分辨率（ESRGAN）在重建的高分辨率图像的定性和定量质量方面都取得了优异的性能。在本文中，我们建议在两个密集块之间增加一个捷径，以及在密集块内部的两个卷积层之间增加捷径。通过在所提出的网络中添加更多捷径的简单策略，它可以实现更快的学习过程，因为梯度信息可以更容易地反向传播。在改进的ESRGAN的基础上，提出了双重重建来学习超分辨率图像的不同方面，以明智地提高重建图像的质量。在实践中，超分辨率模型仅基于像素距离进行预训练，然后基于对抗性损失和感知损失对模型中的参数进行微调。最后，我们将两个不同的模型通过加权求和的方法融合，得到最终的超分辨率模型。实验结果表明，该方法在现实世界的图像超分辨率的挑战取得了良好的性能。我们还验证了所提出的双重重建确实在PSNR和SSIM方面进一步提高了重建图像的质量。
2019-11-20 cs.CV eess.IV
