CoTr: Efficiently Bridging CNN and Transformer for 3D Medical Image Segmentation
The University of Adelaide（阿德莱德大学）；Northwestern Polytechnical University（西北工业大学）
卷积神经网络（CNN）已成为当今三维医学图像分割的事实标准。然而，这些网络中使用的卷积运算由于其局部性和权重共享的归纳偏差而不可避免地在建模长程依赖性方面存在局限性。虽然Transformer是为解决这个问题而诞生的，但它在处理高分辨率3D特征图时存在极端的计算和空间复杂性。在本文中，我们提出了一种新的框架，有效地桥接一个{ \bf Co}卷积神经网络和一个{ \bf Tr}变换器{ \bf（CoTr）}准确的三维医学图像分割。在此框架下，构造CNN来提取特征表示，并构建一个高效的可变形Transformer（DeTrans）来对提取的特征图进行长程依赖建模。与香草Transformer平等对待所有图像位置不同，我们的DeTrans通过引入可变形的自注意力机制，只关注一小部分关键位置。因此，DeTrans的计算和空间复杂性已大大降低，使其能够处理多尺度和高分辨率的特征图，这通常是至关重要的图像分割。我们对涵盖11个主要人体器官的多图谱标记超出颅骨穹窿（BCV）数据集进行了广泛的评估。结果表明，我们的CoTr在3D多器官分割任务上比其他基于CNN、基于变换器和混合方法的性能有了很大的提高。代码可在\def \UrlFont{\rm\small\ttfamily} \url{https://github.com/YtongXie/CoTr}获得
2021-03-04 cs.CV
MobileUtr: Revisiting the relationship between light-weight CNN and Transformer for efficient medical image segmentation
Harbin Institute of Technology（哈尔滨工业大学）；Shanghai Jiao Tong University（上海交通大学）；University of Science and Technology of China（中国科学技术大学）
MobileUtr通过将类Transformer的轻量级CNN模块作为ViTs的patch嵌入，并引入自适应局部-全局-局部模块，在基础设施层面融合CNN与Transformer优势，实现轻量且高效的医学图像分割。
2023-12-04 cs.CV eess.IV
Sparse Data Tree Canopy Segmentation: Fine-Tuning Leading Pretrained Models on Only 150 Images
University of Waterloo（滑铁卢大学）；University of Calgary（卡尔加里大学）
本文评估了五种模型在低数据下的树冠分割表现，发现卷积模型在小数据情况下表现更优，而Transformer模型因数据需求高和任务差异表现欠佳。
2026-01-16 cs.AI cs.CV
Mid-level Elements for Object Detection
Carnegie Mellon University（卡内基梅隆大学）
在最近的判别中级元素的成功的基础上，我们提出了一种令人惊讶的简单方法用于目标检测，该方法在PASCAL VOC comp-3检测挑战（没有外部数据）上的表现与当前最先进的方法相当。通过大量的实验和消融分析，我们展示了我们的方法如何有效地提高了基于HOG的管道，通过添加一个中间的中级表示的任务的目标检测。这种表示很容易解释，并允许我们可视化我们的对象检测器“看到”。我们还讨论了我们的方法与基于CNN的方法共享的见解，例如在类别之间共享表示帮助。
2015-04-27 cs.CV
Comparative Analysis of Deep Learning Strategies for Hypertensive Retinopathy Detection from Fundus Images: From Scratch and Pre-trained Models
Yanqiao Zhu
本文针对高血压视网膜病变检测任务，对比了自定义CNN、预训练Transformer模型及AutoML三类深度学习策略，揭示了模型架构、数据增强与数据集规模间的相互作用规律，为医学图像分类的模型选型与数据策略提供参考。
2025-06-14 cs.AI cs.CV
Towards Flexible Inductive Bias via Progressive Reparameterization Scheduling
Riiid AI Research（Riiid人工智能研究院）；Korea University（高丽大学）
在最近的计算机视觉中有两种事实标准架构：卷积神经网络（CNN）和视觉Transformer（ViTs）。卷积的强归纳偏差有助于模型有效地学习样本，但当有足够的数据可用时，这种强偏差也限制了CNN的上限。相反，对于小数据，ViT不如CNN，但对于足够的数据，ViT更胜一筹。最近的方法试图结合这两种架构的优势。然而，我们发现这些方法忽略了最佳归纳偏差也会根据目标数据规模的变化而变化，通过比较不同模型在不同比例下对样本ImageNet子集的准确性。此外，通过傅立叶分析特征图，模型的响应模式根据信号频率的变化，我们观察哪种归纳偏差是有利的每个数据尺度。模型中包含的类似卷积的感应偏差越多，所需的数据规模就越小，其中ViT类模型的性能优于ResNet。为了得到一个在数据尺度上具有灵活的归纳偏差的模型，我们证明了重新参数化可以在卷积和自注意之间插入归纳偏差。通过调整模型停留在卷积中的历元数，我们证明了从卷积到自注意的重新参数化在CNN和ViTs之间插入了傅立叶分析模式。根据这些发现，我们提出了渐进式重新参数化调度（PRS），其中重新参数化调整了每层所需的卷积或自我注意类归纳偏差。对于小规模数据集，我们的PRS在后期层线性更快地执行从卷积到自我注意的重新参数化。PRS在小规模数据集上的表现优于先前的研究，例如，CIFAR-100。
2022-10-04 cs.CV
Convolutional Embedding Makes Hierarchical Vision Transformer Stronger
OPPO；North China University of Technology（北方工业大学）；Neolix Autonomous Vehicle（新石器自动驾驶）；University of Science and Technology of China（中国科学技术大学）
视觉Transformer（VisionTransformer，ViTs）近年来在计算机视觉领域占据主导地位，但其存在训练数据效率低、局部语义表达能力差等问题。卷积神经网络（CNN）固有地捕获区域感知语义，这激励研究人员将CNN引入ViT的架构中，为ViT提供理想的归纳偏差。然而，嵌入ViT中的微观CNN实现的局部性是否足够好？在本文中，我们深入探讨混合CNN/ViTs的宏架构如何增强分层ViTs的性能来研究这个问题。特别是，我们研究了令牌嵌入层，别名卷积嵌入（CE）的作用，并系统地揭示了CE如何在ViTs中注入理想的感应偏差。此外，我们还将最佳CE配置应用于最近发布的4款最先进的ViT，有效提升了相应的性能。最后，一系列高效的混合CNN/ViT，被称为CETNets，可以作为通用的视觉骨干。具体而言，CETNet在ImageNet-1 K上实现了84.9%的Top-1准确率（从头开始训练），在COCO基准测试中实现了48.6%的框mAP，在ADE 20 K上实现了51.6%的mIoU，大大提高了相应最先进基线的性能。
2022-08-01 cs.AI cs.CV
Lightweight Vision Transformer with Cross Feature Attention
Samsung Research China（三星中国研究院）；University of Technology Sydney（悉尼科技大学）
本文提出跨特征注意力XFA并结合高效移动端CNN构建轻量级混合模型XFormer，以同时学习全局与局部表示，在图像分类、目标检测和语义分割任务上以较低参数量和计算量超越多种现有模型。
2023-07-05 cs.CV
Grid-Preserving Knowledge Distillation: Transferring Convolutional Inductive Bias to Vision Transformers under Data Scarcity
本文提出iBKD蒸馏框架，在数据稀缺场景下通过保留网格的核心模块向ViT迁移卷积归纳偏置，在多基准上优于相关方法且优势随数据减少而扩大。
2026-08-14 cs.CV
Cumulative Spatial Knowledge Distillation for Vision Transformers
MEGVII Technology（旷视科技）
针对CNN到ViT蒸馏中的语义错配与后期全局能力受限问题，本文提出CSKD及CKF模块，实现空间响应蒸馏并动态平衡局部偏置与全局建模。
2023-07-17 cs.CV
LCTR: On Awakening the Local Continuity of Transformer for Weakly Supervised Object Localization
Xiamen University（厦门大学）；Tencent Youtu Lab（腾讯优图实验室）；CATL（宁德时代）
弱监督对象定位（WSOL）的目的是学习对象定位器只使用图像级标签。基于卷积神经网络（CNN）的技术通常导致突出对象的最有区别的部分，而忽略整个对象范围。最近，Transformer架构已经被部署到WSOL中，以捕获具有自注意力机制和多层感知器结构的远程特征依赖。然而，Transformers缺乏CNN固有的局部感应偏置，因此可能会恶化WSOL中的局部特征细节。在本文中，我们提出了一种新的框架上建立的Transformer，称为LCTR（本地连续性transansformer），其目标是在增强本地感知能力的全球功能之间的远程特征依赖。为此，我们提出了一个关系补丁注意模块（RPAM），它认为跨补丁信息的全球基础上。我们进一步设计了一个线索挖掘模块（CDM），它利用局部特征来指导模型的学习趋势，以突出弱的局部反应。最后，在CUB-200-2011和ILSVRC两个数据集上进行了综合实验，验证了该方法的有效性。
2021-12-10 cs.CV
Dual Progressive Transformations for Weakly Supervised Semantic Segmentation
South China University of Technology（华南理工大学）；Key Laboratory of Big Data and Intelligent Robot, Ministry of Education（教育部大数据与智能机器人重点实验室）；Nanyang Technological University（南洋理工大学）；Pazhou Lab（琶洲实验室）
弱监督语义分割（WSSS）是计算机视觉中一个具有挑战性的任务，其目的是仅仅使用类级别的标签来挖掘目标区域。目前基于CNN的方法通常采用类激活图（CAM）来突出对象的潜在区域，但是它们可能会受到部分激活问题的影响。为此，我们在WSSS任务中尝试探索视觉Transformer的全局特征注意力机制。然而，由于Transformer缺乏CNN模型中的电感偏置，因此它不能直接提高性能，并且可能产生过激活问题。为了解决这些问题，本文提出了一种卷积神经网络改进的Transformer（CRT）来挖掘全局完整和局部精确的类激活映射。为了验证该方法的有效性，在PASCAL VOC 2012和CUB-200-2011数据集上进行了大量实验。实验评估表明，我们提出的CRT实现了新的国家的最先进的性能上的弱监督语义分割任务的弱监督对象定位任务，其中优于他人的大幅度提高。
2022-09-30 cs.CV
Rethinking Data Efficiency in Industrial Dense Prediction: Pretraining Coherence, Not Inductive Bias, Determines ViTs Low-Data Advantage
ZTE Corporation（中兴通讯股份有限公司）；The University of Hong Kong（香港大学）
该研究通过实验发现工业密集预测中ViTs的低数据优势源于预训练一致性而非归纳偏置，提出AlignBlock解决跨架构特征差距，明确数据效率边界并验证了嫁接颈部网络的性能提升。
2026-08-12 cs.CV
Correlation Loss: Enforcing Correlation between Classification and Localization
Middle East Technical University (METU)（中东技术大学）
对象检测器通常通过分类和定位损失的加权和来训练。最近的研究（例如，用辅助头预测IoU，广义焦点损失，秩和排序损失）已经表明，迫使这两个损失项以非常规的方式彼此相互作用产生了有用的归纳偏差并提高了性能。受这些工作的启发，我们专注于分类和定位之间的相关性，并作出了两个主要贡献：（i）我们提供了一个分析的目标检测器中的分类和定位任务之间的相关性的影响。我们确定为什么相关性会影响各种基于NMS和无NMS的检测器的性能，我们设计的措施来评估相关性的影响，并使用它们来分析常见的检测器。(ii)根据我们的观察，例如，无NMS检测器也可以从相关中受益，我们提出了相关损失，一种新的插入式损失函数，通过直接优化相关系数来提高各种对象检测器的性能：例如，Sparse R-CNN的相关性损失是一种无NMS方法，在COCO上产生1.6 AP增益，在Cityscapes数据集上产生1.8 AP增益。我们在Sparse R-CNN上的最佳模型达到51.0 AP，没有COCO test-dev上的测试时间增强，达到了最先进的水平。代码可在https://github.com/fehmikahraman/CorrLoss上获得
2023-01-03 cs.CV
BRAU-Net++: U-Shaped Hybrid CNN-Transformer Network for Medical Image Segmentation
College of Computer Science and Engineering, Chongqing University of Technology（重庆理工大学计算机科学与工程学院）；College of Computer Science, Chongqing University（重庆大学计算机学院）；College of Artificial Intelligence, Chongqing University of Technology（重庆理工大学人工智能学院）；The First Affiliated Hospital of Chongqing Medical University（重庆医科大学附属第一医院）；Faculty of Computing and Information Technology, King Abdulaziz University（阿卜杜勒阿齐兹大学计算与信息技术学院）
本文提出BRAU-Net++，一种融合CNN与Transformer优势的U型医学图像分割网络，通过双层路由注意力和通道-空间注意力重构跳跃连接，在三个公开数据集上超越现有方法。
2024-09-30 cs.CV
Simpler is Better: Few-shot Semantic Segmentation with Classifier Weight Transformer
University of Surrey（萨里大学）；iFlyTek-Surrey Joint Research Centre on Artificial Intelligence（科大讯飞-萨里人工智能联合研究中心）；School of Data Science, Fudan University（复旦大学数据科学学院）
Few-Shot语义分割模型通常由CNN编码器、CNN解码器和简单分类器（分离前景和背景像素）组成。大多数现有的方法元学习所有三个模型组件，以快速适应新的类。然而，考虑到只有一个支持集图像可用，将所有三个组件有效地模型自适应到新类别是非常具有挑战性的。在这项工作中，我们建议通过只关注最简单的组件，分类器来简化元学习任务，同时让编码器和解码器进行预训练。我们假设，如果我们在一组具有足够注释的不同训练类上预训练现成的分割模型，则编码器和解码器可以捕获适用于任何看不见的类的丰富的判别特征，从而使后续的元学习阶段变得不必要。对于分类器元学习，我们引入了一个分类器权重Transformer（CWT），旨在以归纳的方式动态地适应支持集训练的分类器的权重到每个查询图像。在两个标准基准上进行的大量实验表明，尽管我们的方法很简单，但它的性能优于最先进的替代品，通常是很大的优势。代码可在https://github.com/zhiheLu/CWT-for-FSS上获得。
2021-08-12 cs.CV
Neural Anisotropy Directions
EPFL（洛桑联邦理工学院）；ETH Zürich（苏黎世联邦理工学院）
在这项工作中，我们分析了网络架构在塑造深度分类器的归纳偏差方面的作用。为此，我们首先关注一个非常简单的问题，即，分类一类线性可分分布，并表明，根据分布的判别特征的方向，许多最先进的深度卷积神经网络（CNN）在解决这个简单任务时非常困难。然后，我们定义为神经各向异性方向（NAD）的向量封装的方向感应偏置的架构。这些向量对于每种架构都是特定的，因此充当签名，它们对网络的偏好进行编码，以基于某些特定特征来分离输入数据。我们提供了一种有效的方法来识别NAD的几个CNN架构，从而揭示他们的方向感应偏置。此外，我们表明，对于CIFAR-10数据集，NAD表征了CNN用于区分不同类别的特征。
2020-10-14 cs.CV cs.LG stat.ML
3D-OOCS: Learning Prostate Segmentation with Inductive Bias
University Medical Centre Freiburg（弗莱堡大学医学中心）
尽管卷积神经网络（CNN）在3D医学图像分割任务中取得了巨大成功，但目前使用的方法对于不同扫描仪使用的不同协议以及它们产生的各种图像属性或伪影仍然不够鲁棒。为此，我们引入OOCS增强网络，一种新颖的架构，灵感来自脊椎动物的视觉处理的先天性质。以不同的3D U-Net变体为基础，我们将两个3D残差分量添加到第二个编码器块：开和关中心环绕（OOCS）。他们将视网膜中的神经节通路概括为3D设置。在任何标准CNN网络中使用2D-OOCS都可以用尖锐的边缘检测归纳偏差来补充前馈框架。使用3D-OOCS还有助于3D U-Nets以更高的准确性仔细检查和描绘3D图像中存在的解剖结构。我们将最先进的3D U-Nets与其3D-OOCS扩展进行了比较，并显示了后者在3D磁共振图像（MRI）自动前列腺分割中的卓越准确性和鲁棒性。为了进行公平的比较，我们使用相同的管道训练和测试了所有研究的3D U-Net，包括自动超参数优化和数据增强。
2022-04-20 cs.CV eess.IV
Habaek: High-performance water segmentation through dataset expansion and inductive bias optimization
Hanyang University（汉阳大学）；Korea Racing Authority（韩国赛马会）
本文提出Habaek水体分割模型，通过ADE20K和RIWA数据增强优化SegFormer的归纳偏置，并结合LoRA降低计算复杂度，在IoU等指标上优于现有模型。
2024-10-21 cs.AI cs.CV
MVT: Multi-view Vision Transformer for 3D Object Recognition
Baidu Research（百度研究院）；University of Amsterdam（阿姆斯特丹大学）
受CNN在图像识别中取得的巨大成功的启发，基于视图的方法应用CNN对投影视图进行建模，以实现3D对象理解，并取得了优异的性能。然而，多视图CNN模型不能对来自不同视图的块之间的通信进行建模，从而限制了其在3D对象识别中的有效性。受视觉Transformer在图像识别中取得的成功的启发，我们提出了一种用于三维物体识别的多视角视觉Transformer（MVT）。由于Transformer块中的每个补丁特征具有全局接收场，因此它自然地实现了来自不同视图的补丁之间的通信。同时，与CNN相比，它需要更少的归纳偏差。考虑到有效性和效率，我们为我们的MVT开发了一个全球-本地的结构。我们在两个公共基准测试，ModelNet 40和ModelNet 10上的实验证明了我们的MVT的竞争力。
2021-10-25 cs.CV
HAND: A Biologically-Inspired Activation Function that Improves Generalisation and Sample Efficiency in Image Classification
该研究提出受生物启发的激活函数HAND，可减少图像分类任务的训练时间与数据量，提升样本效率，在ConvNeXt-tiny等模型及ImageNet等数据集上验证了其有效性。
2026-10-09 cs.CV cs.LG
Multi-Dimensional Hyena for Spatial Inductive Bias
Blavatnik School of Computer Science, Tel Aviv University（特拉维夫大学布拉瓦尼克计算机科学学院）
本文提出将 Hyena 层泛化到多维的 Hyena N-D，以替代自注意力机制，在 ViT、Swin、DeiT 等架构及小数据集场景下提升性能，并验证了 Hyena 与传统注意力混合方案的持续增益。
2023-09-24 cs.CV cs.LG
Vision Transformer Equipped with Neural Resizer on Facial Expression Recognition Task
KAIST（韩国科学技术院）；ACRYL
在野外条件下，面部表情识别经常面临低质量数据和不平衡、模糊标签的挑战。该领域从基于CNN的方法中受益匪浅;然而，CNN模型具有结构限制，无法看到远处的面部区域。作为补救措施，Transformer已被引入具有全局感受野的视野，但需要调整预训练模型的输入空间大小，以享受其强大的感应偏差。我们在这里提出一个问题，是否使用确定性插值方法是足够的低分辨率数据馈送到Transformer。在这项工作中，我们提出了一种新的训练框架，神经调整器，支持Transformer通过补偿信息和降尺度的数据驱动的方式训练与损失函数平衡的噪音和不平衡。实验表明，我们的F-PDLS损失函数的神经调整器提高了Transformer变体的性能，几乎达到了最先进的性能。
2022-04-05 cs.CV
HSViT: Horizontally Scalable Vision Transformer
School of IT, Deakin University（迪肯大学信息技术学院）；IISRI, Deakin University（迪肯大学智能系统与图像研究学院）
针对ViT依赖预训练且参数多的问题，提出HSViT，通过引入图像级特征嵌入保留归纳偏置，实现免预训练并提升小数据集性能，同时设计水平可扩展架构支持多设备协作，实验显示top-1准确率显著提升。
2024-07-16 cs.CV
