REViT: Roto-reflection Equivariant Convolutional Vision Transformer
KC Machine Learning Lab（韩国首尔计算机机器学习实验室）
提出一种离散旋转反射群等变的视觉Transformer，通过卷积注意力机制保持特征图的旋转、翻转和位置对称性，在图像分类任务中优于现有方法。
2026-06-25 cs.CV cs.LG
Evaluation and Analysis of Deep Neural Transformers and Convolutional Neural Networks on Modern Remote Sensing Datasets
本文评估了五种Transformer和六种卷积网络在三个高分辨率遥感数据集上的目标检测性能，通过训练33个模型，展示了Transformer架构的先进表现，并分析了不同特征提取方法的影响。
2025-08-04 cs.AI cs.CV cs.LG
CvT-ASSD: Convolutional vision-Transformer Based Attentive Single Shot MultiBox Detector
University Shanghai（上海大学）
由于Transformers的双向编码器表示（BERT）在自然语言处理（NLP）中的成功，多头注意力Transformer在计算机视觉研究（CV）中得到了越来越广泛的应用。然而，它仍然是一个挑战，研究人员提出了复杂的任务，如视觉检测和语义分割。虽然已经提出了多种基于Transformer-Based的结构来完成目标检测任务，如DETR和ViT-FRCNN，但由于传统的自注意操作所带来的巨大的学习参数和沉重的计算复杂性，它们不可避免地降低了识别精度并降低了计算效率。为了缓解这些问题，我们提出了一种新的目标检测架构，命名为基于卷积视觉Transformer的注意Single Shot MultiBox检测器（CvT-ASSD），该架构构建在卷积视觉变换器（CvT）之上，具有高效的注意Single Shot MultiBox检测器（ASSD）。我们提供了全面的经验证据，表明我们的模型CvT-ASSD可以在PASCAL VOC和MS COCO等大规模检测数据集上进行预训练，从而获得良好的系统效率和性能。代码已在公共github存储库https://github.com/albert-jin/CvT-ASSD上发布。
2021-10-24 cs.AI cs.CV cs.LG
ECViT: Efficient Convolutional Vision Transformer with Local-Attention and Multi-scale Stages
School of Computer Engineering and Science（计算机工程与科学学院）
ECViT是一种结合CNN和Transformer优势的混合架构，通过引入局部注意力和金字塔结构实现高效多尺度特征提取，在图像分类任务上以低计算和存储需求超越现有模型，平衡了性能与效率。
2025-04-21 cs.AI cs.CV
ConViT: Improving Vision Transformers with Soft Convolutional Inductive Biases
Ecole Normale Supérieure（巴黎高等师范学院）；Facebook AI Research（脸书人工智能研究院）
卷积架构已被证明在视觉任务中非常成功。它们的硬归纳偏差使样本有效学习成为可能，但代价是潜在的性能上限较低。视觉Transformer（ViTs）依赖于更灵活的自我注意层，最近在图像分类方面优于CNN。然而，它们需要在大型外部数据集上进行昂贵的预训练，或者从预训练的卷积网络中提取。在本文中，我们提出了以下问题：是否有可能结合这两种架构的优势，同时避免各自的局限性？为此，我们引入了门控位置自我注意（GPSA），一种可以配备“软”卷积归纳偏差的位置自我注意形式。我们初始化GPSA层以模仿卷积层的局部性，然后通过调整门控参数来调节对位置与内容信息的注意力，从而使每个注意力头部都可以自由地逃离局部性。由此产生的卷积类ViT架构ConViT在ImageNet上的性能优于DeiT，同时提供了更高的样本效率。我们进一步研究了局部性在学习中的作用，首先量化它是如何在香草自我注意层中被鼓励的，然后分析它是如何在GPSA层中被逃脱的。最后，我们介绍了各种消融术，以更好地了解ConViT的成功。我们的代码和模型在https://github.com/facebookresearch/convit上公开发布。
2021-06-10 cs.CV cs.LG stat.ML
Conviformers: Convolutionally guided Vision Transformer
Artificial and Natural Intelligence Toulouse Institute（图卢兹人工智能与自然智能研究所）；Université de Toulouse（图卢兹大学）；Carney Institute for Brain Science（卡尼脑科学研究所）；Brown University（布朗大学）；Centre de Recherche Cerveau et Cognition（脑与认知研究中心）；CNRS（法国国家科学研究中心）
视觉Transformer是当今图像分类任务的实际选择。分类任务有两大类，细粒度和粗粒度。在细粒度分类中，由于子类之间的高度相似性，需要发现细微的差异。当我们缩小图像以节省与视觉Transformer（ViT）相关联的存储器和计算成本时，这种区别通常会丢失。在这项工作中，我们提出了一个深入的分析和描述的关键组成部分，开发一个系统的细粒度分类植物标本片。我们广泛的实验分析表明，需要更好的增强技术和现代神经网络处理更高维图像的能力。我们还介绍了一种称为Conviformer的卷积Transformer架构，与流行的视觉Transformer（ConViT）不同，它可以处理更高分辨率的图像，而不会增加内存和计算成本。我们还介绍了一种新的，改进的预处理技术，称为PreSizer，以更好地调整图像的大小，同时保留其原始的纵横比，这被证明是必不可少的自然植物分类。通过我们简单而有效的方法，我们在Herbarium 202x和iNaturalist 2019数据集上实现了SoTA。
2022-08-28 cs.AI cs.CV cs.LG
Hierarchical Graph Convolutional Skeleton Transformer for Action Recognition
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）
图卷积网络（GCN）已经成为基于卷积的动作识别的主要方法。然而，他们仍然遭受两个问题，即邻域约束和纠缠时空特征表示。大多数研究都集中在改进图拓扑的设计，以解决第一个问题，但他们还没有充分探讨后者。在这项工作中，我们设计了一个解开时空Transformer（DSTT）块，以克服上述限制的GCN在三个步骤：（i）功能解开时空分解;（ii）全球时空关注捕捉相关性在全球范围内;和（iii）本地信息增强利用更多的本地信息。在此基础上，我们提出了一种新的架构，命名为分层图卷积骨架Transformer（HGCT），以利用GCN的互补优势（即，局部拓扑、时间动态和层次）和Transformer（即，全球背景和动态注意力）。HGCT是轻量级和计算效率。定量分析表明了HGCT的优越性和良好的解释性。
2022-01-10 cs.AI cs.CV
Adversarial Token Attacks on Vision Transformers
New York University（纽约大学）
与卷积网络相比，视觉Transformer依赖于基于补丁令牌的自注意力机制。我们通过设计一个基于块稀疏性的对抗令牌攻击来研究这两类模型之间的根本差异。我们探测和分析了Transformer以及卷积模型与不同补丁大小的令牌攻击。我们推断，Transformer模型比卷积模型对令牌攻击更敏感，ResNets在单令牌攻击的鲁棒准确性方面优于Transformer模型高达$\sim30\%$。
2021-10-08 cs.CR cs.CV cs.LG
ConvFormer: Parameter Reduction in Transformer Models for 3D Human Pose Estimation by Leveraging Dynamic Multi-Headed Convolutional Attention
Inseer, Inc.（Inseer公司）
提出ConvFormer卷积Transformer，利用动态多头卷积自注意力机制全面建模时空关节关系，在三个基准数据集上实现SOTA或接近SOTA性能的同时显著减少了模型参数。
2023-04-04 cs.CV cs.LG
A Lightweight CNN Integrated Compact Convolutional Transformer for Multi-Scale Feature Learning and reducing computational complexity for breast cancer mammography image detection and classification
North South University（南北大学）
提出一种轻量级CNN集成紧凑卷积Transformer模型，通过卷积分词与Transformer学习结合，以极少的参数在乳腺癌钼靶图像分类中实现高准确率，并集成可解释AI以增强临床信任。
2026-09-17 cs.AI cs.CV cs.LG
On Convolutional Vision Transformers for Yield Prediction
University of Bonn（波恩大学）
本文测试卷积视觉Transformer（CvT）在直方图化遥感数据上的产量预测，虽性能不及XGBoost和CNN，但展示了Transformer在该任务中的潜力。
2024-02-08 cs.CV
Convolutional Set Transformer
Bocconi University（博科尼大学）；Politecnico di Milano（米兰理工学院）
本文提出直接处理任意数量 3D 图像张量的 Convolutional Set Transformer，将特征提取与集合上下文建模统一，提升集合分类与异常检测性能并支持 Grad-CAM 解释和迁移学习。
2025-09-26 cs.AI cs.CV cs.LG
Efficient Mixed-Type Wafer Defect Pattern Recognition Using Compact Deformable Convolutional Transformers
针对混合型晶圆缺陷模式识别，提出紧凑可变形卷积变换器（DC Transformer），利用可变形核与多头注意力建模全局特征，在38种缺陷模式真实数据集上显著超越现有模型。
2023-10-17 cs.CV cs.LG
Dynamic Clone Transformer for Efficient Convolutional Neural Netwoks
卷积网络（ConvNets）在解决各种视觉任务方面表现出令人印象深刻的能力。然而，性能和效率之间的权衡仍然是一个挑战，一个可行的模型部署在资源有限的平台。在本文中，我们引入了一个新的概念，称为多路径全连接模式（MPFC）重新思考的相互依赖性的拓扑模式，准确性和效率的ConvNets。受MPFC的启发，我们进一步提出了一个双分支模块命名为动态克隆Transformer（DCT），其中一个分支从输入生成多个副本，另一个分支通过一系列有条件的差异向量对输入本身进行改革，以产生更多的变体。这种操作允许以数据驱动的方式以很少的计算成本自扩展通道信息，同时提供足够的学习能力，这是一个潜在的单元，以取代计算昂贵的逐点卷积作为瓶颈结构中的扩展层。
2021-06-12 cs.CV cs.LG
Convolutional Transformer based Dual Discriminator Generative Adversarial Networks for Video Anomaly Detection
Columbia University（哥伦比亚大学）；University of Connecticut（康涅狄格大学）；NEC Laboratories America, Inc.（NEC美国实验室）
在真实世界的监控视频中检测异常活动是一项重要而具有挑战性的任务，因为有关视频异常的先验知识通常是有限的或不可用的。尽管已经开发了许多方法来解决这个问题，但很少有方法能够有效地捕获正常的时空模式。此外，现有的工作很少明确考虑在帧级的局部一致性和全局一致性的时间动态的视频序列。为此，我们提出了基于卷积Transformer的双鉴别器生成对抗网络（CT-D2 GAN）来执行无监督的视频异常检测。具体来说，我们首先提出了一个卷积Transformer来执行未来的帧预测。它包含三个关键组成部分，即，卷积编码器，用于捕获输入视频剪辑的空间信息;时间自注意模块，用于编码时间动态;以及卷积解码器，用于整合时空特征并预测未来帧。接下来，一个基于双阈值的对抗性训练过程，它联合考虑了图像阈值，可以保持局部一致性在帧级和视频阈值，可以强制执行的时间动态的全局一致性，以提高未来帧的预测。最后，利用预测误差来识别异常视频帧。对三个公开的视频异常检测数据集进行了深入的实证研究，UCSD Ped 2，CUHK Avenue和上海理工大学校园，证明了所提出的对抗时空建模框架的有效性。
2021-07-29 cs.AI cs.CV cs.LG
More for Less: Compact Convolutional Transformers Enable Robust Medical Image Classification with Limited Data
Stanford University（斯坦福大学）
本文提出利用紧凑卷积Transformer（CCT）解决医学图像分类中标注数据稀缺的问题，在仅含八类约2000张低分辨率图像的小规模数据集上实现了92.49%的准确率，证明了CCT在数据受限场景下的鲁棒性与应用潜力。
2023-07-01 cs.CV cs.LG
Artificial intelligence application in lymphoma diagnosis: from Convolutional Neural Network to Vision Transformer
The University of Texas Health Science Center at Houston（德克萨斯大学休斯顿健康科学中心）
本研究探索 Vision Transformer 模型用于诊断间变性大细胞淋巴瘤与经典型霍奇金淋巴瘤，在相同的小规模数据集上与 Convolutional Neural Network 进行了直接比较，结果显示两者均达到 100% 的优异诊断准确率。
2025-04-05 cs.CV cs.LG
CMT: Convolutional Neural Networks Meet Vision Transformers
University of Sydney（悉尼大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
由于视觉Transformer能够捕获图像中的长距离依赖关系，因此已成功应用于图像识别任务。然而，Transformers和现有的卷积神经网络（CNN）之间在性能和计算成本方面仍然存在差距。在本文中，我们的目标是解决这个问题，并开发一个网络，它不仅可以超越经典的Transformers，而且还可以超越高性能的卷积模型。我们提出了一种新的基于Transformer的混合网络，利用Transformers来捕获远程依赖关系，并利用CNN来建模局部特征。此外，我们将其缩放以获得一系列模型，称为CMT，获得比以前的卷积和基于Transformer的模型更好的准确性和效率。特别是，我们的CMT-S在ImageNet上达到了83.5%的top-1准确率，而FLOP分别比现有的DeiT和EfficientNet小14倍和2倍。提出的CMT-S还可以很好地推广CIFAR 10（99.2%），CIFAR 100（91.7%），Flowers（98.7%）和其他具有挑战性的视觉数据集，如COCO（44.3%mAP），计算成本大大降低。
2022-06-14 cs.CV
CAT: Circular-Convolutional Attention for Sub-Quadratic Transformers
Preferred Networks
CAT通过圆卷积和傅里叶变换实现亚二次复杂度的注意力机制，提升效率并减少参数量，适用于更长序列的变换器应用。
2026-01-05 cs.CL cs.CV cs.LG
Combining Transformer Generators with Convolutional Discriminators
Fraunhofer ITWM（弗劳恩霍夫工业数学研究所）；University of Heidelberg（海德堡大学）；Fraunhofer Center Machine Learning（弗劳恩霍夫机器学习中心）；Technical University of Kaiserslautern（凯泽斯劳滕工业大学）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））；Offenburg University（奥芬堡大学）
Transformer模型最近引起了计算机视觉研究人员的极大兴趣，并且已经成功地用于传统上用卷积神经网络解决的几个问题。与此同时，使用生成对抗网络（GANs）的图像合成在过去几年中得到了极大的改进。最近提出的transGAN是第一个仅使用基于变换器的架构的GAN，与卷积GANs相比，它取得了有竞争力的结果。然而，由于Transformers是数据饥渴的架构，因此transGAN需要数据增强，在训练期间需要辅助超分辨率任务，并且在引导自我注意力机制之前需要掩蔽。在本文中，我们研究了基于变压器的生成器和卷积消隐的组合，并成功地消除了上述所需的设计选择的需要。我们评估我们的方法进行了一个基准的知名CNN鉴别器，消融的变压器为基础的发电机的大小，并表明，结合到一个混合模型的架构元素，导致更好的结果。此外，我们调查生成的图像的频谱特性，并观察到我们的模型保留了基于注意力的发电机的好处。
2021-07-10 cs.CV
T-TAME: Trainable Attention Mechanism for Explaining Convolutional Networks and Vision Transformers
Centre for Research and Technology Hellas (CERTH) / Information Technologies Institute (ITI)（希腊研究中心与技术研究中心（CERTH）/信息科技研究所（ITI））
本文提出T-TAME，一种兼容Transformer的可训练注意力解释方法，能以单次前向传播生成解释图，并在VGG-16、ResNet-50和ViT-B-16上取得优于现有方法的SOTA可解释性表现。
2025-06-03 cs.AI cs.CV cs.LG
Convolutional Initialization for Data-Efficient Vision Transformers
The University of Adelaide（阿德莱德大学）
针对小数据集上训练 vision transformer 的难题，本文提出一种卷积式初始化策略，将 CNN 的归纳偏置转化为初始化偏置，在保持架构灵活性的同时取得与 CNN 相当的性能。
2024-01-23 cs.CV
MoCoViT: Mobile Convolutional Vision Transformer
最近，Transformer网络在各种视觉任务上取得了令人印象深刻的成果。然而，它们中的大多数在计算上是昂贵的，并且不适合于真实世界的移动应用。在这项工作中，我们提出了移动卷积视觉Transformer（MoCoViT），它通过将Transformer引入移动卷积网络来利用这两种架构的优势，从而提高了性能和效率。与最近关于视觉Transformer的工作不同，MoCoViT中的移动Transformer模块是为移动设备精心设计的，非常轻便，通过两个主要修改完成：移动自注意（MoSA）模块和移动前馈网络（MoFFN）。MoSA通过分支共享方案简化了注意力地图的计算，而MoFFN在Transformer中充当MLP的移动版本，进一步大幅减少了计算量。综合实验验证了我们提出的MoCoViT系列在各种视觉任务上的表现优于最先进的便携式CNN和Transformer神经架构。在ImageNet分类上，它在1.47亿FLOPs时达到了74.5%的top-1准确率，比MobileNetV 3提高了1.2%，计算量更少。在COCO目标检测任务上，MoCoViT在RetinaNet框架中的性能优于GhostNet 2.1 AP。
2022-05-26 cs.CV
Tomato Maturity Recognition with Convolutional Transformers
Khalifa University（哈利法大学）；Abu Dhabi University（阿布扎比大学）
本文提出一种基于卷积变换器的番茄成熟度分类方法，并引入新数据集KUTomaData，在三个数据集上平均精度均值显著超越现有最先进方法。
2024-01-02 cs.AI cs.CV eess.IV
TriCCOT: Tri-part Convolutional Conformal Transformer for Onboard Space Object Detection
Centre National d’Etudes Spatiales, CNES（法国国家太空研究中心（CNES））；IRT Saint-Exupéry（IRT圣埃克苏佩里）
TriCCOT提出三部分架构，结合卷积区域提议、共形预测和硬件友好注意力分类器，在DIOR和VDVRaw上实现稳健检测，并成功部署于FPGA。
2026-09-09 cs.AI cs.CV
Energy-Based Models for Cross-Modal Localization using Convolutional Transformers
MIT Lincoln Laboratory（麻省理工学院林肯实验室）；Stony Brook University（石溪大学）
针对无GPS环境下测距传感器与卫星图像的跨模态车辆定位问题，提出基于EBM和卷积transformer的端到端框架，在KITTI、Pandaset及自定义数据集上超越现有方法。
2023-06-06 cs.AI cs.CV cs.LG
Enhancing compact convolutional transformers with super attention
C.V. Raman Global University（C.V. Raman全球大学）；Assam Royal Global University（阿萨姆皇家全球大学）
本文提出一种结合令牌混合、序列池化和卷积令牌化器的视觉Transformer，在CIFAR100上显著提升准确率并降低计算成本，且训练稳定，不依赖数据增强等技术。
2025-08-26 cs.CV cs.LG
Cost Aggregation with 4D Convolutional Swin Transformer for Few-Shot Segmentation
Korea University（高丽大学）；Microsoft Research Asia（微软亚洲研究院）
本文提出了一种新的成本聚合网络，称为体积聚合与Transformers（增值税），为Few-Shot分割。Transformers的使用可以通过全局感受野上的自我注意来有益于相关图聚合。然而，用于Transformer处理的相关图的令牌化可能是有害的，因为令牌边界处的不连续性减少了令牌边缘附近可用的局部上下文并减少了感应偏差。为了解决这个问题，我们提出了一个4D卷积Swin Transformer，其中高维Swin Transformer之前是一系列小内核卷积，这些卷积将局部上下文赋予所有像素并引入卷积感应偏置。此外，我们还通过在金字塔结构中应用Transformers来提高聚合性能，其中较粗级别的聚合指导较细级别的聚合。Transformer输出中的噪声随后在后续解码器中借助查询的外观嵌入进行过滤。通过该模型，为少镜头分割（Few-Shot segmentation）中的所有标准基准设置了新的最先进技术。结果表明，增值税达到国家的最先进的性能，以及语义对应，其中成本聚合也发挥了核心作用。
2022-07-22 cs.CV
A Comparison for Anti-noise Robustness of Deep Learning Classification Methods on a Tiny Object Image Dataset: from Convolutional Neural Network to Visual Transformer and Performer
Northeastern University（东北大学）；University of Luebeck（吕贝克大学）
随着深度学习的快速发展，图像分类取得了前所未有的进步。然而，微小目标图像的分类仍然没有得到很好的研究。本文首先简要回顾了深度学习中卷积神经网络和视觉Transformer的发展，并介绍了常规噪声和对抗攻击的来源和发展。然后利用卷积神经网络和Visual Transformer的各种模型，在微小物体（精子和杂质）的图像数据集上进行了一系列实验，比较实验结果中的各种评价指标，得到性能稳定的模型。最后，讨论了微小目标分类中存在的问题，并对微小目标分类的未来进行了展望。
2021-06-09 cs.CV
Can Vision Transformers Perform Convolution?
Peking University（北京大学）；UCLA（加州大学洛杉矶分校）；Microsoft Research（微软研究院）
最近的几项研究表明，基于注意力的网络，如视觉Transformer（ViT），在不使用卷积层的情况下，可以在几个计算机视觉任务上胜过卷积神经网络（CNN）。这自然会导致以下问题：ViT的自我注意层可以表达任何卷积运算吗？在这项工作中，我们证明了一个单一的ViT层与图像补丁作为输入可以执行任何卷积运算建设性的，其中的多头注意力机制和相对的位置编码起着至关重要的作用。我们进一步提供了视觉Transformer表达CNN的头数的下限。与我们的分析相对应，实验结果表明，我们的证明中的构造可以帮助将卷积偏差注入到Transformers中，并显着提高ViT在低数据状态下的性能。
2021-11-03 cs.CV cs.LG
Convolutional Nets Versus Vision Transformers for Diabetic Foot Ulcer Classification
Universitat Pompeu Fabra（庞培法布拉大学）；University of Adelaide（阿德莱德大学）；ICREA（加泰罗尼亚研究与创新高级研究所）
本文将成熟的卷积神经网络（CNN）与最近推出的Vision Transformers进行了比较，用于在DFUC 2021年大挑战赛的背景下进行糖尿病足溃疡分类任务，这项工作获得了第一名。综合实验表明，现代CNN仍然能够在低数据条件下胜过Transformers，这可能是由于它们能够更好地利用空间相关性。此外，我们的经验表明，最近的尖锐度感知最小化（SAM）优化算法大大提高了这两种模型的泛化能力。我们的结果表明，对于这项任务，CNN和SAM优化过程的组合比任何其他考虑的方法都具有更好的性能。
2021-11-12 cs.CV eess.IV
Deep Convolutional Pooling Transformer for Deepfake Detection
The University of Hong Kong（香港大学）；Shandong University（山东大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
最近，由于社交媒体数字取证中的安全和隐私问题，Deepfake引起了公众的广泛关注。随着互联网上广泛传播的Deepfake视频变得越来越真实，传统的检测技术已经无法区分真假。大多数现有的深度学习方法主要集中在使用卷积神经网络作为骨干的人脸图像内的局部特征和关系。然而，局部特征和关系不足以让模型训练学习足够的一般信息来进行Deepfake检测。因此，现有的Deepfake检测方法已经达到了进一步提高检测性能的瓶颈。为了解决这个问题，我们提出了一个深度卷积Transformer，以在局部和全局上结合决定性的图像特征。具体来说，我们应用卷积池和重新关注来丰富提取的特征并提高功效。此外，我们采用几乎没有讨论的图像关键帧在模型训练的性能提高和可视化的关键和正常的图像帧之间的特征量差距所造成的视频压缩。最后，我们通过在几个Deepfake基准数据集上进行的大量实验来说明可转移性。所提出的解决方案在数据集内和跨数据集实验中始终优于几个最先进的基线。
2023-03-29 cs.AI cs.CV
Multi-Aperture Fusion of Transformer-Convolutional Network (MFTC-Net) for 3D Medical Image Segmentation and Visualization
University of Nevada, Reno（内华达大学雷诺分校）
本研究提出MFTC-Net，通过3D融合块整合Swin Transformers与卷积块输出，结合图像块原始分辨率与金字塔表示，在Synapse数据集上以约4000万参数实现89.73的Dice得分，提升了3D医学图像分割性能。
2024-06-24 cs.CV eess.IV
1D-Convolutional transformer for Parkinson disease diagnosis from gait
University of Quebec (TELUQ)（魁北克大学（TELUQ））；Polytechnique Montréal（蒙特利尔理工学院）
本研究提出融合卷积神经网络与Transformer的1D混合架构，通过步态VGRF信号诊断帕金森病分期，在Physionet数据集上准确率达88%，优于现有方法且可推广至其他一维信号分类问题。
2023-11-06 cs.AI cs.CV
Synthesized Speech Detection Using Convolutional Transformer-Based Spectrogram Analysis
Purdue University（普渡大学）
由于虚拟助理、用于生成和修改语音信号的易于使用的工具以及远程工作实践的流行，合成语音在今天是常见的。合成语音也可以用于邪恶的目的，包括创建一个声称的语音信号，并将其归因于没有说出信号内容的人。我们需要检测语音信号是否是合成的方法。在本文中，我们分析语音信号的频谱图的形式与一个紧凑的卷积Transformer（CCT）的合成语音检测。CCT利用卷积层将感应偏置和共享权重引入网络，从而允许Transformer架构在用于训练的数据样本较少的情况下表现良好。CCT使用注意力机制来合并来自被分析信号的所有部分的信息。在真实的人类语音信号和合成的人类语音信号上训练，我们证明了我们的CCT方法成功地区分了真实的和合成的语音信号。
2022-05-03 cs.CV cs.LG cs.SD
Deepfake Video Detection Using Convolutional Vision Transformer
Jimma University（吉姆玛大学）；Addis Ababa University（亚的斯亚贝巴大学）
深度学习模型的快速发展，可以生成和合成被称为Deepfakes的超现实视频，以及它们对公众的易用性，引起了所有相关机构对其可能的恶意使用的担忧。深度学习技术现在可以生成人脸，在视频中的两个主体之间交换人脸，改变面部表情，改变性别和改变面部特征，仅举几例。这些功能强大的视频处理方法在许多领域都有潜在的用途。然而，如果用于身份盗窃、网络钓鱼和诈骗等有害目的，它们也会对每个人构成迫在眉睫的威胁。在这项工作中，我们提出了一种用于检测Deepfakes的卷积视觉Transformer。卷积视觉变换器有两个组件：卷积神经网络（CNN）和视觉Transformer（ViT）。CNN提取可学习的特征，而ViT将学习的特征作为输入，并使用注意力机制对其进行分类。我们在DeepFake Detection Challenge Dataset（DFDC）上训练了我们的模型，并实现了91.5%的准确率，AUC值为0.91，损失值为0.32。我们的贡献是我们在ViT架构中添加了一个CNN模块，并在DFDC数据集上取得了有竞争力的结果。
2021-03-11 cs.CV
CpT: Convolutional Point Transformer for 3D Point Cloud Processing
University of Glasgow（格拉斯哥大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
我们提出了CpT：卷积点Transformer -一种用于处理3D点云数据的非结构化性质的新型深度学习架构。CpT是对现有的基于注意力的卷积神经网络以及以前的3D点云处理Transformers的改进。它之所以能实现这一壮举，是因为它通过一个专门用于动态处理局部点集邻域的卷积投影层，有效地创建了一个新颖而强大的基于注意力的点集嵌入。所得的点集嵌入对输入点的排列具有鲁棒性。我们的新CpT块建立在通过动态图计算在网络结构的每一层获得的点的局部邻域上。它是完全可微的，可以像卷积层一样堆叠，以学习点的全局属性。我们在标准基准数据集上评估我们的模型，如ModelNet 40，ShapeNet Part Segmentation和S3 DIS 3D室内场景语义分割数据集，以表明与现有的最先进的方法相比，我们的模型可以作为各种点云处理任务的有效骨干。
2021-11-21 cs.CV
PTCT: Patches with 3D-Temporal Convolutional Transformer Network for Precipitation Nowcasting
Sun Yat-Sen University（中山大学）
降水临近预报是对未来短时间内降雨强度的预报，主要依靠雷达回波序列的预报。虽然卷积神经网络（CNN）和递归神经网络（RNN）被广泛用于生成雷达回波帧，但是它们遭受感应偏差（即，平移不变性和局部性）和序列性。近年来，基于transformer的方法由于Transformer结构的巨大潜力而受到广泛关注，而忽略了短期相关性和自回归特性。在本文中，我们提出了一个变种的Transformer命名补丁与三维时间卷积Transformer网络（PTCT），其中原始帧被分割成多个补丁，以消除电感偏差的约束和三维时间卷积是用来捕捉短期的依赖性有效。训练结束后，采用自回归的方法进行PTCT的推理，以保证生成的雷达回波帧的质量。为了验证我们的算法，我们进行了实验上的两个雷达回波数据集：雷达回波广州和HKO-7。实验结果表明，PTCT实现国家的最先进的（SOTA）性能相比，现有的方法。
2022-06-03 cs.CV cs.MM
Convolutional Neural Nets vs Vision Transformers: A SpaceNet Case Study with Balanced vs Imbalanced Regimes
Department of Computer Science（计算机科学系）；San Francisco State University（旧金山州立大学）
本研究在SpaceNet数据集的平衡与非平衡划分下对比EfficientNet-B0与ViT-Base，发现类别平衡缩小架构性能差距，CNN仍具效率优势，并公开相关资源支持复现。
2025-09-29 cs.AI cs.CV cs.LG
Robust face anti-spoofing framework with Convolutional Vision Transformer
KakaoBank Corp.（韩国Kakao银行公司）；KAIST（韩国科学技术院）
本研究针对人脸反欺骗的域偏移鲁棒性问题，提出结合自注意力全局信息与卷积局部线索的卷积视觉Transformer框架，在跨数据集基准上性能优于现有模型。
2023-07-24 cs.CV
Conv2Former: A Simple Transformer-Style ConvNet for Visual Recognition
Nankai University（南开大学）；ByteDance（字节跳动）
本文并不试图设计一个国家的最先进的视觉识别方法，但研究了一种更有效的方法，利用卷积编码的空间特征。通过比较最近的卷积神经网络ConvNets和视觉Transformer的设计原理，我们提出通过利用卷积调制操作来简化自注意。我们表明，这种简单的方法可以更好地利用卷积层中嵌套的大内核（>=7x7）。我们使用所提出的卷积调制构建了一系列分层ConvNets，称为Conv2Former。我们的网络是简单和易于遵循。实验表明，我们的Conv2Former在所有ImageNet分类，COCO目标检测和ADE 20k语义分割方面都优于现有的流行ConvNets和视觉Transformer，如Swin Transformer和ConvNeXt。
2022-11-22 cs.CV
Convolutional Xformers for Vision
Indian Institute of Technology Bombay（印度理工学院孟买分校）；Department of Electrical Engineering（电气工程系）；Mumbai, India（印度孟买）
视觉Transformer（ViTs）在图像处理中的实际应用有限，尽管它们在某些基准上具有最先进的精度。其使用有限的原因包括与卷积神经网络（CNN）相比，它们需要更大的训练数据集和更多的计算资源，这是由于它们的自我注意力机制的二次复杂性。我们提出了一个线性注意力-卷积混合架构-卷积X-formers for Vision（CXV）-来克服这些限制。我们将二次注意力替换为线性注意力机制，例如Performer，Nyströmmormer和Linear Transformer，以减少其GPU使用量。图像数据的归纳先验由卷积子层提供，从而消除了对ViT使用的类标记和位置嵌入的需要。我们还提出了一种新的训练方法，在不同的训练阶段使用两种不同的优化器，并表明它可以提高不同架构中的前1名图像分类精度。在数据和GPU资源（内核、RAM、电源）有限的情况下，CXV优于其他架构、令牌混合器（例如ConvMixer、FNet和MLP Mixer）、Transformer模型（例如ViT、CCT、CvT和混合Xformer）以及用于图像分类的ResNets。
2022-01-25 cs.AI cs.CV cs.LG
A Hybrid Fully Convolutional CNN-Transformer Model for Inherently Interpretable Disease Detection from Retinal Fundus Images
Hertie Institute for AI in Brain Health, University of Tübingen, Germany（人工智能与脑健康赫尔特研究所，图宾根大学，德国）；Tübingen AI Center, University of Tübingen, Germany（图宾根人工智能中心，图宾根大学，德国）
针对医学成像中CNN-Transformer混合模型可解释性不足的问题，本研究提出一种设计上可解释的混合全卷积架构，用于视网膜疾病检测，能生成准确的定位证据图，在两项眼底图像疾病检测任务上取得SOTA性能。
2025-09-01 cs.AI cs.CV
CvT: Introducing Convolutions to Vision Transformers
McGill University（麦吉尔大学）；Microsoft Cloud + AI（微软云与人工智能）
本文提出了一种新的架构，称为卷积视觉Transformer（CvT），提高了视觉Transformer（ViT）的性能和效率，通过引入卷积到ViT产生最好的两种设计。这是通过两个主要修改来实现的：包含新卷积令牌嵌入的Transformers层次结构，以及利用卷积投影的卷积Transformer块。这些变化将卷积神经网络（CNN）的理想属性引入ViT架构（\ie移位、缩放和失真不变性），同时保持了Transformers的优点（\ie动态注意力、全局上下文和更好的泛化）。我们通过进行广泛的实验来验证CvT，表明这种方法在ImageNet-1 k上实现了比其他视觉Transformer和ResNets更先进的性能，参数更少，FLOP更低。此外，当在较大的数据集（\eg ImageNet-22 k）上进行预训练并针对下游任务进行微调时，性能增益得以保持。在ImageNet-22 k上进行预训练后，我们的CvT-W24在ImageNet-1 k val集上获得了87.7\%的前1准确率。最后，我们的研究结果表明，位置编码，在现有的视觉Transformer的一个重要组成部分，可以安全地删除在我们的模型，简化设计更高分辨率的视觉任务。代码将在\url{https://github.com/leoxiaobin/CvT}发布。
2021-03-29 cs.CV
The Fully Convolutional Transformer for Medical Image Segmentation
University of Glasgow（格拉斯哥大学）
我们提出了一种新的Transformer模型，能够分割不同形式的医学图像。医学图像分析的细粒度性质所带来的挑战意味着Transformer对其分析的适应仍处于初期阶段。UNet的压倒性成功在于它能够理解细分任务的细粒度性质，这是现有的基于Transformer的模型目前无法实现的能力。为了解决这个缺点，我们提出了全卷积Transformer（FCT），它建立在卷积神经网络学习有效图像表示的能力的基础上，并将它们与Transformers的能力相结合，以有效地捕获其输入中的长期依赖关系。FCT是医学成像文献中第一个完全卷积的Transformer模型。它分两个阶段处理输入，首先，它学习从输入图像中提取长范围语义依赖关系，然后学习从特征中捕获分层全局属性。FCT结构紧凑、精确、坚固。我们的研究结果表明，它优于所有现有的Transformer架构的大利润率在多个医学图像分割数据集的不同的数据模式，而不需要任何预训练。FCT在ACDC数据集上的表现优于其直接竞争对手1.3%，在Synapse数据集上的表现优于其直接竞争对手4.4%，在Spleen数据集上的表现优于其直接竞争对手1.2%，在ISIC 2017数据集上的表现优于其直接竞争对手1.1%。我们的代码、环境和模型将通过GitHub提供。
2023-01-29 cs.CV eess.IV
ConvTransformer: A Convolutional Transformer Network for Video Frame Synthesis
Southeast University（东南大学）
深度卷积神经网络（CNN）是功能强大的模型，在困难的计算机视觉任务上取得了出色的性能。虽然CNN在大的标记训练样本可用时表现良好，但由于对象变形和移动，场景照明变化以及摄像机在视频序列中移动，它们在视频帧合成方面表现不佳。在本文中，我们提出了一种新颖的和通用的端到端架构，称为卷积Transformer或ConvTransformer，用于视频帧序列学习和视频帧合成。ConvTransformer的核心成分是建议的注意力层，即，多头卷积自注意层，学习视频序列的顺序依赖性。ConvTransformer使用构建在多头卷积自注意层上的编码器对输入帧之间的顺序依赖进行编码，然后解码器对目标合成帧与输入帧之间的长期依赖进行解码。视频未来帧外推任务的实验表明，ConvTransformer在质量上更优越，同时与基于卷积LSTM（ConvLSTM）的最新方法相比更具并行性。据我们所知，这是第一次提出ConvTransformer架构并应用于视频帧合成。
2021-06-01 cs.CV
An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale
Google Research（谷歌研究院）
虽然Transformer架构已成为自然语言处理任务的事实标准，但其在计算机视觉中的应用仍然有限。在视觉中，注意力要么与卷积网络结合使用，要么用于替换卷积网络的某些组件，同时保持其整体结构不变。我们证明了这种对CNN的依赖是不必要的，直接应用于图像块序列的纯Transformer可以在图像分类任务中表现得非常好。当对大量数据进行预训练并传输到多个中型或小型图像识别基准测试（ImageNet，CIFAR-100，VTAB等）时，与最先进的卷积网络相比，视觉Transformer（ViT）获得了出色的结果，同时需要更少的计算资源来进行训练。
2021-06-03 cs.AI cs.CV cs.LG
MIST: Medical Image Segmentation Transformer with Convolutional Attention Mixing (CAM) Decoder
Purdue University（普渡大学）
本文提出MIST模型，通过结合MaxViT编码器和卷积注意力混合解码器，增强局部与长程特征建模，在ACDC和Synapse数据集上取得领先的医学图像分割性能。
2023-10-30 cs.CV cs.LG
Feature Fusion for Human Activity Recognition using Parameter-Optimized Multi-Stage Graph Convolutional Network and Transformer Models
Khalifa University of Science and Technology（哈利法科学技术大学）；Abu Dhabi University（阿布扎比大学）
本研究针对人体行为识别任务，提出结合PO-MS-GCN与Transformer的特征融合方法，在四个公开数据集上验证了其有效性，且PO-MS-GCN性能优于现有最优模型。
2024-06-24 cs.AI cs.CV
Comparison between transformers and convolutional models for fine-grained classification of insects
Naturalis Biodiversity Center（自然生物多样性中心）；Tilburg University（蒂尔堡大学）
针对昆虫细粒度分类难题，对比全Transformer、全卷积及混合三类模型，发现混合模型准确率最优，全Transformer模型推理更快且对小样本鲁棒。
2023-07-20 cs.CV cs.LG
Semi-Supervised Vision Transformers
Fudan University（复旦大学）；Meta AI；Baidu Apollo（百度阿波罗）
研究了用于半监督图像分类的视觉Transformer的训练问题。Transformers最近在众多的监督学习任务中表现出令人印象深刻的性能。令人惊讶的是，当只有一小部分标记数据可用时，我们发现视觉Transformer的性能明显低于卷积神经网络。受此观察的启发，我们引入了一个联合半监督学习框架Semiformer，它包含一个Transformer流，一个卷积流和一个精心设计的融合模块，用于这些流之间的知识共享。卷积流在有限的标记数据上训练，并进一步用于生成伪标记以监督Transformer流在未标记数据上的训练。在ImageNet上进行的大量实验表明，Semiformer实现了75.5%的top-1准确率，明显优于最先进的技术。此外，我们还展示了Semiformer是一个通用框架，与大多数现代Transformer和卷积神经架构兼容。代码可在https://github.com/wengzejia1/Semiformer上获得。
2022-07-17 cs.CV
Image Classification of Stroke Blood Clot Origin using Deep Convolutional Neural Networks and Visual Transformers
本文提出利用四种深度神经网络架构和简单集成方法，对急性缺血性卒中的心源性与大动脉粥样硬化性两种病因亚型进行血凝块图像分类。
2023-05-25 cs.CV
Transformer-Guided Convolutional Neural Network for Cross-View Geolocalization
Southeast University（东南大学）
地对空地理定位是指通过将地面查询图像与地理标记的航空图像的参考数据库进行匹配来定位地面查询图像。这是非常具有挑战性的，因为这两个视图之间的视觉外观和几何配置存在巨大的透视差异。在这项工作中，我们提出了一种新的Transformer-guided卷积神经网络（transGCNN）架构，它将基于CNN的局部特征与基于transformer的全局表示相结合，以增强表示学习。具体来说，我们的transG CNN由一个CNN骨干提取特征图从输入图像和一个Transformer头建模全局上下文从CNN地图。特别是，我们的Transformer头充当空间感知重要性生成器，以选择突出的CNN特征作为最终特征表示。这样的耦合过程使我们能够利用一个轻量级的Transformer网络，大大提高了嵌入式功能的判别能力。此外，我们还设计了一个双分支Transformer头网络来组合来自多尺度窗口的图像特征，以改善全局特征表示的细节。在流行的基准数据集上进行的大量实验表明，我们的模型在CVUSA和CVACT_val上分别达到了94.12%和84.92%的top-1准确率，这优于第二个执行基准，参数不到50%，帧速率提高了近2倍，因此实现了更好的准确率-效率权衡。
2022-04-21 cs.CV
A Fusion Model for Artwork Identification Based on Convolutional Neural Networks and Transformers
The School of Control and Computer Engineering, North China Electric Power University（华北电力大学控制与计算机工程学院）
本文提出一种融合CNN与Transformer的艺术品识别模型，结合局部与全局特征，在中国画和油画数据集上分类准确率分别提升9.7%和7.1%，F1分数提升0.06和0.05。
2025-02-27 cs.CV
