ConvNets vs. Transformers: Whose Visual Representations are More Transferable?
The University of Hong Kong(香港大学);ShanghaiTech University(上海科技大学)
视觉变换器吸引了计算机视觉研究人员的广泛关注,因为它们不限于ConvNets的空间感应偏差。然而,尽管基于Transformer的主干在ImageNet分类方面取得了很大进展,但目前还不清楚学习的表示是否与ConvNets的特征一样可转移,甚至比ConvNets的特征更可转移。为了解决这一点,我们系统地研究了ConvNets和视觉转换器在15个单任务和多任务性能评估中的迁移学习能力。考虑到预训练模型的性能与迁移学习之间的强相关性,我们包括2个剩余ConvNets(即,R-101 x3和R-152 x4)和3个基于transformer的视觉骨干(即,ViT-B,ViT-L和Swin-B),在ImageNet上具有接近的错误率,这表明在下游数据集上具有类似的迁移学习性能。我们在13个下游任务上观察到基于transformer的骨干的一致优势(共15项),包括但不限于细粒度分类、场景识别(分类、分割和深度估计)、开域分类、人脸识别等。更具体地说,我们发现,两个ViT模型严重依赖于整个网络的微调,以实现性能增益,而Swin变压器没有这样的要求。此外,视觉变换器在多任务学习中表现得更鲁棒,即,在管理互利的任务时带来更多的改进,并在处理不相关的任务时减少性能损失。我们希望我们的发现可以促进未来视觉转换器的探索和开发。
2021-08-17 cs.CV
ParC-Net: Position Aware Circular Convolution with Merits from ConvNets and Transformer
Intellifusion(云天励飞)
最近,视觉Transformer开始显示出令人印象深刻的结果,这些结果显着优于基于大型卷积的模型。然而,在移动或资源受限设备的小型模型领域,ConvNet在性能和模型复杂度方面仍然有自己的优势。我们提出了ParC-Net,一个纯粹的基于ConvNet的骨干模型,通过将视觉Transformer的优点融合到ConvNet中,进一步加强了这些优势。具体来说,我们提出了位置感知循环卷积(ParC),这是一种轻量级卷积运算,它拥有全局感受野,同时像局部卷积一样产生位置敏感特征。我们将ParCs和挤压激发操作结合起来,形成一个类似模型块的元模型,它还具有类似Transformers的注意力机制。上述块可以以即插即用的方式用于替换ConvNets或Transformers中的相关块。实验结果表明,在常见的视觉任务和数据集上,所提ParC-Net模型比目前流行的轻量级ConvNets和基于视觉Transformer的模型具有更好的性能,同时具有更少的参数和更快的推理速度。对于ImageNet-1 k上的分类,ParC-Net使用约500万个参数实现了78.6%的top-1准确率,节省了11%的参数和13%的计算成本,但与MobileViT相比,精度提高了0.2%,推理速度提高了23%(基于ARM的Rockchip RK3288),并且与DeIT相比,仅使用了0.5倍的参数,但精度提高了2.7%。…
2022-07-26 cs.CV
ConvNet vs Transformer, Supervised vs CLIP: Beyond ImageNet Accuracy
MBZUAI(穆罕默德·本·扎耶德人工智能大学);Meta AI Research(元人工智能研究院)
本文比较了ConvNet与Vision Transformer在监督和CLIP训练下的模型行为,发现尽管ImageNet准确率相似,但在错误类型、输出校准、可迁移性和特征不变性等方面存在显著差异,强调了模型选择需超越单一准确率指标。
2024-07-23 cs.CV cs.LG
Stabilizing Deep Q-Learning with ConvNets and Vision Transformers under Data Augmentation
University of California, San Diego(加利福尼亚大学圣迭戈分校)
虽然通过强化学习(RL)训练的智能体可以直接从视觉观察中解决越来越具有挑战性的任务,但将学习到的技能推广到新的环境仍然非常具有挑战性。广泛使用数据增强是一种很有前途的提高RL泛化能力的技术,但它通常会降低样本效率,甚至会导致发散。在本文中,我们调查的不稳定性的原因时,使用数据增强在常见的非政策RL算法。我们确定了两个问题,都植根于高方差Q目标。基于我们的研究结果,我们提出了一个简单而有效的技术,稳定这类算法下增强。我们使用ConvNets和视觉Transformer(ViT)对基于DeepMind Control Suite的一系列基准以及机器人操作任务进行了广泛的基于图像的RL的实证评估。我们的方法大大提高了增强条件下ConvNets的稳定性和样本效率,并在具有不可见视觉效果的环境中实现了与基于图像的RL的最先进方法竞争的泛化结果。我们进一步表明,我们的方法可扩展到基于ViT的架构的RL,并且数据增强在这种情况下可能特别重要。
2021-12-09 cs.CV cs.LG cs.RO
Are Large Kernels Better Teachers than Transformers for ConvNets?
Eindhoven University of Technology(埃因霍温理工大学);University of Texas at Austin(德克萨斯大学奥斯汀分校);JD Explore Academy(京东探索研究院);University of Liverpool(利物浦大学)
本文首次系统研究了大核卷积神经网络作为教师模型对小核卷积神经网络进行知识蒸馏的效果,发现其因架构更相似而显著优于 Transformer 教师,并在 ImageNet 上以 83.1% top-1 准确率取得 30M 参数以下最佳纯卷积神经网络结果。
2023-05-30 cs.AI cs.CV
LeViT: a Vision Transformer in ConvNet's Clothing for Faster Inference
我们设计了一个家庭的图像分类架构,优化在高速政权的准确性和效率之间的权衡。我们的工作利用了最近的研究结果,在高度并行处理硬件上具有竞争力的基于注意力的架构。我们重新审视了大量关于卷积神经网络的文献中的原理,将其应用于Transformers,特别是具有降低分辨率的激活图。我们还介绍了注意偏差,一种新的方式来整合位置信息的视觉Transformer。因此,我们提出了LeVIT:一个混合神经网络的快速推理图像分类。我们在不同的硬件平台上考虑不同的效率指标,以便最好地反映广泛的应用场景。我们广泛的实验经验验证了我们的技术选择,并表明它们适用于大多数架构。总体而言,LeViT在速度/精度权衡方面明显优于现有的convnet和视觉Transformer。例如,在ImageNet top-1准确率为80%的情况下,LeViT在CPU上比EfficientNet快5倍。我们在https://github.com/facebookresearch/LeViT上发布了代码
2021-05-06 cs.CV
Video Action Recognition Collaborative Learning with Dynamics via PSO-ConvNet Transformer
University of Coimbra(科英布拉大学);CISUC(科英布拉大学信息与系统中心)
本文提出动态PSO-ConvNet模型,将粒子群优化与ConvNet、Transformer和循环神经网络结合,通过权重共享与协同学习提升视频动作识别准确率,在UCF-101等数据集上取得显著提升。
2023-09-21 cs.CV
simCrossTrans: A Simple Cross-Modality Transfer Learning for Object Detection with ConvNets or Vision Transformers
Hunter College, CUNY(纽约市立大学亨特学院);The Graduate Center, CUNY(纽约市立大学研究生中心)
迁移学习广泛应用于计算机视觉、自然语言处理等领域,并取得了巨大的成功。大多数迁移学习系统都基于相同的模态(例如CV中的RGB图像和NLP中的文本)。然而,跨模态迁移学习(CMTL)系统却很少。在这项工作中,我们研究CMTL从2D到3D传感器,探索上限性能的3D传感器只有系统,在机器人导航中发挥关键作用,并在低光场景下表现良好。虽然从2D到3D视觉的大多数CMTL管道都很复杂,并且基于卷积神经网络(ConvNets),但我们的管道很容易实现,扩展并基于ConvNets和视觉Transformer(ViTs):1)通过将点云转换为伪图像,我们可以使用基于2D图像的预训练模型的几乎相同的网络。这使得我们的系统易于实现和扩展。2)最近ViTs已经显示出良好的性能和鲁棒性的闭塞,3D视觉系统的性能差的关键原因之一。我们使用相似的模型大小探索了ViT和ConvNet,以研究性能差异。我们将我们的方法命名为simCrossTrans:使用ConvNets或ViTs的简单跨模态迁移学习。在SUN RGB-D数据集上的实验表明:使用simCrossTrans分别实现了基于ConvNets和ViTs的$13.2\%$和$16.1\%$的绝对性能增益。我们还观察到基于ViT的执行$9.7\%$优于ConvNets,显示了simCrossTrans与ViT的强大功能。具有ViTs的simCrossTran…
2022-03-20 cs.CV
Universal Neural Architecture Space: Covering ConvNets, Transformers and Everything in Between
Department of Cybernetics FEE, Czech Technical University(控制系,捷克技术大学)
本文提出通用神经架构空间UniNAS,统一卷积网络与Transformer,并设计新搜索算法及标准化工具包,以发现优于手工设计的架构,推动NAS研究。
2025-10-07 cs.CV
MedNeXt: Transformer-driven Scaling of ConvNets for Medical Image Segmentation
German Cancer Research Center (DKFZ)(德国癌症研究中心);Heidelberg University(海德堡大学);National Center for Tumor Diseases (NCT)(国家肿瘤疾病中心);University Medical Center Heidelberg(海德堡大学医院);Helmholtz Imaging(亥姆霍兹成像机构)
本文提出MedNeXt,一种受Transformer启发的现代化可扩展大核3D卷积分割网络,通过引入全ConvNeXt编解码器、残差上下采样块、迭代核扩展及复合缩放技术,在数据稀缺的医学图像分割任务中实现了最先进性能。
2024-06-02 cs.CV cs.LG eess.IV
VidConv: A modernized 2D ConvNet for Efficient Video Recognition
CyberCore AI(赛博核心人工智能)
自2020年推出以来,视觉Transformer(ViT)一直在稳步打破许多视觉任务的记录,并经常被描述为取代ConvNet的“所有你需要的”。尽管如此,ViT通常是计算性的、消耗内存的,并且对于嵌入式设备不友好。此外,最近的研究表明,标准的ConvNet如果经过适当的重新设计和训练,可以在准确性和可扩展性方面与ViT竞争。在本文中,我们采用现代化的ConvNet结构,设计了一个新的骨干动作识别。特别是,我们的主要目标是服务于工业产品部署,例如仅支持标准操作的FPGA板。因此,我们的网络仅由2D卷积组成,而不使用任何3D卷积,远程注意力插件或Transformer块。虽然使用更少的epoch(5x-10 x)进行训练,但我们的骨干超越了使用(2+1)D和3D卷积的方法,并在两个基准数据集上实现了与ViT相当的结果。
2022-07-08 cs.CV
DECO: Unleashing the Potential of ConvNets for Query-based Detection and Segmentation
Tsinghua University(清华大学)
本文提出DECO,一种基于纯卷积的查询式检测与分割框架,通过InterConv机制实现对象查询与图像特征交互,在COCO上取得竞争性性能,并验证了高效性。
2025-02-27 cs.CV
ViT-V-Net: Vision Transformer for Unsupervised Volumetric Medical Image Registration
Johns Hopkins University(约翰斯·霍普金斯大学);Johns Hopkins Medical Institutes(约翰斯·霍普金斯医学研究所)
在过去的十年中,卷积神经网络(ConvNets)在各种医学成像应用中占据主导地位并实现了最先进的性能。然而,由于缺乏对图像中长距离空间关系的理解,ConvNets的性能仍然受到限制。最近提出的Vision Transformer(ViT)图像分类使用一个纯粹的自我注意力为基础的模型,学习远程空间关系,专注于图像的相关部分。然而,ViT由于连续下采样而强调低分辨率特征,导致缺乏详细的定位信息,不适合图像配准。最近,几种基于ViT的图像分割方法已与ConvNets相结合,以提高详细定位信息的恢复。受此启发,我们提出了ViT-V-Net,它将ViT和ConvNet连接起来,提供体积医学图像配准。实验结果表明,所提出的架构实现了优越的性能,几个顶级性能的注册方法。
2021-04-13 cs.CV eess.IV
UniRepLKNet: A Universal Perception Large-Kernel ConvNet for Audio, Video, Point Cloud, Time-Series and Image Recognition
Tencent AI Lab(腾讯AI实验室);The Chinese University of Hong Kong(香港中文大学)
本文提出大核卷积网络设计四准则,并证明大核是解锁卷积网络在非视觉领域卓越性能的关键,UniRepLKNet在图像、时间序列和音频任务上达到领先性能。
2024-03-18 cs.AI cs.CV cs.LG
Designing Concise ConvNets with Columnar Stages
ScoreLabsAI;Seoul National University(首尔大学)
本文提出柱状阶段网络CoSNet,通过输入复制、少核并行卷积的柱状堆叠并减少1x1卷积,在资源受限场景下以低参数和低FLOPs实现与知名模型相当的性能。
2025-03-08 cs.CV
iFormer: Integrating ConvNet and Transformer for Mobile Application
Independent Researcher(独立研究者)
针对移动应用的延迟与精度优化问题,提出iFormer混合视觉网络,通过整合卷积的局部表示与高效调制注意力的全局建模能力,在ImageNet及下游任务上优于现有轻量网络,实现高准确率与低延迟平衡。
2025-02-17 cs.AI cs.CV cs.LG
Dynamic Clone Transformer for Efficient Convolutional Neural Netwoks
卷积网络(ConvNets)在解决各种视觉任务方面表现出令人印象深刻的能力。然而,性能和效率之间的权衡仍然是一个挑战,一个可行的模型部署在资源有限的平台。在本文中,我们引入了一个新的概念,称为多路径全连接模式(MPFC)重新思考的相互依赖性的拓扑模式,准确性和效率的ConvNets。受MPFC的启发,我们进一步提出了一个双分支模块命名为动态克隆Transformer(DCT),其中一个分支从输入生成多个副本,另一个分支通过一系列有条件的差异向量对输入本身进行改革,以产生更多的变体。这种操作允许以数据驱动的方式以很少的计算成本自扩展通道信息,同时提供足够的学习能力,这是一个潜在的单元,以取代计算昂贵的逐点卷积作为瓶颈结构中的扩展层。
2021-06-12 cs.CV cs.LG
More ConvNets in the 2020s: Scaling up Kernels Beyond 51x51 using Sparsity
University of Texas at Austin(德克萨斯大学奥斯汀分校);Eindhoven University of Technology(埃因霍温理工大学);University of Jyväskylä(于韦斯屈莱大学);University of Twente(特文特大学);University of Luxembourg(卢森堡大学)
自视觉Transformer(ViTs)出现以来,Transformers迅速在计算机视觉领域大放异彩。卷积神经网络(CNN)的主导地位似乎受到越来越有效的基于变换器的模型的挑战。最近,一些先进的卷积模型通过局部窗口注意力机制激发的大内核进行反击,显示出吸引人的性能和效率。虽然其中一个,即RepLKNet,令人印象深刻地设法将内核大小扩展到31 x31并提高了性能,但与Swin Transformer等高级ViT的扩展趋势相比,随着内核大小的继续增长,性能开始饱和。在本文中,我们探索了训练大于31 x31的极端卷积的可能性,并测试了是否可以通过策略性地扩大卷积来消除性能差距。这项研究最终从稀疏性的角度提出了一种应用超大内核的方法,它可以平滑地将内核扩展到61 x61,并具有更好的性能。在此基础上,我们提出了稀疏大内核网络(SLaK),这是一种纯CNN架构,配备稀疏分解的51 x51内核,在ImageNet分类以及广泛的下游任务(包括ADE 20 K上的语义分割)上的性能与最先进的分层Transformers和现代ConvNet架构(如ConvNeXt和RepLKNet)相当或更好,PASCAL VOC 2007上的目标检测和MS COCO上的目标检测/分割。
2023-03-03 cs.CV
Divert More Attention to Vision-Language Tracking
Beijing Jiaotong University(北京交通大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of North Texas(北得克萨斯大学)
依靠Transformer进行复杂的视觉特征学习,对象跟踪已经成为最先进技术(SOTA)的新标准。然而,这种进步伴随着更大的训练数据和更长的训练周期,使得跟踪越来越昂贵。在本文中,我们证明了对Transformer的依赖是不必要的,纯ConvNets在实现SOTA跟踪方面仍然具有竞争力,甚至更好,更经济和友好。我们的解决方案是释放多模态视觉语言(VL)跟踪的力量,只需使用ConvNets。其本质在于使用我们的模态混合器(ModaMixer)和非对称ConvNet搜索来学习新的统一自适应VL表示。我们表明,我们的统一自适应VL表示,纯粹使用ConvNets学习,是Transformer视觉特征的简单而强大的替代品,通过令人难以置信地将基于CNN的Siamese跟踪器在SUC中提高了14.5%,挑战LaSOT(50.7% > 65.2%),甚至优于几个基于Transformer的SOTA跟踪器。除了实证结果,我们从理论上分析我们的方法来证明其有效性。通过揭示VL表示的潜力,我们期望社区将更多注意力转移到VL跟踪上,并希望为Transformer之外的未来跟踪开辟更多可能性。代码和模型将在https://github.com/JudasDie/SOTS上发布。
2022-07-03 cs.CV
TransMorph: Transformer for unsupervised medical image registration
Johns Hopkins Medical Institutes(约翰·霍普金斯医学院);Johns Hopkins University(约翰·霍普金斯大学);NVIDIA Corporation(英伟达公司);Duke University Medical Center(杜克大学医学中心);Massachusetts General Hospital(麻省总医院);Harvard Medical School(哈佛医学院)
在过去的十年中,卷积神经网络(ConvNets)一直是医学图像分析研究的主要焦点。然而,ConvNets的性能可能会受到缺乏对图像中的远程空间关系的明确考虑的限制。最近,Vision Transformer架构被提出来解决ConvNets的缺点,并在许多医学成像应用中产生了最先进的性能。Transformers可以是图像配准的强有力的候选者,因为它们显著更大的感受野使得能够更精确地理解移动图像和固定图像之间的空间对应。在这里,我们提出了transMorph,一个混合transformer-ConvNet模型的体积医学图像配准。本文还介绍了transMorph的非纯变体和贝叶斯变体:非纯变体确保拓扑保持变形,贝叶斯变体产生校准良好的配准不确定性估计。我们广泛验证了所提出的模型,使用三维医学图像从三个应用程序:患者间和图集到患者的大脑MRI配准和幻影到CT配准。所提出的模型进行评估,比较各种现有的注册方法和Transformer架构。定性和定量的结果表明,所提出的基于变压器的模型导致了一个实质性的性能改进的基线方法,确认的有效性Transformers的医学图像配准。
2022-10-15 cs.AI cs.CV eess.IV
Alias-Free ViT: Fractional Shift Invariance via Linear Attention
Technion(技术离子)
针对ViT缺乏平移不变性且对图像平移敏感的问题,提出无混叠ViT,通过无混叠下采样、非线性和线性互协方差注意力实现分数平移等变,在保持分类性能的同时提升对抗平移鲁棒性。
2025-10-26 cs.CV
Masked Siamese ConvNets
Meta AI;NYU(纽约大学)
自监督学习在各种视觉基准上表现出优于监督方法的性能。连体网络是最成功的自监督视觉表示学习方法之一,它鼓励嵌入对失真保持不变。在所有的增强方法中,掩蔽是最通用和最直接的方法,它有可能应用于所有类型的输入,并且需要最少的领域知识。然而,掩蔽连体网络需要特定的电感偏置,并且实际上仅与视觉Transformer配合使用。这项工作经验性地研究了ConvNets掩盖的siamese网络背后的问题。我们提出了一些经验设计,以克服这些问题逐步。我们的方法在低拍摄图像分类上表现出竞争力,并且在目标检测基准上优于以前的方法。我们讨论了几个剩余的问题,并希望这项工作可以为未来的通用自监督学习提供有用的数据点。
2022-06-15 cs.AI cs.CV cs.LG
Finding Differences Between Transformers and ConvNets Using Counterfactual Simulation Testing
Boston University(波士顿大学);Georgetown University(乔治城大学);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
现代深度神经网络倾向于在静态测试集上进行评估。这样做的一个缺点是,不能容易地评估这些深度神经网络相对于特定场景变化的鲁棒性问题。例如,很难研究这些网络对对象尺度、对象姿态、场景照明和3D遮挡变化的鲁棒性。主要原因是收集具有足够规模的细粒度自然变化的真实数据集可能非常耗时且昂贵。在这项工作中,我们提出了反事实模拟测试,一个反事实的框架,使我们能够研究神经网络的鲁棒性方面的一些这些自然的变化,通过建立现实的合成场景,使我们能够问反事实的问题的模型,最终提供答案的问题,如“你的分类仍然是正确的,如果从顶部的对象?或者“如果物体被另一个物体部分遮挡,你的分类仍然正确吗?”".我们的方法允许公平比较最近发布的最先进的卷积神经网络和视觉Transformer的鲁棒性,相对于这些自然的变化。我们发现证据表明,ConvNext比Swin更强大的姿态和规模变化,ConvNext更好地推广到我们的模拟域,Swin处理部分遮挡比ConvNext更好。我们还发现,所有网络的鲁棒性随着网络规模、数据规模和种类的增加而提高。我们发布了自然变化对象数据集(NVD),这是一个大型模拟数据集,包含272k张日常物体的图像,具有自然变化,如物体姿态,比例,视点,照明和遮挡。项目页面:https://counterfactualsimulation.github.io
2022-11-29 cs.AI cs.CV cs.LG
ConTNet: Why not use convolution and transformer at the same time?
Beijing University of Posts and Telecommunications(北京邮电大学);ByteDance AI Lab(字节跳动人工智能实验室)
虽然卷积网络(ConvNets)在计算机视觉(CV)中取得了巨大的成功,但它在捕获对密集预测任务(如目标检测和分割)至关重要的全局信息方面存在缺陷。在这项工作中,我们创新性地提出了ConTNet(卷积Transformer网络),结合Transformer与ConvNet架构,以提供大的感受野。与最近提出的基于变换器的模型(例如,ViT,DeiT),它们对超参数敏感,并且在中型数据集上从头开始训练时极度依赖于一堆数据增强(例如,ImageNet 1 k),ConTNet可以像普通ConvNet一样优化(例如,ResNet)并保持出色的鲁棒性。同样值得指出的是,在相同的强数据增强下,ConTNet的性能改进比ResNet更显著。在图像分类和后续任务中,展示了该算法的优越性和有效性。例如,我们的ConTNet在ImageNet上实现了81.8%的top-1准确率,与DeiT-B相同,但计算复杂性不到40%。在COCO 2017数据集上,ConTNet-M作为Faster-RCNN(增长2.6%)和Mask-RCNN(增长3.2%)的主干,表现也优于ResNet 50。我们希望ConTNet可以作为CV任务的有用骨干,并为模型设计带来新的想法
2021-05-10 cs.CV
PaPr: Training-Free One-Step Patch Pruning with Lightweight ConvNets for Faster Inference
University of Texas at Austin(德克萨斯大学奥斯汀分校);Bosch Research North America(博世北美研究院);Amazon Prime Video(亚马逊Prime Video)
PaPr利用轻量级卷积神经网络无需重新训练即可一步式剪枝冗余图像块,在ViTs、ConvNets和混合Transformer上实现约70%的图像块缩减和最高3.7倍FLOPs下降,且准确率损失极小。
2024-07-03 cs.CV
Mix & Match: training convnets with mixed image sizes for improved accuracy, speed and scale resiliency
Habana Labs(哈瓦那实验室);ETH Zurich(苏黎世联邦理工学院);Technion(以色列理工学院)
卷积神经网络(CNN)通常使用针对给定模型预定的固定空间图像大小来训练。虽然CNN是在特定大小的图像上训练的,但已经确定CNN可以通过调整中间特征图的大小来在测试时评估各种图像大小。在这项工作中,我们描述和评估一种新的混合大小的训练制度,混合几个图像大小在训练时间。我们证明,使用我们的方法训练的模型对图像大小的变化更有弹性,即使在小图像上也能很好地泛化。这允许通过使用较小的图像证明时间来更快地推断。例如,我们使用ResNet50获得了76.43%的top-1精度,图像大小为160,这与基线模型的精度相匹配,计算量减少了2倍。此外,对于测试时使用的给定图像大小,我们表明该方法可以用于加速训练或最终测试精度。例如,我们能够达到79.27%的准确度,在288空间大小评估的模型比基线相对提高了14%。
2019-08-12 cs.CV cs.LG stat.ML
DiCo: Revitalizing ConvNets for Scalable and Efficient Diffusion Modeling
CASIA(中国科学院自动化研究所);UCAS(中国科学技术大学);ByteDance(字节跳动)
本文提出DiCo,一种完全基于标准卷积模块的扩散模型,通过紧凑通道注意力机制降低通道冗余,在ImageNet生成上以2.7-3.1倍加速超越DiT,并展现出文本到图像生成潜力。
2025-09-22 cs.CV
Fast-ParC: Capturing Position Aware Global Feature for ConvNets and ViTs
Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Hong Kong Polytechnic University(香港理工大学);Northwestern Polytechnical University(西北工业大学);Intellifusion(云天励飞)
本文提出位置感知循环卷积ParC及其FFT加速版Fast-ParC,以即插即用方式融合ConvNets与ViTs优势,在保持低计算成本的同时扩大感受野,提升分类、检测和分割任务性能。
2023-11-30 cs.CV
Training data-efficient image transformers & distillation through attention
Facebook AI(脸书人工智能研究院);Sorbonne University(索邦大学)
最近,纯粹基于注意力的神经网络被证明可以解决图像理解任务,例如图像分类。然而,这些视觉Transformers使用昂贵的基础设施使用数亿张图像进行预训练,从而限制了它们的采用。在这项工作中,我们只在Imagenet上训练,产生了一个有竞争力的无卷积Transformer。我们在不到3天的时间内就在一台计算机上对他们进行训练。我们的参考视觉Transformer(86 M参数)在ImageNet上实现了83.1%的顶级准确率(单作物评估),无需外部数据。更重要的是,我们引入了一个针对Transformers的师生策略。它依赖于一个蒸馏令牌,确保学生通过注意力从老师那里学习。我们展示了这种基于令牌的蒸馏的兴趣,特别是当使用convnet作为老师时。这使得我们报告的结果与convnets的Imagenet(在那里我们获得高达85.2%的准确率)和转移到其他任务时具有竞争力。我们共享代码和模型。
2021-01-15 cs.CV
Revisiting Image Deblurring with an Efficient ConvNet
Max-Planck-Institut für Informatik(马克斯·普朗克信息学研究所)
图像去模糊的目的是从模糊图像中恢复潜在的清晰图像,在计算机视觉中有着广泛的应用。卷积神经网络(CNN)在这一领域已经表现良好多年,直到最近,一种替代的网络架构,即Transformer,已经表现出更强的性能。人们可以将其优越性归因于多头自注意(MHSA)机制,它提供了比CNN更大的感受野和更好的输入内容适应性。然而,由于MHSA需要相对于输入分辨率二次增长的高计算成本,因此对于高分辨率图像去模糊任务来说变得不切实际。在这项工作中,我们提出了一个统一的轻量级CNN网络,具有较大的有效感受野(ERF),并表现出可比甚至更好的性能比Transformers,同时承担更少的计算成本。我们的关键设计是一个高效的CNN块称为LaKD,配备了一个大的内核深度卷积和空间通道混合结构,实现可比或更大的ERF比Transformers,但具有较小的参数规模。具体来说,我们在散焦/运动去模糊基准数据集上实现了+0.17dB / +0.43dB PSNR,参数减少了32%,MAC减少了39%。大量的实验证明了我们的网络的优越性能和每个模块的有效性。此外,我们提出了一个紧凑和直观的ERFMeter度量,定量表征ERF,并显示出高度的相关性,网络性能。我们希望这项工作可以激励研究界进一步探索图像去模糊任务之外的CNN和Transformer架构的优缺点。
2023-02-04 cs.CV
Google Landmark Retrieval 2021 Competition Third Place Solution
LINE Corp(LINE公司);NVIDIA(英伟达)
我们为2021年谷歌地标挑战赛提供了我们的解决方案,包括检索和识别轨道。这两种解决方案都是基于具有动态余量的子中心ArcFace的Transformers和ConvNet模型的集合。由于这两个音轨共享相同的训练数据,因此我们使用相同的管道和训练方法,但是具有用于集成的不同模型选择和不同的后处理。与去年相比,关键的改进是更新的最先进的视觉架构,特别是Transformers,它在检索任务上的表现明显优于ConvNets。我们分别在检索和识别曲目中获得第三和第四名。
2021-10-09 cs.CV
Revealing the Dark Secrets of Extremely Large Kernel ConvNets on Robustness
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Shanghai Jiao Tong University(上海交通大学);Meituan(美团)
该研究针对大核卷积神经网络鲁棒性及成因不明的问题,通过多基准评估与定性定量实验,首次证实纯CNN可具备媲美甚至超越ViT的鲁棒性,并揭示了其鲁棒性来源的相关特性。
2024-07-12 cs.CV
UTSRMorph: A Unified Transformer and Superresolution Network for Unsupervised Medical Image Registration
School of Mechanical Engineering and Automation, Beihang University(北京航空航天大学机械工程及自动化学院);Peking University School and Hospital of Stomatology(北京大学口腔医学院);The First Center of Chinese PLA General Hospital(中国人民解放军总医院第一医学中心)
提出无监督医学图像配准网络 UTSRMorph,通过融合 ConvNet 与 Transformer 注意力、重叠交叉注意力及超分辨率解码,提升脑 MR 与 MR-CT 配准性能。
2024-10-27 cs.CV
Emerging Properties in Self-Supervised Vision Transformers
Facebook AI Research(脸书人工智能研究院);Inria(法国国家信息与自动化研究所);Sorbonne University(索邦大学)
在本文中,我们质疑自监督学习是否为视觉Transformer(ViT)提供了与卷积网络(convnets)相比突出的新属性。除了自监督方法适应这种架构特别好的事实,我们做了以下观察:第一,自监督ViT功能包含明确的信息的语义分割的图像,这并不清楚地出现与监督ViT,也与convnets。其次,这些特征也是优秀的k-NN分类器,在ImageNet上达到了78.3%的top-1,具有较小的ViT。我们的研究还强调了动量编码器,多作物训练以及使用ViTs小补丁的重要性。我们将我们的发现应用到一个简单的自我监督方法中,称为DINO,我们将其解释为一种没有标签的自我蒸馏形式。我们通过在ImageNet上使用ViT-Base进行线性评估时达到80.1%的top-1,展示了DINO和ViTs之间的协同作用。
2021-05-24 cs.CV
Exploring Self-Supervised Vision Transformers for Deepfake Detection: A Comparative Analysis
National Institute of Informatics(情报学研究所);SOKENDAI(综合研究大学院大学);The University of Tokyo(东京大学)
本文比较了自监督预训练ViTs、监督预训练ViTs和ConvNets在深度伪造检测中的表现,发现自监督ViTs在有限数据和部分微调下具有可比的适应性与可解释性,且资源效率更高。
2024-08-09 cs.CV
Quantization Variation: A New Perspective on Training Transformers with Low-Bit Precision
Hong Kong University of Science and Technology(香港科技大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文揭示了Transformer低比特量化感知训练中的方差行为问题,提出一种方差感知量化方案,在视觉和语言任务上显著提升了2-bit Swin-T和二值化BERT-base的准确率。
2024-10-12 cs.AI cs.CV cs.LG
Introducing Vision Transformer for Alzheimer's Disease classification task with 3D input
University of Toronto(多伦多大学);The Hospital for Sick Children(病童医院)
许多高性能分类模型利用复杂的基于CNN的架构进行阿尔茨海默病分类。我们的目标是调查两个相关的问题,关于阿尔茨海默病的分类使用MRI:“做视觉转换器为基础的模型比基于CNN的模型表现更好?以及“是否有可能使用基于CNN的浅三维模型来获得令人满意的结果?“为了实现这些目标,我们提出了两种可以接受和处理3D MRI扫描的模型:卷积体素Vision Transformer(CVVT)架构和ConvNet 3D-4,一种基于浅4块3D CNN的模型。我们的研究结果表明,浅三维CNN为基础的模型是足够的,以实现良好的分类结果阿尔茨海默氏病使用MRI扫描。
2022-10-03 cs.CV cs.LG eess.IV
Armour: Generalizable Compact Self-Attention for Vision Transformers
Arm Inc.(安谋公司)
基于注意力的Transformer网络在自然语言处理和视觉等领域的应用越来越广泛。然而,尽管最近的改进,例如次二次注意力近似和各种训练增强,但迄今为止使用常规注意力的紧凑视觉Transformer在\textit{accuracy,} \textit{model size}、\textit{and} \textit{throughput}方面与其convnet对应物相比仍然不足。本文介绍了一个紧凑的自我注意力机制,这是基本的和高度概括。该方法减少了冗余,提高了效率的顶部现有的注意力优化。我们显示了它的下拉式的适用性,经常注意力机制和一些最近的变种在视觉Transformer。因此,我们生产了更小更快的模型,具有相同或更好的精度。
2021-08-03 cs.CV
ACC-UNet: A Completely Convolutional UNet model for the 2020s
Purdue University(普渡大学)
针对医学图像分割中纯卷积UNet性能不及Transformer类模型的问题,受ConvNext启发提出融合卷积归纳偏置与Transformer设计思路的全卷积ACC-UNet,在5个基准上以更少参数量超越Swin-Unet等最优模型。
2023-08-25 cs.CV
PeLK: Parameter-efficient Large Kernel ConvNets with Peripheral Convolution
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Meituan(美团);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
本文提出类人周边卷积,将卷积复杂度从O(K²)降至O(logK),减少90%以上参数,并基于此构建参数高效大核网络PeLK,首次将核尺寸扩展到101x101,在多个视觉任务上超越现有架构。
2024-03-16 cs.CV
Improved Descriptors for Patch Matching and Reconstruction
Indian Institute of Technology Bombay(印度理工学院孟买分校);New York University(纽约大学);Mercedes-Benz Research and Development India Pvt. Ltd.(梅赛德斯-奔驰印度研发私人有限公司)
我们提出了一种基于卷积神经网络(ConvNet)的方法,用于学习局部图像描述符,可用于显着改善补丁匹配和3D重建。多分辨率ConvNet用于学习关键点描述符。我们还提出了一个新的数据集,与当前可用的多视图立体视觉(MVS)[18]数据集相比,该数据集包含更多数量级的场景、图像以及正对应和负对应。与MVS数据集相比,新数据集还更好地覆盖了整体视点、比例和照明变化。我们在公开可用的数据集上评估我们的方法,例如牛津仿射协变区域数据集(ACRD)[12],MVS [18],合成[6]和Strecha [15]数据集,以量化图像描述符性能。来自Oxford ACRD、MVS和合成数据集的场景用于评估学习描述符的补丁匹配性能,而Strecha数据集用于评估3D重建任务。实验表明,该描述符优于当前国家的最先进的描述符在这两个评估任务。
2017-08-27 cs.CV
TVT: Training-Free Vision Transformer Search on Tiny Datasets
College of Computer, National University of Defense Technology(国防科技大学计算机学院);The Hong Kong University of Science and Technology(香港科技大学)
本文提出免训练 ViT 搜索框架 TVT,利用教师感知度量与学生能力度量,在微小数据集上为 ConvNet 教师蒸馏搜索最佳 ViT,显著优于现有免训练搜索方法。
2023-11-24 cs.CV
U-DECN: End-to-End Underwater Object Detection ConvNet with Improved DeNoising Training
National Key Laboratory of Autonomous Marine Vehicle Technology, Harbin Engineering University(自主水下机动车辆技术国家重点实验室,哈尔滨工程大学);Hong Kong Polytechnic University(香港理工大学)
针对水下目标检测部署难、色偏噪声影响大的问题,提出基于卷积网络的端到端检测器U-DECN,通过去噪训练等优化,在多个数据集取得最优精度且推理速度大幅提升。
2025-10-29 cs.CV
Designing BERT for Convolutional Networks: Sparse and Hierarchical Masked Modeling
Peking University(北京大学);Bytedance Inc.(字节跳动公司);University of Oxford(牛津大学)
我们确定并克服了将BERT风格的预训练或掩码图像建模的成功扩展到卷积网络(convnets)的两个关键障碍:(i)卷积运算无法处理不规则的随机掩蔽输入图像;(ii)BERT预训练的单尺度性质与convnet的分层结构不一致。对于(i),我们将未掩蔽的像素视为3D点云的稀疏体素,并使用稀疏卷积进行编码。这是稀疏卷积首次用于2D掩码建模。对于(ii),我们开发了一个分层解码器来从多尺度编码特征重建图像。我们的方法称为Sparse masKed modeling(SparK),它是通用的:它可以直接用于任何卷积模型,而无需修改主干。我们在经典(ResNet)和现代(ConvNeXt)模型上验证了它:在三个下游任务上,它以类似的大幅度(约+1.0%)超过了最先进的对比学习和基于transformer的掩码建模。在目标检测和实例分割方面的改进更为显著(高达+3.5%),验证了所学习特征的强大可移植性。我们还通过在更大的模型上观察到更多的增益来发现其有利的缩放行为。所有这些证据都揭示了在convnets上进行生成式预训练的前景。代码和模型在https://github.com/keyu-tian/SparK上发布。
2023-01-10 cs.AI cs.CV cs.LG
An Image is Worth More Than 16x16 Patches: Exploring Transformers on Individual Pixels
FAIR, Meta AI(FAIR,Meta人工智能);University of Amsterdam(阿姆斯特丹大学)
研究发现普通Transformer可直接将单个像素作为token,在分类回归、掩码自编码和扩散生成任务上取得高性能,从而质疑视觉架构中局部性归纳偏置的必要性。
2025-03-13 cs.CV cs.LG
Self-supervised Vision Transformers for Joint SAR-optical Representation Learning
Remote Sensing Technology Institute, German Aerospace Center (DLR)(德国航空航天中心(DLR)遥感技术研究所);Technical University of Munich (TUM)(慕尼黑工业大学(TUM))
自监督学习(Self-supervised learning,SSL)由于其无需人工注释就能学习任务无关的表示,在遥感和地球观测领域引起了广泛的兴趣。虽然大多数现有的SSL工程在遥感利用ConvNet骨干,并专注于一个单一的模式,我们探索的潜力视觉Transformer(ViTs)的联合SAR光学表示学习。基于DINO,一种最先进的SSL算法,从输入图像的两个增强视图中提取知识,我们通过将所有通道连接到一个统一的输入来组合SAR和光学图像。随后,我们随机屏蔽一种模态的通道作为数据增强策略。在训练过程中,该模型获得仅光学、仅SAR和SAR光学图像对,学习内部和内部模态表示。采用BigEarthNet-MM数据集的实验结果证明了ViT主干和建议的多模式SSL算法DINO-MM的好处。
2022-06-14 cs.CV
SwinDepth: Unsupervised Depth Estimation using Monocular Sequences via Swin Transformer and Densely Cascaded Network
Seoul National University(首尔国立大学)
单目深度估计在各种计算机视觉和机器人应用中起着关键作用,例如定位、映射和3D目标检测。最近,基于学习的算法通过以监督的方式训练具有大量数据的模型,在深度估计方面取得了巨大的成功。然而,这是具有挑战性的,以获得密集的地面真值深度标签的监督训练,和无监督的深度估计使用单目序列出现作为一个有前途的替代。不幸的是,大多数关于无监督深度估计的研究探索损失函数或遮挡掩模,并且模型架构几乎没有变化,因为基于ConvNet的编码器-解码器结构成为深度估计的事实标准。在本文中,我们采用了一个无卷积的Swin Transformer作为图像特征提取器,使网络可以捕获局部几何特征和全局语义特征的深度估计。此外,我们提出了一个密集级联多尺度网络(DCMNet),它通过自上而下的级联路径将每个特征图直接与不同尺度的另一个特征图连接起来。这种密集级联连接加强了解码层之间的互连,并产生高质量的多尺度深度输出。在KITTI和Make 3D两个不同数据集上的实验表明,我们提出的方法优于现有的最先进的无监督算法。
2023-01-17 cs.CV cs.LG cs.RO
TRT-ViT: TensorRT-oriented Vision Transformer
ByteDance Inc(字节跳动公司)
我们从实际应用的角度重新审视现有的优秀Transformers。它们中的大多数甚至不如基本的ResNets系列高效,并且偏离了现实的部署场景。这可能是由于目前衡量计算效率的标准,如FLOP或参数是片面的,次优的,硬件不敏感的。因此,本文直接将特定硬件上的TensorRT延迟视为效率指标,从而提供更全面的反馈,包括计算能力,内存成本和带宽。基于一系列受控实验,这项工作得出了面向TensorRT和部署友好的网络设计的四个实用指南,例如,在阶段级的早期CNN和晚期Transformer,在块级的早期Transformer和晚期CNN。因此,提出了一系列面向TensortRT的Transformers,缩写为TRT-ViT。大量的实验表明,TRT-ViT在各种视觉任务的延迟/准确性权衡方面显著优于现有的ConvNets和视觉Transformer,例如,图像分类、目标检测和语义分割。例如,在82.7%的ImageNet-1 k top-1准确率下,TRT-ViT比CSWin快2.7 $\times$,比Twins快2.0 $\times$。在MS-COCO目标检测任务上,TRT-ViT实现了与Twins相当的性能,而推理速度提高了2.8 $\times$。
2022-07-12 cs.CV
Deep soccer captioning with transformer: dataset, semantics-related losses, and multi-level evaluation
ISIA Lab(ISIA实验室);MAIA Lab(MAIA实验室);MARO Lab(MARO实验室)
这项工作旨在使用深度学习为足球视频生成字幕。在此背景下,本文介绍了数据集,模型和三级评估。该数据集由22 k个字幕剪辑对和三个视觉特征(图像、光流、修复)组成,用于约500小时的\emph{SoccerNet}视频。该模型分为三个部分:Transformer学习语言,ConvNets学习视觉,以及语言和视觉特征的融合生成字幕。本文建议在三个层次上评估生成的字幕:语法(常用的评估指标,如BLEU评分和CIDER),含义(领域专家的描述质量)和语料库(生成的字幕的多样性)。该论文表明,生成的字幕的多样性有所改善(从0.07达到0.18)与语义相关的损失,优先选择的话。语义相关的损失和利用更多的视觉特征(光流,修复)提高了28%的标准化字幕得分。本作品的网页:https://sites.google.com/view/soccercaptioning}{https://sites.google.com/view/soccercaptioning
2022-11-30 cs.AI cs.CV
Attention Distillation: self-supervised vision transformer students need more guidance
Computer Vision Center(计算机视觉中心);Universitat Autònoma de Barcelona(巴塞罗那自治大学)
自监督学习已被广泛应用于训练高质量的视觉Transformer。因此,在内存和计算受限的设备上释放其出色的性能是一个重要的研究课题。然而,如何将知识从一个自我监督的ViT提取到另一个还没有被探索。此外,现有的自监督知识蒸馏(SSKD)方法集中在基于ConvNet的架构是次优的ViT知识蒸馏。本文研究了自监督视觉Transformer(ViT-SSKD)的知识蒸馏。我们发现,直接从教师到学生的关键注意力机制中提取信息可以显着缩小两者之间的绩效差距。在ImageNet-Subset和ImageNet-1 K上的实验中,我们证明了我们的方法AttnDistill优于现有的自监督知识蒸馏(SSKD)方法,并与从头开始学习(使用ViT-S模型)的自监督学习(SSL)方法相比,实现了最先进的k-NN准确性。我们也是第一个将微型ViT-T模型应用于自监督学习的人。此外,AttnDistill算法不依赖于自监督学习算法,可以应用于基于ViT的SSL方法中,以提高性能。代码在这里:https://github.com/wangkai930418/attndistill
2022-10-03 cs.CV
MDMLP: Image Classification from Scratch on Small Datasets with MLP
Jiangsu University(江苏大学);Dartmouth College(达特茅斯学院)
注意力机制已经成为自然语言处理和计算机视觉任务的首选技术。最近,MLP混合器和其他基于MLP的架构,简单地基于多层感知器(MLP),与CNN和注意力技术相比也很强大,并提出了一个新的研究方向。然而,基于MLP的网络的高性能严重依赖于大量的训练数据,并且与视觉Transformer(ViT)或ConvNets相比缺乏解释能力。当在小数据集上训练时,它们通常比ConvNets获得更差的结果。为了解决这个问题,我们提出了(i)多维MLP(MDMLP),一个概念上简单和轻量级的基于MLP的架构,但在小规模数据集上从头开始训练时实现了SOTA;(ii)多维MLP注意力工具(MDAttnTool),一种基于MLP的新型高效注意力机制。即使没有强大的数据增强,MDMLP在CIFAR 10上仅用0.3M参数就达到了90.90%的准确率,而众所周知的MLP-Mixer在17.1M参数下达到了85.45%。此外,轻量级MDAttnTool突出显示图像中的对象,表明其解释能力。我们的代码可在https://github.com/Amoza-Theodore/MDMLP上获得。
2022-05-28 cs.AI cs.CV
Unleashing Vanilla Vision Transformer with Masked Image Modeling for Object Detection
Huazhong University of Science & Technology(华中科技大学);Tencent PCG(腾讯平台与内容事业群)
我们提出了一种方法,以有效地和有效地适应掩码图像建模(MIM)预训练的香草视觉Transformer(ViT)的目标检测,这是基于我们的两个新的观察:(i)MIM预训练的香草ViT编码器可以在具有挑战性的对象级识别场景中工作得令人惊讶,即使是随机采样的部分观察,例如,只有25%的$\sim$ 50%的输入嵌入。(ii)为了从单尺度ViT构建用于目标检测的多尺度表示,随机初始化的紧凑卷积干取代了预先训练的大内核补丁化干,并且其中间特征可以自然地用作特征金字塔网络的更高分辨率输入,而无需进一步上采样或其他操作。而预训练的ViT仅被视为我们的检测器的骨干的3个$^{rd}$阶段,而不是整个特征提取器。这导致ConvNet-ViT混合特征提取器。建议的检测器,名为MIMDet,使MIM预训练的香草ViT优于分层Swin Transformer的2.5盒AP和2.6掩模AP COCO上,并实现了更好的结果相比,以前最好的适应香草ViT检测器使用更温和的微调配方,同时收敛2.8 $\times$更快。代码和预训练模型可在https://github.com/hustvl/MIMDet上获得。
2022-05-19 cs.CV
A Close Look at Spatial Modeling: From Attention to Convolution
Northeastern University(东北大学);Meta Reality Labs(Meta现实实验室);Mila(米拉研究院)
视觉Transformer由于其富有洞察力的架构设计和注意力机制,在许多视觉任务中表现出了巨大的潜力。通过重新审视Transformers中的自我注意反应,我们从经验上观察到两个有趣的问题。首先,视觉Transformer在深层呈现查询无关行为,其中注意力地图在全局范围内表现出几乎一致的上下文,而不管查询补丁位置(也是头部无关)。其次,注意力地图本质上是稀疏的,很少有令牌支配注意力权重;从ConvNets引入知识将在很大程度上平滑注意力并提高性能。基于上述观察,我们推广了自注意公式,直接抽象出查询无关的全局上下文,并进一步将全局上下文集成到卷积中。得到的模型,全卷积视觉Transformer(即,FCViT是一种完全由卷积层组成的特征提取算法,它继承了注意力机制和卷积的优点,包括动态特性、权值共享、短距离和长距离特征建模等。使用不到14 M的参数,我们的FCViT-S12在ImageNet-1 K上的top1准确率比相关工作ResT-Lite高出3.7%。当将FCViT扩展到更大的模型时,我们仍然比以前最先进的ConvNeXt性能更好,参数更少。基于FCViT的模型还展示了对下游任务的有希望的可转移性,如目标检测、实例分割和语义分割。代码和模型可在https://github.com/ma-xu/FCViT上获得。
2022-12-23 cs.AI cs.CV cs.LG
Efficient Remote Sensing Change Detection with Change State Space Models
Faculty of Engineering and Natural Sciences (VPALab), Sabanci University(工程与自然科学学院(VPALab),萨班奇大学)
本文提出专为遥感变化检测设计的Change State Space Model,通过聚焦双时相图像间的相关变化并过滤无关信息,在减少网络参数、提升计算效率的同时保持高检测性能与鲁棒性,且在三个基准数据集上以极低计算复杂度超越现有ConvNets、ViTs及Mamba模型。
2025-11-03 cs.CV