Is a Pure Transformer Effective for Separated and Online Multi-Object Tracking?
Dalian University of Technology(大连理工大学);Shandong University of Science and Technology(山东科技大学)
本文提出将轨迹图表示为有向无环图,并利用经典 Transformer 架构(PuTR)统一分离式在线多目标跟踪的短期与长期关联,在四个数据集上验证了其有效性和域适应能力。
2025-03-25 cs.CV
TransGAN: Two Pure Transformers Can Make One Strong GAN, and That Can Scale Up
University of Texas at Austin(德克萨斯大学奥斯汀分校);UC Santa Barbara(加州大学圣塔芭芭拉分校);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
最近对Transformers的爆炸性兴趣表明它们有潜力成为计算机视觉任务的强大“通用”模型,例如分类,检测和分割。虽然这些尝试主要研究判别模型,但我们在一些更困难的视觉任务上探索了Transformers,例如,生成对抗网络(GANs)。我们的目标是进行第一个试点研究,建立一个完全没有卷积的GAN,只使用纯粹的基于transformer的架构。我们的香草GAN架构,被称为transGAN,由一个内存友好的基于transformer的生成器,逐步增加特征分辨率,并相应地多尺度的搜索,以同时捕获语义上下文和低级别的纹理。在此基础上,我们引入了网格自关注的新模块,以进一步缓解内存瓶颈,从而将TransGAN扩展到高分辨率生成。我们还开发了一个独特的训练配方,包括一系列技术,可以减轻transGAN的训练不稳定性问题,如数据增强,修改归一化和相对位置编码。与当前使用卷积主干的最先进的GANs相比,我们最好的架构实现了极具竞争力的性能。具体来说,TransGAN在STL-10上设置了10.43的最新初始得分和18.28的FID,优于StyleGAN-V2。当涉及到更高分辨率(例如256 x 256)的生成任务时,例如在CelebA-HQ和LSUN-Church上,TransGAN继续生成具有高保真度和令人印象深刻的纹理细节的各种视觉示例。此外,我们深入研究基于transformer的生成模…
2021-12-09 cs.CV
Swin-Unet: Unet-like Pure Transformer for Medical Image Segmentation
Technische Universität München(慕尼黑工业大学);Fudan University(复旦大学);Huawei Technologies(华为技术有限公司)
在过去的几年里,卷积神经网络(CNN)在医学图像分析方面取得了里程碑式的成就。特别是基于U型结构和跳跃连接的深度神经网络,已经广泛应用于各种医学图像任务中。然而,尽管CNN取得了优异的性能,但由于卷积运算的局部性,它不能很好地学习全局和远程语义信息交互。在本文中,我们提出了Swin-Unet,这是一个Unet-like纯Transformer医学图像分割。标记化的图像块被馈送到基于变换器的U形编码器-解码器架构中,具有用于局部-全局语义特征学习的跳过连接。具体来说,我们使用分层Swin Transformer与移位窗口作为编码器来提取上下文特征。并设计了一个基于对称Swin变换的解码器,该解码器具有补丁扩展层,用于执行上采样操作,以恢复特征图的空间分辨率。在对输入和输出进行4倍直接下采样和上采样的情况下,对多器官和心脏分割任务的实验表明,纯基于transformer的U形编码器-解码器网络优于采用全卷积或Transformer和卷积相结合的方法。代码和训练模型将在https://github.com/HuCaoFighting/Swin-Unet上公开。
2021-05-12 cs.CV eess.IV
Pubic Symphysis-Fetal Head Segmentation Using Pure Transformer with Bi-level Routing Attention
Chongqing University of Technology(重庆理工大学);College of Computer Science and Engineering(计算机科学与工程学院)
本文提出BRAU-Net,一种结合双层路由注意力的类U-Net纯Transformer架构,用于耻骨联合-胎头分割,在FH-PS-AOP挑战赛数据集上取得可比的最终分数。
2024-11-14 cs.CV eess.IV
Time-Space Transformers for Video Panoptic Segmentation
Technical University of Cluj-Napoca(克卢日-纳波卡技术大学)
我们提出了一种新的解决方案,视频全景分割的任务,同时预测像素级的语义和实例分割,并产生剪辑级的实例轨道。我们的网络名为VPS-Transformer,具有基于最先进的全景分割网络Panoptic-DeepLab的混合架构,结合了用于单帧全景分割的卷积架构和基于纯Transformer块实例化的新型视频模块。配备有注意力机制的Transformer对当前帧和过去帧的骨干输出特征之间的时空关系进行建模,以获得更准确和一致的全景估计。由于纯Transformer块在处理高分辨率图像时会引入大量计算开销,因此我们提出了一些设计更改以实现更高效的计算。我们研究如何更有效地聚合信息的时空量,我们比较了几个变种的Transformer块与不同的注意力计划。在Cityscapes-VPS数据集上进行的大量实验表明,我们的最佳模型将时间一致性和视频全景质量提高了2.2%,并且几乎没有额外的计算。
2022-10-07 cs.CV
Puff-Net: Efficient Style Transfer with Pure Content and Style Feature Fusion Network
College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics(南京航空航天大学计算机科学与技术学院)
针对现有风格迁移方法计算成本高且易出现风格化不足或内容缺失的问题,提出仅含编码器的Puff-Net,通过纯内容与风格特征提取器实现高效且高质量的风格迁移。
2024-05-30 cs.CV
UniNet: Unified Architecture Search with Convolution, Transformer, and MLP
CUHK-SenseTime Joint Laboratory(香港中文大学-商汤科技联合实验室);SenseTime Research(商汤科技研究院);The Chinese University of Hong Kong(香港中文大学)
最近,Transformer和多层感知器(MLP)架构在各种视觉任务上取得了令人印象深刻的结果。一些人工结合这些算子来设计可视化网络结构的研究工作,在一定程度上取得了令人满意的效果。在本文中,我们提出联合搜索卷积,Transformer,和MLP的最佳组合,以建立一系列的所有运营商的网络架构,具有高性能的视觉任务。我们的经验表明,广泛使用的跨卷积或池为基础的下采样模块成为性能瓶颈时,运营商组合形成一个网络。为了更好地处理由Transformer和MLP算子捕获的全局上下文,我们提出了两种新的上下文感知下采样模块,它们可以更好地适应由Transformer和MLP算子编码的全局信息。为此,我们在统一的搜索空间中联合搜索所有算子和下采样模块。值得注意的是,我们搜索到的网络UniNet(统一网络)在多个公共视觉基准测试、ImageNet分类、COCO目标检测和ADE 20 K语义分割方面的性能优于最先进的纯基于卷积的架构EfficientNet和纯基于transformer的架构Swin-Transformer。
2021-10-08 cs.CV
Geometry-Entangled Visual Semantic Transformer for Image Captioning
图像描述的最新进展具有视觉语义融合或几何辅助注意力细化的特征。然而,这些基于融合的模型,他们仍然受到批评,缺乏几何信息的帧间和帧内注意力细化。另一方面,基于几何辅助注意的模型仍然受到视觉和语义信息之间的模态差距的影响。在本文中,我们介绍了一种新的几何纠缠视觉语义Transformer(GEVST)网络,实现视觉语义融合和几何辅助注意力细化的优势互补。具体地说,一个稠密字幕模型首先提出了一些具有相应的几何信息的稠密字幕。然后,为了使GEVS具有弥合视觉和语义信息之间的模态差距的能力,我们构建了四个并行的Transformer编码器VV(Pure Visual),VS(Semantic fused to Visual),SV(Visual fused to Semantic),SS(Pure Semantic)用于最终字幕生成。视觉和语义几何特征都用于融合模块和自我注意力模块,以更好地测量注意力。为了验证我们的模型,我们在MS-COCO数据集上进行了大量的实验,实验结果表明,我们的GEVST模型可以获得很好的性能增益。
2021-09-29 cs.CV
TFormer: A throughout fusion transformer for multi-modal skin lesion diagnosis
Beihang University(北京航空航天大学)
利用基于深度卷积的现代计算机辅助诊断技术,多模态皮肤病变诊断(MSLD)取得了显著的成功。然而,由于严重性不一致的空间分辨率(例如,皮肤镜图像和临床图像)和异质数据(例如,皮肤镜图像和患者的元数据)。受限于固有的局部注意力,大多数使用纯卷积的最新MSLD管道难以捕获浅层中的代表性特征,因此跨不同模态的融合通常在管道的末端完成,甚至在最后一层,导致信息聚合不足。为了解决这个问题,我们引入了一个纯粹的基于transformer的方法,我们称之为“贯穿融合Transformer(TFormer)”,用于在MSLD中进行充分的信息集成。与现有的卷积方法不同,所提出的网络利用Transformer作为特征提取的骨干,带来了更具代表性的浅层特征。然后,我们仔细设计了一个堆栈的双分支分层多模态Transformer(HMT)块融合信息在不同的图像模态在一个阶段的方式。利用图像模态的聚合信息,设计了一个多模态Transformer后融合(MTP)模块,以整合图像和非图像数据的特征。首先融合图像模态的信息,然后融合异构模态的信息,这样的策略使我们能够更好地区分和克服这两个主要挑战,同时确保模态间动态有效地建模。
2023-03-02 cs.CV
Exploring the Integration of Key-Value Attention Into Pure and Hybrid Transformers for Semantic Segmentation
本研究针对Transformer依赖大数据、计算成本高的问题,探索KV Transformer在医学影像语义分割任务中的表现,发现其在参数量与运算量显著降低的情况下仍能维持相近性能。
2025-03-24 cs.AI cs.CV cs.LG
Remote Sensing Image Change Detection with Transformers
Beihang University(北京航空航天大学)
现代变化检测(CD)凭借深度卷积强大的鉴别能力取得了显著的成功。然而,由于场景中物体的复杂性,高分辨率遥感CD仍然具有挑战性。具有相同语义概念的物体在不同的时间和空间位置可能表现出不同的光谱特征。最近使用纯卷积的CD管道仍然在努力将时空中的长程概念联系起来。非局部自注意方法通过对像素之间的密集关系进行建模,表现出很好的性能,但计算效率低下。在这里,我们提出了一个双时间的图像Transformer(BIT),以有效地和有效地建模上下文的空间-时间域。我们的直觉是,兴趣变化的高级概念可以用几个视觉词来表示,即,语义标记。为了实现这一点,我们表示的双时态图像到几个令牌,并使用一个Transformer编码器模型上下文紧凑的令牌为基础的时空。然后,将学习到的上下文丰富的令牌反馈到像素空间,用于经由Transformer解码器来细化原始特征。我们将BIT纳入一个基于深度特征差异的CD框架中。在三个CD数据集上的实验证明了该方法的有效性。值得注意的是,我们的基于BIT的模型仅使用低3倍的计算成本和模型参数就显著优于纯卷积基线。基于没有复杂结构(例如,FPN,UNet),我们的模型超过了几种最先进的CD方法,包括在效率和准确性方面优于四种最近的基于注意力的方法。我们的代码可以在https://github.com/justchenhao/BIT\_CD上找到。
2021-07-11 cs.CV
LEST: Large-scale LiDAR Semantic Segmentation with Transformer
LiangDao GmbH(亮道智能);Ilmenau University of Technology(伊尔梅瑙工业大学)
针对大规模激光雷达点云语义分割任务,提出纯Transformer架构LEST,包含空间填充曲线分组策略和距离余弦线性Transformer两个创新组件,在nuScenes和SemanticKITTI数据集上性能超越现有最优方法。
2023-07-14 cs.CV
PE-former: Pose Estimation Transformer
Institute of Computer Science, FORTH(FORTH 计算机科学研究所);Computer Science Department, University of Crete(克里特大学计算机科学系)
视觉转换器架构已被证明可以非常有效地用于图像分类任务。使用transformer解决更具挑战性的视觉任务的努力依赖于卷积骨干进行特征提取。在本文中,我们研究了纯Transformer架构(即,一个没有CNN主干)用于2D身体姿态估计的问题。我们在COCO数据集上评估了两种ViT架构。我们证明,使用编码器-解码器Transformer架构产生的最先进的结果,这个估计问题。
2021-12-09 cs.CV cs.LG
PFT-SSR: Parallax Fusion Transformer for Stereo Image Super-Resolution
The Chinese University of Hong Kong(香港中文大学);Shanghai University(上海大学);Jiangsu Key Laboratory of Image and Video Understanding for Social Safety(江苏省社会安全图像与视频理解重点实验室);Nanjing University of Posts and Telecommunications(南京邮电大学);East China Normal University(华东师范大学)
立体图像超分辨率是利用双目系统提供的辅助信息来提高图像超分辨率的性能。虽然以前的方法取得了可喜的成果,但他们没有充分利用跨视图和视图内的信息。为了进一步释放双目图像的潜力,在这封信中,我们提出了一种新的Transformerbased视差融合模块称为视差融合Transformer(PFT)。PFT采用交叉视图融合Transformer(CVFT)来利用交叉视图信息,并采用视图内细化Transformer(IVRT)来进行视图内特征细化。同时,我们采用Swin Transformer作为特征提取和SR重构的骨干,形成了一个纯Transformer架构,称为PFT-SSR。大量的实验和烧蚀研究表明,PFT-SSR取得了有竞争力的结果,并优于大多数SOTA方法。源代码可在https://github.com/MIVRC/PFT-PyTorch上获得。
2023-03-24 cs.CV
Fully Transformer Networks for Semantic Image Segmentation
Institute of Deep Learning, Baidu Research(百度研究院深度学习研究所);National Engineering Laboratory for Deep Learning Technology and Application(深度学习技术及应用国家工程实验室);School of Software, XinJiang University(新疆大学软件学院)
Transformers在各种自然语言处理和计算机视觉任务中表现出了令人印象深刻的性能,这是由于它能够对远程依赖关系进行建模。最近的进展表明,将这种Transformers与基于CNN的语义图像分割模型相结合是非常有前途的。然而,这是没有很好的研究,以及如何以及一个纯粹的Transformer为基础的方法可以实现图像分割。在这项工作中,我们探索了一种新的框架,语义图像分割,这是基于编码器-解码器的完全Transformer网络(FTN)。具体来说,我们首先提出了金字塔组Transformer(PGT)作为渐进学习分层特征的编码器,同时降低了标准Visual Transformer(ViT)的计算复杂度。然后,我们提出了一个特征金字塔Transformer(FPT)融合语义级和空间级的信息,从多个层次的PGT编码器的语义图像分割。令人惊讶的是,这个简单的基线可以在多个具有挑战性的语义分割和人脸解析基准测试中获得更好的结果,包括PASCAL Context,ADE 20 K,COCOStuff和CelebAMask-HQ。源代码将在https://github.com/BR-IDL/PaddleViT上发布。
2021-12-28 cs.CV
Training data-efficient image transformers & distillation through attention
Facebook AI(脸书人工智能研究院);Sorbonne University(索邦大学)
最近,纯粹基于注意力的神经网络被证明可以解决图像理解任务,例如图像分类。然而,这些视觉Transformers使用昂贵的基础设施使用数亿张图像进行预训练,从而限制了它们的采用。在这项工作中,我们只在Imagenet上训练,产生了一个有竞争力的无卷积Transformer。我们在不到3天的时间内就在一台计算机上对他们进行训练。我们的参考视觉Transformer(86 M参数)在ImageNet上实现了83.1%的顶级准确率(单作物评估),无需外部数据。更重要的是,我们引入了一个针对Transformers的师生策略。它依赖于一个蒸馏令牌,确保学生通过注意力从老师那里学习。我们展示了这种基于令牌的蒸馏的兴趣,特别是当使用convnet作为老师时。这使得我们报告的结果与convnets的Imagenet(在那里我们获得高达85.2%的准确率)和转移到其他任务时具有竞争力。我们共享代码和模型。
2021-01-15 cs.CV
RTFormer: Efficient Design for Real-Time Semantic Segmentation with Transformer
Baidu(百度);Australian National University(澳大利亚国立大学)
最近,基于transformer的网络在语义分割方面取得了令人印象深刻的结果。然而,对于实时的【形】语义分割,由于Transformer耗时的计算机制,纯基于CNN的方法仍然在该领域占主导地位。我们提出了RTFormer,一个高效的双分辨率Transformer,用于实时的【形】语义分割,它比基于CNN的模型在性能和效率之间实现了更好的权衡。为了在类似GPU的设备上实现高推理效率,我们的RTFormer利用了具有线性复杂度的GPU友好注意力,并放弃了多头机制。此外,我们发现跨分辨率注意通过传播从低分辨率分支学习到的高级知识来更有效地收集高分辨率分支的全局上下文信息。在主流基准上的大量实验证明了我们提出的RTFormer的有效性,它在Cityscapes,CamVid和COCOStuff上达到了最先进的水平,并在ADE20K上显示了有希望的结果。代码可在PaddleSeg上获得:https://github.com/PaddlePaddle/PaddleSeg。
2022-10-13 cs.CV
Visual Saliency Transformer
Inception Institute of Artificial Intelligence(启智人工智能研究院);Northwestern Polytechnical University(西北工业大学)
现有的最先进的显着性检测方法严重依赖于基于CNN的架构。或者,我们从无卷积序列到序列的角度重新考虑这项任务,并通过对卷积无法实现的长程依赖关系建模来预测显着性。具体来说,我们开发了一种新的统一模型的基础上,一个纯粹的Transformer,即视觉显着性Transformer(VST),RGB和RGB-D显着的目标检测(SOD)。它将图像块作为输入,并利用Transformer在图像块之间传播全局上下文。与视觉Transformer(ViT)中使用的传统架构不同,我们利用多级令牌融合,并在Transformer框架下提出了一种新的令牌上采样方法,以获得高分辨率的检测结果。我们还开发了一个基于令牌的多任务解码器,通过引入任务相关的令牌和一个新的补丁任务注意力机制,同时执行显着性和边界检测。实验结果表明,我们的模型优于现有的方法在RGB和RGB-D SOD基准数据集。最重要的是,我们的整个框架不仅为SOD领域提供了一个新的视角,也为基于transformer的稠密预测模型提供了一个新的范例。代码可在https://github.com/nnizhang/VST上获得。
2021-08-23 cs.CV
CornViT: A Multi-Stage Convolutional Vision Transformer Framework for Hierarchical Corn Kernel Analysis
Kansas State University(堪萨斯州立大学)
CornViT通过多阶段卷积视觉变换器框架实现玉米粒的自动化分级与分析,准确率高达93.76%至94.11%。
2025-12-31 cs.AI cs.CV
Can CNNs Be More Robust Than Transformers?
UC Santa Cruz(加州大学圣克鲁兹分校);Johns Hopkins University(约翰斯·霍普金斯大学)
视觉Transformer最近的成功正在动摇卷积神经网络(CNN)在图像识别领域十年来的长期主导地位。具体来说,就分布外样本的鲁棒性而言,最近的研究发现,无论不同的训练设置如何,Transformers本质上都比CNN更鲁棒。此外,人们认为,这种优越性的Transformers应在很大程度上归功于他们的自我关注,像架构本身。在本文中,我们通过仔细研究Transformers的设计来质疑这种信念。我们的研究结果导致了三个高效的架构设计,以提高鲁棒性,但足够简单,可以在几行代码中实现,即a)修补输入图像,b)扩大内核大小,c)减少激活层和归一化层。将这些组件结合在一起,我们能够构建纯CNN架构,而无需任何与Transformers一样强大甚至更强大的注意力操作。我们希望这项工作可以帮助社区更好地理解鲁棒神经架构的设计。该代码可在https://github.com/UCSC-VLAA/RobustCNN上公开获取。
2023-03-06 cs.CV
ETO:Efficient Transformer-based Local Feature Matching by Organizing Multiple Homography Hypotheses
Zhejiang University(浙江大学);CUHK MMLab(香港中文大学多媒体实验室)
针对局部特征匹配的效率问题,提出基于Transformer的ETO架构,通过多单应性假设逼近连续对应、单向交叉注意力加速优化,精度比肩LoFTR且推理速度达其4倍,在多数据集验证有效。
2025-01-10 cs.CV
DIAMANT: Dual Image-Attention Map Encoders For Medical Image Segmentation
Technical University of Munich(慕尼黑工业大学);MCML(慕尼黑机器学习中心);NVIDIA(英伟达);Stanford(斯坦福大学);Johns Hopkins University(约翰斯·霍普金斯大学)
针对医学图像分割中Transformer类模型训练成本高、难落地的问题,提出基于纯卷积层的DIAMANT双分支架构,利用预训练DINO的注意力图作为额外输入,以更低计算成本超越U-Net及现有SOTA分割模型。
2023-04-28 cs.AI cs.CV
TransGeo: Transformer Is All You Need for Cross-view Image Geo-localization
University of Central Florida(中佛罗里达大学)
主要的基于CNN的跨视图图像地理定位方法依赖于极坐标变换,无法对全局相关性进行建模。我们提出了一个纯粹的transformer为基础的方法(TransGeo),以解决这些限制从不同的角度来看。TransGeo充分利用了Transformer在全局信息建模和显式位置信息编码方面的优势。我们进一步利用Transformer输入的灵活性,并提出了一种注意力引导的非均匀裁剪方法,以便在性能下降可以忽略不计的情况下去除无信息的图像块,以降低计算成本。节省的计算可以重新分配,以提高分辨率,只有信息补丁,从而提高性能,而没有额外的计算成本。这种“关注和放大”策略与人类观察图像时的行为高度相似。值得注意的是,TransGeo在城市和农村数据集上都取得了最先进的结果,其计算成本明显低于基于CNN的方法。它不依赖于极坐标变换,并且比基于CNN的方法推断得更快。代码可在https://github.com/Jeff-Zilence/TransGeo2022上获得。
2022-03-31 cs.CV
Toward Transformer-Based Object Detection
Pinterest
Transformers已经成为自然语言处理中的主导模型,因为它们能够对大量数据进行预训练,然后通过微调转移到更小,更具体的任务。视觉Transformer是将纯Transformer模型直接应用于图像作为输入的第一次重大尝试,表明与卷积网络相比,基于transformer的架构可以在基准分类任务上取得有竞争力的结果。然而,注意力运算符的计算复杂性意味着我们仅限于低分辨率输入。对于更复杂的任务,如检测或分割,保持高输入分辨率对于确保模型能够正确识别和反映其输出中的细节至关重要。这自然提出了一个问题,即基于transformer的架构(如视觉Transformer)是否能够执行分类以外的任务。在本文中,我们确定,视觉Transformer可以作为一个骨干由一个共同的检测任务头产生竞争力的COCO结果。我们提出的模型ViT-FRCNN展示了与Transformers相关的几个已知属性,包括大的预训练容量和快速微调性能。我们还研究了对标准检测骨干的改进,包括对域外图像的卓越性能,对大型对象的更好性能,以及对非最大抑制的依赖减少。我们将ViT-FRCNN视为实现复杂视觉任务(如目标检测)的纯转换器解决方案的重要垫脚石。
2020-12-17 cs.AI cs.CV cs.LG
GiT: Graph Interactive Transformer for Vehicle Re-identification
Huaqiao University(华侨大学);Nanjing University of Science and Technology(南京理工大学);University of Science and Technology Beijing(北京科技大学)
Transformers在计算机视觉中越来越受欢迎,它将图像视为一系列补丁,并从序列中学习鲁棒的全局特征。然而,纯粹的Transformers是不完全适合的车辆重新识别,因为车辆重新识别既需要强大的全球功能和歧视性的本地功能。为此,本文提出了一种图形交互式转换器(GiT)Transformer。在宏观视图中,GiT块的列表被堆叠以构建车辆重新识别模型,其中图用于提取补丁内的区分性局部特征,并且Transformers用于提取补丁之间的鲁棒全局特征。在微观上,图和Transformers处于交互状态,实现局部特征和全局特征的有效配合。具体地,一个电流图被嵌入在前一级的图和Transformer之后,而电流变换被嵌入在电流图和前一级的Transformer之后。除了图和变换之间的相互作用外,图是一种新设计的局部校正图,它通过探索节点之间的关系来学习补丁内的判别性局部特征。在三个大规模车辆重新识别数据集上的大量实验表明,我们的GiT方法优于最先进的车辆重新识别方法。
2023-01-11 cs.CV
MVT: Mask Vision Transformer for Facial Expression Recognition in the wild
University of Science and Technology of China(中国科学技术大学)
野外人脸表情识别是计算机视觉中一项极具挑战性的任务,这是由于背景多变、人脸图像质量不高以及标注者的主观性等原因造成的。这些不确定性使得神经网络很难在有限规模的数据集上学习鲁棒的特征。此外,网络可以很容易地被上述因素分布,并执行错误的决策。近年来,视觉Transformer(ViT)和数据高效图像Transformers(DeiT)在传统的分类任务中表现出了显著的性能。自注意力机制使Transformers在第一层获得全局感受野,大大增强了特征提取能力。在这项工作中,我们首先提出了一种新的纯transformer为基础的面具视觉Transformer(MVT)在野外的FER,它由两个模块组成:一个transformer为基础的面具生成网络(MGN),以产生一个面具,可以过滤掉复杂的背景和遮挡的人脸图像,和一个动态的重新标记模块,纠正错误的标签在野外FER数据集。大量的实验结果表明,我们的MVT优于国家的最先进的方法在RAF-DB与88.62%,FERPlus与89.22%,和AffectNet-7与64.57%,分别,并实现了相当的结果在AffectNet-8与61.40%。
2021-07-10 cs.CV
ViViT: A Video Vision Transformer
Google Research(谷歌研究院)
我们提出了纯变压器为基础的模型,视频分类,借鉴最近的成功,这种模式在图像分类。我们的模型从输入视频中提取时空令牌,然后由一系列Transformer层进行编码。为了处理视频中遇到的长序列令牌,我们提出了我们的模型的几个有效的变体,这些变体分解了输入的空间和时间维度。虽然基于transformer的模型仅在大型训练数据集可用时有效,但我们展示了如何在训练过程中有效地正则化模型,并利用预训练的图像模型能够在相对较小的数据集上进行训练。我们进行了彻底的消融研究,并在多个视频分类基准测试中取得了最先进的结果,包括Kinetics 400和600,Epic Kitchen,Something-Something v2和Moments in Time,优于基于深度3D卷积网络的先前方法。为了便于进一步研究,我们在https://github.com/google-research/scenic/tree/main/scenic/projects/vivit上发布代码
2021-11-01 cs.CV
Dimba: Transformer-Mamba Diffusion Models
Kunlun Inc.(昆仑公司)
本文提出Dimba,一种结合Transformer和Mamba层的混合架构文本到图像扩散模型,通过交替堆叠和交叉注意力整合条件信息,在图像质量、艺术渲染和语义控制上与基准相当,同时显著提升吞吐量并降低内存占用。
2024-06-03 cs.CV
TransMed: Transformers Advance Multi-modal Medical Image Classification
Northeastern University(东北大学)
在过去的十年中,卷积神经网络(CNN)在医学图像分析任务中表现出非常有竞争力的性能,例如疾病分类,肿瘤分割和病变检测。CNN在提取图像局部特征方面具有很大的优势。但由于卷积运算的局部性,不能很好地处理长程关系。近年来,Transformers被应用于计算机视觉,并在大规模数据集上取得了显著的成功。与自然图像相比,多模态医学图像具有显式和重要的长程依赖性,有效的多模态融合策略可以大大提高深度模型的性能。这促使我们研究基于transformer的结构,并将其应用于多模态医学图像。现有的基于transformer的网络架构需要大规模的数据集来实现更好的性能。然而,医学图像数据集相对较小,这使得很难将纯Transformers应用于医学图像分析。因此,我们提出了多模态医学图像分类的transMed。TransMed结合了CNN和Transformer的优势,可有效提取图像的低级别特征,并在模态之间建立长期依赖关系。我们评估了我们的模型的腮腺肿瘤的术前诊断的挑战性问题,实验结果表明,我们提出的方法的优势。我们认为,CNN和Transformer的组合在大量的医学图像分析任务中具有巨大的潜力。据我们所知,这是第一个将Transformers应用于医学图像分类的工作。
2021-03-10 cs.CV
Multi-Modal Vision Transformers for Crop Mapping from Satellite Image Time Series
BIFOLD - Berlin Institute for the Foundations of Learning and Data(柏林学习与数据基础研究所)
针对卫星图像时间序列作物制图任务,提出多种多模态多时相Transformer架构,在TSViT中探究三类融合策略的效果,性能显著优于现有主流架构。
2024-06-24 cs.CV
Interactive Image Segmentation with Cross-Modality Vision Transformers
University of Twente(特文特大学)
本文提出基于跨模态视觉Transformer的点击式交互图像分割网络,利用互信息引导多模态学习,在多个基准上超越现有最优模型并展现出实用标注工具潜力。
2023-07-05 cs.CV
Vision Transformer with Progressive Sampling
SenseTime Research(商汤科技研究院);Tsinghua University(清华大学);University of Oxford(牛津大学);Qing Yuan Research Institute, Shanghai Jiao Tong University(上海交通大学清源研究院);Centre for Perceptual and Interactive Intelligence(感知与交互智能研究中心);The Chinese University of Hong Kong(香港中文大学)
具有强大的全局关系建模能力的Transformers最近被引入到基本的计算机视觉任务中。作为一个典型的例子,视觉Transformer(ViT)直接将纯Transformer架构应用于图像分类,通过简单地将图像分割成具有固定长度的标记,并使用Transformers来学习这些标记之间的关系。然而,这种朴素的标记化可能会破坏对象结构,将网格分配给不感兴趣的区域,如背景,并引入干扰信号。为了缓解上述问题,在本文中,我们提出了一个迭代和渐进的采样策略来定位判别区域。在每次迭代时,当前采样步骤的嵌入被馈送到Transformer编码器层中,并且预测一组采样偏移以更新下一步骤的采样位置。渐进采样是可微的。当与视觉Transformer相结合时,所获得的PS-ViT网络可以自适应地学习看哪里。所提出的PS-ViT是有效的和高效的。当在ImageNet上从头开始训练时,PS-ViT在前1精度方面比vanilla ViT高3.8%,参数少了大约$4\times$,FLOP少了$10\times$。代码可在https://github.com/yuexy/PS-ViT上获得。
2021-08-03 cs.CV
Incorporating Convolution Designs into Visual Transformers
SenseTime Research(商汤科技研究院);Nanyang Technological University(南洋理工大学)
由于Transformers在自然语言处理(NLP)任务中的成功,出现了一些尝试(例如,ViT和DeiT)将Transformers应用于视觉领域。然而,纯Transformer架构通常需要大量的训练数据或额外的监督才能获得与卷积神经网络(CNN)相当的性能。为了克服这些限制,我们分析了直接从NLP借用Transformer架构时的潜在缺点。然后,我们提出了一种新的\textbf{Convolution-enhanced image Transformer (CeiT)},它结合了CNN在提取低级特征,加强局部性方面的优势,以及Transformers在建立远程依赖关系方面的优势。对原有的Transformer进行了三处修改:\textbf{1)}代替了直接从原始输入图像中进行标记化,设计了一个\textbf{Image-to-Tokens (I2T)}模块,从生成的低层特征中提取补丁; \textbf{2)}用一个\textbf{Locally-enhanced Feed-Forward (LeFF)}层代替了每个编码器块中的前馈网络,该层促进了空间维度上相邻标记之间的相关性; \textbf{3)}将\textbf{Layer-wise Class token Attention (LCA)}连接到使用多级表示的Transformer的顶部。在ImageNet和七个下游任务上的…
2021-04-20 cs.CV
Scalable Vision Transformers with Hierarchical Pooling
Monash University(莫纳什大学)
最近提出的视觉图像Transformers(ViT)与纯注意力的图像识别任务,如图像分类取得了可喜的成绩。然而,目前的ViT模型的例行程序是在推理过程中保持一个完整长度的补丁序列,这是冗余的,缺乏层次表示。为此,我们提出了一个分层的视觉Transformer(HVT),逐步池的视觉令牌,以缩小序列长度,从而降低计算成本,类似于特征图下采样卷积神经网络(CNN)。它带来了一个很大的好处,我们可以增加模型的容量,通过缩放的深度/宽度/分辨率/补丁大小的尺寸,而不引入额外的计算复杂性,由于减少序列长度。此外,我们的经验发现,平均池视觉令牌包含更多的歧视性信息比单类令牌。为了证明我们的HVT的改进的可扩展性,我们进行了广泛的实验上的图像分类任务。在具有可比FLOP的情况下,我们的HVT在ImageNet和CIFAR-100数据集上的表现优于竞争基线。代码可在https://github.com/MonashAI/HVT上获得
2021-08-18 cs.CV
CrossViT: Cross-Attention Multi-Scale Vision Transformer for Image Classification
MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室)
与卷积神经网络相比,最近开发的视觉Transformer(ViT)在图像分类方面取得了令人满意的结果。受此启发,本文研究了如何在Transformer模型中学习多尺度特征表示用于图像分类。为此,我们提出了一种双分支Transformer来组合图像块(即,Transformer中的令牌)以产生更强的图像特征。我们的方法用两个不同计算复杂性的独立分支来处理小补丁和大补丁令牌,然后这些令牌通过注意力多次融合以互补。此外,为了减少计算,我们开发了一个简单而有效的令牌融合模块的基础上交叉注意,它使用一个单一的令牌为每个分支作为一个查询,以交换信息与其他分支。我们提出的交叉注意只需要线性时间的计算和内存的复杂性,而不是二次的时间,否则。大量的实验表明,我们的方法表现得更好,或与几个并发的视觉Transformer的工作,除了有效的CNN模型。例如,在ImageNet1K数据集上,通过一些架构更改,我们的方法比最近的DeiT的性能高出2%,FLOP和模型参数略有增加。我们的源代码和模型可在\url{https://github.com/IBM/CrossViT}上获得。
2021-08-22 cs.CV
Inpainting Transformer for Anomaly Detection
Fujitsu Technology Solutions GmbH(富士通科技解决方案股份有限公司)
计算机视觉中的异常检测是指识别偏离正常图像集的图像。一种常见的方法是训练深度卷积自动编码器来修复图像的被覆盖部分,并将输出与原始图像进行比较。通过仅对无异常样本进行训练,假设模型无法正确重建异常区域。对于通过修复进行的异常检测,我们建议将来自潜在遥远区域的信息结合起来是有益的。特别是,我们把异常检测作为补丁修复问题,并建议用一种纯粹的基于自我注意力的方法来解决它,丢弃卷积。所提出的修复Transformer(InTra)被训练为在一个大的图像补丁序列中修复被覆盖的补丁,从而在输入图像的大区域上集成信息。当从头开始训练时,与不使用额外训练数据的其他方法相比,InTra在MVTec AD数据集上实现了与当前最先进水平相当的检测结果,并在分割方面超越了它们。
2021-11-26 cs.CV
Miti-DETR: Object Detection based on Transformers with Mitigatory Self-Attention Convergence
Rekor Systems, Inc.(Rekor Systems 公司);University of Kansas(堪萨斯大学);Ryerson University(瑞尔森大学)
使用Transformers的目标检测(DETR)和相关工作达到甚至超过了具有自注意网络架构的高度优化的Faster-RCNN基线。受纯自注意具有强烈的诱导偏差导致Transformer失去关于网络深度的表达能力的证据的启发,我们提出了一种具有减轻自注意力机制的Transformer架构,通过在Transformer架构中应用可能的直接映射连接来减轻秩崩溃,从而抵消特征表达损失并提高模型性能。我们将此建议应用于目标检测任务中,并开发了一个名为Miti-DETR的模型。Miti-DETR将每个注意力层的输入保留到该层的输出,以便“非注意力”信息参与任何注意力传播。所形成的残差自注意网络解决了两个关键问题:(1)阻止自注意网络退化到rank-1的最大程度;(2)进一步多样化参数更新的路径分布,以便更容易地进行注意学习。在COCO目标检测数据集上,Miti-DETR显著提高了现有基于DETR的模型的平均检测精度和收敛速度。此外,所提出的Transformer与剩余自注意网络可以很容易地推广或插入到其他相关的任务模型,而无需特定的定制。
2021-12-26 cs.CV
ScaleFormer: Revisiting the Transformer-based Backbones from a Scale-wise Perspective for Medical Image Segmentation
Zhejiang University(浙江大学);Ritsumeikan University(立命馆大学);Yamaguchi University(山口大学);Zhejiang Lab(之江实验室)
最近,各种各样的视觉Transformer已经被开发,因为它们具有建模远程依赖性的能力。在当前基于transformer的医学图像分割主干中,卷积层被纯Transformers取代,或者Transformers被添加到最深的编码器中以学习全局上下文。然而,从尺度角度来看,主要存在两个挑战:(1)尺度内问题:现有方法缺乏在每个尺度上提取局部-全局线索,这可能影响小对象的信号传播;(2)尺度间问题:现有的方法不能从多个尺度探索独特的信息,这可能阻碍从具有广泛可变尺寸的对象的表示学习,形状和位置。为了解决这些限制,我们提出了一种新的骨干,即ScaleFormer,具有两个吸引人的设计:(1)尺度内尺度变换器Transformer被设计为将每个尺度中基于CNN的局部特征与基于变换器的全局线索耦合,其中行和列全局依赖性可以通过轻量级双轴MSA来提取。(2)设计了一种简单有效的空间感知跨尺度变换器Transformer,用于多尺度下的一致性区域间的交互,突出跨尺度依赖性,解决复杂的尺度变化问题。在不同基准上的实验结果表明,我们的Scale-Former优于当前最先进的方法。该代码可在https://github.com/ZJUGiveLab/ScaleFormer上公开获取。
2022-07-29 cs.CV
CoT-MISR:Marrying Convolution and Transformer for Multi-Image Super-Resolution
图像超分辨率作为图像复原的一种方法,首先得到了广泛的研究。如何对低分辨率图像进行变换以恢复其高分辨率图像信息是研究人员一直在探索的问题。在早期的物理变换方法中,这些方法生成的高分辨率图片总是存在严重的信息缺失问题,边缘和细节不能很好地恢复。随着硬件技术和数学的发展,人们开始将深度学习方法用于图像超分辨率任务,从直接深度学习模型、残余通道注意力网络、双向抑制网络,到带有Transformer网络模块的tr网络,逐渐取得了良好的效果。在多图超分辨率的研究中,得益于多图超分辨率数据集的建立,我们经历了从卷积模型到Transformer模型的演变,超分辨率的质量不断提升。然而,我们发现无论是纯卷积还是纯tr网络都不能很好地利用低分辨率图像信息。在此基础上,我们提出了一种新的端到端CoT-MISR网络。CoT-MISR网络利用卷积和树的优点,弥补了局部和全局信息的不足。在相同参数下的数据集验证表明,我们的CoT-MISR网络已经达到了最佳的得分指标。
2023-03-12 cs.CV eess.IV
Continual Hippocampus Segmentation with Transformers
Technical University of Darmstadt(达姆施塔特工业大学)
在临床环境中,采集条件和患者人群会随着时间的推移而变化,持续学习是确保安全使用深度神经网络的关键。然而,大多数现有的工作集中在卷积架构和图像分类。相反,放射科医生更喜欢使用概述特定感兴趣区域的分割模型,基于transformer的架构正在获得牵引力。Transformers的自注意机制可能会减轻灾难性遗忘,为更鲁棒的医学图像分割开辟道路。在这项工作中,我们探讨了最近提出的Transformer机制的语义分割行为在顺序学习的情况下,并分析如何最好地适应这种设置的持续学习策略。我们对海马体分割的评估表明,与纯卷积架构相比,Transformer机制减轻了医学图像分割的灾难性遗忘,并表明应谨慎进行ViT模块的规则化。
2022-04-17 cs.CV eess.IV
StraIT: Non-autoregressive Generation with Stratified Image Transformer
Google Research(谷歌研究院);CUHK(香港中文大学);Google Cloud AI(谷歌云人工智能)
我们提出分层图像Transformer(StraIT),一个纯非自回归(NAR)生成模型,表现出优越性,在高质量的图像合成比现有的自回归(AR)和扩散模型(DM)。与现有视觉标记器中视觉特征的开发不足相比,我们利用图像的分层性质将视觉标记编码成具有紧急属性的分层级别。通过提出的图像分层,获得一个互连的令牌对,我们减轻了建模难度,提高了NAR模型的生成能力。我们的实验表明,StraIT显着提高了NAR生成,并优于现有的DM和AR方法,同时速度更快,在ImageNet上以256*256的分辨率实现了3.96的FID分数,而无需利用任何采样或辅助图像分类器的指导。当配备无分类器引导时,我们的方法实现了FID为3.36,IS为259.3。此外,我们说明了StraIT生成的解耦建模过程,显示其令人信服的属性上的应用程序,包括域转移。
2023-03-01 cs.CV
TransHash: Transformer-based Hamming Hashing for Efficient Image Retrieval
Shanghai Jiao Tong University(上海交通大学);University of Southern California(南加州大学);Wuhan University(武汉大学)
深度汉明散列在大规模图像检索的近似最近邻搜索中越来越受欢迎。到目前为止,图像检索社区的深度哈希一直由卷积神经网络架构主导,例如\texttt{Resnet} \cite{he2016deep}。在本文中,受Vision Transformers最新进展的启发,我们提出了\textbf{Transhash},这是一个纯基于转换器的深度哈希学习框架。具体地说,我们的框架由两个主要模块组成:(1)基于\textit{Vision Transformer}(ViT),我们设计了一个用于图像特征提取的连体Vision Transformer主干。为了学习细粒度特征,我们在Transformer之上创新了双流特征学习,以学习区分性的全局和局部特征。(2)此外,我们采用动态构造相似矩阵的贝叶斯学习方案来学习紧凑的二进制哈希码。整个框架是以端到端的方式联合训练的。~据我们所知,这是第一个在没有卷积神经网络(\textit{CNNs})的情况下解决深度哈希学习问题的工作。我们在三个广泛研究的数据集上进行了全面的实验:\textbf{CIFAR-10},\textbf{NUSWIDE}和\textbf{IMAGENET}。实验证明了我们对现有的国家的最先进的深度哈希方法的优越性。具体而言,我们实现了8.2\%,2.6\%,12.7\%的性能增益方面的平均\textit{mAP}不同的哈希位长度的三个公…
2021-05-05 cs.CV
Improving Transformer-based Image Matching by Cascaded Capturing Spatially Informative Keypoints
Fudan University(复旦大学)
针对Transformer图像匹配空间相关性受限导致位姿估计精度低的问题,提出级联匹配模型CasMTR,结合NMS后处理提升匹配精度,在室内外位姿估计和视觉定位任务上达到SOTA。
2023-07-18 cs.CV
Transformer Based Multi-Grained Features for Unsupervised Person Re-Identification
Zhejiang University(浙江大学)
从卷积神经网络(CNN)中提取的多粒度特征在有监督的人员再识别(Re-ID)任务中表现出了很强的区分能力。受其启发,本文研究了从纯Transformer网络中提取多粒度特征的方法,以解决无标签但更具挑战性的无监督Re-ID问题。为此,我们建立了一个双分支网络架构的基础上修改的视觉Transformer(ViT)。每个分支中的局部标记输出被整形,然后均匀地划分为多个条带以生成部分级特征,而两个分支的全局标记被平均以生成全局特征。此外,基于离线-在线关联摄像机感知代理(O2 CAP),这是一种性能最好的无监督Re-ID方法,我们定义了离线和在线对比学习损失的全局和部分级别的功能进行无监督学习。在三人Re-ID数据集上的广泛实验表明,该方法的性能远远优于最先进的无监督方法,大大缩小了与有监督方法的差距。代码将很快在https://github.com/RikoLi/WACV23-workshop-TMGF上提供。
2022-11-22 cs.CV
Two-Stream Transformer Architecture for Long Video Understanding
The University of Surrey(萨里大学)
纯视觉Transformer架构对于短视频分类和动作识别任务非常有效。然而,由于自我注意的二次复杂性和缺乏感应偏差,Transformers是资源密集型的,并且遭受数据效率低下。长格式视频理解任务放大了Transformers中的数据和存储器效率问题,使得当前方法在数据或存储器受限域上实现是不可行的。本文介绍了一种有效的时空注意力网络(STAN),它使用两个流的Transformer架构模型之间的依赖关系的静态图像功能和时间上下文功能。我们提出的方法可以在单个GPU上对长达两分钟的视频进行分类,具有数据效率,并在几个长视频理解任务上实现SOTA性能。
2022-08-02 cs.CV cs.LG cs.MM
StyleSwin: Transformer-based GAN for High-resolution Image Generation
University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院)
尽管在广泛的视觉任务中取得了诱人的成功,但Transformers在高分辨率图像生成建模方面尚未表现出与ConvNets同等的能力。在本文中,我们试图探索使用纯Transformers建立一个生成对抗网络的高分辨率图像合成。为此,我们认为,本地注意力是至关重要的计算效率和建模能力之间的平衡。因此,建议发电机采用Swin Transformer在一个基于风格的架构。为了实现更大的感受野,我们提出了双重注意力,同时利用本地和移动窗口的上下文,从而提高生成质量。此外,我们表明,提供知识的绝对位置,已经失去了基于窗口的Transformers大大有利于生成质量。所提出的StyleSwin可扩展到高分辨率,粗几何和精细结构都受益于Transformers的强大表现力。然而,在高分辨率合成期间出现块伪像,因为以逐块方式执行局部注意可能破坏空间相干性。为了解决这个问题,我们经验性地研究了各种解决方案,其中我们发现,采用小波变换来检查光谱差异有效地抑制了文物。大量的实验显示了优于现有的基于变换器的GANs,特别是在高分辨率上,例如,1024x1024。StyleSwin没有复杂的训练策略,在CelebA-HQ 1024上优于StyleGAN,并在FFHQ-1024上实现了同等的性能,证明了使用Transformers生成高分辨率图像的承诺。代码和模型将在https://github.com/mic…
2022-07-21 cs.CV
MaskConver: Revisiting Pure Convolution Model for Panoptic Segmentation
Google(谷歌);ByteDance(字节跳动)
该研究提出全景分割纯卷积架构MaskConver,通过中心预测统一表示、轻量类别嵌入模块及ConvNeXt-UNet解码器,在COCO数据集上性能超越多种卷积与transformer模型,移动端版本可实时运行。
2023-12-11 cs.AI cs.CV
Rethinking Semantic Segmentation from a Sequence-to-Sequence Perspective with Transformers
Fudan University(复旦大学);University of Oxford(牛津大学);University of Surrey(萨里大学);Tencent Youtu Lab(腾讯优图实验室);Facebook AI(脸书人工智能)
大多数最近的语义分割方法采用具有编码器-解码器架构的全卷积网络(FCN)。编码器逐渐降低空间分辨率,并学习更抽象/语义的视觉概念与更大的感受野。由于上下文建模对于分割至关重要,因此最新的努力集中在通过扩张/atrous卷积或插入注意力模块来增加感受野。然而,基于编码器-解码器的FCN架构保持不变。在本文中,我们的目标是提供一个替代的角度,通过治疗语义分割作为一个序列到序列的预测任务。具体来说,我们部署了一个纯Transformer(即没有卷积和分辨率降低)来将图像编码为一系列补丁。通过在Transformer的每一层中建模的全局上下文,该编码器可以与简单的解码器组合以提供强大的分割模型,称为SEGMENTATION TRANSFORMER(SETR)。大量的实验表明,SETR在ADE 20 K(50.28% mIoU),Pascal Context(55.83% mIoU)和Cityscapes上达到了最新的技术水平。特别是,我们在提交当天就在竞争激烈的ADE 20 K测试服务器排行榜上获得了第一名。
2021-07-25 cs.CV
ViTransPAD: Video Transformer using convolution and self-attention for Face Presentation Attack Detection
University of La Rochelle(拉罗谢尔大学);University of Oulu(奥卢大学);Hanoi University of Science and Technology(河内科技大学)
人脸呈现攻击检测(PAD)是人脸生物识别系统防范欺骗攻击的重要手段。许多基于卷积神经网络(CNN)的人脸PAD工作将问题表述为图像级二进制分类任务,而不考虑上下文。另外,视觉Transformer(ViT)使用自我注意力来关注图像的上下文,成为人脸PAD的主流。受ViT的启发,本文提出了一种基于视频的具有短/长距离时空注意力的人脸PAD的Transformer(ViTransPAD)算法,该算法不仅可以在短时间内关注局部细节,还可以捕获长距离的帧间依赖关系。我们提出了多尺度多头自注意(MsMHSA)架构,以适应Q,K,V特征映射到Transformer头部的多尺度补丁分区,而不是使用单一尺度的粗图像补丁在ViT中,这使得能够学习细粒度的表示来执行像素级的人脸PAD的歧视。由于纯Transformers中卷积缺乏感性偏差,我们还将卷积引入到所提出的ViTransPAD中,通过使用卷积补丁嵌入和卷积投影来集成CNN的理想特性。大量的实验表明,我们提出的ViTransPAD具有较好的准确性和计算平衡的有效性,它可以作为一个新的骨干面PAD。
2022-03-14 cs.CV
Generic Attention-model Explainability for Interpreting Bi-Modal and Encoder-Decoder Transformers
Tel Aviv University(特拉维夫大学);Facebook AI Research (FAIR)(Facebook AI研究院)
Transformers越来越多地主导多模态推理任务,例如视觉问答,由于其使用自我注意和协同注意力机制将信息上下文化的能力,实现了最先进的结果。这些注意力模块还在其他计算机视觉任务中发挥作用,包括目标检测和图像分割。与仅使用自我注意力的Transformers不同,具有共同注意力的Transformers需要并行考虑多个注意力地图,以突出与模型输入中的预测相关的信息。在这项工作中,我们提出了第一种方法来解释预测的任何变压器为基础的架构,包括双模态Transformers和Transformers共同关注。我们提供了通用的解决方案,并将其应用于这些架构中最常用的三种:(i)纯自我注意,(ii)自我注意与共同注意相结合,以及(iii)编码器-解码器注意。我们表明,我们的方法是优于所有现有的方法,这是适应单一的模态可解释性。
2021-03-29 cs.CV cs.LG
DFTR: Depth-supervised Fusion Transformer for Salient Object Detection
Tencent Jarvis Lab(腾讯Jarvis实验室);University of Science and Technology of China(中国科学技术大学)
自动显著目标检测(SOD)在计算机视觉的许多应用中起着越来越重要的作用。深度监督卷积神经网络(CNN)通过将深度信息重新表达为监督而不是输入,在RGB和RGB-D SOD场景下都取得了令人满意的结果,其优点是在推理阶段不需要额外的深度网络和深度输入。本文首次寻求将深度监督的适用性扩展到Transformer架构。具体来说,我们开发了深度监督融合Transformer(DFTR),以进一步提高RGB和RGB-D SOD的准确性。本文提出的DFTR包含三个主要特征:1)DFTR是第一个基于transformer的深度监督SOD模型; 2)提出了多尺度特征聚合(MFA)模块,充分利用Swin Transformer编码的多尺度特征; 3)为了实现不同特征流之间的双向信息流,一种新的多阶段特征融合(MFF)模块进一步集成到我们的DFTR中,重点关注不同网络学习阶段的显著区域。我们广泛地评估了十个基准数据集的建议DFTR。实验结果表明,我们的DFTR始终优于现有的最先进的方法,RGB和RGB-D SOD任务。代码和模型将公开提供。
2022-04-11 cs.CV
CompletionFormer: Depth Completion with Convolutions and Vision Transformers
University of Bologna(博洛尼亚大学);PhiGent Robotics(视比特机器人)
本文提出CompletionFormer,以深度耦合卷积注意力与Vision Transformer的JCAT块构建金字塔模型,兼顾局部细节与全局上下文,在KITTI和NYUv2上超越CNN方法且FLOPs约为纯Transformer的1/3。
2023-04-25 cs.CV
SwinFuse: A Residual Swin Transformer Fusion Network for Infrared and Visible Images
Taiyuan University of Science and Technology(太原科技大学);Jiangnan University(江南大学);Nanyang Normal University(南阳师范学院)
现有的深度学习融合方法主要集中在卷积神经网络上,很少尝试使用Transformer。同时,卷积运算是图像和卷积核之间的内容无关的交互,这可能会丢失一些重要的上下文,并进一步限制融合性能。为此,我们提出了一个简单而强大的融合基线红外和可见光图像,即\textit{ Residual Swin Transformer Fusion Network},被称为Swinspiral。该算法包括全局特征提取、融合层和特征重构三部分。特别地,我们构建了一个完全注意力特征编码骨干来建模长距离依赖,它是一个纯Transformer网络,与卷积神经网络相比具有更强的表示能力。设计了一种基于序列矩阵$L_{1}$ -范数的特征融合策略,从行向量和列向量两个维度度量相应的活性水平,能够较好地保留红外亮度和可见光细节。最后,通过主观观察和客观比较,在3个不同的数据集上分别使用9种传统方法和深度学习方法对Swincloud进行了验证,实验结果表明,Swincloud融合算法具有较强的泛化能力和较好的计算效率,获得了令人惊讶的融合性能.该代码将在https://github.com/Zhishe-Wang/SwinFuse上提供。
2022-04-25 cs.CV
ViBe: Ultra-High-Resolution Video Synthesis Born from Pure Images
School of Artificial Intelligence, Shanghai Jiao Tong University(上海交通大学人工智能学院);Xi'an Jiaotong-Liverpool University(西安交通大学利物浦大学);Jilin University(吉林大学)
本文提出纯图像适应框架,通过两阶段LoRA策略提升视频扩散模型生成超高清视频的能力,无需视频训练数据,在VBench基准上超越现有最佳模型。
2026-03-24 cs.CV