Degenerate Swin to Win: Plain Window-based Transformer without Sophisticated Operations
Baidu Research(百度研究院)
Transformers在自然语言处理方面的巨大成就促使计算机视觉领域的研究人员构建视觉Transformer。与卷积神经网络(CNN)相比,视觉Transformer具有更大的感受野,能够表征长程依赖性。然而,视觉Transformer的大感受野伴随着巨大的计算成本。为了提高效率,出现了基于窗口的视觉Transformer。他们将一幅图像裁剪成几个局部窗口,自我注意力在每个窗口内进行。为了找回全局接收场,基于窗口的视觉Transformer投入了大量精力,通过开发几种复杂的操作来实现跨窗口通信。在这项工作中,我们检查Swin Transformer的关键设计元素的必要性,移动窗口分区。我们发现,一个简单的dependency卷积是足以实现有效的跨窗口通信。具体而言,由于存在去卷积,Swin Transformer中的移位窗口配置不能导致额外的性能改进。因此,我们通过丢弃复杂的移位窗口分区,将Swin Transformer退化为普通的基于窗口(Win)的Transformer。所提出的Win Transformer在概念上比Swin Transformer更简单,更易于实现。与此同时,我们的Win Transformer在多个计算机视觉任务(包括图像识别、语义分割和目标检测)上始终实现优于Swin Transformer的性能。
2022-11-25 cs.CV
Faster Inference of Integer SWIN Transformer by Removing the GELU Activation
McGill University(麦吉尔大学)
针对SWIN transformer难以全整数量化、推理速度慢的问题,提出用ReLU替换GELU激活并结合迭代知识蒸馏补精度,实现了量化模型推理延迟至少11%的提升,且ImageNet精度下降不足0.5%。
2024-02-02 cs.AI cs.CV
SwinECAT: A Transformer-based fundus disease classification model with Shifted Window Attention and Efficient Channel Attention
School of Physics and Information Technology(物理与信息学院);Shaanxi Normal University(陕西师范大学);School of Computer Science and Engineering(计算机科学与工程学院);Central South University(中南大学)
针对眼底图像病灶小、类间差异细导致分类精度低的问题,提出融合Swin注意力与ECA注意力的Transformer模型SwinECAT,在含16140张图像的EDID数据集上实现9类眼底疾病88.29%的分类准确率,性能优于多个基线模型。
2025-07-29 cs.AI cs.CV
Classifying Deepfakes Using Swin Transformers
School of Computer Science Carnegie Mellon University Pittsburgh, United States
Deepfake技术的扩散对数字媒体的真实性和可信度提出了重大挑战,需要开发强大的检测方法。这项研究探讨了Swin Transformers在检测和分类deepfake图像中的应用,Swin是一种利用移动窗口进行自我注意的最先进架构。使用延世大学计算智能摄影实验室的真实和虚假人脸检测数据集,我们评估了Swin Transformer和Swin-ResNet和Swin-KNN等混合模型,重点关注它们识别细微操作伪影的能力。我们的研究结果表明,Swin Transformer优于传统的基于CNN的架构,包括VGG 16,ResNet 18和AlexNet,实现了71.29%的测试准确率。此外,我们提出了对混合模型设计的见解,突出了Transformer和基于CNN的方法在深度伪造检测中的互补优势。这项研究强调了基于transformer的架构在提高基于图像的操纵检测的准确性和通用性方面的潜力,为更有效地应对deepfake威胁铺平了道路。
2025-01-31 cs.CV
SwinIFS: Landmark Guided Swin Transformer For Identity Preserving Face Super Resolution
King Fahd University of Petroleum and Minerals(国王法赫德石油和矿物大学);The University of Western Australia(西澳大学);The University of Canberra(堪培拉大学);The University of Regina(里贾纳大学)
研究针对面部超分辨率难题,提出SwinIFS框架,将面部地标热图融入输入,用Swin Transformer主干捕获信息,在CelebA基准实验中展现优异性能,能在多方面平衡,适用于面部相关实际应用。
2026-07-14 cs.AI cs.CV
Swin-Pose: Swin Transformer Based Human Pose Estimation
Alibaba Group(阿里巴巴集团)
卷积神经网络(CNN)在计算机视觉中得到了广泛的应用。然而,CNN具有固定的接收场,并且缺乏对人体姿态估计至关重要的远距离感知能力。Transformer架构由于其能够捕捉像素之间的长距离依赖关系,近年来已被采用到计算机视觉应用中,并被证明是一种高效的架构。我们有兴趣探索其在人体姿态估计的能力,因此提出了一种新的模型的基础上Transformer架构,增强与特征金字塔融合结构。更具体地说,我们使用预先训练的Swin Transformer作为我们的骨干,从输入图像中提取特征,我们利用特征金字塔结构从不同阶段提取特征图。通过将这些特征融合在一起,我们的模型可以预测关键点热图。我们的研究的实验结果表明,所提出的基于变压器的模型可以实现更好的性能相比,最先进的基于CNN的模型。
2022-06-25 cs.CV
Facial Expression Recognition with Swin Transformer
Dongguk University(东国大学)
识别人类面部表情的任务在各种与人类相关的系统中起着至关重要的作用,包括医疗保健和医疗领域。随着最近深度学习的成功和大量注释数据的可访问性,面部表情识别研究已经足够成熟,可以在具有视听数据集的真实场景中使用。在本文中,我们介绍了基于Swin变换的面部表情方法在野生视听数据集的Aff-Wild 2表达式数据集。具体来说,我们采用了三流网络(即,视频流、时间流和音频流),将多模态信息融合到人脸表情识别中。在Aff-Wild 2数据集上的实验结果表明了我们提出的多模态方法的有效性。
2022-03-25 cs.AI cs.CV
COVID-19 Detection in Chest X-ray Images Using Swin-Transformer and Transformer in Transformer
Zhejiang University(浙江大学);Northeastern University(东北大学)
2019冠状病毒病(COVID-19)已在全球蔓延并造成严重损害。胸部X光图像广泛用于COVID-19诊断,人工智能方法可提高效率和准确性。在Challenge of Chest XR COVID-19 detection in Ethics and Explainability for Responsible Data Science(EE-RDS)conference 2021中,我们提出了一种方法,该方法结合了Swin Transformer和Transformer中的Transformer,将胸部X射线图像分类为三类:COVID-19、肺炎和正常(健康),并在测试集上达到了0.9475的准确率。
2022-12-31 cs.CV eess.IV
High-Resolution Swin Transformer for Automatic Medical Image Segmentation
Xi’an University of Posts&Telecommunications(西安邮电大学);Xidian University(西安电子科技大学)
特征图的分辨率是医学图像分割的关键。大多数现有的基于变换器的医学图像分割网络都是类似U网的架构,其包含编码器和解码器,编码器利用一系列Transformer块将输入的医学图像从高分辨率表示转换为低分辨率特征图,解码器从低分辨率特征图逐渐恢复高分辨率表示。与以前的研究不同,在本文中,我们利用高分辨率网络(HRNet)的网络设计风格,用Transformer块替换卷积层,并从由Transformer块生成的不同分辨率特征图中连续交换信息。本文提出的新的基于变压器的网络表示为高分辨率Swin Transformer网络(HRSTNet)。大量实验表明,HRSTNet可以在脑肿瘤分割(BraTS)2021和医学分割Decathlon的肝脏数据集上实现与最先进的基于Transformer的U-Net类似架构相当的性能。HRSTNet的代码将在https://github.com/auroua/HRSTNet上公布。
2022-07-23 cs.AI cs.CV
Video Swin Transformer
Microsoft Research Asia(微软亚洲研究院);University of Science and Technology of China(中国科学技术大学);Huazhong University of Science and Technology(华中科技大学);Tsinghua University(清华大学)
视觉社区正在见证从CNN到Transformers的建模转变,其中纯Transformer架构在主要的视频识别基准上达到了最高的准确性。这些视频模型都建立在Transformer层上,这些层在空间和时间维度上全局连接补丁。在本文中,我们主张在视频Transformers中引入局部性的归纳偏差,与以前的方法相比,这导致了更好的速度-准确性权衡,这些方法即使在时空分解的情况下也可以全局计算自我注意力。所提出的视频架构的局部性是通过调整为图像域设计的Swin Transformer来实现的,同时继续利用预先训练的图像模型的能力。我们的方法在广泛的视频识别基准上实现了最先进的准确性,包括动作识别(Kinetics-400上的84.9 top-1准确性和Kinetics-600上的86.1 top-1准确性,预训练数据减少了约20倍,模型大小减少了约3倍)和时间建模(Something-Something v2上的69.6 top-1准确性)。代码和模型将在https://github.com/SwinTransformer/Video-Swin-Transformer上公开提供。
2021-06-24 cs.AI cs.CV cs.LG
Residual Swin Transformer Channel Attention Network for Image Demosaicing
Tampere University(坦佩雷大学)
图像去马赛克是指从原始传感器(彩色滤光片阵列)数据中插值出全分辨率彩色图像的问题.在过去的十年中,深度神经网络已被广泛用于图像复原,特别是在去马赛克中,获得了显着的性能改善。近年来,视觉Transformer已被设计并成功地用于各种计算机视觉应用。基于Swin Transformer(ST)的最近的图像复原方法之一SwinIR以比基于神经网络的方法更少的参数展示了最先进的性能。受SwinIR成功的启发,本文提出了一种新的基于Swin变换的图像去马赛克网络,称为RSTCANet。为了提取图像特征,RSTCANet堆叠几个残余Swin Transformer通道注意块(RSTCAB),为每两个连续ST块引入通道注意。大量的实验表明,RSTCANet-执行国家的最先进的图像去马赛克方法,并具有较少的参数。
2022-04-14 cs.CV eess.IV
STB-VMM: Swin Transformer Based Video Motion Magnification
IQS School of Engineering(IQS工程学院);Universitat Ramon Llull(拉蒙·柳利大学)
视频运动放大技术的目标是放大视频中的小运动,以揭示先前不可见或不可见的运动。它的用途从生物医学应用和deepfake检测扩展到结构模态分析和预测性维护。然而,从噪声中辨别小的运动是一项复杂的任务,特别是当试图放大非常细微的、通常是亚像素的运动时。结果,运动放大技术通常遭受噪声和模糊输出。这项工作提出了一个新的国家的最先进的模型的基础上Swin的Transformer,它提供了更好的容忍噪声输入以及更高质量的输出,表现出更少的噪音,模糊,和文物比现有技术的输出图像质量的改进将使更精确的测量任何应用依赖于放大的视频序列,并且可以在新的技术领域中实现视频运动放大技术的进一步发展。
2023-03-27 cs.AI cs.CV
vieCap4H-VLSP 2021: Vietnamese Image Captioning for Healthcare Domain using Swin Transformer and Attention-based LSTM
Sejong University(世宗大学);Ton Duc Thang University(孙德胜大学);ASICLAND;Northeastern University(东北大学);Deakin University(迪肯大学)
本研究介绍了我们在2021年越南语言和语音处理(VLSP)挑战赛的文本处理任务中为医疗保健领域自动越南语图像描述的方法,如图1所示。近年来,图像描述通常采用基于卷积神经网络的架构作为编码器,并采用长短期记忆(LSTM)作为解码器来生成句子。这些模型在不同的数据集中表现得非常好。我们提出的模型也有一个编码器和一个解码器,但我们在编码器中使用Swin Transformer,在解码器中使用LSTM和注意力模块。本研究介绍了我们的训练实验和技术在比赛中使用。我们的模型在vietCap4H数据集上获得了0.293的BLEU4分数,并且该分数在私人排行榜上排名第3位$^{rd}$。我们的代码可以在\url{https://git.io/JDdJm}上找到。
2022-09-03 cs.AI cs.CL cs.CV
SwinIR: Image Restoration Using Swin Transformer
ETH Zurich(苏黎世联邦理工学院);KU Leuven(鲁汶大学)
图像恢复是一个长期存在的低级视觉问题,其目的是从低质量图像(例如,缩小、噪声和压缩图像)。虽然最先进的图像恢复方法是基于卷积神经网络,但很少有人尝试使用Transformers,这些方法在高级视觉任务中表现出令人印象深刻的性能。在本文中,我们提出了一个强基线模型SwinIR图像恢复的基础上Swin Transformer。SwinIR由三部分组成:浅层特征提取、深层特征提取和高质量图像重建。特别地,深度特征提取模块由若干残余Swin Transformer块(RSTB)组成,每个残余Swin transformer块具有若干Swin Transformer层以及残余连接。我们对三个有代表性的任务进行了实验:图像超分辨率(包括经典,轻量级和真实世界的图像超分辨率),图像去噪(包括灰度和彩色图像去噪)和JPEG压缩伪影减少。实验结果表明,SwinIR优于国家的最先进的方法在不同的任务由$\textbf{up to 0.14$ \sim $0.45dB}$,而总的参数的数量可以减少$\textbf{up to 67%}$。
2021-08-23 cs.CV eess.IV
Barlow-Swin: Toward a novel siamese-based segmentation architecture using Swin-Transformers
HSLU, Lucerne University of Applied Sciences and Arts(卢塞恩应用科学与艺术大学);Technical University of Munich(慕尼黑技术大学);University College London (UCL)(伦敦大学学院);TOELT LLC AI lab(TOELT LLC人工智能实验室)
提出Barlow-Swin,一种结合Swin Transformer编码器与U-Net解码器的轻量级端到端架构,利用Barlow Twins自监督预训练,在二值医学图像分割中实现高精度、低参数和快速推理,适合实时临床部署。
2025-09-08 cs.AI cs.CV
SwinFuse: A Residual Swin Transformer Fusion Network for Infrared and Visible Images
Taiyuan University of Science and Technology(太原科技大学);Jiangnan University(江南大学);Nanyang Normal University(南阳师范学院)
现有的深度学习融合方法主要集中在卷积神经网络上,很少尝试使用Transformer。同时,卷积运算是图像和卷积核之间的内容无关的交互,这可能会丢失一些重要的上下文,并进一步限制融合性能。为此,我们提出了一个简单而强大的融合基线红外和可见光图像,即\textit{ Residual Swin Transformer Fusion Network},被称为Swinspiral。该算法包括全局特征提取、融合层和特征重构三部分。特别地,我们构建了一个完全注意力特征编码骨干来建模长距离依赖,它是一个纯Transformer网络,与卷积神经网络相比具有更强的表示能力。设计了一种基于序列矩阵$L_{1}$ -范数的特征融合策略,从行向量和列向量两个维度度量相应的活性水平,能够较好地保留红外亮度和可见光细节。最后,通过主观观察和客观比较,在3个不同的数据集上分别使用9种传统方法和深度学习方法对Swincloud进行了验证,实验结果表明,Swincloud融合算法具有较强的泛化能力和较好的计算效率,获得了令人惊讶的融合性能.该代码将在https://github.com/Zhishe-Wang/SwinFuse上提供。
2022-04-25 cs.CV
Self-Supervised Pre-Training of Swin Transformers for 3D Medical Image Analysis
Vanderbilt University(范德堡大学);NVIDIA(英伟达)
视觉Transformer(ViT)在全局和局部表示的自监督学习中表现出出色的性能,这些表示可以转移到下游应用程序。受这些结果的启发,我们引入了一个新的自监督学习框架与定制的代理任务的医学图像分析。具体而言,我们建议:(i)一种新的基于3D变换器的模型,称为Swin UNEt Transformers(Swin UNETR),具有用于自我监督预训练的分层编码器;(ii)定制的代理任务,用于学习人体解剖学的基本模式。我们在来自各种身体器官的5,050个公开的计算机断层扫描(CT)图像上成功地对所提出的模型进行了预训练。我们的方法的有效性是通过微调预训练模型的超越颅骨拱顶(BTCV)分割挑战与13个腹部器官和分割任务从医学分割十项全能(MSD)数据集。我们的模型目前在MSD和BTCV数据集的公共测试排行榜上都是最先进的(即排名第一)。代码:https://monai.io/research/swin-unetr
2022-03-28 cs.AI cs.CV cs.LG
SparseSwin: Swin Transformer with Sparse Transformer Block
Brawijaya University(布拉维贾亚大学)
针对Transformer参数量大、效率低的问题,提出带稀疏令牌转换器的SparTa块并嵌入Swin T架构得到SparseSwin,在更少参数下于多个图像分类数据集上取得优于现有最优模型的准确率。
2023-09-11 cs.AI cs.CV cs.LG
Reinforced Swin-Convs Transformer for Underwater Image Enhancement
Ningbo University(宁波大学)
水下图像增强(UIE)技术旨在解决由于光的吸收和散射而引起的水下图像退化的恢复问题。针对这一问题,提出了一种基于U网的增强型Swin-Convs Transformer水下图像增强方法(URSCT-UIE)。具体来说,针对基于纯卷积的U-Net的不足,将Swin Transformer嵌入到U-Net中,提高了U-Net对全局依赖的捕捉能力。然后,考虑到Swin Transformer捕获局部注意力的不足,卷积的重新引入可以捕获更多的局部注意力。因此,我们提供了一种巧妙的方式来融合卷积和核心注意力机制,以构建增强的Swin-Convs Transformer块(RSCTB)来捕获更多的局部注意力,该局部注意力在Swin Transformer的通道和空间注意力中得到增强。最后,在现有数据集上的实验结果表明,与其他方法相比,所提出的URSCT-UIE在主观和客观评价方面都达到了最先进的性能。代码将在验收后发布在GitHub上。
2022-05-01 cs.CV eess.IV
SKGE-SWIN: End-To-End Autonomous Vehicle Waypoint Prediction and Navigation Using Skip Stage Swin Transformer
Department of Computer Science, Indonesia University of Education(印度尼西亚教育大学计算机科学系);Research Center for Smart Mechatronics, National Research and Innovation Agency(国家研究与创新局智能机电研究中心);Department of Computer Science and Electronics, Gadjah Mada University(加查玛达大学计算机科学与电子系)
本文提出 SKGE-Swin 端到端自动驾驶架构,通过跳跃阶段机制与 SW-MSA 增强多层级全局特征提取,并在 CARLA 对抗场景中取得优于以往方法的驾驶分数。
2025-08-28 cs.AI cs.CV cs.LG
EA-Swin: An Embedding-Agnostic Swin Transformer for AI-Generated Video Detection
N2TP Technology Solution JSC(N2TP技术解决方案有限公司);College of Technology, National Economics University(国家经济大学技术学院);University of Science, Vietnam National University(越南国家大学科学大学);Faculty of AI and Data Science, Phenikaa University(Phenikaa大学人工智能与数据科学学院);The Saigon International University(西贡国际大学);College of Informatics, Yuan Ze University(元智大学资讯学院)
EA-Swin通过因子化窗口注意力设计,直接建模预训练视频嵌入的时空依赖性,实现对AI生成视频的高准确率检测,优于现有方法5-20%。
2026-03-05 cs.CV
Efficient Lung Cancer Image Classification and Segmentation Algorithm Based on Improved Swin Transformer
North University of China(中北大学)
随着计算机技术的发展,人工智能中出现了各种各样的模型。Transformer模型在自然语言处理(NLP)领域取得成功后,已被应用到计算机视觉(CV)领域。放射科医生在当今快速发展的医疗领域继续面临多重挑战,例如工作量增加和诊断需求增加。尽管之前有一些常规的肺癌检测方法,但其准确性仍有待提高,尤其是在现实的诊断场景中。本文创造性地提出了一种基于高效Transformer的分割方法,并将其应用于医学图像分析。该算法通过对肺癌数据的分析,完成肺癌分类和分割的任务,旨在为医务人员提供高效的技术支持。此外,我们还从多个方面对结果进行了评价和比较。对于分类任务,常规训练的Swin-T和预训练的两种分辨率的Swin-B的最大准确率可达82.3%。对于分割任务,我们使用预训练来帮助模型提高实验的准确性。三种模型的准确率均达到95%以上。实验表明,该算法可以很好地应用于肺癌的分类和分割任务。
2022-07-04 cs.AI cs.CV
PARSE challenge 2022: Pulmonary Arteries Segmentation using Swin U-Net Transformer(Swin UNETR) and U-Net
Robert Bosch Center of Data Science and AI, IIT Madras(印度理工学院马德拉斯分校罗伯特·博世数据科学与人工智能中心);Indian Institute of Technology, Madras(印度理工学院马德拉斯分校)
在这项工作中,我们提出了我们提出的方法,使用Swin UNETR和基于U-Net的深度神经网络架构从CT扫描中分割肺动脉。六个模型,三个模型的基础上Swin UNETR,和三个模型的基础上的3D U-网与残留的单位集成使用加权平均,使最终的分割掩模。我们的团队通过这种方法获得了84.36%的多级骰子得分。我们的工作代码可在以下链接中找到:https://github.com/akansh12/parse2022。这项工作是MICCAI PARSE 2022挑战赛的一部分。
2022-08-20 cs.CV eess.IV
Video-SwinUNet: Spatio-temporal Deep Learning Framework for VFSS Instance Segmentation
University of Bristol(布里斯托尔大学);Queen Elizabeth Hospital(伊丽莎白女王医院)
本文提出Video-SwinUNet时空深度学习框架,通过时间特征混合器提取相邻帧特征并结合Swin Transformer与UNet架构进行医学视频分割,在VFSS2022数据集上取得显著优于现有方法的效果。
2023-07-04 cs.AI cs.CV
SwinBERT: End-to-End Transformers with Sparse Attention for Video Captioning
Microsoft(微软)
视频描述的规范方法规定了从离线提取的密集视频特征中学习的字幕生成模型。这些特征提取器通常对以固定帧速率采样的视频帧进行操作,并且通常在图像/视频理解任务上进行训练,而不适应视频描述数据。在这项工作中,我们提出了SwinBERT,一个端到端的基于转换器的模型视频描述,它需要视频帧补丁直接作为输入,并输出一个自然语言的描述。我们的方法不是利用多个2D/3D特征提取器,而是采用视频Transformer来编码时空表示,该时空表示可以适应可变长度的视频输入,而无需针对不同的帧速率进行专门的设计。基于这个模型架构,我们表明,视频描述可以从更密集的采样视频帧中受益,而不是以前的成功与稀疏采样视频帧的视频和语言理解任务(例如,视频问答)。此外,为了避免连续视频帧中的固有冗余,我们提出了自适应学习稀疏注意力掩码并通过更好的长距离视频序列建模来优化它以提高特定任务的性能。通过对5个视频描述数据集的广泛实验,我们表明SwinBERT比以前的方法实现了全面的性能改进,通常是大幅度的。此外,学习的稀疏注意力掩码将限制推到了新的技术水平,并且可以在不同的视频长度之间和不同的数据集之间传输。代码可在https://github.com/microsoft/SwinBERT上获得
2022-06-18 cs.CV
Yuan-TecSwin: A text conditioned Diffusion model with Swin-transformer blocks
Yuan-Tec(元 Tec)
Yuan-TecSwin通过引入Swin-transformer块替代CNN,提升文本条件扩散模型在图像生成中的非局部建模能力,达到ImageNet生成基准的最优FID分数1.37。
2025-12-18 cs.AI cs.CV
DenseSwinV2: Channel Attentive Dual Branch CNN Transformer Learning for Cassava Leaf Disease Classification
Artificial Intelligence Lab, Department of Computer Systems Engineering, University of Engineering and Applied Sciences (UEAS), Swat(斯瓦特工程与应用科学大学计算机系统工程系人工智能实验室);Interdisciplinary Research Center for Smart Mobility and Logistics (IRC-SML), King Fahd University of Petroleum and Minerals (KFUPM), Dhahran(法赫德国王石油矿产大学智能移动与物流跨学科研究中心)
本文提出DenseSwinV2框架,结合密集连接卷积特征和定制化SwinV2表示,通过通道注意力模块提升玉米叶病分类性能,达到98.02%的准确率。
2026-03-26 cs.AI cs.CV
SQ-Swin: a Pretrained Siamese Quadratic Swin Transformer for Lettuce Browning Prediction
University of Massachusetts(马萨诸塞大学);University of Florida(佛罗里达大学);United States Department of Agriculture(美国农业部)
包装鲜切生菜因其营养价值高、新鲜、食用方便等特点,被广泛用作蔬菜沙拉的主要成分。然而,生菜切割边缘上的酶促褐变变色显著降低了产品质量和货架期。虽然有许多研究和育种工作正在进行中,以尽量减少褐变,但由于缺乏快速可靠的方法来评估褐变,这一进展受到阻碍。目前识别和量化褐变的方法要么过于主观,劳动密集,要么不准确。在本文中,我们报告了一个用于生菜褐变预测的深度学习模型。据我们所知,这是第一个使用预训练的Siamese Quadratic Swin(SQ-Swin)Transformer进行莴苣褐变预测的深度学习,具有几个亮点。首先,我们的模型在Transformer模型中包括二次特征,该模型比线性Transformer模型更强大,可以结合真实世界的表示。其次,提出了一种多尺度训练策略来增强数据并探索生菜图像的更多内在自相似性。第三,该模型采用连体结构,学习有限的训练样本之间的相互关系。第四,模型在ImageNet上进行预训练,然后使用爬行动物Meta学习算法进行训练,以学习比常规梯度更高阶的梯度。在鲜切生菜数据集上的实验结果表明,SQ-Swin算法的性能优于传统方法和其他基于深度学习的主干算法.
2022-09-16 cs.CV
SwinTextUNet: Integrating CLIP-Based Text Guidance into Swin Transformer U-Nets for Medical Image Segmentation
本文提出SwinTextUNet,结合CLIP文本嵌入与Swin Transformer U-Net,提升医学图像分割的鲁棒性和准确性,在QaTaCOV19数据集上取得86.47%的Dice和78.2%的IoU成绩。
2026-04-11 cs.CV
N-Gram in Swin Transformers for Efficient Lightweight Image Super-Resolution
Sogang University(西江大学);LG Innotek(LG伊诺特)
虽然一些研究已经证明具有窗口自注意(WSA)的Swin Transformer(Swin)适用于单个图像超分辨率(SR),但是普通的WSA由于有限的感受野而在重建高分辨率图像时忽略了宽区域。此外,许多深度学习SR方法遭受密集计算。为了解决这些问题,我们首次将N-Gram上下文引入到具有Transformers的低级视觉中。我们将N-Gram定义为Swin中的相邻局部窗口,这与将N-Gram视为连续字符或单词的文本分析不同。N-Gram通过滑动WSA相互作用,扩展可见区域以恢复退化像素。使用N-Gram上下文,我们提出了NGswin,一个高效的SR网络与SCDP瓶颈采取多尺度输出的分层编码器。实验结果表明,NGswin实现了竞争力的性能,同时保持了一个有效的结构相比,以前的领先方法。此外,我们还改进了其他基于Swin的SR方法与N-Gram上下文,从而建立一个增强的模型:SwinIR-NG。我们改进的SwinIR-NG优于当前最好的轻量级SR方法,并建立了最先进的结果。代码可在https://github.com/rami0205/NGramSwin上获得。
2023-03-20 cs.CV
Swin-Free: Achieving Better Cross-Window Attention and Efficiency with Size-varying Window
NVIDIA(英伟达)
针对Swin Transformer移位窗口引入内存拷贝开销的问题,提出Swin-Free,通过跨阶段应用尺寸可变窗口实现局部窗口跨连接,在提升推理速度的同时获得更高准确度,并提供多种更快的变体。
2023-06-23 cs.CV cs.LG
Self-Supervised Learning with Swin Transformers
Microsoft Research Asia(微软亚洲研究院);Tsinghua University(清华大学);Xi’an Jiaotong University(西安交通大学)
我们正在见证计算机视觉中从CNN到Transformers的建模转变。在这项工作中,我们提出了一个自监督学习的方法,称为MoBY,与视觉Transformer作为其骨干架构。该方法基本上没有新的发明,它结合了MoCo v2和BYOL,并经过调整,在ImageNet-1 K线性评估中实现了相当高的准确度:通过300次训练,使用DeiT-S和Swin-T分别达到72.8%和75.0%的top-1准确度。性能略优于MoCo v3和DINO的最新作品,后者采用DeiT作为主干,但技巧要轻得多。更重要的是,通用的Swin Transformer主干使我们能够评估下游任务(如目标检测和语义分割)的学习表示,而最近基于ViT/DeiT的一些方法仅报告ImageNet-1 K上的线性评估结果,因为ViT/DeiT不适合这些密集的预测任务。我们希望我们的研究结果可以促进更全面的评估自监督学习方法设计的Transformer架构。我们的代码和模型可以在https://github.com/SwinTransformer/Transformer-SSL上获得,它将不断丰富。
2021-05-11 cs.CV
Swin UNETR: Swin Transformers for Semantic Segmentation of Brain Tumors in MRI Images
NVIDIA(英伟达);Vanderbilt University(范德堡大学)
脑肿瘤的语义分割是一项基本的医学图像分析任务,涉及多种MRI成像模式,可以帮助临床医生诊断患者并连续研究恶性实体的进展。近年来,全卷积神经网络(FCNN)方法已成为3D医学图像分割的事实标准。流行的“U形”网络架构在不同的2D和3D语义分割任务以及各种成像模式上实现了最先进的性能基准。然而,由于FCNN中卷积层的核大小有限,它们对长距离信息建模的性能是次优的,这可能导致在分割具有可变大小的肿瘤时存在缺陷。另一方面,Transformer模型已经在多个领域(包括自然语言处理和计算机视觉)中展示了捕获此类远程信息的出色能力。受Vision Transformers及其变体的成功启发,我们提出了一种新的分割模型,称为Swin UNEt Transformers(Swin UNETR)。具体而言,3D脑肿瘤语义分割的任务被重新表述为序列到序列预测问题,其中多模态输入数据被投影到嵌入的1D序列中,并用作作为编码器的分层Swin Transformer的输入。swin Transformer编码器通过利用移位窗口来计算自注意力,以五种不同的分辨率提取特征,并通过跳过连接以每个分辨率连接到基于FCNN的解码器。我们参加了BraTS 2021细分挑战赛,我们提出的模型在验证阶段是表现最好的方法之一。代码:https://monai.io/research/swin-unetr
2022-01-04 cs.CV cs.LG eess.IV
SWIN-SFTNet : Spatial Feature Expansion and Aggregation using Swin Transformer For Whole Breast micro-mass segmentation
University of Nevada, Reno(内华达大学雷诺分校)
在训练深度学习架构中模拟各种肿块形状和大小使得乳房肿块分割具有挑战性。此外,不规则形状的肿块的手动分割是耗时且容易出错的。虽然深度神经网络在乳腺肿块分割方面表现出了出色的性能,但它在分割微小肿块时失败了。在本文中,我们提出了一种新的U形网形的变压器为基础的架构,称为Swin-SFTNet,优于最先进的架构,在乳腺钼靶摄影为基础的微质量分割。首先,为了捕获全局上下文,我们设计了一种新的空间特征扩展和聚合块(SFEA),将连续的线性块转换为结构化的空间特征。接下来,我们将其与swin Transformer块提取的局部线性特征相结合,以提高整体精度。我们还采用了一种新的嵌入损失,计算编码器和解码器块的线性特征嵌入之间的相似性。通过这种方法,我们在CBIS-DDSM上实现了比现有技术更高的分割率3.10%,在InBreast上实现了3.81%,在InBreast测试数据集上实现了3.13%的CBIS预训练模型。
2022-11-16 cs.CV eess.IV
SSformer: A Lightweight Transformer for Semantic Segmentation
Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
人们普遍认为,与卷积神经网络相比,Transformer在语义分割方面表现更好。然而,原始的视觉Transformer可能缺乏局部邻域的归纳偏差并且具有高时间复杂度。最近,Swin Transformer通过使用分层架构和移动窗口,在更高效的同时,在各种视觉任务中创造了新的记录。然而,由于Swin Transformer是专门为图像分类设计的,因此它可能在基于密集预测的分割任务上实现次优性能。此外,简单地将Swin Transformer与现有方法结合将导致最终分割模型的模型大小和参数的增加。在本文中,我们重新思考的Swin Transformer的语义分割,并设计了一个轻量级而有效的Transformer模型,称为SSformer。在该模型中,考虑到Swin Transformer固有的分层设计,我们提出了一个解码器来聚合不同层的信息,从而获得局部和全局的关注。实验结果表明,所提出的SSformer产生与最先进的模型相当的mIoU性能,同时保持较小的模型大小和较低的计算。
2022-08-03 cs.CV
Swin-Unet: Unet-like Pure Transformer for Medical Image Segmentation
Technische Universität München(慕尼黑工业大学);Fudan University(复旦大学);Huawei Technologies(华为技术有限公司)
在过去的几年里,卷积神经网络(CNN)在医学图像分析方面取得了里程碑式的成就。特别是基于U型结构和跳跃连接的深度神经网络,已经广泛应用于各种医学图像任务中。然而,尽管CNN取得了优异的性能,但由于卷积运算的局部性,它不能很好地学习全局和远程语义信息交互。在本文中,我们提出了Swin-Unet,这是一个Unet-like纯Transformer医学图像分割。标记化的图像块被馈送到基于变换器的U形编码器-解码器架构中,具有用于局部-全局语义特征学习的跳过连接。具体来说,我们使用分层Swin Transformer与移位窗口作为编码器来提取上下文特征。并设计了一个基于对称Swin变换的解码器,该解码器具有补丁扩展层,用于执行上采样操作,以恢复特征图的空间分辨率。在对输入和输出进行4倍直接下采样和上采样的情况下,对多器官和心脏分割任务的实验表明,纯基于transformer的U形编码器-解码器网络优于采用全卷积或Transformer和卷积相结合的方法。代码和训练模型将在https://github.com/HuCaoFighting/Swin-Unet上公开。
2021-05-12 cs.CV eess.IV
SFI-Swin: Symmetric Face Inpainting with Swin Transformer by Distinctly Learning Face Components Distributions
Isfahan University of Technology(伊斯法罕理工大学);McMaster University(麦克马斯特大学);Seattle University(西雅图大学)
图像修补包括填充图像的漏洞或缺失部分。修复具有对称特征的人脸图像比修复自然场景更具挑战性。没有一个强大的现有模型可以在考虑图像的对称性和均匀性的同时填充图像的缺失部分。此外,评估修复的面部图像质量的度量不能测量重建的面部部分和现有面部部分之间的对称性的保持。在本文中,我们打算通过使用多个鉴别器来解决人脸修复任务中的对称性问题,这些鉴别器分别检查每个人脸器官的真实性和基于变换的网络。我们还提出了“对称集中分数”作为一个新的度量修复后的人脸图像的对称性。定量和定性的结果表明,我们所提出的方法相比,最近提出的一些算法的现实性,对称性和均匀性的修补部分的优越性。
2023-01-09 cs.CV
Single Image Super-Resolution Using Lightweight Networks Based on Swin Transformer
University Of Electronic Science And Technology Of China(电子科技大学)
图像超分辨率重建是图像处理技术领域的一个重要课题,它可以将低分辨率图像恢复为高分辨率的高质量图像。近年来,深度学习在图像超分辨率重建领域得到了应用。随着深度神经网络的不断发展,重建图像的质量有了很大的提高,但模型的复杂度也随之增加。在Swin Transformer的基础上,提出了两个轻量级的模型MSwinSR和UGSwinSR。MSwinSR中最重要的结构被称为多尺寸Swin Transformer块(MSTB),其主要包含四个并行的多头自注意(MSA)块。UGSwinSR将U-Net和GAN与Swin Transformer结合在一起。这两种方法都可以降低模型的复杂度,但MSwinSR可以达到更高的客观质量,而UGSwinSR可以达到更高的感知质量。实验结果表明,与SwinIR模型相比,MSwinSR模型通过$\mathbf{0.07dB}$提高了峰值信噪比,同时通过$\mathbf{30.68\%}$减少了参数个数,并通过$\mathbf{9.936\%}$降低了计算量。UGSwinSR可以有效地减少网络的计算量,与SwinIR相比可以减少$\mathbf{90.92\%}$。
2022-10-20 cs.CV eess.IV
Resolution Enhancement Processing on Low Quality Images Using Swin Transformer Based on Interval Dense Connection Strategy
Tamkang University(淡江大学)
本研究提出基于区间密集连接策略的SwinOIR模型,通过提升模型特征重用性,在低计算资源下实现图像超分辨率和对象检测的高效处理。
2023-05-13 cs.CV
SST: A Simplified Swin Transformer-based Model for Taxi Destination Prediction based on Existing Trajectory
University of Pennsylvania(宾夕法尼亚大学);Duke Kunshan University(昆山杜克大学)
针对出租车目的地预测问题,提出去除移位窗口机制的简化 Swin Transformer(SST),将轨迹转为二维网格处理,并在真实数据上取得优于现有方法的准确率。
2023-08-15 cs.CV cs.CY
Residual-SwinCA-Net: A Channel-Aware Integrated Residual CNN-Swin Transformer for Malignant Lesion Segmentation in BUSI
University of Engineering and Applied Sciences (UEAS), Swat(斯瓦特工程与应用科学大学(UEAS))
残差-滑动窗口通道注意力网络通过结合残差CNN和滑动窗口变换模块,提升乳腺恶性病变分割的准确性和鲁棒性。
2025-12-09 cs.AI cs.CV cs.LG
Swin Meets EfficientNet: Lightweight Architectures for GAN-Based Face Forensics
International Institute of Information Technology, Bangalore(国际信息技术学院(班加罗尔));Ulster University(阿尔斯特大学);Dr B R Ambedkar National Institute of Technology Jalandhar(阿姆倍伽尔博士国家技术学院贾朗达尔分校)
本研究提出结合EfficientNet-B0卷积处理与Swin Transformer后端的混合架构,在14万张人脸数据集上实现99%准确率,高效检测GAN生成的合成人脸,性能优于纯Swin变体及仅CNN的基线。
2026-09-03 cs.AI cs.CV
DS-TransUNet:Dual Swin Transformer U-Net for Medical Image Segmentation
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Shenzhen Medical Biometrics Perception and Analysis Engineering Laboratory(深圳市医学生物特征感知与分析工程实验室);Bio-Computing Research Center(生物计算研究中心);Shenzhen Key Laboratory of Visual Object Detection and Recognition(深圳市视觉目标检测与识别重点实验室)
得益于深度学习的发展,医学图像自动分割取得了很大的进展。然而,现有的方法大多基于卷积神经网络(CNN),由于卷积运算中感受野的限制,无法建立长程依赖关系和全局上下文连接。受Transformer在远程上下文信息建模方面的成功启发,一些研究者在设计基于Transformer的U-Net的鲁棒变体方面付出了相当大的努力。此外,在视觉Transformer中使用的块划分通常忽略了每个块内部的像素级内在结构特征。为了缓解这些问题,我们提出了一种新的深度医学图像分割框架,称为Dual Swin Transformer U-Net(DS-TransUNet),这可能是第一次尝试同时将分层Swin Transformer的优点结合到标准U形架构的编码器和解码器中,以增强不同医学图像的语义分割质量。与许多先前的基于transformer的解决方案不同,所提出的DS-TransUNet首先采用基于Swin Transformer的双尺度编码器子网络来提取不同语义尺度的粗粒度和细粒度特征表示。作为DS-TransUNet的核心组件,提出了一个设计良好的Transformer交互式融合(TIF)模块,通过自注意力机制有效地建立不同尺度特征之间的全局依赖关系。此外,我们还将Swin Transformer模块引入到解码器中,以在上采样过程中进一步探索长距离上下文信息。在四个典型的医学图像分割任务的广泛实验…
2021-06-12 cs.CV
SUNet: Swin Transformer UNet for Image Denoising
National Chung Hsing University(国立中兴大学);National Taichung University of Science and Technology(国立台中科技大学)
图像复原是一个具有挑战性的不适定问题,也是一个长期存在的问题。在过去的几年里,卷积神经网络(CNN)几乎主导了计算机视觉,并在包括图像恢复在内的不同层次的视觉任务中取得了相当大的成功。然而,最近基于Swin Transformer的模型也表现出令人印象深刻的性能,甚至超过了基于CNN的方法,成为高级视觉任务的最先进的方法。在本文中,我们提出了一个恢复模型称为SUNet,它使用Swin Transformer层作为我们的基本块,然后应用到UNet架构的图像去噪。源代码和预训练模型可在https://github.com/FanChiMao/SUNet上获得。
2022-02-28 cs.CV cs.LG eess.IV
Swin MAE: Masked Autoencoders for Small Datasets
医学图像分析中深度学习模型的发展主要受到缺乏大尺寸和良好注释数据集的限制。无监督学习不需要标签,更适合解决医学图像分析问题。然而,目前大多数无监督学习方法需要应用于大型数据集。为了使无监督学习适用于小数据集,我们提出了Swin MAE,这是一种以Swin Transformer为骨干的掩码自动编码器。即使在只有几千张医学图像的数据集上,并且不使用任何预先训练的模型,Swin MAE仍然能够纯粹从图像中学习有用的语义特征。就下游任务的迁移学习结果而言,它可以等同于甚至略优于在ImageNet上训练的Swin Transformer获得的监督模型。该代码可在www.example.com上公开获取。
2023-01-05 cs.AI cs.CV
CBAM-SwinT-BL: Small Rail Surface Defect Detection Method Based on Swin Transformer with Block Level CBAM Enhancement
Centre for Advances in Reliability and Safety(可靠性与安全先进研究中心)
本文提出CBAM-SwinT-BL,通过在Swin Transformer块内逐级集成CBAM增强小尺寸钢轨表面缺陷检测,在RIII与MUET数据集上显著提升mAP-50和总体精度,且训练开销很小。
2024-10-02 cs.CV
Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
Microsoft Research Asia(微软亚洲研究院)
本文提出了一种新的视觉Transformer,称为Swin Transformer,它能够作为计算机视觉的通用骨干。将Transformer从语言适应到视觉的挑战来自于两个领域之间的差异,例如视觉实体的规模变化很大,图像中的像素与文本中的单词相比分辨率很高。为了解决这些差异,我们提出了一个分层的Transformer,其表示与\textbf{S}移位\textbf{win}计算。移位加窗方案通过将自注意力计算限制在非重叠的局部窗口同时还允许跨窗口连接来带来更高的效率。这种分层结构具有在各种尺度下建模的灵活性,并且相对于图像大小具有线性计算复杂性。Swin Transformer的这些特性使其与广泛的视觉任务兼容,包括图像分类(ImageNet-1 K上的87.3 top-1精度)和密集预测任务,如目标检测(COCO test-dev上的58.7 box AP和51.1 mask AP)和语义分割(ADE 20 K val上的53.5 mIoU)。它的性能超过了之前的最先进水平,在COCO上为+2.7框AP和+2.6掩模AP,在ADE 20 K上为+3.2 mIoU,证明了基于Transformer的模型作为视觉骨干的潜力。分层设计和移动窗口的方法也证明有利于全MLP架构。代码和模型可在~ \url{https://github.com/microsoft/Swin-Transfor…
2021-08-17 cs.CV cs.LG
DB SwinT: A Dual-Branch Swin Transformer Network for Road Extraction in Optical Remote Sensing Imagery
School of Information Science and Engineering(信息科学与工程学院);Chongqing Jiaotong University(重庆交通大学);College of Information Engineering(信息工程学院);Inner Mongolia University of Technology(内蒙古科技大学);Inner Mongolia Key Laboratory of Radar Technology and Application(内蒙古雷达技术与应用重点实验室)
本文提出DB SwinT网络,结合Swin Transformer的长距离依赖建模能力和U-Net的多尺度特征融合策略,通过双分支编码器学习互补的局部和全局表征,提升复杂环境中道路提取的准确性。
2026-03-25 cs.CV
Swin Transformer for Fast MRI
Imperial College London(帝国理工学院);Royal Brompton Hospital(皇家布朗普顿医院);Sun Yat-sen University(中山大学);Beihang University(北京航空航天大学);University of the Basque Country UPV/EHU(巴斯克大学(UPV/EHU));TECNALIA(泰克纳利亚研究中心);Shenzhen Second People’s Hospital(深圳市第二人民医院);The First Affiliated Hospital of Shenzhen University Health Science Center(深圳大学医学部第一附属医院)
磁共振成像(MRI)是一种重要的非侵入性临床工具,可以产生高分辨率和可重复的图像。然而,高质量的MR图像需要较长的扫描时间,这导致患者的疲劳和不适,由于患者的自主运动和非自主生理运动而诱发更多伪影。为了加速扫描过程,k空间欠采样和基于深度学习的重建方法已经普及。介绍了一种基于Swin Transformer的快速MRI重建方法SwinMR。整个网络由输入模块(IM)、特征提取模块(FEM)和输出模块(OM)组成。IM和OM是2D卷积层,FEM由残余Swin Transformer块(RSTB)和2D卷积层的级联组成。RSTB由一系列Swin Transformer层(STL)组成。STL的移动窗口多头自注意(W-MSA/SW-MSA)是在移动窗口中执行的,而不是原始Transformer在整个图像空间中的多头自注意(MSA)。提出了一种新的基于敏感度图的多通道损失算法,该算法能更好地保留图像的纹理和细节。我们在Calgary-Campinas公共脑MR数据集中进行了一系列比较研究和消融研究,并在Multi-modal Brain Tumour Segmentation Challenge 2017数据集中进行了下游分割实验。结果表明,与其他基准方法相比,我们的SwinMR实现了高质量的重建,并且在不同的欠采样掩码,噪声干扰和不同的数据集上表现出很强的鲁棒性。该代码可在https:/…
2022-04-10 cs.AI cs.CV cs.LG
Cost Aggregation with 4D Convolutional Swin Transformer for Few-Shot Segmentation
Korea University(高丽大学);Microsoft Research Asia(微软亚洲研究院)
本文提出了一种新的成本聚合网络,称为体积聚合与Transformers(增值税),为Few-Shot分割。Transformers的使用可以通过全局感受野上的自我注意来有益于相关图聚合。然而,用于Transformer处理的相关图的令牌化可能是有害的,因为令牌边界处的不连续性减少了令牌边缘附近可用的局部上下文并减少了感应偏差。为了解决这个问题,我们提出了一个4D卷积Swin Transformer,其中高维Swin Transformer之前是一系列小内核卷积,这些卷积将局部上下文赋予所有像素并引入卷积感应偏置。此外,我们还通过在金字塔结构中应用Transformers来提高聚合性能,其中较粗级别的聚合指导较细级别的聚合。Transformer输出中的噪声随后在后续解码器中借助查询的外观嵌入进行过滤。通过该模型,为少镜头分割(Few-Shot segmentation)中的所有标准基准设置了新的最先进技术。结果表明,增值税达到国家的最先进的性能,以及语义对应,其中成本聚合也发挥了核心作用。
2022-07-22 cs.CV
Enhancing Image Authenticity Detection: Swin Transformers and Color Frame Analysis for CGI vs. Real Images
National Institute of Technology Delhi(德里国家理工学院);Shiv Nadar Institute of Eminence(希夫·纳达尔卓越学院)
针对 CGI 与真实图像难以鉴别的问题,提出结合 Swin Transformers 与 RGB、CbCrY 色彩帧分析的端到端检测方法,提升准确率、速度及抗联合篡改鲁棒性。
2024-09-07 cs.CV
Efficient large-scale image retrieval with deep feature orthogonality and Hybrid-Swin-Transformers
NVIDIA(英伟达)
我们提出了一个有效的端到端的管道大规模的地标识别和检索。我们展示了如何结合和增强图像检索的最新研究的概念,并介绍了两种架构,特别适合于大规模的地标识别。讨论了使用EfficientNet骨干以及新型Hybrid-Swin-Transformer的局部和全局特征的深度正交融合(DOLG)模型,并详细说明了如何使用逐步方法和具有动态裕度的子中心弧面损失有效地训练这两种架构。此外,我们阐述了一种新的歧视性的重新排序方法的图像检索。我们的方法的优越性通过赢得2021年Google Landmark竞赛的识别和检索赛道而得到证明。
2021-10-27 cs.CV cs.LG
Unsupervised Low Light Image Enhancement Using SNR-Aware Swin Transformer
Jiaying University(嘉应学院)
提出一种基于Swin Transformer的双分支网络,利用信噪比先验图提供空间变化信息,并结合Retinex模型进行无监督学习,有效实现低光照图像增强。
2023-07-27 cs.CV
Alzheimer's Disease Classification Using Retinal OCT: TransnetOCT and Swin Transformer Models
Research Division AIT Resource Group Inc(AIT资源集团研究部);Centre for Brain Research(脑研究中心);Indian Institute of Science(印度科学研究所)
本文提出基于视网膜OCT图像的深度学习分类方法,其中TransNetOCT在五折交叉验证中最高达98.91%准确率,优于Swin Transformer的93.54%,用于阿尔茨海默病早期诊断。
2025-08-17 cs.AI cs.CV eess.IV