iSegFormer: Interactive Segmentation via Transformers with Application to 3D Knee MR Images
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
我们提出了iSegFormer,一个内存高效的Transformer,结合了Swin Transformer与轻量级多层感知器(MLP)解码器。通过用于分层自注意力的高效Swin Transformer块和用于聚合局部和全局注意力的简单MLP解码器,iSegFormer可以学习强大的表示,同时实现高计算效率。具体来说,我们将iSegFormer应用于交互式3D医学图像分割。
2022-07-17 cs.CV
Fully Transformer Networks for Semantic Image Segmentation
Institute of Deep Learning, Baidu Research(百度研究院深度学习研究所);National Engineering Laboratory for Deep Learning Technology and Application(深度学习技术及应用国家工程实验室);School of Software, XinJiang University(新疆大学软件学院)
Transformers在各种自然语言处理和计算机视觉任务中表现出了令人印象深刻的性能,这是由于它能够对远程依赖关系进行建模。最近的进展表明,将这种Transformers与基于CNN的语义图像分割模型相结合是非常有前途的。然而,这是没有很好的研究,以及如何以及一个纯粹的Transformer为基础的方法可以实现图像分割。在这项工作中,我们探索了一种新的框架,语义图像分割,这是基于编码器-解码器的完全Transformer网络(FTN)。具体来说,我们首先提出了金字塔组Transformer(PGT)作为渐进学习分层特征的编码器,同时降低了标准Visual Transformer(ViT)的计算复杂度。然后,我们提出了一个特征金字塔Transformer(FPT)融合语义级和空间级的信息,从多个层次的PGT编码器的语义图像分割。令人惊讶的是,这个简单的基线可以在多个具有挑战性的语义分割和人脸解析基准测试中获得更好的结果,包括PASCAL Context,ADE 20 K,COCOStuff和CelebAMask-HQ。源代码将在https://github.com/BR-IDL/PaddleViT上发布。
2021-12-28 cs.CV
Dynamic Linear Transformer for 3D Biomedical Image Segmentation
Northwestern University(西北大学)
基于变换器的神经网络在许多生物医学图像分割任务上已经超越了有前途的性能,这是由于自注意力机制的更好的全局信息建模。然而,大多数方法仍然是针对2D医学图像而设计的,而忽略了基本的3D体积信息。基于3D变换的分割方法的主要挑战是由自注意力机制\cite{vaswani2017attention}引入的二次复杂度。在本文中,我们提出了一种新的Transformer架构的三维医学图像分割使用的编码器-解码器风格的结构与线性复杂度。此外,我们新引入了一个动态令牌的概念,以进一步减少令牌数量的自我注意力计算。利用全局信息建模,我们提供了不同层次阶段的不确定性地图。我们在多个具有挑战性的CT胰腺分割数据集上评估了该方法。我们有希望的结果表明,我们的新的3D变换为基础的分割器可以提供有前途的高度可行的分割性能和准确的不确定性量化使用单一的注释。代码可从https://github.com/freshman97/LinTransUNet获得。
2023-02-01 cs.CV
CMT-DeepLab: Clustering Mask Transformers for Panoptic Segmentation
Johns Hopkins University(约翰斯·霍普金斯大学);KAIST(韩国科学技术院);Google Research(谷歌研究院)
我们提出了聚类掩码Transformer(CMT-DeepLab),这是一个基于transformer的框架,用于围绕聚类设计的全景分割。它重新考虑了分割和检测中使用的现有Transformer架构; CMT-DeepLab将对象查询视为聚类中心,在应用于分割时,这些聚类中心填补了对像素进行分组的角色。聚类是用交替的过程计算的,首先通过它们的特征亲和力将像素分配到聚类,然后更新聚类中心和像素特征。这些操作共同组成了聚类掩码Transformer(CMT)层,该层产生的交叉注意力更密集,与最终分割任务更一致。CMT-DeepLab将现有技术的性能显著提高了4.4%PQ,在COCO测试开发集上实现了55.7%PQ的最新技术水平。
2022-06-17 cs.CV
LEST: Large-scale LiDAR Semantic Segmentation with Transformer
LiangDao GmbH(亮道智能);Ilmenau University of Technology(伊尔梅瑙工业大学)
针对大规模激光雷达点云语义分割任务,提出纯Transformer架构LEST,包含空间填充曲线分组策略和距离余弦线性Transformer两个创新组件,在nuScenes和SemanticKITTI数据集上性能超越现有最优方法。
2023-07-14 cs.CV
Time-Space Transformers for Video Panoptic Segmentation
Technical University of Cluj-Napoca(克卢日-纳波卡技术大学)
我们提出了一种新的解决方案,视频全景分割的任务,同时预测像素级的语义和实例分割,并产生剪辑级的实例轨道。我们的网络名为VPS-Transformer,具有基于最先进的全景分割网络Panoptic-DeepLab的混合架构,结合了用于单帧全景分割的卷积架构和基于纯Transformer块实例化的新型视频模块。配备有注意力机制的Transformer对当前帧和过去帧的骨干输出特征之间的时空关系进行建模,以获得更准确和一致的全景估计。由于纯Transformer块在处理高分辨率图像时会引入大量计算开销,因此我们提出了一些设计更改以实现更高效的计算。我们研究如何更有效地聚合信息的时空量,我们比较了几个变种的Transformer块与不同的注意力计划。在Cityscapes-VPS数据集上进行的大量实验表明,我们的最佳模型将时间一致性和视频全景质量提高了2.2%,并且几乎没有额外的计算。
2022-10-07 cs.CV
Semantic Segmentation on VSPW Dataset through Aggregation of Transformer Models
Xiaomi Inc.(小米公司)
语义分割是计算机视觉中的一项重要任务,从中衍生出一些重要的使用场景,如自动驾驶、场景解析等,由于对视频语义分割任务的重视,我们参加了本次大赛。在这份报告中,我们简要介绍了“BetterThing”团队为ICCV 2021-视频场景解析野外挑战赛提供的解决方案。Transformer作为提取视频帧特征的主干,最终结果是SWIN和VOLO两个Transformer模型输出的聚合。该解决方案实现了57.3%的mIoU,在Wild Challenge视频场景解析中排名第三。
2021-09-03 cs.CV
Understanding Video Transformers for Segmentation: A Survey of Application and Interpretability
Lassonde School of Engineering(拉松德工程学院);York University(约克大学)
本综述全面回顾了基于Transformer的视频分割模型,从组件级探讨了其在不同分割任务中的应用,并分析了相关的事前与事后可解释性方法及时间动态建模能力。
2023-10-18 cs.CV
MISSFormer: An Effective Medical Image Segmentation Transformer
Beijing University of Posts and Telecommunications(北京邮电大学)
基于CNN的方法在医学图像分割中取得了令人印象深刻的结果,但由于卷积运算固有的局部性,它们未能捕获长程依赖性。基于变换器的方法最近在视觉任务中很受欢迎,因为它们具有长距离依赖性和有前途的性能。然而,它缺乏对本地上下文的建模。本文以医学图像分割为例,介绍了一种有效的医学图像分割变换器Transformer。MISSFormer是一个分层的编码器-解码器网络,有两个吸引人的设计:1)前馈网络被重新设计,提出了增强的Transformer块,这增强了远程依赖性和补充局部上下文,使功能更具区分力。2)本文提出了增强型Transformer Context Bridge,与以往只建模全局信息的方法不同,本文提出的上下文桥结合了增强型Transformer块,提取了由分层Transformer编码器生成的多尺度特征的长程依赖关系和局部上下文。在这两种设计的驱动下,MISSFormer显示出在医学图像分割中捕获更多区分依赖性和上下文的强大能力。多器官和心脏分割任务的实验证明了我们MISSFormer的优越性,有效性和鲁棒性,从头开始训练的MISSFormer的实验结果甚至优于ImageNet上预先训练的最先进的方法。核心设计可以推广到其他视觉分割任务。代码已经发布在Github上:https://github.com/ZhifangDeng/MISSFormer
2021-12-19 cs.CV
Multi-scale Hierarchical Vision Transformer with Cascaded Attention Decoding for Medical Image Segmentation
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
Transformers在医学图像分割方面取得了巨大成功。然而,Transformers可能会表现出有限的泛化能力,由于潜在的单尺度自我注意力(SA)机制。在本文中,我们通过引入多尺度层次视觉Transformer(MERIT)骨干网络来解决这个问题,该骨干网络通过在多个尺度上计算SA来提高模型的泛化能力。我们还采用了一个基于注意力的解码器,即级联注意力解码(CASCADE),以进一步细化MERIT生成的多阶段特征。最后,我们介绍了一种有效的多阶段特征混合损失聚合(MUTATION)方法,通过隐式集成来更好地进行模型训练。我们对两个广泛使用的医学图像分割基准(即,Synapse Multi-organ,ACDC)证明了MERIT优于最先进方法的性能。我们的MERIT架构和MUTATION损失聚合可以与下游医学图像和语义分割任务一起使用。
2023-03-29 cs.CV
WegFormer: Transformers for Weakly Supervised Semantic Segmentation
Tongji University(同济大学);The University of Hong Kong(香港大学);SenseTime(商汤科技);Shanghai AI Lab(上海人工智能实验室)
尽管卷积神经网络(CNN)在弱监督语义分割(WSSS)方面取得了显着进展,但CNN的有效感受野不足以捕获全局上下文信息,从而导致次优结果。受Transformers在基础视觉领域的巨大成功的启发,本文首次引入了Transformer来构建一个简单有效的WSSS框架,称为WegFormer。与现有的基于CNN的方法不同,WegFormer使用视觉Transformer(ViT)作为分类器来产生高质量的伪分割掩模。为此,我们在基于transformer的框架中引入了三个定制组件,它们是(1)深度泰勒分解(DTD)以生成注意力地图,(2)软擦除模块以平滑注意力地图,以及(3)高效的潜在对象挖掘(EPOM)以过滤背景中的噪声激活。在没有任何额外功能的情况下,WegFormer在PASCAL VOC数据集上实现了最先进的70.5% mIoU,显著优于之前的最佳方法。我们希望WegFormer为挖掘Transformer在弱监督语义分割中的潜力提供一个新的视角。代码将被释放。
2022-03-16 cs.CV
CFPFormer: Feature-pyramid like Transformer Decoder for Segmentation and Detection
Fuzhou University of International Studies and Trade(福州外语外贸学院)
本文提出CFPFormer解码器,将特征金字塔与Transformer结合,并通过高斯注意力降低复杂度,在医学图像分割中以较轻量骨干取得92.02% Dice分数,优于更复杂基线。
2025-04-05 cs.CV
SeATrans: Learning Segmentation-Assisted diagnosis model via Transformer
Baidu Inc.(百度公司);Purdue University(普渡大学)
在临床上,病变/组织的准确注释可以显著地促进疾病诊断。例如,眼底图像上的视盘/视杯(OD/OC)分割有助于青光眼诊断,皮肤镜图像上的皮肤病变分割有助于黑色素瘤诊断等。随着深度学习技术的进步,各种方法证明病变/组织分割也有助于自动化疾病诊断模型。然而,现有的方法是有限的,在这个意义上,他们只能捕捉静态的图像中的区域相关性。受视觉Transformer的全局性和动态性的启发,本文提出了分割辅助诊断Transformer(SeATrans),将分割知识传递给疾病诊断网络。具体来说,我们首先提出了一个不对称的多尺度交互策略,将每个低级别诊断特征与多尺度分割特征相关联。然后,采用一种有效的策略,称为SeA块,通过相关的分割特征来激活诊断特征。SeA-block首先通过编码器基于分割信息嵌入诊断特征,然后通过解码器将嵌入的诊断特征转换回诊断特征空间,从而对分割-诊断交互进行建模。实验结果表明,SeATrans在几个疾病诊断任务上超越了各种最先进的(SOTA)分割辅助诊断方法。
2022-06-22 cs.CV
UniDAformer: Unified Domain Adaptive Panoptic Segmentation Transformer via Hierarchical Mask Calibration
Nanyang Technological University(南洋理工大学);Wenzhou University(温州大学)
域自适应全景分割旨在通过利用一个或多个相关源域中的现成注释数据来减轻数据注释挑战。然而,现有的研究采用两个独立的网络进行实例分割和语义分割,这导致过多的网络参数以及复杂和计算密集的训练和推理过程。我们设计了UniDAformer,一个统一的域自适应全景分割Transformer,它很简单,但可以在单个网络中同时实现域自适应实例分割和语义分割。UniDAformer引入了分层掩模校准(HMC),通过在线实时自我训练,在区域、超像素和像素级别纠正不准确的预测。它有三个独特的特点:1)它能够实现统一的域自适应全景自适应; 2)它减轻了错误预测并有效地改进了域自适应全景分割; 3)它是端到端可训练的,具有简单得多的训练和推理流水线。在多个公共基准上进行的大量实验表明,与最先进的技术相比,UniDAformer实现了卓越的域自适应全景分割。
2023-03-22 cs.CV
Learning Dynamic Query Combinations for Transformer-based Object Detection and Segmentation
University of Florida(佛罗里达大学);ByteDance Inc.(字节跳动公司)
本文提出基于图像高级语义学习动态系数的凸组合生成调制查询,以更好地捕捉目标位置和类别的先验,使广泛的基于DETR的模型在检测和分割等多个任务上取得一致且优越的性能。
2023-07-27 cs.CV
DepthFormer: Multimodal Positional Encodings and Cross-Input Attention for Transformer-Based Segmentation Networks
University of Padova(帕多瓦大学)
大多数用于语义分割的方法仅使用来自彩色相机的信息来解析场景,然而最近的进展表明,使用深度数据允许进一步提高性能。在这项工作中,我们专注于基于transformer的深度学习架构,这些架构在分割任务上实现了最先进的性能,我们建议通过将深度信息嵌入到位置编码中来使用深度信息。有效地,我们将网络扩展到多模态数据,而不添加任何参数,并以一种自然的方式利用Transformers的自我注意力模块的力量。我们还研究了在注意力模块内部执行跨模态操作的想法,在深度和颜色分支之间交换关键输入。我们的方法不断提高Cityscapes基准的性能。
2023-03-27 cs.CV
Memory transformers for full context and high-resolution 3D Medical Segmentation
Conservatoire National des Arts et Métiers(法国国立工艺学院);IRCAD(消化癌症研究所)
Transformer模型实现了最先进的图像分割结果。然而,通过高分辨率3D图像实现捕获全球背景所需的长距离注意力是一个根本性的挑战。本文介绍了全分辨率存储器(FINE)Transformer来克服这个问题。FINE背后的核心思想是学习内存令牌,以间接地对全范围交互进行建模,同时在内存和计算成本方面都有很好的扩展性。FINE在两个级别引入了内存令牌:第一个级别允许局部图像区域(补丁)内的体素之间的完全交互,第二个级别允许3D体积的所有区域之间的完全交互。结合起来,它们允许对高分辨率图像(例如,512 x 512 x 256体素及以上)进行充分关注。在BCV图像分割数据集上的实验显示出比最先进的CNN和Transformer基线更好的性能,突出了我们的全注意力机制与最近的Transformer基线(例如CoTr和nnFormer)相比的优越性。
2022-10-11 cs.CV
Surgical Scene Segmentation by Transformer With Asymmetric Feature Enhancement
UM-SJTU Joint Institute(上海交通大学密西根学院);Shanghai Jiao Tong University(上海交通大学)
针对手术场景分割中patch内信息融合不足和解剖结构、器械特征未被专门建模的问题,提出带有非对称特征增强模块TAFE的Transformer框架,通过多尺度交互注意力融合局部增强特征与编码器嵌入,在多个手术分割任务上超越SOTA并提升细粒度结构识别能力。
2024-10-23 cs.CV
Task-Adaptive Feature Transformer with Semantic Enrichment for Few-Shot Segmentation
Ulsan National Institute of Science and Technology(蔚山科学技术院)
少样本学习允许机器仅使用少量标记样本对新类别进行分类。近年来,针对低样本数据的语义分割的Few-Shot分割也引起了人们极大的兴趣。在本文中,我们提出了一个可学习的模块,可以放置在现有的分割网络进行Few-Shot分割。该模块称为任务自适应特征Transformer(TAFT),将特定于任务的高级特征线性转换为一组非常适合进行Few-Shot分割的任务不可知特征。任务条件的特征变换允许有效利用新类中的语义信息来生成紧密的分割掩模。我们还提出了一个语义丰富(SE)模块,利用像素级的注意力模块的高层次功能和辅助损失的辅助分割网络进行语义分割的所有训练类。$5^i$和$20^i$数据集上的实验证实,添加的模块成功地扩展了现有分割器的能力,以产生具有高度竞争力的Few-Shot分割性能。
2022-02-14 cs.CV
LeViT-UNet: Make Faster Encoders with Transformer for Medical Image Segmentation
Wuhan Institute of Technology(武汉工程大学);Huazhong University of Science and technology(华中科技大学)
医学图像分割在计算机辅助诊断和治疗系统的开发中起着至关重要的作用,但仍然面临着许多挑战。在过去的几年里,流行的基于CNN的编码器-解码器架构(例如,U-Net)在医学图像分割中得到了成功的应用。然而,由于卷积运算的局部性,它们在学习全局上下文和长程空间关系方面表现出局限性。最近,一些研究人员试图将Transformers引入到编码器和解码器组件中,并取得了令人满意的结果,但由于Transformers的高计算复杂性,效率需要进一步提高。在本文中,我们提出了LeViT-UNet,它集成了一个LeViT Transformer模块到U-Net架构,快速,准确的医学图像分割。具体来说,我们使用LeViT作为LeViT-UNet的编码器,它可以更好地权衡Transformer块的准确性和效率。此外,LeViT的Transformer块和卷积块的多尺度特征图通过跳跃连接传递到解码器,可以有效地重用特征图的空间信息。我们的实验表明,建议的LeViT-UNet实现更好的性能相比,各种竞争方法在几个具有挑战性的医学图像分割基准,包括突触和ACDC。代码和模型将在https://github.com/apple1986/LeViT_UNet上公开。
2021-07-19 cs.CV
A Novel Vision Transformer for Camera-LiDAR Fusion based Traffic Object Segmentation
Tallinn University of Technology(塔林理工大学);Chalmers University of Technology(查尔姆斯理工大学);University of Gothenburg(哥德堡大学)
本研究提出基于视觉Transformer的相机-激光雷达融合模型CLFT,可实现多类交通目标分割并适配多种天气,提升了自动驾驶感知水平,但恶劣环境下的性能仍待优化。
2025-01-06 cs.CV
When Swin Transformer Meets KANs: An Improved Transformer Architecture for Medical Image Segmentation
Department of Computer Science and Engineering, University of Notre Dame(计算机科学与工程系,诺丁汉大学);Department of Computer Science, University of Texas Rio Grande Valley(计算机科学系,德克萨斯大学里奥格兰德谷分校)
UKAST结合KANs与Swin Transformer,提升医学图像分割的效率与准确性,尤其在数据稀缺情况下表现优异。
2026-01-26 cs.CV
Lawin Transformer: Improving Semantic Segmentation Transformer with Multi-Scale Representations via Large Window Attention
Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出Lawin Transformer,通过大窗口注意力将多尺度表示引入语义分割ViT,并结合LawinASPP解码器,在Cityscapes、ADE20K和COCO-Stuff上取得新SOTA并提升效率。
2023-08-09 cs.CV
Delving into Transformer for Incremental Semantic Segmentation
Tsinghua University(清华大学);Tencent(腾讯);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
增量语义分割(ISS)是一项新兴任务,其中通过增量添加新类来更新旧模型。目前,基于卷积神经网络的方法在ISS中占主导地位。然而,研究表明,这种方法很难在学习新任务的同时保持对旧任务的良好表现(灾难性遗忘)。相比之下,基于Transformer的方法在抑制灾难性遗忘方面具有天然优势,因为它能够对长期和短期任务进行建模。在这项工作中,我们探讨了为什么Transformer为基础的架构更适合于ISS,并相应地提出了TISS,一个基于Transformer的增量语义分割的方法。此外,为了更好地缓解灾难性遗忘,同时保持ISS上的可传递性,我们引入了两个分片对比损失,分别模仿相似特征和增强特征多样性,这可以进一步提高TISS的性能。在Pascal-VOC 2012和ADE 20 K数据集的广泛实验设置下,我们的方法显着优于最先进的增量语义分割方法。
2022-11-18 cs.CV
Pyramid Medical Transformer for Medical Image Segmentation
Washington University in St. Louis(圣路易斯华盛顿大学)
深度神经网络已经成为医学图像处理领域的主流技术。然而,最流行的基于卷积神经网络(CNN)的医学图像分割方法是不完美的,因为它们通过堆叠层或放大滤波器来建模长程依赖性。最近提出的Transformers和自我注意力机制,以有效地学习长距离的依赖关系,通过建模所有对字到字的注意,而不管他们的位置。这个想法也被扩展到计算机视觉领域,通过创建和处理图像补丁作为嵌入。考虑到整个图像自关注的计算复杂度,当前基于transformer的模型解决了刚性分割方案,可能会丢失信息关系。此外,目前的医疗Transformers模型的全分辨率图像的全球背景,导致不必要的计算成本。为了解决这些问题,我们开发了一种新的方法来集成多尺度注意力和CNN特征提取使用金字塔网络架构,即金字塔医疗Transformer(PMTrans)。PMTrans通过处理多分辨率图像来捕获多范围关系。一个自适应的分区计划,以保持信息的关系,并有效地访问不同的感受野。在三个医学图像数据集(腺体分割,MoNuSeg和HECKTOR数据集)上的实验结果表明,PMTrans优于最新的基于CNN和基于transformer的医学图像分割模型。
2022-04-29 cs.CV
Medical Transformer: Gated Axial-Attention for Medical Image Segmentation
Johns Hopkins University(约翰斯·霍普金斯大学);Rutgers, The State University of New Jersey(罗格斯新泽西州立大学)
在过去的十年中,深度卷积神经网络已被广泛用于医学图像分割,并表现出足够的性能。然而,由于卷积架构中存在固有的归纳偏差,它们缺乏对图像中的长程依赖性的理解。最近提出的基于transformer的架构,利用自我注意力机制编码长距离依赖关系,并学习表达能力强的表示。这促使我们探索基于Transformer的解决方案,并研究将基于Transformer的网络架构用于医学图像分割任务的可行性。针对视觉应用提出的大多数现有基于Transformer的网络架构都需要大规模数据集来进行适当的训练。然而,与用于视觉应用的数据集相比,对于医学成像,数据样本的数量相对较低,使得难以有效地训练用于医学应用的Transformers。为此,我们提出了一个门控轴向注意力模型,通过在自我注意力模块中引入额外的控制机制来扩展现有的架构。此外,训练模型有效地医学图像,我们提出了一个局部全局训练策略(LoGo),进一步提高了性能。具体来说,我们对整个图像和补丁进行操作,分别学习全局和局部特征。建议的医疗Transformer(MedT)的三个不同的医学图像分割数据集进行评估,它表明,它实现了更好的性能比卷积和其他相关的基于变换的架构。代码:https://github.com/jeya-maria-jose/Medical-Transformer
2021-07-06 cs.CV
Consistent Video Instance Segmentation with Inter-Frame Recurrent Attention
Microsoft Cloud & AI(微软云计算与人工智能部门)
视频实例分割的目标是预测每个帧的对象分割掩模,以及跨多个帧关联实例。最近的端到端视频实例分割方法能够在直接并行序列解码/预测框架中一起执行对象分割和实例关联。虽然这些方法通常预测更高质量的对象分割掩模,但它们可能无法在具有挑战性的情况下关联实例,因为它们没有明确地对相邻帧的时间实例一致性进行建模。我们提出了一个一致的端到端的视频实例分割框架与帧间循环注意力模型的时间实例一致性相邻帧和全局时间上下文。我们广泛的实验表明,帧间递归注意显着提高时间实例的一致性,同时保持对象分割掩模的质量。我们的模型在YouTubeVIS-2019(62.1\%)和YouTubeVIS-2021(54.7\%)数据集上都达到了最先进的准确率。此外,定量和定性的结果表明,所提出的方法预测更多的时间一致的实例分割掩模。
2022-06-14 cs.CV
TransUNet: Transformers Make Strong Encoders for Medical Image Segmentation
Johns Hopkins University(约翰斯·霍普金斯大学);University of Electronic Science and Technology of China(电子科技大学);Stanford University(斯坦福大学);East China Normal University(华东师范大学);PAII Inc.(PAII公司)
医学图像分割是开发医疗保健系统,特别是疾病诊断和治疗计划的必要前提。在各种医学图像分割任务中,U形架构,也被称为U-Net,已经成为事实标准,并取得了巨大的成功。然而,由于卷积运算固有的局部性,U-Net通常在显式建模长期依赖性方面表现出局限性。Transformers,设计用于序列到序列预测,已经出现作为替代架构与先天的全球自我注意力机制,但可能会导致有限的定位能力,由于不足的低层次的细节。在本文中,我们提出了transUNet,它的优点Transformers和U-Net,作为一个强大的替代医学图像分割。一方面,Transformer将来自卷积神经网络(CNN)特征图的标记化图像块编码为用于提取全局上下文的输入序列。另一方面,解码器对编码特征进行上采样,然后将其与高分辨率CNN特征图组合以实现精确定位。我们认为,Transformers可以作为医学图像分割任务的强编码器,与U-Net的组合,以提高更精细的细节,恢复本地化的空间信息。TransUNet在不同的医学应用中实现了优于各种竞争方法的性能,包括多器官分割和心脏分割。代码和模型可在https://github.com/Beckschen/TransUNet上获得。
2021-02-08 cs.CV
RTFormer: Efficient Design for Real-Time Semantic Segmentation with Transformer
Baidu(百度);Australian National University(澳大利亚国立大学)
最近,基于transformer的网络在语义分割方面取得了令人印象深刻的结果。然而,对于实时的【形】语义分割,由于Transformer耗时的计算机制,纯基于CNN的方法仍然在该领域占主导地位。我们提出了RTFormer,一个高效的双分辨率Transformer,用于实时的【形】语义分割,它比基于CNN的模型在性能和效率之间实现了更好的权衡。为了在类似GPU的设备上实现高推理效率,我们的RTFormer利用了具有线性复杂度的GPU友好注意力,并放弃了多头机制。此外,我们发现跨分辨率注意通过传播从低分辨率分支学习到的高级知识来更有效地收集高分辨率分支的全局上下文信息。在主流基准上的大量实验证明了我们提出的RTFormer的有效性,它在Cityscapes,CamVid和COCOStuff上达到了最先进的水平,并在ADE20K上显示了有希望的结果。代码可在PaddleSeg上获得:https://github.com/PaddlePaddle/PaddleSeg。
2022-10-13 cs.CV
Towards Robust Video Instance Segmentation with Temporal-Aware Transformer
Alibaba Group(阿里巴巴集团)
现有的基于Transformer的视频实例分割方法多是独立地提取每帧的特征,难以解决外观变形问题。在本文中,我们观察到的时间信息是很重要的,以及我们提出TAFormer聚合时空特征在Transformer编码器和解码器。具体而言,在Transformer编码器中,提出了一种时空联合的多尺度可变形注意力模型,动态地融合时空信息,获得丰富的时空特征。在Transformer解码器中,我们引入了一个时间自关注模块,以增强帧级的框查询与时间的关系。此外,TAFormer采用实例级对比损失来增加实例查询嵌入的可区分性。因此,可以减少由视觉相似实例引起的跟踪误差。实验结果表明,TAFormer有效地利用空间和时间信息来获得上下文感知的特征表示,并优于最先进的方法。
2023-01-20 cs.CV
DS-TransUNet:Dual Swin Transformer U-Net for Medical Image Segmentation
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Shenzhen Medical Biometrics Perception and Analysis Engineering Laboratory(深圳市医学生物特征感知与分析工程实验室);Bio-Computing Research Center(生物计算研究中心);Shenzhen Key Laboratory of Visual Object Detection and Recognition(深圳市视觉目标检测与识别重点实验室)
得益于深度学习的发展,医学图像自动分割取得了很大的进展。然而,现有的方法大多基于卷积神经网络(CNN),由于卷积运算中感受野的限制,无法建立长程依赖关系和全局上下文连接。受Transformer在远程上下文信息建模方面的成功启发,一些研究者在设计基于Transformer的U-Net的鲁棒变体方面付出了相当大的努力。此外,在视觉Transformer中使用的块划分通常忽略了每个块内部的像素级内在结构特征。为了缓解这些问题,我们提出了一种新的深度医学图像分割框架,称为Dual Swin Transformer U-Net(DS-TransUNet),这可能是第一次尝试同时将分层Swin Transformer的优点结合到标准U形架构的编码器和解码器中,以增强不同医学图像的语义分割质量。与许多先前的基于transformer的解决方案不同,所提出的DS-TransUNet首先采用基于Swin Transformer的双尺度编码器子网络来提取不同语义尺度的粗粒度和细粒度特征表示。作为DS-TransUNet的核心组件,提出了一个设计良好的Transformer交互式融合(TIF)模块,通过自注意力机制有效地建立不同尺度特征之间的全局依赖关系。此外,我们还将Swin Transformer模块引入到解码器中,以在上采样过程中进一步探索长距离上下文信息。在四个典型的医学图像分割任务的广泛实验…
2021-06-12 cs.CV
Non-Hierarchical Transformers for Pedestrian Segmentation
Deep-REAL;University of Delaware(特拉华大学)
本研究针对自主系统实例分割的可访问性与包容性挑战,提出结合EVA-02非分层视觉Transformer与Cascade Mask R-CNN掩码头的方法,在AVA数据集测试集上取得52.68%的mAP,验证了ViT架构的相关效用。
2023-07-11 cs.CV
SemFormer: Semantic Guided Activation Transformer for Weakly Supervised Semantic Segmentation
Shenzhen University(深圳大学)
目前主流的弱监督语义分割(WSSS)方法主要基于由基于CNN(卷积神经网络)的图像分类器生成的类激活图(CAM)。在本文中,我们提出了一种新的基于transformer的框架,命名为语义引导激活Transformer(SemFormer),WSSS。我们设计了一个基于transformer的类感知自动编码器(CAAE)来提取输入图像的类嵌入,并学习数据集的所有类的类语义。然后使用类嵌入和学习的类语义来指导具有四个损失的激活图的生成,即,类前景、类背景、激活抑制和激活互补损失。在PASCAL VOC 2012数据集上的实验结果表明,该算法实现了\textbf{74.3} \% mIoU,并在很大程度上超过了目前主流的WSSS算法.代码将在\url{https://github.com/JLChen-C/SemFormer}上提供。
2022-10-26 cs.CV
ASFormer: Transformer for Action Segmentation
Peking University(北京大学)
用于动作分割任务的算法通常使用时间模型来预测在一分钟长的日常活动的每帧处发生什么动作。最近的研究表明,Transformer在建模序列数据中元素之间的关系方面具有潜力。然而,当直接将Transformer应用于动作分割任务时,存在几个主要问题,例如在小训练集下缺乏归纳偏差,在处理长输入序列时的不足,以及解码器架构在利用多个动作片段之间的时间关系来细化初始预测方面的限制。为了解决这些问题,我们设计了一个高效的基于transformer的动作分割任务模型,命名为ASFormer,有三个显着的特点:(i)我们显式地引入了本地连接归纳先验,因为功能的高局部性。它将假设空间限制在一个可靠的范围内,并且有利于动作分割任务以较小的训练集学习适当的目标函数。(ii)我们应用了一个预定义的分层表示模式,有效地处理长输入序列。(iii)我们仔细设计了解码器,以完善编码器的初始预测。在三个公共数据集上的实验证明了该方法的有效性。代码可在\url{https://github.com/ChinaYi/ASFormer}上获得。
2021-10-16 cs.CV
Full Contextual Attention for Multi-resolution Transformers in Semantic Segmentation
Conservatoire National des Arts et Métiers(法国国立工艺学院);IRCAD(消化外科研究所);Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);ISIR(巴黎智能系统与机器人研究所)
Transformers已被证明对视觉识别任务非常有效。特别地,视觉Transformer通过自我注意和可学习的类标记来构造压缩的全局表示。多分辨率Transformers最近在语义分割方面取得了成功,但只能捕获高分辨率特征图中的局部交互。本文扩展了全局令牌的概念,以构建全局注意力多分辨率(GLAM)Transformers。GLAM是一个通用模块,可以集成到大多数现有的Transformer主干中。GLAM包括可学习的全局令牌,与以前的方法不同,它可以对所有图像区域之间的交互进行建模,并在训练期间提取强大的表示。大量的实验表明,GLAM-Swin或GLAM-Swin-UNet在ADE 20 K和Cityscapes上表现出比它们的香草对应物更好的性能。此外,GLAM可用于分割大型3D医学图像,GLAM-nnFormer在BCV数据集上实现了最先进的性能。
2022-12-15 cs.CV
Transformer-Based Visual Segmentation: A Survey
Nanyang Technological University(南洋理工大学);Shanghai AI Laboratory(上海人工智能实验室);University of Liverpool(利物浦大学)
本文综述基于 Transformer 的视觉分割方法,梳理背景、统一元架构、方法设计、相关任务与数据集评估,并指出开放挑战和未来方向。
2024-08-04 cs.CV
ConvFormer: Combining CNN and Transformer for Medical Image Segmentation
University of Notre Dame(圣母大学)
基于卷积神经网络(CNN)的方法在医学图像分割中取得了巨大的成功,但由于卷积运算的有效感受野较小,其学习全局表示的能力仍然有限。基于Transformer的方法能够对用于捕获全局表示的信息的长距离依赖性进行建模,但是它们缺乏对局部上下文进行建模的能力。集成CNN和Transformer来学习局部和全局表示,同时探索多尺度特征有助于进一步改进医学图像分割。在本文中,我们提出了一个分层的CNN和Transformer混合架构,称为ConvFormer,用于医学图像分割。ConvFormer基于几种简单而有效的设计。(1)可变形Transformer(DeTrans)的前馈模块被重新设计以引入本地信息,称为增强型DeTrans。(2)基于卷积和增强DeTrans的组合,开发了一种剩余形状的混合茎,以捕获局部和全局表示,以增强表示能力。(3)我们的编码器利用残留形状的混合干在一个层次化的方式来生成不同尺度的特征图,并建立了一个额外的增强型DeTrans编码器与残留连接,以利用多尺度特征与不同尺度的特征图作为输入。在几个数据集上的实验表明,我们从头开始训练的ConvFormer优于各种基于CNN或Transformer的架构,实现了最先进的性能。
2022-11-15 cs.CV
Feature Selective Transformer for Semantic Image Segmentation
Baidu Research(百度研究院);National Engineering Laboratory for Deep Learning Technology and Application(深度学习技术与应用国家工程实验室)
近年来,融合多尺度特征进行语义图像分割的研究受到越来越多的关注。各种工作提出了采用渐进的局部或全局融合,但特征融合是不够丰富的建模多尺度上下文特征。在这项工作中,我们专注于融合多尺度的功能,从基于transformer的骨干语义分割,并提出了一个功能选择性Transformer(FeSeFormer),聚合功能,从所有尺度(或级别)的每个查询功能。具体地说,我们首先提出了一个尺度级特征选择(SFS)模块,它可以选择一个信息子集从整个多尺度特征集为每个尺度,在这些功能是重要的当前尺度(或级别)的选择和冗余被丢弃。此外,我们提出了一个全尺度特征融合(FFF)模块,它可以自适应地融合查询的所有尺度的特征。基于提出的SFS和FFF模块,我们开发了一个特征选择Transformer(FeSeFormer),并评估我们的FeSeFormer四个具有挑战性的语义分割基准,包括PASCAL上下文,ADE 20 K,COCO-Stuff 10 K,和Cityscapes,优于国家的最先进的。
2022-04-01 cs.CV
Rethinking Semantic Segmentation from a Sequence-to-Sequence Perspective with Transformers
Fudan University(复旦大学);University of Oxford(牛津大学);University of Surrey(萨里大学);Tencent Youtu Lab(腾讯优图实验室);Facebook AI(脸书人工智能)
大多数最近的语义分割方法采用具有编码器-解码器架构的全卷积网络(FCN)。编码器逐渐降低空间分辨率,并学习更抽象/语义的视觉概念与更大的感受野。由于上下文建模对于分割至关重要,因此最新的努力集中在通过扩张/atrous卷积或插入注意力模块来增加感受野。然而,基于编码器-解码器的FCN架构保持不变。在本文中,我们的目标是提供一个替代的角度,通过治疗语义分割作为一个序列到序列的预测任务。具体来说,我们部署了一个纯Transformer(即没有卷积和分辨率降低)来将图像编码为一系列补丁。通过在Transformer的每一层中建模的全局上下文,该编码器可以与简单的解码器组合以提供强大的分割模型,称为SEGMENTATION TRANSFORMER(SETR)。大量的实验表明,SETR在ADE 20 K(50.28% mIoU),Pascal Context(55.83% mIoU)和Cityscapes上达到了最新的技术水平。特别是,我们在提交当天就在竞争激烈的ADE 20 K测试服务器排行榜上获得了第一名。
2021-07-25 cs.CV
Benchmarking CNN-based Models against Transformer-based Models for Abdominal Multi-Organ Segmentation on the RATIC Dataset
Pattern Recognition Lab Friedrich-Alexander-Universität Erlangen-Nürnberg(艾尔朗根-纽伦堡弗里德里希-亚历山大大学模式识别实验室)
本文比较了基于CNN的SegResNet与三种混合Transformer模型在RATIC数据集上的多器官分割性能,发现CNN在整体表现上更优,而UNETR++表现最佳,UNETR收敛更快。
2026-03-19 cs.CV
Cost Aggregation with 4D Convolutional Swin Transformer for Few-Shot Segmentation
Korea University(高丽大学);Microsoft Research Asia(微软亚洲研究院)
本文提出了一种新的成本聚合网络,称为体积聚合与Transformers(增值税),为Few-Shot分割。Transformers的使用可以通过全局感受野上的自我注意来有益于相关图聚合。然而,用于Transformer处理的相关图的令牌化可能是有害的,因为令牌边界处的不连续性减少了令牌边缘附近可用的局部上下文并减少了感应偏差。为了解决这个问题,我们提出了一个4D卷积Swin Transformer,其中高维Swin Transformer之前是一系列小内核卷积,这些卷积将局部上下文赋予所有像素并引入卷积感应偏置。此外,我们还通过在金字塔结构中应用Transformers来提高聚合性能,其中较粗级别的聚合指导较细级别的聚合。Transformer输出中的噪声随后在后续解码器中借助查询的外观嵌入进行过滤。通过该模型,为少镜头分割(Few-Shot segmentation)中的所有标准基准设置了新的最先进技术。结果表明,增值税达到国家的最先进的性能,以及语义对应,其中成本聚合也发挥了核心作用。
2022-07-22 cs.CV
PolyTransform: Deep Polygon Transformer for Instance Segmentation
Uber Advanced Technologies Group(优步先进技术集团);University of Toronto(多伦多大学);MIT(麻省理工学院)
在本文中,我们提出了PolyTransform,一种新的实例分割算法,通过结合流行的分割方法和现代的基于模板的方法的优势,产生精确的,几何形状保持的掩模。特别是,我们首先利用分割网络来生成实例掩码。然后,我们将遮罩转换为一组多边形,然后将其馈送到变形网络,该变形网络转换多边形,以便它们更好地适应对象边界。我们在具有挑战性的Cityscapes数据集上的实验表明,我们的PolyTransform显著提高了骨干实例分割网络的性能,并在Cityscapes测试集排行榜上排名第一。我们在交互式注释设置中也显示了令人印象深刻的收益。我们在https://github.com/uber-research/PolyTransform上发布代码。
2021-01-16 cs.CV
Interactive Image Segmentation with Cross-Modality Vision Transformers
University of Twente(特文特大学)
本文提出基于跨模态视觉Transformer的点击式交互图像分割网络,利用互信息引导多模态学习,在多个基准上超越现有最优模型并展现出实用标注工具潜力。
2023-07-05 cs.CV
Boosting Few-shot Semantic Segmentation with Transformers
ETH Zurich(苏黎世联邦理工学院)
由于全监督语义分割方法需要足够的全标记数据才能很好地工作,并且不能推广到不可见的类别,因此Few-Shot分割引起了大量的研究关注。现有技术从支持图像和查询图像中提取特征,在对查询图像进行预测之前对其进行联合处理。整个过程基于卷积神经网络(CNN),导致仅使用局部信息的问题。本文提出了一种基于变换器的Few-Shot语义分割方法。具体来说,我们的模型包括两个模块:全球增强模块(GEM)和本地增强模块(LEM)。GEM采用Transformer块来利用全局信息,而LEM利用传统的卷积来利用跨查询和支持特征的局部信息。GEM和LEM是互补的,有助于学习更好的特征表示来分割查询图像。在PASCAL-5i和COCO数据集上的大量实验表明,我们的方法实现了新的最先进的性能,证明了其有效性。
2021-08-04 cs.CV
CATrans: Context and Affinity Transformer for Few-Shot Segmentation
Australian National University(澳大利亚国立大学);Baidu Research(百度研究院);National Engineering Laboratory for Deep Learning Technology and Application(深度学习技术及应用国家工程实验室)
Few-Shot分割(FSS)的目的是分割新的类别给稀缺的注释支持图像。FSS的关键是如何聚集支持和查询图像之间的密集相关性,以进行查询分割,同时对外观和上下文的大变化具有鲁棒性。为此,以前的基于transformer的方法探索支持查询对之间的上下文相似性或亲和映射的全局共识。在这项工作中,我们有效地整合了上下文和亲和力信息,通过提出新的上下文和亲和力Transformer(CATrans)的层次结构。具体而言,引导上下文Transformer(RCT)传播上下文信息从支持查询图像的条件下,更多的信息支持功能。基于支持对和查询对之间的巨大特征差异给上下文知识传递带来障碍的观察,基于自相似度的关联度Transformer(RAT)测量注意感知的关联度作为FSS的辅助信息,其中自关联度负责更可靠的交叉关联度。我们进行实验,以证明所提出的模型的有效性,优于国家的最先进的方法。
2022-04-27 cs.CV
A Unified Efficient Pyramid Transformer for Semantic Segmentation
Fudan University(复旦大学);Amazon Web Services(亚马逊云科技);University of California, Davis(加州大学戴维斯分校)
语义分割是一个具有挑战性的问题,由于在复杂的场景和沿边界的类混淆建模的困难。大多数文献要么关注上下文建模,要么关注边界细化,这在开放世界场景中不太普遍。在这项工作中,我们提倡一个统一的框架(UN-EPT)分割对象,同时考虑上下文信息和边界文物。我们首先采用稀疏采样策略,将基于变换器的注意力机制用于高效的上下文建模。此外,引入一个单独的空间分支来捕获图像细节以进行边界细化。整个模型可以以端到端的方式进行训练。我们展示了有前途的性能在三个流行的基准测试语义分割与低内存占用。代码将很快发布。
2021-07-29 cs.CV
SMAFormer: Synergistic Multi-Attention Transformer for Medical Image Segmentation
University of Macau(澳门大学)
提出SMAFormer,一种融合像素注意力、通道注意力和空间注意力的Transformer架构,通过协同多注意力块和特征融合调制器提升小肿瘤和器官的分割性能。
2026-05-24 cs.CV
nnFormer: Interleaved Transformer for Volumetric Segmentation
Xiamen University(厦门大学);The University of Hong Kong(香港大学);Shenzhen Research Institute of Big Data, The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳)深圳大数据研究院)
Transformer是自然语言处理的首选模型,但医学成像界对此关注甚少。考虑到利用长期依赖性的能力,Transformers有望帮助非典型卷积神经网络克服其固有的空间归纳偏差缺点。然而,最近提出的大多数基于transformer的分割方法只是将Transformers视为辅助模块,以帮助将全局上下文编码为卷积表示。为了解决这个问题,我们介绍了nnFormer,一个三维Transformer的体积医学图像分割。nnFormer不仅利用了交错卷积和自注意操作的组合,还引入了基于局部和全局体积的自注意力机制来学习体积表示。此外,nnFormer提出在U-Net类架构中使用跳过注意力来取代跳过连接中的传统级联/求和操作。实验表明,nnFormer在三个公共数据集上的性能明显优于以前的基于transformer的同行。与nnUNet相比,nnFormer产生显著更低的HD 95和相当的DSC结果。此外,我们表明,nnFormer和nnUNet是高度互补的模型集成。
2022-02-04 cs.CV
End-to-End Video Instance Segmentation with Transformers
Meituan(美团);The University of Adelaide(阿德莱德大学)
视频实例分割(VIS)是一项需要同时对视频中感兴趣的对象实例进行分类、分割和跟踪的任务。最近的方法通常开发复杂的管道来解决这个任务。在这里,我们提出了一个新的视频实例分割框架建立在Transformers,称为VisTR,它认为VIS任务作为一个直接的端到端的并行序列解码/预测问题。给定由多个图像帧组成的视频剪辑作为输入,VisTR直接按顺序输出视频中每个实例的掩码序列。其核心是一个新的、有效的实例序列匹配和分割策略,它在序列级别上作为一个整体对实例进行监督和分割。VisTR将实例分割和跟踪框定在相似性学习的相同视角中,从而大大简化了整体流水线,并且与现有方法显著不同。在没有花哨的情况下,VisTR在所有现有的VIS模型中实现了最高的速度,并且在YouTube-VIS数据集上使用单个模型的方法中实现了最佳结果。这是第一次,我们展示了一个更简单,更快的视频实例分割框架建立在Transformers,实现竞争力的准确性。我们希望VisTR可以激励未来的研究更多的视频理解任务。
2021-10-08 cs.CV
UTNet: A Hybrid Transformer Architecture for Medical Image Segmentation
Rutgers University(罗格斯大学);SenseBrain(感知大脑公司);Shanghai AI Laboratory(上海人工智能实验室);Centre for Perceptual and Interactive Intelligence(感知与交互智能中心)
Transformer体系结构已经在许多自然语言处理任务中取得了成功。然而,它在医学视觉上的应用在很大程度上仍未被探索。在这项研究中,我们提出了UTNet,一个简单而强大的混合Transformer架构,它将自我注意力集成到卷积神经网络中,用于增强医学图像分割。UTNet在编码器和解码器中应用自注意模块,以最小的开销捕获不同尺度的长程依赖性。为此,我们提出了一种有效的自注意力机制以及相对位置编码,其将自注意操作的复杂度从$O(n^2)$显著降低到近似$O(n)$。一个新的自注意解码器也提出了恢复细粒度的细节,从跳过的连接在编码器中。我们的方法解决了Transformer需要大量数据来学习视觉感应偏差的困境。我们的混合层设计允许将Transformer初始化为卷积网络,而无需进行预训练。我们在多标签、多供应商心脏磁共振成像队列中评估了UTNet。UTNet表现出了优越的分割性能和鲁棒性,可以很好地推广到其他医学图像分割。
2021-09-28 cs.CV
Point Transformer V3 Extreme: 1st Place Solution for 2024 Waymo Open Dataset Challenge in Semantic Segmentation
HKU SH AI Lab(香港大学上海人工智能实验室);NUS(新加坡国立大学);NTU(南洋理工大学)
本方案通过多帧训练、无裁剪点策略及模型集成,显著提升Point Transformer V3性能,在2024年Waymo语义分割挑战赛中夺得第一。
2024-07-21 cs.CV
SOTR: Segmenting Objects with Transformers
China Agricultural University(中国农业大学);University of California, Berkeley(加州大学伯克利分校)
最新的基于transformer的模型在视觉任务上表现出令人印象深刻的性能,甚至比卷积神经网络(CNN)更好。在这项工作中,我们提出了一种新的,灵活的,有效的基于变换的模型,高质量的实例分割。所提出的方法,用Transformers分割对象(SOTR),简化了分割管道,建立在附加有两个并行子任务的替代CNN骨干上:(1)通过Transformer预测每个实例类别和(2)使用多级上采样模块动态生成分割掩码。SOTR分别通过特征金字塔网络(FPN)和双Transformer有效地提取低层特征表示和捕获长距离上下文依赖。同时,与原始的Transformer相比,所提出的双Transformer是时间和资源有效的,因为只有一行和一列的注意参与编码像素。此外,SOTR易于与各种CNN骨干和Transformer模型变体结合,从而在分割精度和训练收敛性方面做出相当大的改进。大量的实验表明,我们的SOTR在MS COCO数据集上表现良好,并超过了最先进的实例分割方法。我们希望我们简单但强大的框架可以作为实例级识别的首选基线。我们的代码可在https://github.com/easton-cau/SOTR上获得。
2021-08-17 cs.CV
Enhancing Transformer Backbone for Egocentric Video Action Segmentation
Northeastern University(东北大学)
本文提出双重膨胀注意力机制和编码器-解码器交叉连接增强Transformer主干,结合视觉-语言表示学习,在GTEA和HOI4D数据集上提升了自我中心视频动作分割性能。
2023-05-23 cs.CV
AerialFormer: Multi-resolution Transformer for Aerial Image Segmentation
University of Arkansas(阿肯色大学)
针对航空图像分割存在的分布失衡、目标微小等难题,提出融合Transformer编码器与轻量MD-CNNs解码器的层级模型AerialFormer,兼顾局部全局上下文,在三个基准数据集上性能超越现有最优方法。
2023-10-01 cs.CV