CMT-DeepLab: Clustering Mask Transformers for Panoptic Segmentation
Johns Hopkins University（约翰斯·霍普金斯大学）；KAIST（韩国科学技术院）；Google Research（谷歌研究院）
我们提出了聚类掩码Transformer（CMT-DeepLab），这是一个基于transformer的框架，用于围绕聚类设计的全景分割。它重新考虑了分割和检测中使用的现有Transformer架构; CMT-DeepLab将对象查询视为聚类中心，在应用于分割时，这些聚类中心填补了对像素进行分组的角色。聚类是用交替的过程计算的，首先通过它们的特征亲和力将像素分配到聚类，然后更新聚类中心和像素特征。这些操作共同组成了聚类掩码Transformer（CMT）层，该层产生的交叉注意力更密集，与最终分割任务更一致。CMT-DeepLab将现有技术的性能显著提高了4.4%PQ，在COCO测试开发集上实现了55.7%PQ的最新技术水平。
2022-06-17 cs.CV
LEST: Large-scale LiDAR Semantic Segmentation with Transformer
LiangDao GmbH（亮道智能）；Ilmenau University of Technology（伊尔梅瑙工业大学）
针对大规模激光雷达点云语义分割任务，提出纯Transformer架构LEST，包含空间填充曲线分组策略和距离余弦线性Transformer两个创新组件，在nuScenes和SemanticKITTI数据集上性能超越现有最优方法。
2023-07-14 cs.CV
Time-Space Transformers for Video Panoptic Segmentation
Technical University of Cluj-Napoca（克卢日-纳波卡技术大学）
我们提出了一种新的解决方案，视频全景分割的任务，同时预测像素级的语义和实例分割，并产生剪辑级的实例轨道。我们的网络名为VPS-Transformer，具有基于最先进的全景分割网络Panoptic-DeepLab的混合架构，结合了用于单帧全景分割的卷积架构和基于纯Transformer块实例化的新型视频模块。配备有注意力机制的Transformer对当前帧和过去帧的骨干输出特征之间的时空关系进行建模，以获得更准确和一致的全景估计。由于纯Transformer块在处理高分辨率图像时会引入大量计算开销，因此我们提出了一些设计更改以实现更高效的计算。我们研究如何更有效地聚合信息的时空量，我们比较了几个变种的Transformer块与不同的注意力计划。在Cityscapes-VPS数据集上进行的大量实验表明，我们的最佳模型将时间一致性和视频全景质量提高了2.2%，并且几乎没有额外的计算。
2022-10-07 cs.CV
Semantic Segmentation on VSPW Dataset through Aggregation of Transformer Models
Xiaomi Inc.（小米公司）
语义分割是计算机视觉中的一项重要任务，从中衍生出一些重要的使用场景，如自动驾驶、场景解析等，由于对视频语义分割任务的重视，我们参加了本次大赛。在这份报告中，我们简要介绍了“BetterThing”团队为ICCV 2021-视频场景解析野外挑战赛提供的解决方案。Transformer作为提取视频帧特征的主干，最终结果是SWIN和VOLO两个Transformer模型输出的聚合。该解决方案实现了57.3%的mIoU，在Wild Challenge视频场景解析中排名第三。
2021-09-03 cs.CV
MISSFormer: An Effective Medical Image Segmentation Transformer
Beijing University of Posts and Telecommunications（北京邮电大学）
基于CNN的方法在医学图像分割中取得了令人印象深刻的结果，但由于卷积运算固有的局部性，它们未能捕获长程依赖性。基于变换器的方法最近在视觉任务中很受欢迎，因为它们具有长距离依赖性和有前途的性能。然而，它缺乏对本地上下文的建模。本文以医学图像分割为例，介绍了一种有效的医学图像分割变换器Transformer。MISSFormer是一个分层的编码器-解码器网络，有两个吸引人的设计：1）前馈网络被重新设计，提出了增强的Transformer块，这增强了远程依赖性和补充局部上下文，使功能更具区分力。2)本文提出了增强型Transformer Context Bridge，与以往只建模全局信息的方法不同，本文提出的上下文桥结合了增强型Transformer块，提取了由分层Transformer编码器生成的多尺度特征的长程依赖关系和局部上下文。在这两种设计的驱动下，MISSFormer显示出在医学图像分割中捕获更多区分依赖性和上下文的强大能力。多器官和心脏分割任务的实验证明了我们MISSFormer的优越性，有效性和鲁棒性，从头开始训练的MISSFormer的实验结果甚至优于ImageNet上预先训练的最先进的方法。核心设计可以推广到其他视觉分割任务。代码已经发布在Github上：https://github.com/ZhifangDeng/MISSFormer
2021-12-19 cs.CV
Multi-scale Hierarchical Vision Transformer with Cascaded Attention Decoding for Medical Image Segmentation
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
Transformers在医学图像分割方面取得了巨大成功。然而，Transformers可能会表现出有限的泛化能力，由于潜在的单尺度自我注意力（SA）机制。在本文中，我们通过引入多尺度层次视觉Transformer（MERIT）骨干网络来解决这个问题，该骨干网络通过在多个尺度上计算SA来提高模型的泛化能力。我们还采用了一个基于注意力的解码器，即级联注意力解码（CASCADE），以进一步细化MERIT生成的多阶段特征。最后，我们介绍了一种有效的多阶段特征混合损失聚合（MUTATION）方法，通过隐式集成来更好地进行模型训练。我们对两个广泛使用的医学图像分割基准（即，Synapse Multi-organ，ACDC）证明了MERIT优于最先进方法的性能。我们的MERIT架构和MUTATION损失聚合可以与下游医学图像和语义分割任务一起使用。
2023-03-29 cs.CV
WegFormer: Transformers for Weakly Supervised Semantic Segmentation
Tongji University（同济大学）；The University of Hong Kong（香港大学）；SenseTime（商汤科技）；Shanghai AI Lab（上海人工智能实验室）
尽管卷积神经网络（CNN）在弱监督语义分割（WSSS）方面取得了显着进展，但CNN的有效感受野不足以捕获全局上下文信息，从而导致次优结果。受Transformers在基础视觉领域的巨大成功的启发，本文首次引入了Transformer来构建一个简单有效的WSSS框架，称为WegFormer。与现有的基于CNN的方法不同，WegFormer使用视觉Transformer（ViT）作为分类器来产生高质量的伪分割掩模。为此，我们在基于transformer的框架中引入了三个定制组件，它们是（1）深度泰勒分解（DTD）以生成注意力地图，（2）软擦除模块以平滑注意力地图，以及（3）高效的潜在对象挖掘（EPOM）以过滤背景中的噪声激活。在没有任何额外功能的情况下，WegFormer在PASCAL VOC数据集上实现了最先进的70.5% mIoU，显著优于之前的最佳方法。我们希望WegFormer为挖掘Transformer在弱监督语义分割中的潜力提供一个新的视角。代码将被释放。
2022-03-16 cs.CV
CFPFormer: Feature-pyramid like Transformer Decoder for Segmentation and Detection
Fuzhou University of International Studies and Trade（福州外语外贸学院）
本文提出CFPFormer解码器，将特征金字塔与Transformer结合，并通过高斯注意力降低复杂度，在医学图像分割中以较轻量骨干取得92.02% Dice分数，优于更复杂基线。
2025-04-05 cs.CV
UniDAformer: Unified Domain Adaptive Panoptic Segmentation Transformer via Hierarchical Mask Calibration
Nanyang Technological University（南洋理工大学）；Wenzhou University（温州大学）
域自适应全景分割旨在通过利用一个或多个相关源域中的现成注释数据来减轻数据注释挑战。然而，现有的研究采用两个独立的网络进行实例分割和语义分割，这导致过多的网络参数以及复杂和计算密集的训练和推理过程。我们设计了UniDAformer，一个统一的域自适应全景分割Transformer，它很简单，但可以在单个网络中同时实现域自适应实例分割和语义分割。UniDAformer引入了分层掩模校准（HMC），通过在线实时自我训练，在区域、超像素和像素级别纠正不准确的预测。它有三个独特的特点：1）它能够实现统一的域自适应全景自适应; 2）它减轻了错误预测并有效地改进了域自适应全景分割; 3）它是端到端可训练的，具有简单得多的训练和推理流水线。在多个公共基准上进行的大量实验表明，与最先进的技术相比，UniDAformer实现了卓越的域自适应全景分割。
2023-03-22 cs.CV
Learning Dynamic Query Combinations for Transformer-based Object Detection and Segmentation
University of Florida（佛罗里达大学）；ByteDance Inc.（字节跳动公司）
本文提出基于图像高级语义学习动态系数的凸组合生成调制查询，以更好地捕捉目标位置和类别的先验，使广泛的基于DETR的模型在检测和分割等多个任务上取得一致且优越的性能。
2023-07-27 cs.CV
DepthFormer: Multimodal Positional Encodings and Cross-Input Attention for Transformer-Based Segmentation Networks
University of Padova（帕多瓦大学）
大多数用于语义分割的方法仅使用来自彩色相机的信息来解析场景，然而最近的进展表明，使用深度数据允许进一步提高性能。在这项工作中，我们专注于基于transformer的深度学习架构，这些架构在分割任务上实现了最先进的性能，我们建议通过将深度信息嵌入到位置编码中来使用深度信息。有效地，我们将网络扩展到多模态数据，而不添加任何参数，并以一种自然的方式利用Transformers的自我注意力模块的力量。我们还研究了在注意力模块内部执行跨模态操作的想法，在深度和颜色分支之间交换关键输入。我们的方法不断提高Cityscapes基准的性能。
2023-03-27 cs.CV
Memory transformers for full context and high-resolution 3D Medical Segmentation
Conservatoire National des Arts et Métiers（法国国立工艺学院）；IRCAD（消化癌症研究所）
Transformer模型实现了最先进的图像分割结果。然而，通过高分辨率3D图像实现捕获全球背景所需的长距离注意力是一个根本性的挑战。本文介绍了全分辨率存储器（FINE）Transformer来克服这个问题。FINE背后的核心思想是学习内存令牌，以间接地对全范围交互进行建模，同时在内存和计算成本方面都有很好的扩展性。FINE在两个级别引入了内存令牌：第一个级别允许局部图像区域（补丁）内的体素之间的完全交互，第二个级别允许3D体积的所有区域之间的完全交互。结合起来，它们允许对高分辨率图像（例如，512 x 512 x 256体素及以上）进行充分关注。在BCV图像分割数据集上的实验显示出比最先进的CNN和Transformer基线更好的性能，突出了我们的全注意力机制与最近的Transformer基线（例如CoTr和nnFormer）相比的优越性。
2022-10-11 cs.CV
Task-Adaptive Feature Transformer with Semantic Enrichment for Few-Shot Segmentation
Ulsan National Institute of Science and Technology（蔚山科学技术院）
少样本学习允许机器仅使用少量标记样本对新类别进行分类。近年来，针对低样本数据的语义分割的Few-Shot分割也引起了人们极大的兴趣。在本文中，我们提出了一个可学习的模块，可以放置在现有的分割网络进行Few-Shot分割。该模块称为任务自适应特征Transformer（TAFT），将特定于任务的高级特征线性转换为一组非常适合进行Few-Shot分割的任务不可知特征。任务条件的特征变换允许有效利用新类中的语义信息来生成紧密的分割掩模。我们还提出了一个语义丰富（SE）模块，利用像素级的注意力模块的高层次功能和辅助损失的辅助分割网络进行语义分割的所有训练类。$5^i$和$20^i$数据集上的实验证实，添加的模块成功地扩展了现有分割器的能力，以产生具有高度竞争力的Few-Shot分割性能。
2022-02-14 cs.CV
LeViT-UNet: Make Faster Encoders with Transformer for Medical Image Segmentation
Wuhan Institute of Technology（武汉工程大学）；Huazhong University of Science and technology（华中科技大学）
医学图像分割在计算机辅助诊断和治疗系统的开发中起着至关重要的作用，但仍然面临着许多挑战。在过去的几年里，流行的基于CNN的编码器-解码器架构（例如，U-Net）在医学图像分割中得到了成功的应用。然而，由于卷积运算的局部性，它们在学习全局上下文和长程空间关系方面表现出局限性。最近，一些研究人员试图将Transformers引入到编码器和解码器组件中，并取得了令人满意的结果，但由于Transformers的高计算复杂性，效率需要进一步提高。在本文中，我们提出了LeViT-UNet，它集成了一个LeViT Transformer模块到U-Net架构，快速，准确的医学图像分割。具体来说，我们使用LeViT作为LeViT-UNet的编码器，它可以更好地权衡Transformer块的准确性和效率。此外，LeViT的Transformer块和卷积块的多尺度特征图通过跳跃连接传递到解码器，可以有效地重用特征图的空间信息。我们的实验表明，建议的LeViT-UNet实现更好的性能相比，各种竞争方法在几个具有挑战性的医学图像分割基准，包括突触和ACDC。代码和模型将在https://github.com/apple1986/LeViT_UNet上公开。
2021-07-19 cs.CV
When Swin Transformer Meets KANs: An Improved Transformer Architecture for Medical Image Segmentation
Department of Computer Science and Engineering, University of Notre Dame（计算机科学与工程系，诺丁汉大学）；Department of Computer Science, University of Texas Rio Grande Valley（计算机科学系，德克萨斯大学里奥格兰德谷分校）
UKAST结合KANs与Swin Transformer，提升医学图像分割的效率与准确性，尤其在数据稀缺情况下表现优异。
2026-01-26 cs.CV
Lawin Transformer: Improving Semantic Segmentation Transformer with Multi-Scale Representations via Large Window Attention
Beijing University of Posts and Telecommunications（北京邮电大学）
本文提出Lawin Transformer，通过大窗口注意力将多尺度表示引入语义分割ViT，并结合LawinASPP解码器，在Cityscapes、ADE20K和COCO-Stuff上取得新SOTA并提升效率。
2023-08-09 cs.CV
Delving into Transformer for Incremental Semantic Segmentation
Tsinghua University（清华大学）；Tencent（腾讯）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
增量语义分割（ISS）是一项新兴任务，其中通过增量添加新类来更新旧模型。目前，基于卷积神经网络的方法在ISS中占主导地位。然而，研究表明，这种方法很难在学习新任务的同时保持对旧任务的良好表现（灾难性遗忘）。相比之下，基于Transformer的方法在抑制灾难性遗忘方面具有天然优势，因为它能够对长期和短期任务进行建模。在这项工作中，我们探讨了为什么Transformer为基础的架构更适合于ISS，并相应地提出了TISS，一个基于Transformer的增量语义分割的方法。此外，为了更好地缓解灾难性遗忘，同时保持ISS上的可传递性，我们引入了两个分片对比损失，分别模仿相似特征和增强特征多样性，这可以进一步提高TISS的性能。在Pascal-VOC 2012和ADE 20 K数据集的广泛实验设置下，我们的方法显着优于最先进的增量语义分割方法。
2022-11-18 cs.CV
Pyramid Medical Transformer for Medical Image Segmentation
Washington University in St. Louis（圣路易斯华盛顿大学）
深度神经网络已经成为医学图像处理领域的主流技术。然而，最流行的基于卷积神经网络（CNN）的医学图像分割方法是不完美的，因为它们通过堆叠层或放大滤波器来建模长程依赖性。最近提出的Transformers和自我注意力机制，以有效地学习长距离的依赖关系，通过建模所有对字到字的注意，而不管他们的位置。这个想法也被扩展到计算机视觉领域，通过创建和处理图像补丁作为嵌入。考虑到整个图像自关注的计算复杂度，当前基于transformer的模型解决了刚性分割方案，可能会丢失信息关系。此外，目前的医疗Transformers模型的全分辨率图像的全球背景，导致不必要的计算成本。为了解决这些问题，我们开发了一种新的方法来集成多尺度注意力和CNN特征提取使用金字塔网络架构，即金字塔医疗Transformer（PMTrans）。PMTrans通过处理多分辨率图像来捕获多范围关系。一个自适应的分区计划，以保持信息的关系，并有效地访问不同的感受野。在三个医学图像数据集（腺体分割，MoNuSeg和HECKTOR数据集）上的实验结果表明，PMTrans优于最新的基于CNN和基于transformer的医学图像分割模型。
2022-04-29 cs.CV
Medical Transformer: Gated Axial-Attention for Medical Image Segmentation
Johns Hopkins University（约翰斯·霍普金斯大学）；Rutgers, The State University of New Jersey（罗格斯新泽西州立大学）
在过去的十年中，深度卷积神经网络已被广泛用于医学图像分割，并表现出足够的性能。然而，由于卷积架构中存在固有的归纳偏差，它们缺乏对图像中的长程依赖性的理解。最近提出的基于transformer的架构，利用自我注意力机制编码长距离依赖关系，并学习表达能力强的表示。这促使我们探索基于Transformer的解决方案，并研究将基于Transformer的网络架构用于医学图像分割任务的可行性。针对视觉应用提出的大多数现有基于Transformer的网络架构都需要大规模数据集来进行适当的训练。然而，与用于视觉应用的数据集相比，对于医学成像，数据样本的数量相对较低，使得难以有效地训练用于医学应用的Transformers。为此，我们提出了一个门控轴向注意力模型，通过在自我注意力模块中引入额外的控制机制来扩展现有的架构。此外，训练模型有效地医学图像，我们提出了一个局部全局训练策略（LoGo），进一步提高了性能。具体来说，我们对整个图像和补丁进行操作，分别学习全局和局部特征。建议的医疗Transformer（MedT）的三个不同的医学图像分割数据集进行评估，它表明，它实现了更好的性能比卷积和其他相关的基于变换的架构。代码：https://github.com/jeya-maria-jose/Medical-Transformer
2021-07-06 cs.CV
TransUNet: Transformers Make Strong Encoders for Medical Image Segmentation
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Electronic Science and Technology of China（电子科技大学）；Stanford University（斯坦福大学）；East China Normal University（华东师范大学）；PAII Inc.（PAII公司）
医学图像分割是开发医疗保健系统，特别是疾病诊断和治疗计划的必要前提。在各种医学图像分割任务中，U形架构，也被称为U-Net，已经成为事实标准，并取得了巨大的成功。然而，由于卷积运算固有的局部性，U-Net通常在显式建模长期依赖性方面表现出局限性。Transformers，设计用于序列到序列预测，已经出现作为替代架构与先天的全球自我注意力机制，但可能会导致有限的定位能力，由于不足的低层次的细节。在本文中，我们提出了transUNet，它的优点Transformers和U-Net，作为一个强大的替代医学图像分割。一方面，Transformer将来自卷积神经网络（CNN）特征图的标记化图像块编码为用于提取全局上下文的输入序列。另一方面，解码器对编码特征进行上采样，然后将其与高分辨率CNN特征图组合以实现精确定位。我们认为，Transformers可以作为医学图像分割任务的强编码器，与U-Net的组合，以提高更精细的细节，恢复本地化的空间信息。TransUNet在不同的医学应用中实现了优于各种竞争方法的性能，包括多器官分割和心脏分割。代码和模型可在https://github.com/Beckschen/TransUNet上获得。
2021-02-08 cs.CV
RTFormer: Efficient Design for Real-Time Semantic Segmentation with Transformer
Baidu（百度）；Australian National University（澳大利亚国立大学）
最近，基于transformer的网络在语义分割方面取得了令人印象深刻的结果。然而，对于实时的【形】语义分割，由于Transformer耗时的计算机制，纯基于CNN的方法仍然在该领域占主导地位。我们提出了RTFormer，一个高效的双分辨率Transformer，用于实时的【形】语义分割，它比基于CNN的模型在性能和效率之间实现了更好的权衡。为了在类似GPU的设备上实现高推理效率，我们的RTFormer利用了具有线性复杂度的GPU友好注意力，并放弃了多头机制。此外，我们发现跨分辨率注意通过传播从低分辨率分支学习到的高级知识来更有效地收集高分辨率分支的全局上下文信息。在主流基准上的大量实验证明了我们提出的RTFormer的有效性，它在Cityscapes，CamVid和COCOStuff上达到了最先进的水平，并在ADE20K上显示了有希望的结果。代码可在PaddleSeg上获得：https://github.com/PaddlePaddle/PaddleSeg。
2022-10-13 cs.CV
Towards Robust Video Instance Segmentation with Temporal-Aware Transformer
Alibaba Group（阿里巴巴集团）
现有的基于Transformer的视频实例分割方法多是独立地提取每帧的特征，难以解决外观变形问题。在本文中，我们观察到的时间信息是很重要的，以及我们提出TAFormer聚合时空特征在Transformer编码器和解码器。具体而言，在Transformer编码器中，提出了一种时空联合的多尺度可变形注意力模型，动态地融合时空信息，获得丰富的时空特征。在Transformer解码器中，我们引入了一个时间自关注模块，以增强帧级的框查询与时间的关系。此外，TAFormer采用实例级对比损失来增加实例查询嵌入的可区分性。因此，可以减少由视觉相似实例引起的跟踪误差。实验结果表明，TAFormer有效地利用空间和时间信息来获得上下文感知的特征表示，并优于最先进的方法。
2023-01-20 cs.CV
DS-TransUNet:Dual Swin Transformer U-Net for Medical Image Segmentation
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Shenzhen Medical Biometrics Perception and Analysis Engineering Laboratory（深圳市医学生物特征感知与分析工程实验室）；Bio-Computing Research Center（生物计算研究中心）；Shenzhen Key Laboratory of Visual Object Detection and Recognition（深圳市视觉目标检测与识别重点实验室）
得益于深度学习的发展，医学图像自动分割取得了很大的进展。然而，现有的方法大多基于卷积神经网络（CNN），由于卷积运算中感受野的限制，无法建立长程依赖关系和全局上下文连接。受Transformer在远程上下文信息建模方面的成功启发，一些研究者在设计基于Transformer的U-Net的鲁棒变体方面付出了相当大的努力。此外，在视觉Transformer中使用的块划分通常忽略了每个块内部的像素级内在结构特征。为了缓解这些问题，我们提出了一种新的深度医学图像分割框架，称为Dual Swin Transformer U-Net（DS-TransUNet），这可能是第一次尝试同时将分层Swin Transformer的优点结合到标准U形架构的编码器和解码器中，以增强不同医学图像的语义分割质量。与许多先前的基于transformer的解决方案不同，所提出的DS-TransUNet首先采用基于Swin Transformer的双尺度编码器子网络来提取不同语义尺度的粗粒度和细粒度特征表示。作为DS-TransUNet的核心组件，提出了一个设计良好的Transformer交互式融合（TIF）模块，通过自注意力机制有效地建立不同尺度特征之间的全局依赖关系。此外，我们还将Swin Transformer模块引入到解码器中，以在上采样过程中进一步探索长距离上下文信息。在四个典型的医学图像分割任务的广泛实验…
2021-06-12 cs.CV
Non-Hierarchical Transformers for Pedestrian Segmentation
Deep-REAL；University of Delaware（特拉华大学）
本研究针对自主系统实例分割的可访问性与包容性挑战，提出结合EVA-02非分层视觉Transformer与Cascade Mask R-CNN掩码头的方法，在AVA数据集测试集上取得52.68%的mAP，验证了ViT架构的相关效用。
2023-07-11 cs.CV
SemFormer: Semantic Guided Activation Transformer for Weakly Supervised Semantic Segmentation
Shenzhen University（深圳大学）
目前主流的弱监督语义分割（WSSS）方法主要基于由基于CNN（卷积神经网络）的图像分类器生成的类激活图（CAM）。在本文中，我们提出了一种新的基于transformer的框架，命名为语义引导激活Transformer（SemFormer），WSSS。我们设计了一个基于transformer的类感知自动编码器（CAAE）来提取输入图像的类嵌入，并学习数据集的所有类的类语义。然后使用类嵌入和学习的类语义来指导具有四个损失的激活图的生成，即，类前景、类背景、激活抑制和激活互补损失。在PASCAL VOC 2012数据集上的实验结果表明，该算法实现了\textbf{74.3} \% mIoU，并在很大程度上超过了目前主流的WSSS算法.代码将在\url{https://github.com/JLChen-C/SemFormer}上提供。
2022-10-26 cs.CV
Full Contextual Attention for Multi-resolution Transformers in Semantic Segmentation
Conservatoire National des Arts et Métiers（法国国立工艺学院）；IRCAD（消化外科研究所）；Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；ISIR（巴黎智能系统与机器人研究所）
Transformers已被证明对视觉识别任务非常有效。特别地，视觉Transformer通过自我注意和可学习的类标记来构造压缩的全局表示。多分辨率Transformers最近在语义分割方面取得了成功，但只能捕获高分辨率特征图中的局部交互。本文扩展了全局令牌的概念，以构建全局注意力多分辨率（GLAM）Transformers。GLAM是一个通用模块，可以集成到大多数现有的Transformer主干中。GLAM包括可学习的全局令牌，与以前的方法不同，它可以对所有图像区域之间的交互进行建模，并在训练期间提取强大的表示。大量的实验表明，GLAM-Swin或GLAM-Swin-UNet在ADE 20 K和Cityscapes上表现出比它们的香草对应物更好的性能。此外，GLAM可用于分割大型3D医学图像，GLAM-nnFormer在BCV数据集上实现了最先进的性能。
2022-12-15 cs.CV
ConvFormer: Combining CNN and Transformer for Medical Image Segmentation
University of Notre Dame（圣母大学）
基于卷积神经网络（CNN）的方法在医学图像分割中取得了巨大的成功，但由于卷积运算的有效感受野较小，其学习全局表示的能力仍然有限。基于Transformer的方法能够对用于捕获全局表示的信息的长距离依赖性进行建模，但是它们缺乏对局部上下文进行建模的能力。集成CNN和Transformer来学习局部和全局表示，同时探索多尺度特征有助于进一步改进医学图像分割。在本文中，我们提出了一个分层的CNN和Transformer混合架构，称为ConvFormer，用于医学图像分割。ConvFormer基于几种简单而有效的设计。(1)可变形Transformer（DeTrans）的前馈模块被重新设计以引入本地信息，称为增强型DeTrans。(2)基于卷积和增强DeTrans的组合，开发了一种剩余形状的混合茎，以捕获局部和全局表示，以增强表示能力。(3)我们的编码器利用残留形状的混合干在一个层次化的方式来生成不同尺度的特征图，并建立了一个额外的增强型DeTrans编码器与残留连接，以利用多尺度特征与不同尺度的特征图作为输入。在几个数据集上的实验表明，我们从头开始训练的ConvFormer优于各种基于CNN或Transformer的架构，实现了最先进的性能。
2022-11-15 cs.CV
Feature Selective Transformer for Semantic Image Segmentation
Baidu Research（百度研究院）；National Engineering Laboratory for Deep Learning Technology and Application（深度学习技术与应用国家工程实验室）
近年来，融合多尺度特征进行语义图像分割的研究受到越来越多的关注。各种工作提出了采用渐进的局部或全局融合，但特征融合是不够丰富的建模多尺度上下文特征。在这项工作中，我们专注于融合多尺度的功能，从基于transformer的骨干语义分割，并提出了一个功能选择性Transformer（FeSeFormer），聚合功能，从所有尺度（或级别）的每个查询功能。具体地说，我们首先提出了一个尺度级特征选择（SFS）模块，它可以选择一个信息子集从整个多尺度特征集为每个尺度，在这些功能是重要的当前尺度（或级别）的选择和冗余被丢弃。此外，我们提出了一个全尺度特征融合（FFF）模块，它可以自适应地融合查询的所有尺度的特征。基于提出的SFS和FFF模块，我们开发了一个特征选择Transformer（FeSeFormer），并评估我们的FeSeFormer四个具有挑战性的语义分割基准，包括PASCAL上下文，ADE 20 K，COCO-Stuff 10 K，和Cityscapes，优于国家的最先进的。
2022-04-01 cs.CV
Rethinking Semantic Segmentation from a Sequence-to-Sequence Perspective with Transformers
Fudan University（复旦大学）；University of Oxford（牛津大学）；University of Surrey（萨里大学）；Tencent Youtu Lab（腾讯优图实验室）；Facebook AI（脸书人工智能）
大多数最近的语义分割方法采用具有编码器-解码器架构的全卷积网络（FCN）。编码器逐渐降低空间分辨率，并学习更抽象/语义的视觉概念与更大的感受野。由于上下文建模对于分割至关重要，因此最新的努力集中在通过扩张/atrous卷积或插入注意力模块来增加感受野。然而，基于编码器-解码器的FCN架构保持不变。在本文中，我们的目标是提供一个替代的角度，通过治疗语义分割作为一个序列到序列的预测任务。具体来说，我们部署了一个纯Transformer（即没有卷积和分辨率降低）来将图像编码为一系列补丁。通过在Transformer的每一层中建模的全局上下文，该编码器可以与简单的解码器组合以提供强大的分割模型，称为SEGMENTATION TRANSFORMER（SETR）。大量的实验表明，SETR在ADE 20 K（50.28% mIoU），Pascal Context（55.83% mIoU）和Cityscapes上达到了最新的技术水平。特别是，我们在提交当天就在竞争激烈的ADE 20 K测试服务器排行榜上获得了第一名。
2021-07-25 cs.CV
PolyTransform: Deep Polygon Transformer for Instance Segmentation
Uber Advanced Technologies Group（优步先进技术集团）；University of Toronto（多伦多大学）；MIT（麻省理工学院）
在本文中，我们提出了PolyTransform，一种新的实例分割算法，通过结合流行的分割方法和现代的基于模板的方法的优势，产生精确的，几何形状保持的掩模。特别是，我们首先利用分割网络来生成实例掩码。然后，我们将遮罩转换为一组多边形，然后将其馈送到变形网络，该变形网络转换多边形，以便它们更好地适应对象边界。我们在具有挑战性的Cityscapes数据集上的实验表明，我们的PolyTransform显著提高了骨干实例分割网络的性能，并在Cityscapes测试集排行榜上排名第一。我们在交互式注释设置中也显示了令人印象深刻的收益。我们在https://github.com/uber-research/PolyTransform上发布代码。
2021-01-16 cs.CV
Interactive Image Segmentation with Cross-Modality Vision Transformers
University of Twente（特文特大学）
本文提出基于跨模态视觉Transformer的点击式交互图像分割网络，利用互信息引导多模态学习，在多个基准上超越现有最优模型并展现出实用标注工具潜力。
2023-07-05 cs.CV
Boosting Few-shot Semantic Segmentation with Transformers
ETH Zurich（苏黎世联邦理工学院）
由于全监督语义分割方法需要足够的全标记数据才能很好地工作，并且不能推广到不可见的类别，因此Few-Shot分割引起了大量的研究关注。现有技术从支持图像和查询图像中提取特征，在对查询图像进行预测之前对其进行联合处理。整个过程基于卷积神经网络（CNN），导致仅使用局部信息的问题。本文提出了一种基于变换器的Few-Shot语义分割方法。具体来说，我们的模型包括两个模块：全球增强模块（GEM）和本地增强模块（LEM）。GEM采用Transformer块来利用全局信息，而LEM利用传统的卷积来利用跨查询和支持特征的局部信息。GEM和LEM是互补的，有助于学习更好的特征表示来分割查询图像。在PASCAL-5i和COCO数据集上的大量实验表明，我们的方法实现了新的最先进的性能，证明了其有效性。
2021-08-04 cs.CV
A Unified Efficient Pyramid Transformer for Semantic Segmentation
Fudan University（复旦大学）；Amazon Web Services（亚马逊云科技）；University of California, Davis（加州大学戴维斯分校）
语义分割是一个具有挑战性的问题，由于在复杂的场景和沿边界的类混淆建模的困难。大多数文献要么关注上下文建模，要么关注边界细化，这在开放世界场景中不太普遍。在这项工作中，我们提倡一个统一的框架（UN-EPT）分割对象，同时考虑上下文信息和边界文物。我们首先采用稀疏采样策略，将基于变换器的注意力机制用于高效的上下文建模。此外，引入一个单独的空间分支来捕获图像细节以进行边界细化。整个模型可以以端到端的方式进行训练。我们展示了有前途的性能在三个流行的基准测试语义分割与低内存占用。代码将很快发布。
2021-07-29 cs.CV
SMAFormer: Synergistic Multi-Attention Transformer for Medical Image Segmentation
University of Macau（澳门大学）
提出SMAFormer，一种融合像素注意力、通道注意力和空间注意力的Transformer架构，通过协同多注意力块和特征融合调制器提升小肿瘤和器官的分割性能。
2026-05-24 cs.CV
nnFormer: Interleaved Transformer for Volumetric Segmentation
Xiamen University（厦门大学）；The University of Hong Kong（香港大学）；Shenzhen Research Institute of Big Data, The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳）深圳大数据研究院）
Transformer是自然语言处理的首选模型，但医学成像界对此关注甚少。考虑到利用长期依赖性的能力，Transformers有望帮助非典型卷积神经网络克服其固有的空间归纳偏差缺点。然而，最近提出的大多数基于transformer的分割方法只是将Transformers视为辅助模块，以帮助将全局上下文编码为卷积表示。为了解决这个问题，我们介绍了nnFormer，一个三维Transformer的体积医学图像分割。nnFormer不仅利用了交错卷积和自注意操作的组合，还引入了基于局部和全局体积的自注意力机制来学习体积表示。此外，nnFormer提出在U-Net类架构中使用跳过注意力来取代跳过连接中的传统级联/求和操作。实验表明，nnFormer在三个公共数据集上的性能明显优于以前的基于transformer的同行。与nnUNet相比，nnFormer产生显著更低的HD 95和相当的DSC结果。此外，我们表明，nnFormer和nnUNet是高度互补的模型集成。
2022-02-04 cs.CV
End-to-End Video Instance Segmentation with Transformers
Meituan（美团）；The University of Adelaide（阿德莱德大学）
视频实例分割（VIS）是一项需要同时对视频中感兴趣的对象实例进行分类、分割和跟踪的任务。最近的方法通常开发复杂的管道来解决这个任务。在这里，我们提出了一个新的视频实例分割框架建立在Transformers，称为VisTR，它认为VIS任务作为一个直接的端到端的并行序列解码/预测问题。给定由多个图像帧组成的视频剪辑作为输入，VisTR直接按顺序输出视频中每个实例的掩码序列。其核心是一个新的、有效的实例序列匹配和分割策略，它在序列级别上作为一个整体对实例进行监督和分割。VisTR将实例分割和跟踪框定在相似性学习的相同视角中，从而大大简化了整体流水线，并且与现有方法显著不同。在没有花哨的情况下，VisTR在所有现有的VIS模型中实现了最高的速度，并且在YouTube-VIS数据集上使用单个模型的方法中实现了最佳结果。这是第一次，我们展示了一个更简单，更快的视频实例分割框架建立在Transformers，实现竞争力的准确性。我们希望VisTR可以激励未来的研究更多的视频理解任务。
2021-10-08 cs.CV
UTNet: A Hybrid Transformer Architecture for Medical Image Segmentation
Rutgers University（罗格斯大学）；SenseBrain（感知大脑公司）；Shanghai AI Laboratory（上海人工智能实验室）；Centre for Perceptual and Interactive Intelligence（感知与交互智能中心）
Transformer体系结构已经在许多自然语言处理任务中取得了成功。然而，它在医学视觉上的应用在很大程度上仍未被探索。在这项研究中，我们提出了UTNet，一个简单而强大的混合Transformer架构，它将自我注意力集成到卷积神经网络中，用于增强医学图像分割。UTNet在编码器和解码器中应用自注意模块，以最小的开销捕获不同尺度的长程依赖性。为此，我们提出了一种有效的自注意力机制以及相对位置编码，其将自注意操作的复杂度从$O(n^2)$显著降低到近似$O(n)$。一个新的自注意解码器也提出了恢复细粒度的细节，从跳过的连接在编码器中。我们的方法解决了Transformer需要大量数据来学习视觉感应偏差的困境。我们的混合层设计允许将Transformer初始化为卷积网络，而无需进行预训练。我们在多标签、多供应商心脏磁共振成像队列中评估了UTNet。UTNet表现出了优越的分割性能和鲁棒性，可以很好地推广到其他医学图像分割。
2021-09-28 cs.CV
Point Transformer V3 Extreme: 1st Place Solution for 2024 Waymo Open Dataset Challenge in Semantic Segmentation
HKU SH AI Lab（香港大学上海人工智能实验室）；NUS（新加坡国立大学）；NTU（南洋理工大学）
本方案通过多帧训练、无裁剪点策略及模型集成，显著提升Point Transformer V3性能，在2024年Waymo语义分割挑战赛中夺得第一。
2024-07-21 cs.CV
SOTR: Segmenting Objects with Transformers
China Agricultural University（中国农业大学）；University of California, Berkeley（加州大学伯克利分校）
最新的基于transformer的模型在视觉任务上表现出令人印象深刻的性能，甚至比卷积神经网络（CNN）更好。在这项工作中，我们提出了一种新的，灵活的，有效的基于变换的模型，高质量的实例分割。所提出的方法，用Transformers分割对象（SOTR），简化了分割管道，建立在附加有两个并行子任务的替代CNN骨干上：（1）通过Transformer预测每个实例类别和（2）使用多级上采样模块动态生成分割掩码。SOTR分别通过特征金字塔网络（FPN）和双Transformer有效地提取低层特征表示和捕获长距离上下文依赖。同时，与原始的Transformer相比，所提出的双Transformer是时间和资源有效的，因为只有一行和一列的注意参与编码像素。此外，SOTR易于与各种CNN骨干和Transformer模型变体结合，从而在分割精度和训练收敛性方面做出相当大的改进。大量的实验表明，我们的SOTR在MS COCO数据集上表现良好，并超过了最先进的实例分割方法。我们希望我们简单但强大的框架可以作为实例级识别的首选基线。我们的代码可在https://github.com/easton-cau/SOTR上获得。
2021-08-17 cs.CV
AerialFormer: Multi-resolution Transformer for Aerial Image Segmentation
University of Arkansas（阿肯色大学）
针对航空图像分割存在的分布失衡、目标微小等难题，提出融合Transformer编码器与轻量MD-CNNs解码器的层级模型AerialFormer，兼顾局部全局上下文，在三个基准数据集上性能超越现有最优方法。
2023-10-01 cs.CV
Evaluating Transformer-based Semantic Segmentation Networks for Pathological Image Segmentation
Department of Computer Science, Vanderbilt University（范德堡大学计算机科学系）
组织学在癌症诊断中发挥了重要作用。随着卷积神经网络（CNN）的快速发展。在计算机辅助病理图像分析中，已经开发了各种基于CNN的自动病理图像分割方法。在过去的几年里，Transformer神经网络（Transformer）已经显示出捕捉整个图像的全局长距离依赖关系作为一种新的深度学习范式的独特优点。这种优点对于探索空间异构的病理图像是有吸引力的。然而，已经有很少的，如果有的话，研究系统地评估了目前的基于变换器的方法在病理图像分割。为了评估Transformer分割模型在全载玻片图像（WSI）上的性能，我们使用广泛使用的PAIP肝脏组织病理学数据集定量评估了六种流行的基于transformer的肿瘤分割模型。为了进行更全面的分析，我们还将基于变压器的模型与六种主要的传统基于CNN的模型进行了比较。结果表明，基于Transformer的模型表现出优于基于CNN的模型的一般性能。特别是，Segmenter，Swin-Transformer和TransUNet-所有基于transformer的-在12个评估模型中表现最好。
2021-09-22 cs.CV eess.IV
OSFormer: One-Stage Camouflaged Instance Segmentation with Transformers
HUST（华中科技大学）；ETH Zurich（苏黎世联邦理工学院）
我们提出了OSFormer，第一个单阶段的Transformer框架，用于分布式实例分割（CIS）。OSFormer基于两个关键设计。首先，我们设计了一个位置感知Transformer（LST），通过引入位置引导查询和混合卷积前馈网络来获得位置标签和实例感知参数。其次，我们开发了一种从粗到细的融合（CFF）来合并来自LST编码器和CNN主干的不同上下文信息。耦合这两个组件使OSFormer能够有效地混合本地特征和远程上下文依赖关系，以预测重复的实例。与两阶段框架相比，我们的OSFormer达到了41%的AP，并且在不需要大量训练数据的情况下实现了良好的收敛效率，即，只有3,040个样本低于60个历元。代码链接：https://github.com/PJLallen/OSFormer.
2022-08-02 cs.CV
DocSegTr: An Instance-Level End-to-End Document Image Segmentation Transformer
Universitat Autònoma de Barcelona（巴塞罗那自治大学）；Indian Statistical Institute（印度统计研究所）
理解具有丰富布局的文档是实现信息抽取的重要步骤。商业智能过程通常需要从文档中大规模地提取有用的语义内容，以用于后续的决策任务。在这种情况下，不同文档对象（标题、章节、图形等）的实例级分割已经成为文档分析和理解社区的一个有趣问题。为了推进这一方向的研究，我们提出了一个基于变换的模型称为\emph{DocSegTr}的端到端的实例分割的复杂布局的文档图像。该方法采用了一个双注意模块，语义推理，这有助于成为高度计算效率相比，国家的最先进的。据我们所知，这是第一个工作的变压器为基础的文件分割。在PubLayNet、PRIMA、Historical Japanese（HJ）和TableBank等竞争性基准上进行的大量实验表明，我们的模型与现有的最先进的方法相比，分割性能相当或更好，平均精度为89.4、40.3、83.4和93.3。这个简单而灵活的框架可以作为文档图像中实例级识别任务的一个有前途的基线。
2022-09-21 cs.CV
Superpoint Transformer for 3D Scene Instance Segmentation
South China University of Technology（华南理工大学）
现有的三维实例分割方法大多是通过扩展用于三维目标检测或三维语义分割的模型来实现的。然而，这些非直接的方法有两个缺点：1）不精确的边界框或不令人满意的语义预测限制了整个3D实例分割框架的性能。2)现有的方法需要一个耗时的聚合中间步骤。针对这些问题，提出了一种基于Superpoint Transformer的端到端三维实例分割方法SPFormer。它将点云中的潜在特征组合成超点，通过查询向量直接预测实例，而不依赖于目标检测或语义分割的结果。该框架的关键是一个新颖的查询解码器和Transformers器，它可以通过超点交叉注意力机制捕获实例信息，并生成实例的超点掩码。SPFormer通过基于超点掩码的二分匹配实现网络训练，不需要中间的聚合步骤，加快了网络的速度。在ScanNetv2和S3DIS基准测试上的大量实验验证了该方法的简洁性和有效性。值得注意的是，SPFormer在ScanNetv2隐藏测试集上的mAP方面超过了最先进的方法4.3%，同时保持了快速的推理速度（每帧247 ms）。代码可在https://github.com/sunjiahao1999/SPFormer上获得。
2022-11-28 cs.CV
Temporally Efficient Vision Transformer for Video Instance Segmentation
Huazhong University of Science & Technology（华中科技大学）；Tencent（腾讯）；International Digital Economy Academy (IDEA)（国际数字经济研究院（IDEA））
最近，视觉Transformer在图像级视觉识别任务上取得了巨大的成功。为了有效和高效地建模视频片段中的关键时间信息，我们提出了一个时间有效的视觉Transformer（TeViT）的视频实例分割（VIS）。与以往的基于transformer的VIS方法不同，TeViT包含一个Transformer主干和一个基于查询的视频实例分割头，几乎不需要卷积。在骨干阶段，我们提出了一个几乎无参数的信使转移机制的早期时间上下文融合。在头阶段，我们提出了一个参数共享的时空查询交互机制，建立视频实例和查询之间的一一对应关系。因此，TeViT充分利用帧级和实例级的时间上下文信息，并获得强大的时间建模能力，可以忽略不计的额外计算成本。基于三个广泛采用的VIS基准，即，YouTube-VIS-2019、YouTube-VIS-2021和OVIS，TeViT获得最先进的结果并保持高推理速度，例如，46.6在YouTube-VIS-2019上获得68.9 FPS的AP。代码可在https://github.com/hustvl/TeViT上获得。
2022-04-18 cs.CV
AttEntropy: On the Generalization Ability of Supervised Semantic Segmentation Transformers to New Objects in New Domains
EPFL（洛桑联邦理工学院）；University of Wuppertal（伍珀塔尔大学）；IZMD；Samsung AI Center Toronto（三星人工智能中心多伦多分部）
本文研究有监督语义分割Transformer对训练集外新类别和新域的泛化能力，发现其能编码未训练信息并用于分割道路障碍、飞机、月岩等未见物体。
2024-12-30 cs.CV
Position-Guided Point Cloud Panoptic Segmentation Transformer
Shanghai AI Laboratory（上海人工智能实验室）；S-Lab, NTU（南洋理工大学S实验室）；The Chinese University of Hong Kong（香港中文大学）
检测Transformer（DETR）开始了一种趋势，使用一组可学习的查询来实现统一的视觉感知。这项工作首先将这种吸引人的范例应用于基于LiDAR的点云分割，并获得了一个简单而有效的基线。虽然朴素自适应获得了公平的结果，实例分割的性能明显不如以前的作品。通过深入细节，我们观察到稀疏点云中的实例相对于整个场景来说相对较小，并且通常具有相似的几何形状，但缺乏用于分割的独特外观，这在图像域中是罕见的。考虑到3D中的实例更多的是其位置信息，我们强调他们在建模过程中的作用，并设计了一个强大的混合参数化位置嵌入（MPE）来指导分割过程。它被嵌入到主干特征中，然后迭代地指导掩码预测和查询更新过程，从而产生位置感知分割（PA-Seg）和掩蔽焦点注意力（MFA）。所有这些设计促使查询关注特定区域并识别各种实例。该方法被命名为位置引导点云全景分割Transformer（P3 Former），在SemanticKITTI和nuScenes基准上分别比先前的最先进的方法高出3.4%和1.2%PQ。源代码和模型可以在https://github.com/SmartBot-PJLab/P3Former上找到。
2023-03-23 cs.CV
Semantic Segmentation Enhanced Transformer Model for Human Attention Prediction
Nankai University（南开大学）
显著性预测的目的是预测人眼对RGB图像的注意力分布。大多数最新的方法都是基于传统CNN的深度图像特征表示。然而，传统的卷积不能很好地捕捉图像的全局特征，由于其小的内核大小。此外，与人类视觉感知密切相关的高级因素，例如，物体、颜色、光线等，不被考虑。受此启发，我们提出了一种基于transformer的方法，语义分割作为另一个学习目标。Transformer可以捕获图像的更多全局线索。此外，同时学习对象分割模拟人类的视觉感知，我们将在我们的研究中验证人类的视线控制在认知科学。我们为子任务构建了一个额外的解码器，多个任务共享相同的Transformer编码器，迫使它从多个特征空间中学习。我们发现，在实践中，简单地添加子任务可能会混淆主任务的学习，因此多任务注意模块被提出来处理多个学习目标之间的特征交互。与其他最先进的方法相比，我们的方法实现了具有竞争力的性能。
2023-01-26 cs.CV
Feature-Proxy Transformer for Few-Shot Segmentation
Zhejiang University（浙江大学）；Baidu Research（百度研究院）
Few-Shot分割（FSS）的目的是在给定一些注释支持样本的情况下对新类执行语义分割。通过对最新进展的重新思考，我们发现当前的FSS框架已经远远偏离了监督分割框架：考虑到深层特征，FSS方法通常使用复杂的解码器来执行复杂的像素匹配，而监督分割方法使用简单的线性分类头。由于解码器及其匹配流水线的复杂性，遵循这样的FSS框架并不容易。本文复兴了“特征提取器$+$线性分类头”的直接框架，提出了一种新的特征提取-代理Transformer（FPTrans）方法，其中“代理”是线性分类头中表示语义类的向量。FPTrans学习区分性特征和代表性代理有两个关键点：1）为了更好地利用有限的支持样本，特征提取器使用一种新的提示策略，使查询与支持特征从底层到顶层进行交互。2)FPTrans使用多个本地背景代理（而不是单个），因为背景不是均匀的，可能包含一些新的前景区域。这两个关键点可以通过Transformer中的提示机制轻松集成到视觉Transformer主干中。给定学习的特征和代理，FPTrans直接比较它们的余弦相似度进行分割。虽然框架是简单的，我们表明，FPTrans实现竞争力的FSS精度与最先进的解码器为基础的方法。
2022-10-13 cs.CV
A Novel Transformer Based Semantic Segmentation Scheme for Fine-Resolution Remote Sensing Images
Wuhan University（武汉大学）；Lancaster University（兰卡斯特大学）；UK Centre for Ecology & Hydrology（英国生态与水文中心）
具有编码器-解码器架构的全卷积网络（FCN）已经成为语义分割的标准范例。编码器-解码器架构利用编码器来捕获多级特征图，该多级特征图由解码器并入到最终预测中。由于上下文对于精确分割至关重要，因此已经做出了巨大的努力来以智能的方式提取这样的信息，包括采用扩张/atrous卷积或插入注意力模块。然而，这些努力都是基于带有ResNet或其他主干的FCN架构，无法从理论概念上充分利用上下文。相比之下，我们引入Swin Transformer作为主干来提取上下文信息，并设计了一种新的密集连接特征聚合模块（DCFAM）解码器来恢复分辨率并产生分割图。在两个遥感语义分割数据集上的实验结果证明了该方法的有效性https://github.com/WangLibo1995/GeoSeg
2022-06-03 cs.CV
Towards Automated Polyp Segmentation Using Weakly- and Semi-Supervised Learning and Deformable Transformers
Imperial College London（帝国理工学院）
息肉分割是计算机辅助诊断结直肠癌的关键一步。然而，大多数息肉分割方法需要逐像素注释的数据集。带注释的数据集制作起来既繁琐又耗时，特别是对于那些必须将时间投入到患者身上的医生来说。我们通过提出一个新的框架来解决这个问题，该框架可以仅使用弱注释图像以及利用未标记图像进行训练。为此，我们提出三个想法来解决这个问题，更具体地说，我们的贡献是：1）抑制假阳性并改进弱监督训练的新的稀疏前景损失，2）利用来自在半监督训练期间使用不同初始化训练的相同网络的预测分割图的分批加权一致性损失，3）可变形的Transformer编码器颈部，用于通过融合跨级别和灵活的空间位置的信息来进行特征增强。广泛的实验结果证明了我们的想法在五个具有挑战性的数据集上的优点，优于一些最先进的全监督模型。此外，我们的框架可以用于微调在自然图像分割数据集上训练的模型，从而大大提高其息肉分割的性能，并令人印象深刻地展示了完全监督微调的优越性能。
2022-11-21 cs.CV
Vision-Language Transformer and Query Generation for Referring Segmentation
Nanyang Technological University（南洋理工大学）
在这项工作中，我们解决了具有挑战性的任务，指分割。参照分割中的查询表达式通常通过描述目标对象与其他对象的关系来指示目标对象。因此，要在图像中的所有实例中找到目标实例，模型必须对整个图像有一个整体的理解。为了实现这一点，我们重新制定参考分割作为一个直接关注的问题：寻找区域中的图像中的查询语言表达是最关注的。我们引入了Transformer和多头注意力来构建一个具有编码器-解码器注意力机制架构的网络，该架构可以用语言表达式“查询”给定的图像。此外，我们提出了一个查询生成模块，它产生多个集合的查询具有不同的注意力权重，代表了从不同方面的语言表达的多样化的理解。同时，为了从这些基于视觉线索的多样化理解中找到最好的方法，我们进一步提出了一个查询平衡模块来自适应地选择这些查询的输出特征，以更好地生成掩码。没有花里胡哨的东西，我们的方法是轻量级的，并在三个引用分割数据集RefCOCO、RefCOCO+和G-Ref上一致地实现了新的最先进的性能。我们的代码可以在https://github.com/henghuiding/Vision-Language-Transformer上找到。
2021-08-12 cs.CV
SegViT: Semantic Segmentation with Plain Vision Transformers
South China University of Technology（华南理工大学）；Zhejiang University（浙江大学）；The University of Adelaide（阿德莱德大学）；Meituan Inc（美团公司）
我们探讨了普通视觉Transformer（ViTs）的语义分割的能力，并提出了SegVit。以前的基于ViT的分割网络通常从ViT的输出中学习像素级表示。接着，我们利用最基本的成分--注意力机制，来产生用于语义分割的遮罩。具体来说，我们提出了注意力到掩码（ATM）模块，其中一组可学习的类令牌和空间特征图之间的相似性映射被转移到分割掩码。实验表明，我们提出的使用ATM模块的SegVit在ADE 20 K数据集上的性能优于使用普通ViT主干的SegVit，并在COCO-Stuff-10 K和PASCAL-Context数据集上实现了新的最先进的性能。此外，为了降低ViT骨干的计算成本，我们提出了基于查询的下采样（QD）和基于查询的上采样（QU）来构建Shrunk结构。使用所提出的Shrunk结构，该模型可以节省高达$40\%$的计算，同时保持有竞争力的性能。
2022-12-12 cs.CV
Global Average Feature Augmentation for Robust Semantic Segmentation with Transformers
Volkswagen AG（大众汽车集团）；NVIDIA（英伟达）
本文提出通道级特征增强（CWFA）技术，通过全局估计扰动提升视觉Transformer在语义分割中的鲁棒性，在Cityscapes和ADE20K上显著增强抗噪能力且不影响干净数据性能。
2024-12-14 cs.CV
