Transformer Utilization in Medical Image Segmentation Networks
German Cancer Research Center (DKFZ)(德国癌症研究中心(DKFZ))
通过引入Transformer消融实验,用线性算子替换Transformer块,在2个任务8个模型上量化了Transformer在医学图像分割中的有效性,发现其表示可替换,需有效设计协同,显式特征层次比自注意力更有益,且模块前空间下采样需谨慎。
2023-04-09 cs.AI cs.CV
Task-Adaptive Feature Transformer for Few-Shot Segmentation
KAIST(韩国科学技术院);UNIST(蔚山科学技术院)
少样本学习允许机器仅使用少量标记样本对新类别进行分类。近年来,针对低样本数据的语义分割的Few-Shot分割也引起了人们极大的兴趣。在本文中,我们提出了一个可学习的模块Few-Shot分割,任务自适应功能Transformer(TAFT)。TAFT线性地将特定于任务的高级特征转换为一组非常适合分割工作的任务不可知特征。使用这种任务条件的特征变换,该模型被证明可以有效地利用新类别中的语义信息来生成紧密的分割掩模。建议TAFT模块可以很容易地插入到现有的语义分割算法,实现Few-Shot分割能力,只有几个增加的参数。我们将TAFT与Deeplab V3+(一种知名的分割架构)相结合;在PASCAL- $5^i$数据集上的实验证实,这种组合成功地为分割算法增加了少样本学习能力,在一些关键的代表性案例中实现了最先进的Few-Shot分割性能。
2020-10-22 cs.AI cs.CV
Cross-view Transformers for real-time Map-view Semantic Segmentation
UT Austin(德克萨斯大学奥斯汀分校)
我们提出了跨视图Transformers,一个有效的注意力为基础的地图视图语义分割模型,从多个摄像机。我们的架构隐式地学习到一个规范的地图视图表示使用相机感知的交叉视图注意力机制从个别相机视图的映射。每个摄像机使用位置嵌入,这取决于其内在和外在校准。这些嵌入允许Transformer学习跨不同视图的映射,而无需显式地对其进行几何建模。该架构包括一个卷积图像编码器的每个视图和跨视图Transformer层,以推断地图视图语义分割。我们的模型是简单的,易于并行化,并运行在实时的【形】。所提出的架构在nuScenes数据集上以最先进的方式执行,推理速度快4倍。代码可在https://github.com/bradyz/cross_view_transformers上获得。
2022-05-05 cs.AI cs.CV
Transformer Assisted Convolutional Network for Cell Instance Segmentation
Indian Institute of Technology (Indian School of Mines)(印度理工学院(印度矿业学院))
基于区域建议的方法,如R-CNN和Faster R-CNN模型,已被证明在目标检测和分割任务中非常成功。最近,Transformers在计算机视觉领域也得到了普及,并且被用于提高传统模型的性能。在本文中,我们提出了一个相对较新的Transformer为基础的方法,以提高现有的区域建议为基础的方法中的常规卷积特征提取器的性能。我们的方法通过应用类似于Transformers中的自我注意力的投影操作,将卷积特征映射与基于transformer的令牌嵌入合并。我们的实验结果表明,与vanilla卷积主干相比,Transformer辅助的特征提取器在mIoU(平均交集)得分方面实现了显着的改进。
2021-10-05 cs.AI cs.CV
ViTBIS: Vision Transformer for Biomedical Image Segmentation
Vellore Institute of Technology(韦洛尔理工学院)
在本文中,我们提出了一种新的网络命名为Vision Transformer的生物医学图像分割(ViTBIS)。我们的网络将输入特征映射分成三个部分,在编码器和解码器中都有$1\times 1$,$3\times 3$和$5\times 5$卷积。Concat算子用于合并特征,然后输入到三个连续的Transformer模块,其中嵌入了注意机制。跳过连接用于连接编码器和解码器Transformer模块。类似地,Transformer块和多尺度架构在被线性投影以产生输出分割图之前在解码器中使用。我们使用Synapse多器官分割数据集,自动心脏诊断挑战数据集,脑肿瘤MRI分割数据集和脾脏CT分割数据集测试我们的网络的性能。没有花里胡哨的东西,我们的网络使用Dice得分和Hausdorff距离作为评估指标,表现优于大多数以前最先进的CNN和基于Transformer的模型。
2022-01-15 cs.CV cs.LG eess.IV
TransClaw U-Net: Claw U-Net with Transformers for Medical Image Segmentation
East China Normal University(华东师范大学);Shanghai Jiao Tong University(上海交通大学);Ryerson University(瑞尔森大学)
近年来,计算机辅助诊断已成为一个越来越热门的话题。基于卷积神经网络的方法在医学图像分割和分类中取得了良好的效果。由于卷积运算的局限性,长期的空间特征往往不能准确地获得。因此,我们提出了一种TransClaw U-Net网络结构,它在编码部分将卷积运算与Transformer运算相结合。卷积部分用于提取浅层空间特征,以便于上采样后图像分辨率的恢复。Transformer部分用于对补丁进行编码,自注意力机制用于获取序列间的全局信息。解码部分保留了底部上采样结构,以获得更好的细节分割性能。在Synapse多器官分割数据集上的实验结果表明,TransClaw U-Net的性能优于其他网络结构。消融实验也证明了TransClaw U-Net的泛化性能。
2021-07-12 cs.AI cs.CV cs.LG
Transformer Scale Gate for Semantic Segmentation
Monash University(莫纳什大学)
有效地编码多尺度上下文信息对于精确的语义分割至关重要。现有的基于transformer的分割模型在没有任何选择的情况下跨尺度组合特征,其中次优尺度上的特征可能会降低分割结果。利用视觉变换器的固有特性,我们提出了一个简单而有效的多尺度特征组合模块--Transformer Scale Gate(TSG),TSG利用视觉Transformer中的自我和交叉注意线索进行尺度选择。TSG是一个高度灵活的即插即用模块,可以很容易地与任何基于编码器-解码器的分层视觉Transformer架构相结合。在Pascal Context和ADE 20 K数据集上的大量实验表明,我们的特征选择策略实现了一致的增益。
2022-05-14 cs.CV
Evaluating Transformer-based Semantic Segmentation Networks for Pathological Image Segmentation
Department of Computer Science, Vanderbilt University(范德堡大学计算机科学系)
组织学在癌症诊断中发挥了重要作用。随着卷积神经网络(CNN)的快速发展。在计算机辅助病理图像分析中,已经开发了各种基于CNN的自动病理图像分割方法。在过去的几年里,Transformer神经网络(Transformer)已经显示出捕捉整个图像的全局长距离依赖关系作为一种新的深度学习范式的独特优点。这种优点对于探索空间异构的病理图像是有吸引力的。然而,已经有很少的,如果有的话,研究系统地评估了目前的基于变换器的方法在病理图像分割。为了评估Transformer分割模型在全载玻片图像(WSI)上的性能,我们使用广泛使用的PAIP肝脏组织病理学数据集定量评估了六种流行的基于transformer的肿瘤分割模型。为了进行更全面的分析,我们还将基于变压器的模型与六种主要的传统基于CNN的模型进行了比较。结果表明,基于Transformer的模型表现出优于基于CNN的模型的一般性能。特别是,Segmenter,Swin-Transformer和TransUNet-所有基于transformer的-在12个评估模型中表现最好。
2021-09-22 cs.CV eess.IV
ReSTR: Convolution-free Referring Image Segmentation Using Transformers
POSTECH(浦项科技大学);Microsoft Research Asia(微软亚洲研究院);EIT Institute for Advanced Study(EIT高等研究院)
参考图像分割是一种高级的语义分割任务,其中目标不是预定义的类别,而是用自然语言描述的。用于该任务的大多数现有方法严重依赖于卷积神经网络,然而,其难以捕获语言表达中的实体之间的长距离依赖性,并且对于建模两种不同模态之间的交互不够灵活。为了解决这些问题,我们提出了第一个无卷积模型,用于使用Transformers进行图像分割,称为ReSTR。由于它通过Transformer编码器提取两种模态的特征,因此它可以捕获每个模态内实体之间的长距离依赖关系。此外,ReSTR融合功能的两个模态的自注意编码器,这使得灵活和自适应的融合过程中的两个模态之间的相互作用。融合的特征被馈送到分割模块,该模块根据手中的图像和语言表达自适应地工作。ReSTR在所有公共基准上进行了评估并与以前的工作进行了比较,其中它优于所有现有模型。
2022-03-31 cs.AI cs.CV
Spatio-Temporal Multi-Task Learning Transformer for Joint Moving Object Detection and Segmentation
Valeo R&D(法雷奥研发中心)
移动物体对于自动驾驶任务具有特殊的重要性。检测移动对象可以通过分割对象像素而被定位为移动对象分割,或者通过生成移动目标的限界框而被定位为移动目标检测。在本文中,我们提出了一个多任务学习架构,基于Transformers,通过一个网络来共同执行这两个任务。由于运动特征对任务的重要性,整个设置基于时空聚合。我们评估的性能与MTL设置,无论是早期共享的编码器,和后期共享的编码器-解码器Transformers器的单独任务架构。对于后者,我们提出了一种新的联合任务查询解码器Transformer,使我们能够有任务专用头的共享模型。为了评估我们的方法,我们使用KITTI MOD [29]数据集。结果显示,在单个任务网络上,移动目标检测的mAP提高了1.5%,移动对象分割的IoU提高了2%。
2021-06-21 cs.CV cs.LG
Class-Aware Adversarial Transformers for Medical Image Segmentation
Yale University(耶鲁大学);UT Austin(得克萨斯大学奥斯汀分校);University of Oxford(牛津大学)
Transformers已经在医学图像分析领域内对远程依赖性进行建模方面取得了显著的进展。然而,现有的基于变换器的模型存在以下缺点:(1)由于标记化方案过于简单,无法捕捉图像的重要特征;(2)由于只考虑单尺度特征表示,模型存在信息损失;以及(3)在不考虑丰富的语义上下文和解剖纹理的情况下,由模型生成的分割标签图不够准确。在这项工作中,我们提出了CASTformer,一种新型的对抗Transformers,用于2D医学图像分割。首先,我们利用金字塔结构来构建多尺度表示和处理多尺度变化。然后,我们设计了一个新的类感知的Transformer模块,以更好地学习具有语义结构的对象的区分区域。最后,我们利用对抗性训练策略来提高分割精度,并相应地允许基于transformer的神经网络捕获高级语义相关内容和低级解剖特征。我们的实验表明,CASTformer显着优于以前的国家的最先进的变压器为基础的方法在三个基准,获得2.54%-5.88%的绝对改善骰子比以前的模型。进一步的定性实验提供了模型内部工作的更详细的图片,揭示了提高透明度的挑战,并证明了迁移学习可以大大提高性能并减少训练中医学图像数据集的大小,使CASTformer成为下游医学图像分析任务的有力起点。
2022-12-15 cs.AI cs.CV cs.LG
Vision Transformers with Patch Diversification
University of Texas at Austin(德克萨斯大学奥斯汀分校);Facebook(脸书)
视觉Transformer在具有挑战性的计算机视觉任务中表现出了良好的性能。然而,直接训练视觉Transformer可能产生不稳定和次优的结果。最近的工作提出通过修改Transformer结构来改进视觉Transformer的性能,例如,结合卷积层。相比之下,我们研究了一种正交方法来稳定视觉Transformer训练,而无需修改网络。我们观察到训练的不稳定性可以归因于提取的补丁表示之间的显著相似性。更具体地说,对于深度视觉Transformer,自注意力块倾向于将不同的补丁映射到类似的潜在表示中,从而产生信息丢失和性能下降。为了缓解这个问题,在这项工作中,我们在视觉Transformer训练中引入了新的损失函数,以明确鼓励补丁表示的多样性,以实现更具鉴别力的特征提取。我们的经验表明,我们提出的技术稳定的训练,并允许我们训练更广泛和更深的视觉Transformer。我们进一步表明,多样化的功能显着有利于下游任务的迁移学习。对于语义分割,我们增强了Cityscapes和ADE 20 k上的最新(SOTA)结果。我们的代码可在https://github.com/ChengyueGongR/PatchVisionTransformer上获得。
2021-06-11 cs.CV cs.LG
MIST: Medical Image Segmentation Transformer with Convolutional Attention Mixing (CAM) Decoder
Purdue University(普渡大学)
本文提出MIST模型,通过结合MaxViT编码器和卷积注意力混合解码器,增强局部与长程特征建模,在ACDC和Synapse数据集上取得领先的医学图像分割性能。
2023-10-30 cs.CV cs.LG
ConvTransSeg: A Multi-resolution Convolution-Transformer Network for Medical Image Segmentation
提出ConvTransSeg混合编码器-解码器网络,结合CNN局部特征与Transformer全局上下文,以多分辨率连接实现高效医学图像分割,在多个数据集上取得最优性能且无需预训练。
2022-10-13 cs.CV cs.LG
Image Segmentation with transformers: An Overview, Challenges and Future
Gauhati University(古瓦哈提大学)
该综述梳理了传统CNN图像分割模型的局限,综述了前沿Transformer-based分割模型及对应挑战的解决方案,同时指出当前挑战与轻量化、数据效率提升等未来方向,为相关研究提供参考。
2025-01-16 cs.CV
AFTer-UNet: Axial Fusion Transformer UNet for Medical Image Segmentation
University of California, Irvine(加州大学尔湾分校)
基于transformer的模型的最新进展已经引起了人们对在医学图像分割中探索这些技术的关注,特别是结合U-Net模型(或其变体),该模型在2D和3D设置下的医学图像分割中取得了巨大成功。当前基于2D的方法要么直接用纯Transformers替换卷积层,要么将Transformer视为U-Net的编码器和解码器之间的附加中间编码器。然而,这些方法仅考虑在一个单一切片内的注意编码,并且不利用由3D体积自然提供的轴向信息。在3D设置中,体积数据的卷积和Transformers都消耗大量的GPU内存。必须对图像进行下采样或使用裁剪的局部补丁来减少GPU内存使用,这限制了其性能。在本文中,我们提出了轴向融合Transformer UNet(AFTer-UNet),它既利用卷积层提取细节特征的能力,又利用Transformers在长序列建模上的优势。它考虑切片内和切片间的长距离线索来指导分割。同时,它具有更少的参数,并采取更少的GPU内存训练比以前的基于transformer的模型。在三个多器官分割数据集上的大量实验表明,我们的方法优于当前最先进的方法。
2021-10-20 cs.CV cs.LG eess.IV
SSformer: A Lightweight Transformer for Semantic Segmentation
Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
人们普遍认为,与卷积神经网络相比,Transformer在语义分割方面表现更好。然而,原始的视觉Transformer可能缺乏局部邻域的归纳偏差并且具有高时间复杂度。最近,Swin Transformer通过使用分层架构和移动窗口,在更高效的同时,在各种视觉任务中创造了新的记录。然而,由于Swin Transformer是专门为图像分类设计的,因此它可能在基于密集预测的分割任务上实现次优性能。此外,简单地将Swin Transformer与现有方法结合将导致最终分割模型的模型大小和参数的增加。在本文中,我们重新思考的Swin Transformer的语义分割,并设计了一个轻量级而有效的Transformer模型,称为SSformer。在该模型中,考虑到Swin Transformer固有的分层设计,我们提出了一个解码器来聚合不同层的信息,从而获得局部和全局的关注。实验结果表明,所提出的SSformer产生与最先进的模型相当的mIoU性能,同时保持较小的模型大小和较低的计算。
2022-08-03 cs.CV
iSegFormer: Interactive Segmentation via Transformers with Application to 3D Knee MR Images
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
我们提出了iSegFormer,一个内存高效的Transformer,结合了Swin Transformer与轻量级多层感知器(MLP)解码器。通过用于分层自注意力的高效Swin Transformer块和用于聚合局部和全局注意力的简单MLP解码器,iSegFormer可以学习强大的表示,同时实现高计算效率。具体来说,我们将iSegFormer应用于交互式3D医学图像分割。
2022-07-17 cs.CV
On Moving Object Segmentation from Monocular Video with Transformers
Robert Bosch GmbH(罗伯特·博世有限公司);Heidelberg University(海德堡大学)
本文提出 M3Former 融合架构,利用 Transformer 结合外观与二维/三维运动特征完成单目运动分割,并证明多样化训练数据对 KITTI 和 DAVIS 上的 SotA 性能至关重要。
2024-11-28 cs.AI cs.CV
Unsupervised Hierarchical Semantic Segmentation with Multiview Cosegmentation and Clustering Transformers
UC Berkeley(加州大学伯克利分校);ICSI(国际计算机科学研究所)
无监督语义分割的目的是发现图像内和图像间的分组,这些分组在没有外部监督的情况下捕获类别的对象和视图不变性。自然地,分割具有不同的粒度级别,在无监督分割中产生了歧义。现有的方法避免了这种模糊性,并将其视为建模之外的一个因素,而我们拥抱它,并希望无监督分割的分层分组一致性。我们将无监督分割作为一个逐像素的特征学习问题。我们的想法是,一个好的表示不仅应该揭示特定的分组级别,而且应该以一致和可预测的方式揭示任何分组级别。我们通过同一图像的多个视图之间的共同分割来执行分组和引导特征学习的空间一致性,并通过粗粒度和细粒度特征之间的聚类Transformers来执行分组层次结构的语义一致性。我们提供了第一个数据驱动的无监督分层语义分割方法,称为分层分割(HSG)。通过捕获视觉相似性和统计共现,HSG在五个主要的以对象和场景为中心的基准测试中也大大优于现有的无监督分割方法。我们的代码可在https://github.com/twke18/HSG上公开获取。
2022-04-25 cs.CV cs.LG
Fully Transformer Networks for Semantic Image Segmentation
Institute of Deep Learning, Baidu Research(百度研究院深度学习研究所);National Engineering Laboratory for Deep Learning Technology and Application(深度学习技术及应用国家工程实验室);School of Software, XinJiang University(新疆大学软件学院)
Transformers在各种自然语言处理和计算机视觉任务中表现出了令人印象深刻的性能,这是由于它能够对远程依赖关系进行建模。最近的进展表明,将这种Transformers与基于CNN的语义图像分割模型相结合是非常有前途的。然而,这是没有很好的研究,以及如何以及一个纯粹的Transformer为基础的方法可以实现图像分割。在这项工作中,我们探索了一种新的框架,语义图像分割,这是基于编码器-解码器的完全Transformer网络(FTN)。具体来说,我们首先提出了金字塔组Transformer(PGT)作为渐进学习分层特征的编码器,同时降低了标准Visual Transformer(ViT)的计算复杂度。然后,我们提出了一个特征金字塔Transformer(FPT)融合语义级和空间级的信息,从多个层次的PGT编码器的语义图像分割。令人惊讶的是,这个简单的基线可以在多个具有挑战性的语义分割和人脸解析基准测试中获得更好的结果,包括PASCAL Context,ADE 20 K,COCOStuff和CelebAMask-HQ。源代码将在https://github.com/BR-IDL/PaddleViT上发布。
2021-12-28 cs.CV
Reversible Vision Transformers
UC Berkeley(加州大学伯克利分校);Meta AI
我们提出了可逆的视觉Transformer,视觉识别的内存效率架构设计。通过将GPU内存需求与模型深度分离,可逆视觉Transformer能够以高效的内存使用率扩展架构。我们适应两个流行的模型,即视觉变压器和多尺度视觉Transformer,可逆的变量和基准广泛跨越两个模型的大小和任务的图像分类,目标检测和视频分类。可逆视觉Transformer在大致相同的模型复杂性、参数和精度下,实现了高达15.5倍的内存占用减少,证明了可逆视觉Transformer作为硬件资源有限的训练机制的有效骨干的前景。最后,我们发现,重新计算激活的额外计算负担对于更深的模型来说是克服不了的,其中吞吐量可以增加到其不可逆对应物的2.3倍。完整的代码和训练模型可在https://github.com/facebookresearch/slowfast上获得。更简单、易于理解和修改的版本也可在https://github.com/karttikeya/minREV上获得
2023-02-09 cs.AI cs.CV
Dynamic Linear Transformer for 3D Biomedical Image Segmentation
Northwestern University(西北大学)
基于变换器的神经网络在许多生物医学图像分割任务上已经超越了有前途的性能,这是由于自注意力机制的更好的全局信息建模。然而,大多数方法仍然是针对2D医学图像而设计的,而忽略了基本的3D体积信息。基于3D变换的分割方法的主要挑战是由自注意力机制\cite{vaswani2017attention}引入的二次复杂度。在本文中,我们提出了一种新的Transformer架构的三维医学图像分割使用的编码器-解码器风格的结构与线性复杂度。此外,我们新引入了一个动态令牌的概念,以进一步减少令牌数量的自我注意力计算。利用全局信息建模,我们提供了不同层次阶段的不确定性地图。我们在多个具有挑战性的CT胰腺分割数据集上评估了该方法。我们有希望的结果表明,我们的新的3D变换为基础的分割器可以提供有前途的高度可行的分割性能和准确的不确定性量化使用单一的注释。代码可从https://github.com/freshman97/LinTransUNet获得。
2023-02-01 cs.CV
Continual Hippocampus Segmentation with Transformers
Technical University of Darmstadt(达姆施塔特工业大学)
在临床环境中,采集条件和患者人群会随着时间的推移而变化,持续学习是确保安全使用深度神经网络的关键。然而,大多数现有的工作集中在卷积架构和图像分类。相反,放射科医生更喜欢使用概述特定感兴趣区域的分割模型,基于transformer的架构正在获得牵引力。Transformers的自注意机制可能会减轻灾难性遗忘,为更鲁棒的医学图像分割开辟道路。在这项工作中,我们探讨了最近提出的Transformer机制的语义分割行为在顺序学习的情况下,并分析如何最好地适应这种设置的持续学习策略。我们对海马体分割的评估表明,与纯卷积架构相比,Transformer机制减轻了医学图像分割的灾难性遗忘,并表明应谨慎进行ViT模块的规则化。
2022-04-17 cs.CV eess.IV
CMT-DeepLab: Clustering Mask Transformers for Panoptic Segmentation
Johns Hopkins University(约翰斯·霍普金斯大学);KAIST(韩国科学技术院);Google Research(谷歌研究院)
我们提出了聚类掩码Transformer(CMT-DeepLab),这是一个基于transformer的框架,用于围绕聚类设计的全景分割。它重新考虑了分割和检测中使用的现有Transformer架构; CMT-DeepLab将对象查询视为聚类中心,在应用于分割时,这些聚类中心填补了对像素进行分组的角色。聚类是用交替的过程计算的,首先通过它们的特征亲和力将像素分配到聚类,然后更新聚类中心和像素特征。这些操作共同组成了聚类掩码Transformer(CMT)层,该层产生的交叉注意力更密集,与最终分割任务更一致。CMT-DeepLab将现有技术的性能显著提高了4.4%PQ,在COCO测试开发集上实现了55.7%PQ的最新技术水平。
2022-06-17 cs.CV
Searching Intrinsic Dimensions of Vision Transformers
University of California, Irvine(加州大学欧文分校)
许多研究人员已经证明,在许多计算机视觉任务中,Transformers的性能与卷积神经网络一样好。同时,其注意力模块的计算量大,阻碍了其在边缘设备上的进一步研究和应用。已经开发了一些修剪方法来构造有效的视觉Transformer,但是它们中的大多数仅考虑图像分类任务。受这些结果的启发,我们提出了SiDT,修剪视觉Transformer骨干更复杂的视觉任务,如目标检测的方法,基于搜索的Transformer尺寸。在CIFAR-100和COCO数据集上的实验表明,修剪了20%或40%维数/参数的主干可以获得与未修剪模型相似甚至更好的性能。此外,我们还提供了复杂性分析和比较与以往的修剪方法。
2022-04-16 cs.CV cs.LG
LEST: Large-scale LiDAR Semantic Segmentation with Transformer
LiangDao GmbH(亮道智能);Ilmenau University of Technology(伊尔梅瑙工业大学)
针对大规模激光雷达点云语义分割任务,提出纯Transformer架构LEST,包含空间填充曲线分组策略和距离余弦线性Transformer两个创新组件,在nuScenes和SemanticKITTI数据集上性能超越现有最优方法。
2023-07-14 cs.CV
Mixed Transformer U-Net For Medical Image Segmentation
Zhejiang University(浙江大学);Ritsumeikan University(立命馆大学);Yamaguchi University(山口大学);Zhejiang Lab(之江实验室)
虽然U-Net在医学图像分割任务中取得了巨大的成功,但它缺乏显式建模远程依赖关系的能力。因此,Vision Transformers最近已经成为替代分割结构,因为它们天生的能力,通过自我注意(SA)捕获长距离相关性。然而,Transformers通常依赖于大规模的预训练,并且具有较高的计算复杂度。此外,SA只能对单个样本内的自仿射进行建模,忽略了整个数据集的潜在相关性。为了解决这些问题,我们提出了一种新的Transformer模块命名为混合Transformer模块(MTM)的同时间和内的亲和力学习。MTM首先通过我们精心设计的局部-全局高斯加权自注意(LGG-SA)有效地计算自仿射。然后,它通过外部注意力(EA)挖掘数据样本之间的相互联系。通过使用MTM,我们构建了一个名为混合Transformer U形网(MT-UNet)的U形模型,用于精确的医学图像分割。我们在两个不同的公共数据集上测试了我们的方法,实验结果表明,该方法比其他最先进的方法具有更好的性能。该代码可从以下网址获得:https://github.com/Dootmaan/MT-UNet。
2021-11-11 cs.AI cs.CV eess.IV
Swin UNETR: Swin Transformers for Semantic Segmentation of Brain Tumors in MRI Images
NVIDIA(英伟达);Vanderbilt University(范德堡大学)
脑肿瘤的语义分割是一项基本的医学图像分析任务,涉及多种MRI成像模式,可以帮助临床医生诊断患者并连续研究恶性实体的进展。近年来,全卷积神经网络(FCNN)方法已成为3D医学图像分割的事实标准。流行的“U形”网络架构在不同的2D和3D语义分割任务以及各种成像模式上实现了最先进的性能基准。然而,由于FCNN中卷积层的核大小有限,它们对长距离信息建模的性能是次优的,这可能导致在分割具有可变大小的肿瘤时存在缺陷。另一方面,Transformer模型已经在多个领域(包括自然语言处理和计算机视觉)中展示了捕获此类远程信息的出色能力。受Vision Transformers及其变体的成功启发,我们提出了一种新的分割模型,称为Swin UNEt Transformers(Swin UNETR)。具体而言,3D脑肿瘤语义分割的任务被重新表述为序列到序列预测问题,其中多模态输入数据被投影到嵌入的1D序列中,并用作作为编码器的分层Swin Transformer的输入。swin Transformer编码器通过利用移位窗口来计算自注意力,以五种不同的分辨率提取特征,并通过跳过连接以每个分辨率连接到基于FCNN的解码器。我们参加了BraTS 2021细分挑战赛,我们提出的模型在验证阶段是表现最好的方法之一。代码:https://monai.io/research/swin-unetr
2022-01-04 cs.CV cs.LG eess.IV
Time-Space Transformers for Video Panoptic Segmentation
Technical University of Cluj-Napoca(克卢日-纳波卡技术大学)
我们提出了一种新的解决方案,视频全景分割的任务,同时预测像素级的语义和实例分割,并产生剪辑级的实例轨道。我们的网络名为VPS-Transformer,具有基于最先进的全景分割网络Panoptic-DeepLab的混合架构,结合了用于单帧全景分割的卷积架构和基于纯Transformer块实例化的新型视频模块。配备有注意力机制的Transformer对当前帧和过去帧的骨干输出特征之间的时空关系进行建模,以获得更准确和一致的全景估计。由于纯Transformer块在处理高分辨率图像时会引入大量计算开销,因此我们提出了一些设计更改以实现更高效的计算。我们研究如何更有效地聚合信息的时空量,我们比较了几个变种的Transformer块与不同的注意力计划。在Cityscapes-VPS数据集上进行的大量实验表明,我们的最佳模型将时间一致性和视频全景质量提高了2.2%,并且几乎没有额外的计算。
2022-10-07 cs.CV
HiFormer: Hierarchical Multi-scale Representations Using Transformers for Medical Image Segmentation
Iran University of Science and Technology(伊朗科技大学);RWTH Aachen University(亚琛工业大学);Shahid Beheshti University(沙希德·贝赫什提大学);University of Montreal(蒙特利尔大学);Polytechnique Montreal(蒙特利尔理工学院);Quebec AI Institute(魁北克人工智能研究所);University of Regensburg(雷根斯堡大学);Fraunhofer Institute for Digital Medicine MEVIS(弗劳恩霍夫数字医学MEVIS研究所)
卷积神经网络(CNN)已成为医学图像分割的共识。然而,由于卷积运算的性质,它们在建模长程依赖性和空间相关性方面受到限制。虽然Transformers最初是为了解决这个问题而开发的,但它们无法捕获低级别的功能。与此相反,它表明,局部和全局功能是至关重要的密集预测,如在具有挑战性的背景下分割。在本文中,我们提出了HiFormer,一种有效地桥接CNN和Transformer的医学图像分割的新方法。具体来说,我们设计了两个多尺度的功能表示使用开创性的Swin Transformer模块和基于CNN的编码器。为了确保从上述两种表示中获得的全局和局部特征的精细融合,我们提出了一个双层融合(DLF)模块,该模块在编码器-解码器结构的跳过连接中。在各种医学图像分割数据集上的大量实验证明了HiFormer在计算复杂性以及定量和定性结果方面优于其他基于CNN、基于变换器和混合方法的有效性。我们的代码可在https://github.com/amirhossein-kz/HiFormer上公开获取
2023-01-09 cs.AI cs.CV
3D UX-Net: A Large Kernel Volumetric ConvNet Modernizing Hierarchical Transformer for Medical Image Segmentation
Vanderbilt University(范德堡大学)
最近的3D医疗ViT(例如,SwinUNETR)在几个3D体积数据基准上实现了最先进的性能,包括3D医学图像分割。分层Transformers(例如,Swin Transformers)重新引入了几个ConvNet先验,并进一步增强了在3D医学数据集中适应体积分割的实际可行性。混合方法的有效性在很大程度上归功于非局部自我注意的大感受野和大量的模型参数。在这项工作中,我们提出了一个轻量级的体积ConvNet,称为3D UX-Net,它适应分层Transformer使用ConvNet模块进行强大的体积分割。具体来说,我们重新审视具有大内核大小的体积深度卷积(例如,从$7\times7\times7$开始),以实现更大的全局感受野,灵感来自Swin Transformer。我们进一步用逐点深度卷积代替Swin Transformer块中的多层感知器(MLP),并通过更少的归一化和激活层来增强模型性能,从而减少模型参数的数量。3D UX-Net使用三个具有挑战性的脑和腹部容积成像公共数据集与当前的SOTA Transformers(例如SwinUNETR)进行竞争:1)MICCAI挑战2021 FLARE,2)MICCAI挑战2021 FeTA和3)MICCAI挑战2022 AMOS。3D UX-Net的性能始终优于SwinUNETR,从0.929提高到0.938 Dice(FLARE 2…
2023-03-02 cs.CV cs.LG
UNETR: Transformers for 3D Medical Image Segmentation
NVIDIA(英伟达);Vanderbilt University(范德堡大学)
自过去十年以来,具有收缩和扩展路径的全卷积神经网络(FCNN)在大多数医学图像分割应用中表现出突出地位。在FCNN中,编码器通过学习全局和局部特征以及可用于解码器的语义输出预测的上下文表示来发挥不可或缺的作用。尽管它们取得了成功,但FCNN中卷积层的局部性限制了学习远程空间依赖性的能力。受最近自然语言处理(NLP)在长距离序列学习中的成功的启发,我们将体积(3D)医学图像分割的任务重新定义为序列到序列的预测问题。我们介绍了一种新的架构,被称为UNEt的Transformers(UNETR),利用一个Transformer作为编码器,学习序列表示的输入量,并有效地捕捉全球多尺度信息,同时也遵循成功的“U形”网络设计的编码器和解码器。Transformer编码器通过不同分辨率的跳过连接直接连接到解码器,以计算最终的语义分割输出。我们已经验证了我们的方法在多器官分割的Multi Atlas Labeling Beyond The Cranial Vault(BTCV)数据集和脑肿瘤和脾脏分割任务的Medical Segmentation Decathlon(MSD)数据集上的性能。我们的基准测试在BTCV排行榜上展示了最先进的性能。代码:https://monai.io/research/unetr
2021-10-09 cs.CV cs.LG eess.IV
Semantic Segmentation on VSPW Dataset through Aggregation of Transformer Models
Xiaomi Inc.(小米公司)
语义分割是计算机视觉中的一项重要任务,从中衍生出一些重要的使用场景,如自动驾驶、场景解析等,由于对视频语义分割任务的重视,我们参加了本次大赛。在这份报告中,我们简要介绍了“BetterThing”团队为ICCV 2021-视频场景解析野外挑战赛提供的解决方案。Transformer作为提取视频帧特征的主干,最终结果是SWIN和VOLO两个Transformer模型输出的聚合。该解决方案实现了57.3%的mIoU,在Wild Challenge视频场景解析中排名第三。
2021-09-03 cs.CV
MISSFormer: An Effective Medical Image Segmentation Transformer
Beijing University of Posts and Telecommunications(北京邮电大学)
基于CNN的方法在医学图像分割中取得了令人印象深刻的结果,但由于卷积运算固有的局部性,它们未能捕获长程依赖性。基于变换器的方法最近在视觉任务中很受欢迎,因为它们具有长距离依赖性和有前途的性能。然而,它缺乏对本地上下文的建模。本文以医学图像分割为例,介绍了一种有效的医学图像分割变换器Transformer。MISSFormer是一个分层的编码器-解码器网络,有两个吸引人的设计:1)前馈网络被重新设计,提出了增强的Transformer块,这增强了远程依赖性和补充局部上下文,使功能更具区分力。2)本文提出了增强型Transformer Context Bridge,与以往只建模全局信息的方法不同,本文提出的上下文桥结合了增强型Transformer块,提取了由分层Transformer编码器生成的多尺度特征的长程依赖关系和局部上下文。在这两种设计的驱动下,MISSFormer显示出在医学图像分割中捕获更多区分依赖性和上下文的强大能力。多器官和心脏分割任务的实验证明了我们MISSFormer的优越性,有效性和鲁棒性,从头开始训练的MISSFormer的实验结果甚至优于ImageNet上预先训练的最先进的方法。核心设计可以推广到其他视觉分割任务。代码已经发布在Github上:https://github.com/ZhifangDeng/MISSFormer
2021-12-19 cs.CV
Channel Boosted CNN-Transformer-based Multi-Level and Multi-Scale Nuclei Segmentation
Pakistan Institute of Engineering & Applied Sciences(巴基斯坦工程与应用科学学院)
针对细胞核分割中CNN难以捕捉长距离依赖和Transformer易丢失低级特征的问题,提出两种结合双重注意力与通道增强的CNN-Transformer架构,在多器官组织学图像上实现了更优的分割性能。
2024-07-27 cs.AI cs.CV eess.IV
Multi-scale Hierarchical Vision Transformer with Cascaded Attention Decoding for Medical Image Segmentation
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
Transformers在医学图像分割方面取得了巨大成功。然而,Transformers可能会表现出有限的泛化能力,由于潜在的单尺度自我注意力(SA)机制。在本文中,我们通过引入多尺度层次视觉Transformer(MERIT)骨干网络来解决这个问题,该骨干网络通过在多个尺度上计算SA来提高模型的泛化能力。我们还采用了一个基于注意力的解码器,即级联注意力解码(CASCADE),以进一步细化MERIT生成的多阶段特征。最后,我们介绍了一种有效的多阶段特征混合损失聚合(MUTATION)方法,通过隐式集成来更好地进行模型训练。我们对两个广泛使用的医学图像分割基准(即,Synapse Multi-organ,ACDC)证明了MERIT优于最先进方法的性能。我们的MERIT架构和MUTATION损失聚合可以与下游医学图像和语义分割任务一起使用。
2023-03-29 cs.CV
FCN-Transformer Feature Fusion for Polyp Segmentation
University of Central Lancashire(中央兰开夏大学)
结肠镜检查被广泛认为是早期发现结直肠癌(CRC)的金标准程序。分割对于两个重要的临床应用是有价值的,即病变检测和分类,提供了提高准确性和鲁棒性的手段。结肠镜图像中息肉的手动分割是耗时的。因此,使用深度学习(DL)自动分割息肉变得非常重要。然而,基于DL的解决方案可能易受过拟合的影响,从而无法推广到由不同结肠镜捕获的图像。最近的基于变换器的语义分割体系结构都实现了更高的性能和更好的概括比替代方案,但通常预测的分割图的$\frac{h}{4}\times\frac{w}{4}$空间维度的$h\times w$输入图像。为此,我们提出了一种用于全尺寸分割的新架构,该架构利用了Transformer在提取主要分支中最重要的分割特征方面的优势,同时利用次级完全卷积分支补偿其在全尺寸预测中的局限性。然后融合来自两个分支的所得特征以最终预测$h\times w$分割图。我们在Kvasir-SEG和CVC-ClinicDB数据集基准测试中展示了我们的方法在mDice,mIoU,mPrecision和mRecall指标方面的最新性能。此外,我们训练这些数据集上的每个模型,并在其他数据集上进行评估,以证明其优越的泛化性能。
2022-08-17 cs.CV cs.LG eess.IV
WegFormer: Transformers for Weakly Supervised Semantic Segmentation
Tongji University(同济大学);The University of Hong Kong(香港大学);SenseTime(商汤科技);Shanghai AI Lab(上海人工智能实验室)
尽管卷积神经网络(CNN)在弱监督语义分割(WSSS)方面取得了显着进展,但CNN的有效感受野不足以捕获全局上下文信息,从而导致次优结果。受Transformers在基础视觉领域的巨大成功的启发,本文首次引入了Transformer来构建一个简单有效的WSSS框架,称为WegFormer。与现有的基于CNN的方法不同,WegFormer使用视觉Transformer(ViT)作为分类器来产生高质量的伪分割掩模。为此,我们在基于transformer的框架中引入了三个定制组件,它们是(1)深度泰勒分解(DTD)以生成注意力地图,(2)软擦除模块以平滑注意力地图,以及(3)高效的潜在对象挖掘(EPOM)以过滤背景中的噪声激活。在没有任何额外功能的情况下,WegFormer在PASCAL VOC数据集上实现了最先进的70.5% mIoU,显著优于之前的最佳方法。我们希望WegFormer为挖掘Transformer在弱监督语义分割中的潜力提供一个新的视角。代码将被释放。
2022-03-16 cs.CV
U-Net Transformer: Self and Cross Attention for Medical Image Segmentation
CEDRIC - Conservatoire National des Arts et Metiers(国立工艺学院CEDRIC实验室);Visible Patient SAS(Visible Patient SAS公司)
对于复杂和低对比度的解剖结构,医学图像分割仍然特别具有挑战性。在本文中,我们介绍了U-变压器网络,它结合了一个U形的架构,图像分割与自我和交叉注意力的Transformers。U-Transformer克服了U-Nets无法对长距离上下文交互和空间依赖性进行建模的问题,这对于在具有挑战性的上下文中进行准确分割至关重要。为此,注意力机制被纳入两个主要层面:自我注意力模块利用编码器特征之间的全局交互,而跳过连接中的交叉注意力通过过滤掉非语义特征,允许在U-Net解码器中进行精细的空间恢复。在两个腹部CT图像数据集上的实验表明,与U-Net和Local Attention U-Nets相比,U-Transformer带来了很大的性能增益。我们还强调了使用自我注意力和交叉注意力的重要性,以及U-Transformer带来的良好的可解释性功能。
2021-03-12 cs.CV eess.IV
DeVIS: Making Deformable Transformers Work for Video Instance Segmentation
Technical University of Catalonia(加泰罗尼亚理工大学);Technical University of Munich(慕尼黑工业大学)
视频实例分割(VIS)是视频序列中多目标检测、跟踪和分割的综合技术。在过去,VIS方法反映了这些子任务在其架构设计中的碎片化,因此错过了联合解决方案。Transformers最近允许将整个VIS任务转换为单个集合预测问题。然而,现有的基于transformer的方法的二次复杂性需要很长的训练时间,高内存要求,以及低单尺度特征图的处理。变形注意提供了一个更有效的选择,但其应用程序的时间域或分割任务尚未被探索。在这项工作中,我们提出了可变形VIS(DeVIS),VIS方法,利用可变形Transformers的效率和性能。为了在多个帧上联合推理所有VIS子任务,我们提出了具有实例感知对象查询的时间多尺度可变形注意。我们进一步引入了一个新的图像和视频实例面具头与多尺度功能,并执行近在线视频处理与多线索剪辑跟踪。DeVIS降低了内存和训练时间要求,并在YouTube-VIS 2021以及具有挑战性的OVIS数据集上实现了最先进的结果。代码可在https://github.com/acaelles97/DeVIS上获得。
2022-07-22 cs.CV cs.LG cs.RO
CFPFormer: Feature-pyramid like Transformer Decoder for Segmentation and Detection
Fuzhou University of International Studies and Trade(福州外语外贸学院)
本文提出CFPFormer解码器,将特征金字塔与Transformer结合,并通过高斯注意力降低复杂度,在医学图像分割中以较轻量骨干取得92.02% Dice分数,优于更复杂基线。
2025-04-05 cs.CV
UniDAformer: Unified Domain Adaptive Panoptic Segmentation Transformer via Hierarchical Mask Calibration
Nanyang Technological University(南洋理工大学);Wenzhou University(温州大学)
域自适应全景分割旨在通过利用一个或多个相关源域中的现成注释数据来减轻数据注释挑战。然而,现有的研究采用两个独立的网络进行实例分割和语义分割,这导致过多的网络参数以及复杂和计算密集的训练和推理过程。我们设计了UniDAformer,一个统一的域自适应全景分割Transformer,它很简单,但可以在单个网络中同时实现域自适应实例分割和语义分割。UniDAformer引入了分层掩模校准(HMC),通过在线实时自我训练,在区域、超像素和像素级别纠正不准确的预测。它有三个独特的特点:1)它能够实现统一的域自适应全景自适应; 2)它减轻了错误预测并有效地改进了域自适应全景分割; 3)它是端到端可训练的,具有简单得多的训练和推理流水线。在多个公共基准上进行的大量实验表明,与最先进的技术相比,UniDAformer实现了卓越的域自适应全景分割。
2023-03-22 cs.CV
Learning Dynamic Query Combinations for Transformer-based Object Detection and Segmentation
University of Florida(佛罗里达大学);ByteDance Inc.(字节跳动公司)
本文提出基于图像高级语义学习动态系数的凸组合生成调制查询,以更好地捕捉目标位置和类别的先验,使广泛的基于DETR的模型在检测和分割等多个任务上取得一致且优越的性能。
2023-07-27 cs.CV
DepthFormer: Multimodal Positional Encodings and Cross-Input Attention for Transformer-Based Segmentation Networks
University of Padova(帕多瓦大学)
大多数用于语义分割的方法仅使用来自彩色相机的信息来解析场景,然而最近的进展表明,使用深度数据允许进一步提高性能。在这项工作中,我们专注于基于transformer的深度学习架构,这些架构在分割任务上实现了最先进的性能,我们建议通过将深度信息嵌入到位置编码中来使用深度信息。有效地,我们将网络扩展到多模态数据,而不添加任何参数,并以一种自然的方式利用Transformers的自我注意力模块的力量。我们还研究了在注意力模块内部执行跨模态操作的想法,在深度和颜色分支之间交换关键输入。我们的方法不断提高Cityscapes基准的性能。
2023-03-27 cs.CV
Memory transformers for full context and high-resolution 3D Medical Segmentation
Conservatoire National des Arts et Métiers(法国国立工艺学院);IRCAD(消化癌症研究所)
Transformer模型实现了最先进的图像分割结果。然而,通过高分辨率3D图像实现捕获全球背景所需的长距离注意力是一个根本性的挑战。本文介绍了全分辨率存储器(FINE)Transformer来克服这个问题。FINE背后的核心思想是学习内存令牌,以间接地对全范围交互进行建模,同时在内存和计算成本方面都有很好的扩展性。FINE在两个级别引入了内存令牌:第一个级别允许局部图像区域(补丁)内的体素之间的完全交互,第二个级别允许3D体积的所有区域之间的完全交互。结合起来,它们允许对高分辨率图像(例如,512 x 512 x 256体素及以上)进行充分关注。在BCV图像分割数据集上的实验显示出比最先进的CNN和Transformer基线更好的性能,突出了我们的全注意力机制与最近的Transformer基线(例如CoTr和nnFormer)相比的优越性。
2022-10-11 cs.CV
Task-Adaptive Feature Transformer with Semantic Enrichment for Few-Shot Segmentation
Ulsan National Institute of Science and Technology(蔚山科学技术院)
少样本学习允许机器仅使用少量标记样本对新类别进行分类。近年来,针对低样本数据的语义分割的Few-Shot分割也引起了人们极大的兴趣。在本文中,我们提出了一个可学习的模块,可以放置在现有的分割网络进行Few-Shot分割。该模块称为任务自适应特征Transformer(TAFT),将特定于任务的高级特征线性转换为一组非常适合进行Few-Shot分割的任务不可知特征。任务条件的特征变换允许有效利用新类中的语义信息来生成紧密的分割掩模。我们还提出了一个语义丰富(SE)模块,利用像素级的注意力模块的高层次功能和辅助损失的辅助分割网络进行语义分割的所有训练类。$5^i$和$20^i$数据集上的实验证实,添加的模块成功地扩展了现有分割器的能力,以产生具有高度竞争力的Few-Shot分割性能。
2022-02-14 cs.CV
LeViT-UNet: Make Faster Encoders with Transformer for Medical Image Segmentation
Wuhan Institute of Technology(武汉工程大学);Huazhong University of Science and technology(华中科技大学)
医学图像分割在计算机辅助诊断和治疗系统的开发中起着至关重要的作用,但仍然面临着许多挑战。在过去的几年里,流行的基于CNN的编码器-解码器架构(例如,U-Net)在医学图像分割中得到了成功的应用。然而,由于卷积运算的局部性,它们在学习全局上下文和长程空间关系方面表现出局限性。最近,一些研究人员试图将Transformers引入到编码器和解码器组件中,并取得了令人满意的结果,但由于Transformers的高计算复杂性,效率需要进一步提高。在本文中,我们提出了LeViT-UNet,它集成了一个LeViT Transformer模块到U-Net架构,快速,准确的医学图像分割。具体来说,我们使用LeViT作为LeViT-UNet的编码器,它可以更好地权衡Transformer块的准确性和效率。此外,LeViT的Transformer块和卷积块的多尺度特征图通过跳跃连接传递到解码器,可以有效地重用特征图的空间信息。我们的实验表明,建议的LeViT-UNet实现更好的性能相比,各种竞争方法在几个具有挑战性的医学图像分割基准,包括突触和ACDC。代码和模型将在https://github.com/apple1986/LeViT_UNet上公开。
2021-07-19 cs.CV
When Swin Transformer Meets KANs: An Improved Transformer Architecture for Medical Image Segmentation
Department of Computer Science and Engineering, University of Notre Dame(计算机科学与工程系,诺丁汉大学);Department of Computer Science, University of Texas Rio Grande Valley(计算机科学系,德克萨斯大学里奥格兰德谷分校)
UKAST结合KANs与Swin Transformer,提升医学图像分割的效率与准确性,尤其在数据稀缺情况下表现优异。
2026-01-26 cs.CV
Lawin Transformer: Improving Semantic Segmentation Transformer with Multi-Scale Representations via Large Window Attention
Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出Lawin Transformer,通过大窗口注意力将多尺度表示引入语义分割ViT,并结合LawinASPP解码器,在Cityscapes、ADE20K和COCO-Stuff上取得新SOTA并提升效率。
2023-08-09 cs.CV
Delving into Transformer for Incremental Semantic Segmentation
Tsinghua University(清华大学);Tencent(腾讯);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
增量语义分割(ISS)是一项新兴任务,其中通过增量添加新类来更新旧模型。目前,基于卷积神经网络的方法在ISS中占主导地位。然而,研究表明,这种方法很难在学习新任务的同时保持对旧任务的良好表现(灾难性遗忘)。相比之下,基于Transformer的方法在抑制灾难性遗忘方面具有天然优势,因为它能够对长期和短期任务进行建模。在这项工作中,我们探讨了为什么Transformer为基础的架构更适合于ISS,并相应地提出了TISS,一个基于Transformer的增量语义分割的方法。此外,为了更好地缓解灾难性遗忘,同时保持ISS上的可传递性,我们引入了两个分片对比损失,分别模仿相似特征和增强特征多样性,这可以进一步提高TISS的性能。在Pascal-VOC 2012和ADE 20 K数据集的广泛实验设置下,我们的方法显着优于最先进的增量语义分割方法。
2022-11-18 cs.CV
Pyramid Medical Transformer for Medical Image Segmentation
Washington University in St. Louis(圣路易斯华盛顿大学)
深度神经网络已经成为医学图像处理领域的主流技术。然而,最流行的基于卷积神经网络(CNN)的医学图像分割方法是不完美的,因为它们通过堆叠层或放大滤波器来建模长程依赖性。最近提出的Transformers和自我注意力机制,以有效地学习长距离的依赖关系,通过建模所有对字到字的注意,而不管他们的位置。这个想法也被扩展到计算机视觉领域,通过创建和处理图像补丁作为嵌入。考虑到整个图像自关注的计算复杂度,当前基于transformer的模型解决了刚性分割方案,可能会丢失信息关系。此外,目前的医疗Transformers模型的全分辨率图像的全球背景,导致不必要的计算成本。为了解决这些问题,我们开发了一种新的方法来集成多尺度注意力和CNN特征提取使用金字塔网络架构,即金字塔医疗Transformer(PMTrans)。PMTrans通过处理多分辨率图像来捕获多范围关系。一个自适应的分区计划,以保持信息的关系,并有效地访问不同的感受野。在三个医学图像数据集(腺体分割,MoNuSeg和HECKTOR数据集)上的实验结果表明,PMTrans优于最新的基于CNN和基于transformer的医学图像分割模型。
2022-04-29 cs.CV
Medical Transformer: Gated Axial-Attention for Medical Image Segmentation
Johns Hopkins University(约翰斯·霍普金斯大学);Rutgers, The State University of New Jersey(罗格斯新泽西州立大学)
在过去的十年中,深度卷积神经网络已被广泛用于医学图像分割,并表现出足够的性能。然而,由于卷积架构中存在固有的归纳偏差,它们缺乏对图像中的长程依赖性的理解。最近提出的基于transformer的架构,利用自我注意力机制编码长距离依赖关系,并学习表达能力强的表示。这促使我们探索基于Transformer的解决方案,并研究将基于Transformer的网络架构用于医学图像分割任务的可行性。针对视觉应用提出的大多数现有基于Transformer的网络架构都需要大规模数据集来进行适当的训练。然而,与用于视觉应用的数据集相比,对于医学成像,数据样本的数量相对较低,使得难以有效地训练用于医学应用的Transformers。为此,我们提出了一个门控轴向注意力模型,通过在自我注意力模块中引入额外的控制机制来扩展现有的架构。此外,训练模型有效地医学图像,我们提出了一个局部全局训练策略(LoGo),进一步提高了性能。具体来说,我们对整个图像和补丁进行操作,分别学习全局和局部特征。建议的医疗Transformer(MedT)的三个不同的医学图像分割数据集进行评估,它表明,它实现了更好的性能比卷积和其他相关的基于变换的架构。代码:https://github.com/jeya-maria-jose/Medical-Transformer
2021-07-06 cs.CV
Hybrid-Fusion Transformer for Multisequence MRI
KAIST(韩国科学技术院)
针对多序列MRI分割中模态特征未充分融合的问题,提出HFTrans,通过Transformer整合各模态及早期融合特征,并在两个公开数据集上超越现有最先进方法。
2023-11-02 cs.CV eess.IV