HarDNet-MSEG: A Simple Encoder-Decoder Polyp Segmentation Neural Network that Achieves over 0.9 Mean Dice and 86 FPS
National Tsing Hua University（国立清华大学）
我们提出了一种新的卷积神经网络称为HardNet-MSEG息肉分割。它在五个流行的数据集上实现了SOTA的准确性和推理速度。对于Kvasir-SEG，HardNet-MSEG在GeForce RTX 2080 Ti GPU上以86.7 FPS运行时提供0.904平均Dice。它由一个主干和一个解码器组成。骨干是一个低内存流量的CNN称为HardNet 68，它已成功地应用于各种CV任务，包括图像分类，对象检测，多对象跟踪和语义分割等解码器部分的灵感来自级联部分解码器，已知的快速和准确的显着目标检测。我们使用这五个流行的数据集评估了HardNet-MSEG。代码和所有实验细节都可以在Github上找到。https://github.com/james128333/HarDNet-MSEG
2021-01-20 cs.CV
RedNet: Residual Encoder-Decoder Network for indoor RGB-D Semantic Segmentation
South China University of Technology（华南理工大学）
室内语义分割一直是计算机视觉中的难点。在本文中，我们提出了一个RGB-D残差编解码器架构，命名为红网，室内RGB-D语义分割。在RedNet中，残差模块作为基本构建块应用于编码器和解码器，并且跳过连接用于绕过编码器和解码器之间的空间特征。为了融合场景的深度信息，构造了一种融合结构，分别对RGB图像和深度图像进行推理，并在多个层次上融合它们的特征。为了有效地优化网络的参数，我们提出了一个“金字塔监督”的训练方案，它适用于监督学习在解码器的不同层，以应付梯度消失的问题。实验结果表明，所提出的RedNet（ResNet-50）在SUN RGB-D基准数据集上实现了47.8%的最先进的mIoU准确率。
2018-08-06 cs.CV
MedCAGD: Context-Aware Gated Decoder for Efficient Medical Image Segmentation
School of Computing, Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院计算学院）；Department of Energy, Aalborg University（奥尔堡大学能源系）
提出一种上下文感知门控解码器，通过轻量多尺度通道重校准、门控跳跃融合和全局上下文聚合机制，有效利用预训练编码器特征，在11个基准上优于强基线。
2026-07-02 cs.CV
Decoders Matter for Semantic Segmentation: Data-Dependent Decoding Enables Flexible Feature Aggregation
The University of Adelaide（阿德莱德大学）；Noah’s Ark Lab, Huawei Technologies（华为技术诺亚方舟实验室）
最近的语义分割方法利用编码器-解码器架构来产生期望的逐像素分割预测。解码器的最后一层通常是双线性上采样过程，以恢复最终的逐像素预测。我们的经验表明，这种过于简单和数据独立的双线性上采样可能会导致次优的结果。在这项工作中，我们提出了一种数据相关的上采样（DUpsampling）来取代双线性，它利用了语义分割的标签空间中的冗余，并且能够从CNN的低分辨率输出中恢复像素预测。新的上采样层的主要优点在于，使用相对较低分辨率的特征图，例如输入大小的$\frac{1}{16}$或$\frac{1}{32}$，我们可以实现更好的分割精度，显著降低计算复杂度。这是通过以下方式实现的：1）新的上采样层的大大改进的重构能力;以及更重要的2）基于D上采样的解码器在利用CNN编码器的特征的几乎任意组合方面的灵活性。实验表明，我们提出的解码器优于国家的最先进的解码器，只有$\sim$ 20\%的计算。最后，在没有任何后处理的情况下，配备了我们提出的解码器的框架在两个数据集上实现了新的最先进的性能：PASCAL VOC上的88.1 mIOU，其中30%的计算是以前最好的模型; PASCAL Context上的52.5 mIOU。
2019-04-05 cs.CV
Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation
Google Inc.（谷歌公司）
空间金字塔池化模块或编码-解码器结构在深度神经网络中用于语义分割任务。前一种网络能够通过以多速率和多个有效视场使用过滤器或池化操作探测传入特征来编码多尺度上下文信息，而后一种网络可以通过逐渐恢复空间信息来捕获更清晰的对象边界。在这项工作中，我们建议结合这两种方法的优点。具体来说，我们提出的模型DeepLabv 3+通过添加一个简单而有效的解码器模块来扩展DeepLabv 3，以细化分割结果，特别是沿着对象边界。我们进一步探索Xception模型，并将深度可分离卷积应用于Atrous空间金字塔池和解码器模块，从而实现更快，更强大的编码器-解码器网络。在PASCAL VOC 2012和Cityscapes数据集上验证了该模型的有效性，在没有任何后处理的情况下，测试集性能分别达到89.0%和82.1%.我们的论文附带了\url{https://github.com/tensorflow/models/tree/master/research/deeplab}上Tensorflow中所提出模型的公开参考实现。
2018-08-22 cs.CV
Deep Convolutional Encoder-Decoders with Aggregated Multi-Resolution Skip Connections for Skin Lesion Segmentation
Nile University（尼罗河大学）
皮肤黑色素瘤的患病率正在迅速增加，其患者的死亡病例也在迅速增加。自动图像分割工具在为皮肤黑色素瘤患者提供标准化的计算机辅助分析方面发挥着重要作用。当前最先进的分割方法是基于全卷积神经网络，其利用编码器-解码器方法。然而，这些方法由于在编码层期间位置信息的丢失而产生粗略的分割掩模。受金字塔场景解析网络（PSP-Net）的启发，我们提出了一种编码器-解码器模型，该模型在深度跳过连接中利用金字塔池模块，聚合全局上下文并补偿丢失的空间信息。我们使用ISIC 2018：皮肤病变分析对黑色素瘤检测大挑战数据集进行了训练和验证。我们的方法显示了Jaccard指数为0.837的验证准确性，优于U-Net。我们相信，这种可靠的准确性，这种方法可以引入临床实践。
2019-04-04 cs.CV
LEDNet: A Lightweight Encoder-Decoder Network for Real-Time Semantic Segmentation
Temple University（天普大学）
大量的计算负担限制了CNN在移动设备中用于密集估计任务的使用。本文提出了一种轻量级网络LEDNet，该网络采用非对称的编解码器架构，实现实时的【形】语义分割，编码器采用ResNet作为骨干网络，在每个残差块中使用两种新的操作：通道分割和洗牌，在保持较高分割精度的同时大大降低了计算成本。另一方面，在解码器中采用注意力金字塔网络（APN），以进一步减轻整个网络的复杂度。我们的模型具有不到1M的参数，并且能够在单个GTX 1080Ti GPU中以超过71 FPS的速度运行。综合实验表明，我们的方法在CityScapes数据集上实现了速度和准确性权衡方面的最先进的结果。
2019-05-13 cs.CV
Beyond Single Stage Encoder-Decoder Networks: Deep Decoders for Semantic Image Segmentation
University of Freiburg（弗莱堡大学）；Valeo Inc.（法雷奥公司）
用于语义分割的单个编码器-解码器方法在每层的分割质量和效率方面达到了顶峰。为了解决这些局限性，我们提出了一种新的架构的基础上的解码器，它使用了一组浅网络捕捉更多的信息内容。新的解码器有一个新的拓扑结构的跳跃连接，即向后和堆叠的剩余连接。为了进一步改进架构，我们引入了一个权重函数，旨在重新平衡类，以增加网络对未充分代表对象的关注。我们进行了一系列广泛的实验，为CamVid，Gatech和Freiburg Forest数据集提供了最先进的结果。此外，为了进一步证明我们的解码器的有效性，我们进行了一组实验，研究我们的解码器对最先进的分割技术的影响。此外，我们提出了一组实验增强语义分割与光流信息，运动线索可以提高纯图像的语义分割的方法。
2020-07-19 cs.CV cs.RO
CFPFormer: Feature-pyramid like Transformer Decoder for Segmentation and Detection
Fuzhou University of International Studies and Trade（福州外语外贸学院）
本文提出CFPFormer解码器，将特征金字塔与Transformer结合，并通过高斯注意力降低复杂度，在医学图像分割中以较轻量骨干取得92.02% Dice分数，优于更复杂基线。
2025-04-05 cs.CV
Semantic Segmentation for Point Cloud Scenes via Dilated Graph Feature Aggregation and Pyramid Decoders
Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院空天信息创新研究院）；University of Chinese Academy of Sciences（中国科学院大学）
点云的语义分割通过密集预测每个点的类别来产生对场景的全面理解。由于感受野的单一性，点云的语义分割对于多感受野特征的表达具有挑战性，容易导致空间结构相似的实例误分类。在本文中，我们提出了一个图卷积网络DGFA-Net植根于扩张图特征聚合（DGFA），通过金字塔解码器计算的多基聚合损失（MALoss）的指导。为了配置多感受野特征，DGFA以所提出的扩张图卷积（DGConv）为基本构建块，通过捕获具有各种感受区域的扩张图来聚合多尺度特征表示。通过同时考虑不同分辨率的点集作为计算基础对感受野信息进行惩罚，针对感受野基础的多样性，引入MALoss驱动的金字塔解码器。结合这两个方面，DGFA-Net显着提高分割性能的实例具有相似的空间结构。在S3 DIS、ShapeNetPart和Toronto-3D上的实验表明，DGFA-Net的性能优于基线方法，实现了新的最先进的分割性能。
2022-11-03 cs.CV
SED: A Simple Encoder-Decoder for Open-Vocabulary Semantic Segmentation
Tianjin University（天津大学）；Chongqing University（重庆大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本文提出SED，一种用于开放词汇语义分割的简单编码器-解码器，通过分层骨干生成代价图、渐进融合解码和类别早期拒绝，在保证精度的同时实现最高4.7倍加速。
2024-02-27 cs.CV
Decoding Matters: Efficient Mamba-Based Decoder with Distribution-Aware Deep Supervision for Medical Image Segmentation
本文提出基于解码器的通用2D医学图像分割方法，通过改进的解码器结构和分布感知损失提升多尺度上下文表示，实现高效且通用的医学图像分割。
2026-03-13 cs.CV
MOBIUS: Big-to-Mobile Universal Instance Segmentation via Multi-modal Bottleneck Fusion and Calibrated Decoder Pruning
Google（谷歌）；ETH Zurich（苏黎世联邦理工学院）；INSAIT, Sofia University, St. Kliment Ohridski（INSAIT，索菲亚大学，圣克莱孟·奥赫里茨基）
提出MOBIUS通用实例分割模型系列，通过瓶颈像素解码器、语言引导不确定性校准损失和精简统一训练策略，在仅三分之一的训练迭代下将像素和Transformer解码器FLOPs分别降低55%和75%，同时保持最先进性能，支持从高端加速器到移动设备的部署。
2025-10-16 cs.CV
Discrepancy Matters: Learning from Inconsistent Decoder Features for Consistent Semi-supervised Medical Image Segmentation
Northwestern Polytechnical University（西北工业大学）；The University of Adelaide（阿德莱德大学）
针对半监督医学图像分割，提出LeFeD方法，通过将双解码器间特征差异作为反馈信号迭代学习，在三个公开数据集上超越八种SOTA方法，树立了新标杆。
2023-09-26 cs.CV
Eyenet: Attention based Convolutional Encoder-Decoder Network for Eye Region Segmentation
Couger Inc.（库格公司）
随着增强现实和虚拟现实领域向沉浸式方向的发展，对眼球跟踪的准确性和快速性提出了更高的要求。Facebook Research组织了一个名为OpenEDS语义分割的挑战赛，对关键眼睛区域进行逐像素分割：巩膜、虹膜、瞳孔和其他所有区域（背景）。有两个约束条件集的参与者，即MINUS和计算复杂性的模型。最近，研究人员使用卷积神经网络（CNN）分割眼睛区域取得了相当好的结果。然而，在这项任务中涉及的环境挑战，如低分辨率，模糊，不寻常的闪烁和照明，偏角，离轴，使用眼镜和虹膜区域的不同颜色阻碍了分割的准确性。为了解决眼睛分割中的挑战，本工作提出了一种鲁棒的和计算效率高的基于注意力的卷积编码器-解码器网络，用于分割所有的眼睛区域。我们的模型，命名为EyeNet，包括修改后的残余单元作为骨干，两种类型的注意力块和多尺度监督分割上述四个眼睛区域。我们提出的模型在测试数据上获得了0.974的总分（EDS评估指标），这表明与基线方法相比具有更好的结果。
2019-10-08 cs.CV
PRSeg: A Lightweight Patch Rotate MLP Decoder for Semantic Segmentation
School of Software, Xinjiang University（新疆大学软件学院）；Shanghai AI Laboratory（上海人工智能实验室）；Baidu Inc.（百度公司）
针对逐通道MLP解码器感受野不足、上下文建模能力弱的问题，提出无参数块旋转操作并构建PRSeg网络，在多个语义分割数据集上验证了有效性，推动相关技术发展。
2023-05-01 cs.CV
SINet: Extreme Lightweight Portrait Segmentation Networks with Spatial Squeeze Modules and Information Blocking Decoder
Seoul National University（首尔国立大学）；Clova AI, NAVER Corp（NAVER公司Clova人工智能）；NAVER LABS Europe（NAVER欧洲实验室）；Search Solutions, Inc（搜索解决方案公司）
设计一种轻量级的、鲁棒的人像分割算法是一项重要的任务，可以应用于广泛的人脸应用。然而，该问题已被认为是一个子集的对象分割问题和较少处理的语义分割领域。显然，人像分割有其独特的要求。首先，由于肖像分割是在许多现实世界应用的整个过程中执行的，因此它需要非常轻量级的模型。其次，在这个领域中还没有任何公共数据集包含足够数量的具有无偏统计数据的图像。为了解决第一个问题，我们引入了新的非常轻量级的人像分割模型SINet，包含一个信息块解码器和空间挤压模块。信息分块解码器使用置信度估计来恢复局部空间信息而不破坏全局一致性。空间挤压模块使用多个感受野来处理图像中各种大小的一致性。为了解决第二个问题，我们提出了一种简单的方法来创建额外的人像分割数据，这可以提高EG1800数据集的准确性。在我们对EG1800数据集的定性和定量分析中，我们表明我们的方法优于各种现有的轻量级分割模型。我们的方法将参数的数量从2.1M减少到86.9K（减少约95.9%），同时保持精度低于最先进的肖像分割方法的1%。我们还展示了我们的模型在一个真实的移动终端上成功地执行了100.6 FPS。此外，我们证明了我们的方法可以用于一般的语义分割的城市景观数据集。代码和数据集可以在https://github.com/HYOJINPARK/ExtPortraitSeg上找到。
2020-02-09 cs.CV
A Holistically-Guided Decoder for Deep Representation Learning with Applications to Semantic Segmentation and Object Detection
The Chinese University of Hong Kong（香港中文大学）；SenseTime Research（商汤科技研究院）；Shandong Normal University（山东师范大学）
高层次和高分辨率的特征表示在各种视觉理解任务中都非常重要。为了获得具有高层次语义信息的高分辨率特征图，一种常用的策略是在骨干网络中采用扩张卷积来提取高分辨率特征图，例如基于扩张模糊控制网络的语义分割方法。然而，由于许多卷积运算是在高分辨率特征图上进行的，这样的方法具有较大的计算复杂性和存储器消耗。在本文中，我们提出了一种新的整体引导解码器，它被引入到获得高分辨率的语义丰富的特征地图，通过多尺度的功能，从编码器。解码通过新颖的整体码字生成和码字组装操作来实现，该操作利用了来自编码器特征的高级和低级特征。利用所提出的整体引导解码器，我们实现了用于语义分割的EfficientFCN架构和用于目标检测和实例分割的HGD-FPN。EfficientFCN在PASCAL Context、PASCAL VOC、ADE 20 K数据集上实现了与最先进的方法相当甚至更好的性能，而语义分割的计算成本仅为它们的1/3。同时，所提出的HGD-FPN实现$>2\%$更高的平均平均精度（mAP）时，集成到几个目标检测框架与ResNet-50编码骨干。
2020-12-18 cs.CV
Lung segmentation with NASNet-Large-Decoder Net
Lehigh University（理海大学）
肺癌已成为威胁人类生命和健康的严重疾病。肺部区域的精确分割是肿瘤定位的重要前提，可以为肺部图像分析提供准确的信息。在这项工作中，我们首先提出了一个使用NASNet-Large作为编码器的肺部图像分割模型，然后是解码器架构，这是深度学习中最常用的图像分割架构之一。所提出的NASNet-Large-decoder架构可以提取高级信息并扩展特征图以恢复分割图。为了进一步改善分割结果，我们提出了一个后处理层来删除分割图中不相关的部分。实验结果表明，一个准确的分割模型与0.92骰子分数优于国家的最先进的性能。
2023-03-18 cs.CV eess.IV
Spatial-Assistant Encoder-Decoder Network for Real Time Semantic Segmentation
本文提出SANet，通过融合编码器-解码器与双路径架构，并引入APPPM和SAD注意力模块，在Cityscapes和CamVid数据集上同时实现了高精度与实时推理速度。
2023-09-19 cs.CV
DEAP-3DSAM: Decoder Enhanced and Auto Prompt SAM for 3D Medical Image Segmentation
College of Computer Science and Tech.（计算机科学与技术学院）；National University of Defense Tech.（国防科技大学）；Department of GI Medical Onco.（胃肠医学肿瘤科）；TMUCIH, NCRCC（TMUCIH、NCRCC）
DEAP-3DSAM通过特征增强解码器和双注意力提示器，实现了3D医学图像分割的自动提示和高效分割。
2025-11-24 cs.CV
A Novel Transformer Based Semantic Segmentation Scheme for Fine-Resolution Remote Sensing Images
Wuhan University（武汉大学）；Lancaster University（兰卡斯特大学）；UK Centre for Ecology & Hydrology（英国生态与水文中心）
具有编码器-解码器架构的全卷积网络（FCN）已经成为语义分割的标准范例。编码器-解码器架构利用编码器来捕获多级特征图，该多级特征图由解码器并入到最终预测中。由于上下文对于精确分割至关重要，因此已经做出了巨大的努力来以智能的方式提取这样的信息，包括采用扩张/atrous卷积或插入注意力模块。然而，这些努力都是基于带有ResNet或其他主干的FCN架构，无法从理论概念上充分利用上下文。相比之下，我们引入Swin Transformer作为主干来提取上下文信息，并设计了一种新的密集连接特征聚合模块（DCFAM）解码器来恢复分辨率并产生分割图。在两个遥感语义分割数据集上的实验结果证明了该方法的有效性https://github.com/WangLibo1995/GeoSeg
2022-06-03 cs.CV
Learning Transferrable Knowledge for Semantic Segmentation with Deep Convolutional Neural Network
POSTECH（浦项科技大学）；University of Michigan（密歇根大学）
提出了一种基于深度卷积神经网络（DCNN）的弱监督语义分割算法。与现有的弱监督方法相反，我们的算法利用可用于不同类别的辅助分割注释来指导仅具有图像级类别标签的图像的分割。为了使分割知识跨类别的可移植性，我们设计了一个解耦的编码器-解码器架构与注意力模型。在这种架构中，该模型使用注意力模型生成图像中呈现的每个类别的空间高光，随后使用解码器为每个高光区域生成前景分割。结合注意力模型，我们表明，在不同类别的分割注释训练的解码器可以提高弱监督语义分割的性能。当我们的模型使用Microsoft COCO数据集中60个专有类别的注释进行训练时，与挑战PASCAL VOC 2012数据集的最新弱监督技术相比，该算法表现出显着提高的性能。
2015-12-24 cs.CV
MUSTER: A Multi-scale Transformer-based Decoder for Semantic Segmentation
College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics（南京航空航天大学计算机科学与技术学院）；ByteDance（字节跳动）
针对语义分割领域Transformer解码器研究不足的问题，提出融合多头跳跃注意力与创新上采样的MUSTER解码器，适配多种编码器，在ADE20K上达SOTA性能且FLOPs大降61.3%。
2024-08-17 cs.CV
A spatio-temporal network for video semantic segmentation in surgical videos
Medtronic Digital Surgery（美敦力数字外科）；Wellcome/EPSRC Centre for Internventional and Surgical Sciences, University College London（伦敦大学学院惠康/工程与物理科学研究委员会介入与外科学中心）
针对手术视频语义分割中时间一致性问题，提出含时空解码器的网络，提升帧间一致性，在公开和私有数据集上验证了性能改进。
2023-06-19 cs.CV
U-NetPlus: A Modified Encoder-Decoder U-Net Architecture for Semantic and Instance Segmentation of Surgical Instrument
Rochester Institute of Technology（罗切斯特理工学院）；Center for Imaging Science（影像科学中心）；Biomedical Engineering（生物医学工程）
传统的治疗方法由于有限的视野而限制了外科医生的灵活性控制。随着机器人辅助手术的出现，微创手术的医疗技术发生了范式转变。然而，在手术场景中跟踪手术器械的位置是非常具有挑战性的，并且手术工具的准确检测和识别是至关重要的。手术视频帧中基于深度学习的语义分割有可能促进这一任务。在这项工作中，我们修改了名为U-NetPlus的U-Net架构，通过引入预训练的编码器并重新设计解码器部分，通过使用基于最近邻（NN）插值的上采样操作替换转置卷积操作。为了进一步提高性能，我们还采用了非常快速和灵活的数据增强技术。我们在8 x 225帧机器人手术视频序列上训练了框架，这些视频可通过MICCAI 2017 EndoVis Challenge数据集获得，并在8 x 75帧和2 x 300帧视频上进行了测试。使用我们的U-NetPlus架构，我们报告了90.20%的DICE用于二进制分割，76.26%的DICE用于仪器部件分割，46.07%用于仪器类型（即，所有仪器）分割，优于在这些数据上实施和测试的先前技术的结果。
2019-02-24 cs.CV
Attention-based Dual Supervised Decoder for RGBD Semantic Segmentation
Nanjing University（南京大学）；Hubei University of Technology（湖北工业大学）
在RGBD语义分割中，编码器-解码器模型得到了广泛的应用，并且大多数编码器-解码器模型都是通过双流网络设计的。一般来说，从RGBD联合推理颜色和几何信息是有益的语义分割。然而，大多数现有的方法未能在编码器和解码器中全面利用多模态信息。在本文中，我们提出了一种新的基于注意力的双重监督解码器的RGBD语义分割。在编码器中，我们设计了一个简单而有效的基于注意力的多模态融合模块来提取和融合多层次的成对互补信息。为了学习更强大的深度表示和丰富的多模态信息，我们引入了双分支解码器，以有效地利用不同任务的相关性和互补线索。在NYUDv 2和SUN-RGBD数据集上的大量实验表明，我们的方法与最先进的方法相比具有更好的性能。
2022-03-15 cs.CV eess.IV
TNet: Terrace Convolutional Decoder Network for Remote Sensing Image Semantic Segmentation
针对现有遥感分割网络解码器忽略多分辨率全局上下文依赖的问题，提出仅用卷积与加法实现跨分辨率特征渐进融合的TNet，搭配ResNet-18编码器在三个基准数据集上取得了兼具高精度与高效率的分割效果。
2025-09-02 cs.CV
iSegFormer: Interactive Segmentation via Transformers with Application to 3D Knee MR Images
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
我们提出了iSegFormer，一个内存高效的Transformer，结合了Swin Transformer与轻量级多层感知器（MLP）解码器。通过用于分层自注意力的高效Swin Transformer块和用于聚合局部和全局注意力的简单MLP解码器，iSegFormer可以学习强大的表示，同时实现高计算效率。具体来说，我们将iSegFormer应用于交互式3D医学图像分割。
2022-07-17 cs.CV
Stage-Aware Feature Alignment Network for Real-Time Semantic Segmentation of Street Scenes
Xiamen University（厦门大学）；Xiamen University of Technology（厦门理工学院）；University College London（伦敦大学学院）
在过去的几年里，基于深度卷积神经网络的方法在街景的语义分割方面取得了很大进展。最近的一些方法对齐特征图，以减轻它们之间的语义差距，并实现高分割精度。然而，它们通常在解码器中采用具有相同网络配置的特征对齐模块，从而忽略了在特征聚合过程中解码器各级的不同角色，导致解码器结构复杂。这种方式极大地影响了推理速度。在本文中，我们提出了一种新的阶段意识的特征对齐网络（SFANet）的编码器-解码器结构的基础上的实时的【形】语义分割的街道场景。具体来说，提出了一个阶段感知的特征对齐模块（SFA），有效地对齐和聚合两个相邻级别的特征图。在SFA中，考虑到解码器中每个阶段的独特作用，设计了一种新颖的阶段感知特征增强块（FEB），以增强来自编码器的特征图的空间细节和上下文信息。通过这种方式，我们能够用非常简单和有效的多分支解码器结构来解决未对准问题。此外，辅助训练策略的开发，以显式地减轻多尺度对象的问题，而不会带来额外的计算成本在推理阶段。实验结果表明，SFANet算法在准确性和速度上取得了较好的平衡，能够实现街道场景的实时的【形】语义分割。特别是，基于ResNet-18，SFANet仅使用单个GTX 1080Ti GPU，在具有挑战性的Cityscapes和CamVid测试数据集上，以37 FPS和96 FPS的推理速度分别获得了78.1%和74.7%的按类交集（mIoU）平均值。
2022-03-08 cs.CV
GeoCueFormer: Geometry-Guided Wavelet Representation and Prediction-Cued Dual-Stage Decoder for Underwater Semantic Segmentation
Southwest University of Science and Technology（西南科技大学）；Columbia University（哥伦比亚大学）；Carnegie Mellon University（卡内基梅隆大学）；University of California, Berkeley（加州大学伯克利分校）
GeoCueFormer提出几何约束频率增强与预测提示双阶段解码器，区分结构细节与退化干扰，在SUIM和DUT上达到SOTA性能，实现精度-复杂度平衡。
2026-09-17 cs.CV
Learning to Segment Breast Biopsy Whole Slide Images
University of Washington（华盛顿大学）；University of Vermont（佛蒙特大学）
我们训练并应用编码器-解码器模型将乳腺活检图像语义分割成具有生物学意义的组织标签。由于传统的编码器-解码器网络不能直接应用于大型活检图像，并且活检中不同尺寸的结构提出了新的挑战，我们提出了四种修改：（1）用于补偿信息损失的输入感知编码块，（2）编码器和解码器之间的新的密集连接模式，（3）用于组合多级特征的密集和稀疏解码器，（4）融合在不同分辨率上运行的编码器-解码器的结果的多分辨率网络。我们的模型优于基于特征的方法和传统的编码器-解码器的文献。我们使用语义分割与我们的模型在自动诊断任务，并获得更高的准确性比基线的方法，采用SVM为基础的分割，都使用相同的基于分割的诊断功能。
2017-10-10 cs.CV
MED-VT++: Unifying Multimodal Learning with a Multiscale Encoder-Decoder Video Transformer
York University（约克大学）；Ontario Tech University（安大略理工大学）
该研究提出统一多尺度编码器-解码器视频Transformer MED-VT及多模态版本MED-VT++，搭配直推式学习方案，在多项视频分割基准上无需光流便达到SOTA，还开展了可解释性分析。
2024-09-17 cs.CV
A Cross-Scale Decoder with Token Refinement for Off-Road Semantic Segmentation
本文提出一种跨尺度解码器，通过三个互补机制解决非道路语义分割中因地形不规则、植被干扰和标注模糊带来的挑战，提升边界一致性与训练稳定性。
2026-03-30 cs.CV
Psi-Net: Shape and boundary aware joint multi-task deep network for medical image segmentation
Indian Institute of Technology Madras (IITM)（印度理工学院马德拉斯分校）；Healthcare Technology Innovation Centre (HTIC), IITM（印度理工学院马德拉斯分校医疗技术创新中心）；Indian Institute of Information Technology Design & Manufacturing Kancheepuram (IIITDM)（坎奇普拉姆印度信息技术设计与制造学院）；Zasti
图像分割是许多医学应用中的主要任务。最近，许多由U-Net衍生的深度网络已被广泛用于各种医学图像分割任务。然而，在大多数情况下，类似于U网的网络会产生粗糙和不光滑的分割，并具有许多不连续性。为了提高和改进U-Net类网络的性能，我们建议使用并行解码器，这些解码器在执行掩码预测的同时还执行轮廓预测和距离图估计。轮廓和距离图有助于确保分割预测的平滑性。为了便于三个任务的联合训练，我们提出了一种新的架构，称为Psi-Net，具有单个编码器和三个并行解码器（因此具有$Ψ$的形状），一个解码器学习分割掩码预测，另外两个解码器学习轮廓检测和距离图估计的辅助任务。这些辅助任务的学习有助于捕获形状和边界信息。我们还提出了一个新的联合损失函数的建议架构。损失函数由负对数似然和均方误差损失的加权组合组成。我们使用了两个公开可用的数据集：1）用于视杯和视盘分割任务的Origa数据集和2）用于息肉分割任务的Endovis分割数据集来评估我们的模型。我们已经使用我们的网络进行了大量的实验，以证明我们的模型在分割，边界和形状度量方面提供了更好的结果。
2019-08-14 cs.CV
HyperSeg: Patch-wise Hypernetwork for Real-time Semantic Segmentation
Facebook AI；Bar-Ilan University（巴伊兰大学）；Tel Aviv University（特拉维夫大学）
我们提出了一种新的，实时的【形】的，语义分割网络中的编码器编码和生成的解码器的参数（权重）。此外，为了允许最大自适应性，每个解码器块处的权重在空间上变化。为此，我们设计了一种新型的超网络，由一个嵌套的U-Net绘制更高级别的上下文功能，一个多头权重生成模块，它产生的每个块在解码器中的权重之前，他们被消耗，有效的内存利用率，和一个主要的网络，是由新的动态分片卷积。尽管使用不太传统的块，我们的架构获得了实时的【形】性能。在运行时间与准确性的权衡方面，我们在流行的语义分割基准测试中超过了最先进的（SotA）结果：PASCAL VOC 2012（val. set）和Cityscapes上实时的【形】语义分割，以及CamVid。代码可在https://nirkin.com/hyperseg上找到。
2021-04-08 cs.CV
Cross-Stage Attention Propagation for Efficient Semantic Segmentation
Hyundai Mobis（现代摩比斯）
本文提出CSAP解码器框架，通过在最深特征尺度计算注意力并传播至浅层阶段，减少计算冗余，提升分割效率。
2026-04-07 cs.CV
LightFormer: A lightweight and efficient decoder for remote sensing image segmentation
LightFormer通过轻量级解码器实现高效遥感图像分割，兼顾精度与效率，适用于灾害评估等无结构目标识别任务。
2026-01-09 cs.CV
MEDOE: A Multi-Expert Decoder and Output Ensemble Framework for Long-tailed Semantic Segmentation
Zhejiang University（浙江大学）；The Hong Kong University of Science and Technology（香港科技大学）
针对长尾语义分割中尾部类别性能差的问题，提出模型无关的 MEDOE 框架，通过多专家解码与可学习输出集成保留上下文信息，在 Cityscapes 和 ADE20K 上显著提升 mIoU 与 mAcc。
2023-08-16 cs.CV
Guided Upsampling Network for Real-Time Semantic Segmentation
University of Milano-Bicocca（米兰比可卡大学）
语义分割架构主要建立在编码器-解码器结构上。这些模型在编码器中执行后续的下采样操作。由于对高分辨率激活图的操作在计算上是昂贵的，因此解码器通常通过使用无参数运算符（如双线性或最近邻）进行上采样来产生输出分割图。我们提出了一个神经网络命名为引导上采样网络，它由一个多分辨率架构，联合利用高分辨率和大的上下文信息。然后，我们引入了一个新的模块，名为引导上采样模块（GUM），通过引入语义映射的可学习转换来丰富上采样运算符。它可以插入到任何现有的编码器-解码器架构中，只需很少的修改和较低的额外计算成本。我们展示了定量和定性的实验，我们的网络如何受益于使用GUM模块。在公开的Cityscapes数据集上进行的一系列实验表明，引导上采样网络可以有效地实时的【形】处理高分辨率图像，同时达到最先进的性能。
2018-07-19 cs.CV
Atrous Residual Interconnected Encoder to Attention Decoder Framework for Vertebrae Segmentation via 3D Volumetric CT Images
The Hong Kong Polytechnic University（香港理工大学）；University of Oxford（牛津大学）
基于计算机断层扫描（CT）的医学图像自动分割是计算机辅助手术得到广泛应用的前提。随着深度学习技术的发展，深度卷积神经网络（DCNN）在医学图像的自动语义分割方面表现出了强大的性能。然而，基于DCNN的语义分割算法仍然面临着编码器和解码器之间的特征丢失、多尺度对象、滤波器视野受限以及医学图像数据缺乏等挑战。本文提出了一种新的算法自动分割椎骨通过三维体积脊柱CT图像。该模型基于编码器到解码器的结构，使用层归一化来优化小批量训练性能。为了解决编码器和解码器之间的信息丢失问题，我们设计了一个Atrous残差路径来将更多的特征从编码器传递到解码器，而不是简单的快捷连接。该模型还在解码器部分应用了注意力模块，从不同尺度中提取特征。所提出的模型进行评估的公开可用的数据集通过各种指标。实验结果表明，我们的模型实现了竞争力的性能相比，其他国家的最先进的医学语义分割方法。
2021-04-08 cs.CV cs.LG eess.IV
Attention guided global enhancement and local refinement network for semantic segmentation
University of Science and Technology Beijing（北京科技大学）；University of Central Florida（中佛罗里达大学）；Scoop Medical（Scoop医疗）
编码器-解码器架构被广泛用作轻量级语义分割网络。然而，与设计良好的Dilated-FCN模型相比，它的性能有限，主要有两个问题。首先，解码器中常用的上采样方法，例如插值和去卷积，受到局部感受野的影响，无法对全局上下文进行编码。第二，低层特征可能会由于早期编码层中语义概念的不足而通过跳过连接给网络解码器带来噪声。为了解决这些挑战，提出了一种全局增强方法，从高级特征图中聚合全局信息，并将其自适应地分配到不同的解码器层，从而缓解了上采样过程中全局上下文的不足。此外，在解码器特征和编码器特征融合之前，利用解码器特征作为语义指导，开发了一个局部细化模块，对噪声编码器特征进行细化。然后，将这两种方法集成到一个上下文融合模块中，并在此基础上设计了一种新的注意力引导的全局增强和局部细化网络（AGLN）。在PASCAL Context、ADE 20 K和PASCAL VOC 2012数据集上的实验证明了该方法的有效性。特别是，使用vanilla ResNet-101主干，AGLN在PASCAL Context数据集上实现了最先进的结果（平均IoU为56.23%）。该代码可在https://github.com/zhasen1996/AGLN上获得。
2022-04-09 cs.CV
AQ3D: Adaptive Query Transformer for 3D Instance Segmentation
Hamburg University of Technology（汉堡工业大学）
本文提出AQ3D，通过自适应查询和改进的位置编码、解码器模块，在无额外数据增强的情况下，于多个ScanNet数据集的3D实例分割任务中取得新的SOTA性能。
2026-09-01 cs.CV
Decoding with Structured Awareness: Integrating Directional, Frequency-Spatial, and Structural Attention for Medical Image Segmentation
本文提出基于结构意识的解码框架，整合方向、频率-空间和结构注意力，提升医学图像分割的精度和泛化能力。
2025-12-05 cs.CV
Spark in the Dark: Evaluating Encoder-Decoder Pairs for COVID-19 CT's Semantic Segmentation
Federal University of Paraná (UFPR)（巴拉那联邦大学）
随着COVID-19全球大流行，医学图像的计算机辅助诊断受到了广泛关注，并且计算机断层扫描（CT）的语义分割（Semantic Segmentation）的鲁棒方法变得非常可取。CT的语义分割是Covid-19自动检测的众多研究领域之一，自Covid-19爆发以来得到了广泛的探索。在机器人领域，器官和CT的语义分割广泛用于为手术任务开发的机器人。随着新方法和新数据集的快速提出，很明显有必要对这些方法进行广泛的评估。为了在多个最近提出的数据集上提供不同架构的标准化比较，我们在本文中提出了一个广泛的多编码器和解码器基准，在五个数据集中评估了总共120个架构，每个数据集都通过五重交叉验证策略进行验证，总共3.000个实验。据我们所知，这是在Covid-19 CT分割领域提出的编码器、解码器和数据集数量最多的评估。
2021-09-30 cs.CV eess.IV
MIST: Medical Image Segmentation Transformer with Convolutional Attention Mixing (CAM) Decoder
Purdue University（普渡大学）
本文提出MIST模型，通过结合MaxViT编码器和卷积注意力混合解码器，增强局部与长程特征建模，在ACDC和Synapse数据集上取得领先的医学图像分割性能。
2023-10-30 cs.CV cs.LG
PR-MaGIC: Prompt Refinement Via Mask Decoder Gradient Flow For In-Context Segmentation
Pohang University of Science and Technology（浦项科学技术大学）
PR-MaGIC通过掩码解码器梯度流精炼提示，提升上下文分割性能，无需额外训练，有效缓解提示不足问题。
2026-10-14 cs.AI cs.CV
Dual Convolutional LSTM Network for Referring Image Segmentation
University of Manitoba（曼尼托巴大学）；Shanghai University（上海大学）
我们考虑参考图像分割。它是计算机视觉和自然语言理解交叉的问题。给定输入图像和自然语言句子形式的指称表达，目标是分割语言查询所指称的图像中的感兴趣对象。为此，我们提出了一个双卷积LSTM（ConvLSTM）网络来解决这个问题。我们的模型由一个编码器网络和一个解码器网络组成，其中ConvLSTM用于编码器和解码器网络来捕获空间和序列信息。编码器网络为表达句子中的每个单词提取视觉和语言特征，并采用注意力机制来关注多模态交互中信息量更大的单词。解码器网络将编码器网络在多个级别上生成的特征作为其输入进行集成，并产生最终的精确分割掩码。在四个具有挑战性的数据集上的实验结果表明，与其他最先进的方法相比，所提出的网络具有更好的分割性能。
2020-01-30 cs.CV
Design of Real-time Semantic Segmentation Decoder for Automated Driving
Valeo India（法雷奥印度公司）；Valeo Ireland（法雷奥爱尔兰公司）
即使计算能力快速增长，语义分割仍然是嵌入式部署的计算密集型算法。因此，高效的网络设计是一个至关重要的方面，特别是对于自动驾驶等需要实时的【形】性能的应用。最近，有很多关于设计高效编码器的研究，这些编码器大多与任务无关。与图像分类和限界框目标检测任务不同，解码器对于语义分割任务也是计算昂贵的。在这项工作中，我们专注于高效的分割解码器的设计，并假设一个高效的编码器已经被设计为多任务学习系统提供共享功能。我们设计了一个新的高效的非瓶颈层和一个家庭的解码器，适合一个小的运行时预算使用VGG10作为高效的编码器。我们在我们的数据集中证明，各种设计选择的实验导致从基线性能提高了10%。
2019-01-19 cs.CV cs.LG stat.ML
BARIS: Boundary-Aware Refinement with Environmental Degradation Priors for Robust Underwater Instance Segmentation
Graduate Institute of Communication Engineering, National Taiwan University（台湾大学通信工程研究所）；Department of Electrical Engineering, National Taiwan University（台湾大学电子工程系）
针对水下视觉退化导致实例分割性能下降的问题，提出BARIS-ERA框架，通过边界感知细化解码器与ERA适配器高效建模退化模式，大幅减少可训练参数，并在多个骨干网络上实现SOTA性能。
2025-04-28 cs.CV
SHED Light on Segmentation for Dense Prediction
University of Michigan（密歇根大学）
SHED通过整合分割到密集预测中，提出了一种新的编码器-解码器架构，以提升深度边界锐度、分割连贯性和3D重建质量。
2026-01-30 cs.CV
Bridging spatial awareness and global context in medical image segmentation
Concordia Institute for Information Systems Engineering（康科德信息系统工程研究所）；Concordia University（康科德大学）
本文提出U-CycleMLP模型，通过改进的编码器-解码器架构，有效融合局部和全局上下文信息，提升医学图像分割的精度与鲁棒性。
2025-12-06 cs.CV
Feature Fusion Encoder Decoder Network For Automatic Liver Lesion Segmentation
University of Science and Technology of China（中国科学技术大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
肝脏病变分割是医学图像分析中的一个难点。最近，基于深度学习的图像分割方法已经取得了很好的性能，根据模型的维度，可以分为三类：2D，2.5D和3D。然而，2.5D和3D方法可能具有非常高的复杂度，并且2D方法可能无法令人满意地执行。为了获得具有竞争力的性能，低复杂度，在本文中，我们提出了一种基于二维分割模型的融合编码器-解码器网络（FED-Net），以解决具有挑战性的问题，肝脏病变CT图像分割。我们的特征融合方法是基于注意力机制，它融合了高层次的功能，携带语义信息与低层次的功能，具有图像的细节。此外，为了补偿上采样过程中的信息损失，提出了密集上采样卷积和残差卷积结构。我们在MICCAI 2017肝脏肿瘤分割（LiTS）挑战赛的数据集上测试了我们的方法，并与其他最先进的方法相比取得了有竞争力的结果。
2019-03-28 cs.CV cs.LG
SCASeg: Strip Cross-Attention for Efficient Semantic Segmentation
Faculty of Engineering and Information Technology, University of Technology Sydney（工程与信息科技学院，技术悉尼大学）；State Key Laboratory of Integrated Services Networks, Xidian University（集成服务网络国家重点实验室，西安电子科技大学）；Department of Computer Science, The University of Manchester（计算机科学系，曼彻斯特大学）；PCA Lab, Key Laboratory of Intelligent Perception and Systems for High-Dimensional Information of Ministry of Education, School of Computer Science and Engineering, Nanjing University of Science and Technology（智能感知与高维信息系统重点实验室，南京理工大学计算机科学与工程学院）；Research Center for Industries of the Future and the School of Engineering, Westlake University（未来产业研究中心和工程学院，西湖大学）；OPPO Research, Seattle, WA 98101 USA（OPPO研究，美国华盛顿州西雅图98101）
本文提出SCASeg，一种专为语义分割设计的解码器，通过带状交叉注意力机制提升效率，优于现有分割模型。
2026-04-23 cs.CV
