Rethinking Decoder Design: Improving Biomarker Segmentation Using Depth-to-Space Restoration and Residual Linear Attention
School of Computing, KAIST, Republic of Korea（韩国科学技术院计算机学院）
提出一种结合多尺度上下文捕获与新型解码器（深度到空间恢复和残差线性注意力）的医学图像分割架构，在四个数据集上超越现有SOTA方法，绝对性能提升2.76%-4.03%。
2025-06-23 cs.CV eess.IV
Faster Diffusion: Rethinking the Role of the Encoder for Diffusion Model Inference
Nankai University（南开大学）；Computer Vision Center（计算机视觉中心）；Universitat Autònoma de Barcelona（巴塞罗那自治大学）；Mohamed bin Zayed University of AI（穆罕默德·本·扎耶德人工智能大学）；Linkoping University（林雪平大学）
本文通过分析UNet编码器特征在推理过程中的变化，提出在相邻时间步省略编码器计算并复用特征，使解码器并行计算，结合先验噪声注入方法，在不使用蒸馏技术下显著加速扩散模型采样并保持高质量生成。
2024-10-15 cs.CV
ISIC 2017 Skin Lesion Segmentation Using Deep Encoder-Decoder Network
Gachon University（嘉泉大学）
本文总结了我们的方法和ISBI挑战2018第1部分的验证结果。我们的算法利用深度编码器-解码器网络和新颖的皮肤病变数据增强来分割挑战目标。此外，我们还提出了一种有效的测试策略，通过应用多模型比较。
2018-07-24 cs.CV
Rethinking Patch Dependence for Masked Autoencoders
UC Berkeley（加州大学伯克利分校）；UCSF（加州大学旧金山分校）
本文通过分解MAE解码机制发现其重建依赖编码器全局表示而非解码器内图像块交互，据此提出仅用交叉注意力的CrossMAE框架，在ViT-S到ViT-H上以更低计算成本取得与传统MAE相当或更优的性能。
2025-04-10 cs.CV
Rethinking the Mixture of Vision Encoders Paradigm for Enhanced Visual Understanding in Multimodal LLMs
University of Waterloo（滑铁卢大学）
LEO通过轻量级融合设计提升多模态大语言模型的视觉理解能力，并在自动驾驶领域展现良好泛化性能。
2026-03-06 cs.CL cs.CV
MsEdF: A Multi-stream Encoder-decoder Framework for Remote Sensing Image Captioning
本文提出MsEdF框架，通过优化编码器-解码器的空域表示和语言生成，提升遥感图像描述的准确性，实验表明其在三个基准数据集上优于现有方法。
2025-10-28 cs.CV cs.HC cs.LG
DEED: Dynamic Early Exit on Decoder for Accelerating Encoder-Decoder Transformer Models
AWS AI Labs（AWS AI实验室）；University of California San Diego（加州大学圣迭戈分校）
提出DEED方法，在编码器-解码器Transformer解码器中实现动态早退，通过多出口和深度监督训练，按步置信度减少解码层数，降低30%-60%推理延迟，保持或提升准确性。
2023-11-15 cs.CL cs.CV cs.LG
Review Networks for Caption Generation
Carnegie Mellon University（卡内基梅隆大学）
我们提出了一种新的扩展的编码器-解码器框架，称为审查网络。审查网络是通用的，可以增强任何现有的编码器-解码器模型：在本文中，我们考虑RNN解码器与CNN和RNN编码器。回顾网络利用注意力机制对编码器隐藏状态执行多个回顾步骤，并且在每个回顾步骤之后输出思想向量;思想向量用作解码器中的注意力机制的输入。我们表明，传统的编码器-解码器是我们的框架的一个特殊情况。从经验上讲，我们表明，我们的框架提高了国家的最先进的编码器-解码器系统上的任务，图像描述和源代码字幕。
2016-10-27 cs.CL cs.CV cs.LG
Atrous Residual Interconnected Encoder to Attention Decoder Framework for Vertebrae Segmentation via 3D Volumetric CT Images
The Hong Kong Polytechnic University（香港理工大学）；University of Oxford（牛津大学）
基于计算机断层扫描（CT）的医学图像自动分割是计算机辅助手术得到广泛应用的前提。随着深度学习技术的发展，深度卷积神经网络（DCNN）在医学图像的自动语义分割方面表现出了强大的性能。然而，基于DCNN的语义分割算法仍然面临着编码器和解码器之间的特征丢失、多尺度对象、滤波器视野受限以及医学图像数据缺乏等挑战。本文提出了一种新的算法自动分割椎骨通过三维体积脊柱CT图像。该模型基于编码器到解码器的结构，使用层归一化来优化小批量训练性能。为了解决编码器和解码器之间的信息丢失问题，我们设计了一个Atrous残差路径来将更多的特征从编码器传递到解码器，而不是简单的快捷连接。该模型还在解码器部分应用了注意力模块，从不同尺度中提取特征。所提出的模型进行评估的公开可用的数据集通过各种指标。实验结果表明，我们的模型实现了竞争力的性能相比，其他国家的最先进的医学语义分割方法。
2021-04-08 cs.CV cs.LG eess.IV
Double Encoder-Decoder Networks for Gastrointestinal Polyp Segmentation
Bournemouth University（伯恩茅斯大学）；Australian Institute for Machine Learning, University of Adelaide（阿德莱德大学澳大利亚机器学习研究所）；BCN Medtech（巴塞罗那医疗科技公司）；Universitat Pompeu Fabra（庞培法布拉大学）；ICREA（加泰罗尼亚高等研究院）
息肉是结直肠癌发展的早期迹象。检测它们的标准程序包括胃肠道的结肠镜检查。然而，广泛的息肉形状和视觉外观，以及这种图像模态的质量降低，使其自动识别和分割与计算工具成为一个具有挑战性的计算机视觉任务。在这项工作中，我们提出了一种新的策略，从内窥镜图像的基础上，直接扩展常见的编码器-解码器网络的语义分割的胃肠道息肉划定。在我们的方法中，两个预先训练的编码器-解码器网络依次堆叠：第二个网络将原始帧和第一个网络生成的初始预测的级联作为输入，这作为一种注意力机制，使第二个网络能够专注于图像中的感兴趣区域，从而提高其预测的质量。对几个息肉分割数据库进行的定量评估表明，在所有情况下，双编码器-解码器网络的性能明显优于单编码器-解码器网络。此外，我们最好的双编码器-解码器组合在所有考虑的数据集中获得了出色的分割精度，并达到了最先进的性能结果，从未用于训练的数据集中提取的图像的精度显著提高。
2021-10-05 cs.CV cs.LG eess.IV
RED-NET: A Recursive Encoder-Decoder Network for Edge Detection
University of Missouri（密苏里大学）
在本文中，我们介绍了RED-NET：一个递归的编码器-解码器网络与跳过连接的边缘检测在自然图像。建议的网络是一个新的集成的递归神经网络的编码器-解码器架构。递归网络使我们能够在不增加参数数量的情况下增加网络深度。在编码器和解码器之间添加跳过连接有助于梯度更容易地到达网络的所有层，并允许在编码器的早期阶段与更精细的细节相关的信息在解码器中得到充分利用。基于我们对流行的边界检测数据集（包括BSDS 500 \cite{Arbelaez2011}、NYUD \cite{Silberman2012}和Pascal Context \cite{Mottaghi2014}）进行的广泛实验，RED-NET在标准评估指标（如最佳数据集尺度（ODS）F-measure、最佳图像尺度（OIS）F-measure和平均精度（AP））方面显著提升了边缘检测的最新技术水平。
2019-12-05 cs.CV
Rethinking Video ViTs: Sparse Video Tubes for Joint Image and Video Learning
我们提出了一种简单的方法，可以把一个ViT编码器变成一个有效的视频模型，它可以无缝地与图像和视频输入。通过对输入进行稀疏采样，模型能够从两个输入进行训练和推理。该模型易于扩展，可以适应大规模的预训练ViT，而无需完全微调。该模型实现了SOTA结果，代码将开源。
2022-12-06 cs.CV
Iterative Deep Convolutional Encoder-Decoder Network for Medical Image Segmentation
在本文中，我们提出了一种新的医学图像分割使用迭代深度学习框架。我们结合了迭代学习方法和编码器-解码器网络来改善分割结果，这使得能够以迭代方式精确定位包括医学图像的复杂形状或详细纹理的感兴趣区域（ROI）。所提出的迭代深度卷积编码器-解码器网络由两个主要路径组成：卷积编码器路径和具有迭代学习的卷积解码器路径。实验结果表明，所提出的迭代深度学习框架能够为各种医学图像产生优异的医学图像分割性能。通过与现有医学图像分割方法的比较，证明了该方法的有效性。
2017-08-11 cs.CV
Rethinking IRSTD: Single-Point Supervision Guided Encoder-only Framework is Enough for Infrared Small Target Detection
National University of Defense Technology（国防科技大学）
本文提出SPIRE方法，将IRSTD重新定义为质心回归任务，通过单点监督引导的红外概率响应编码，实现高效小目标检测，降低误报率并减少计算成本。
2026-08-04 cs.CV
Rethinking Semantic Segmentation from a Sequence-to-Sequence Perspective with Transformers
Fudan University（复旦大学）；University of Oxford（牛津大学）；University of Surrey（萨里大学）；Tencent Youtu Lab（腾讯优图实验室）；Facebook AI（脸书人工智能）
大多数最近的语义分割方法采用具有编码器-解码器架构的全卷积网络（FCN）。编码器逐渐降低空间分辨率，并学习更抽象/语义的视觉概念与更大的感受野。由于上下文建模对于分割至关重要，因此最新的努力集中在通过扩张/atrous卷积或插入注意力模块来增加感受野。然而，基于编码器-解码器的FCN架构保持不变。在本文中，我们的目标是提供一个替代的角度，通过治疗语义分割作为一个序列到序列的预测任务。具体来说，我们部署了一个纯Transformer（即没有卷积和分辨率降低）来将图像编码为一系列补丁。通过在Transformer的每一层中建模的全局上下文，该编码器可以与简单的解码器组合以提供强大的分割模型，称为SEGMENTATION TRANSFORMER（SETR）。大量的实验表明，SETR在ADE 20 K（50.28% mIoU），Pascal Context（55.83% mIoU）和Cityscapes上达到了最新的技术水平。特别是，我们在提交当天就在竞争激烈的ADE 20 K测试服务器排行榜上获得了第一名。
2021-07-25 cs.CV
Understanding Geometry of Encoder-Decoder CNNs
KAIST（韩国科学技术院）
使用卷积神经网络（CNN）架构的编码器-解码器网络由于其对各种逆问题的优异性能而被广泛用于深度学习文献中。然而，它仍然很难获得连贯的几何视图，为什么这样的架构给出了所需的性能。受最近对神经网络的泛化性，表达性和优化前景的理论理解以及卷积小框架理论的启发，我们在这里提供了一个统一的理论框架，可以更好地理解编码器-解码器CNN的几何结构。我们的统一数学框架表明，编码器-解码器CNN架构与使用组合卷积帧的非线性基表示密切相关，其可表达性随网络深度呈指数级增长。我们还展示了跳过连接在可表达性和优化景观方面的重要性。
2019-05-07 cs.AI cs.CV cs.LG
Polyp and Surgical Instrument Segmentation with Double Encoder-Decoder Networks
Pompeu Fabra University（庞培法布拉大学）；BCN MedTech
本文提出一种增强型双编码器-解码器网络，通过改进编码器架构、优化流程和温度调节模型集成后处理，在内窥镜图像中同时分割息肉和手术器械，取得与专家标注高度一致的结果。
2024-06-06 cs.CV cs.LG eess.IV
SEED: Semantics Enhanced Encoder-Decoder Framework for Scene Text Recognition
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）
场景文本识别是计算机视觉的一个研究热点。近年来，许多基于编码器-解码器框架的识别方法已经被提出，并且它们可以处理具有透视变形和曲线形状的场景文本。尽管如此，它们仍然面临着许多挑战，如图像模糊，光照不均匀和不完整的字符。我们认为，大多数编码器-解码器的方法是基于本地的视觉特征，没有明确的全局语义信息。在这项工作中，我们提出了一个语义增强的编码器-解码器框架，以鲁棒地识别低质量的场景文本。语义信息在编码器模块中用于监督，在解码器模块中用于初始化。特别是，国家的最先进的ASTER方法集成到建议的框架作为范例。大量实验表明，该框架对低质量文本图像具有更强的鲁棒性，并在多个基准数据集上取得了最佳效果。
2020-05-22 cs.CV
RedNet: Residual Encoder-Decoder Network for indoor RGB-D Semantic Segmentation
South China University of Technology（华南理工大学）
室内语义分割一直是计算机视觉中的难点。在本文中，我们提出了一个RGB-D残差编解码器架构，命名为红网，室内RGB-D语义分割。在RedNet中，残差模块作为基本构建块应用于编码器和解码器，并且跳过连接用于绕过编码器和解码器之间的空间特征。为了融合场景的深度信息，构造了一种融合结构，分别对RGB图像和深度图像进行推理，并在多个层次上融合它们的特征。为了有效地优化网络的参数，我们提出了一个“金字塔监督”的训练方案，它适用于监督学习在解码器的不同层，以应付梯度消失的问题。实验结果表明，所提出的RedNet（ResNet-50）在SUN RGB-D基准数据集上实现了47.8%的最先进的mIoU准确率。
2018-08-06 cs.CV
Beyond the Encoder: Joint Encoder-Decoder Contrastive Pre-Training Improves Dense Prediction
McGill University（麦吉尔大学）；University of Calgary（卡尔加里大学）
DeCon通过联合编码器-解码器对比预训练提升密集预测性能，实现多个任务的先进表现。
2026-02-19 cs.CV
Beyond One-to-One: Rethinking the Referring Image Segmentation
The University of Hong Kong（香港大学）；Shanghai AI Laboratory（上海人工智能实验室）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；The University of Sheffield（谢菲尔德大学）
针对传统指代图像分割方法“单句仅对应单个目标”的假设缺陷，提出双向多模态交互DMMI网络并构建真实场景数据集Ref-ZOM，实现多场景下的分割性能提升。
2023-08-26 cs.CV
Rethinking MLLM Itself as a Segmenter with a Single Segmentation Token
Beijing Institute of Technology（北京理工大学）；University of Birmingham（伯明翰大学）；Beijing Jiaotong University（北京交通大学）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）
本文提出SELF1E方法，通过保留原始图像分辨率并利用残差特征提升分割精度，无需外部解码器即可实现与专业解码器相当的分割性能。
2026-03-19 cs.CV
Optimized Deep Encoder-Decoder Methods for Crack Segmentation
Glasgow Caledonian University（格拉斯哥卡里多尼亚大学）
由于裂纹的背景、形状、颜色和大小等都不相同，因此表面裂纹的分割是一项具有挑战性的计算机视觉任务。在这项工作中，我们提出了优化的深度编码器-解码器方法，包括一系列技术，这些技术可以提高裂缝分割性能。具体来说，我们提出了一个基于编码器-解码器的深度学习架构的解码器部分，用于语义分割，并研究其组件以提高性能。我们还研究了不同编码器策略的使用，并引入了一个数据增强策略来增加可用的训练数据量。我们的方法的性能评估进行了四个公开可用的裂纹分割数据集。此外，我们将两种技术引入表面裂纹分割领域，以前没有使用过：使用测试时间增强生成结果，并在多个训练运行中执行统计结果分析。前一种方法通常会产生更高的性能结果，而后者允许方法结果的可重复性和可代表性更好。使用上述策略与我们提出的编码器-解码器架构，我们能够在所有数据集中实现新的最先进的结果。
2021-08-26 cs.CV
Representation and Correlation Enhanced Encoder-Decoder Framework for Scene Text Recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
基于注意力的编码器-解码器框架广泛应用于场景文本识别任务中。然而，对于当前最先进的（SOTA）方法，在输入文本图像的局部视觉和全局上下文信息的有效使用以及场景处理模块（编码器）和文本处理模块（解码器）之间的鲁棒相关性方面存在改进的空间。在本文中，我们提出了一个表示和相关增强的编码器-解码器框架（RCEED），以解决这些不足，打破性能瓶颈。在编码器模块中，局部视觉特征、全局上下文特征和位置信息被对齐并融合以生成小尺寸的综合特征图。在解码模块中，采用了两种方法来增强场景和文本特征空间之间的相关性。1)解码器初始化由从编码器导出的整体特征和全局瞥见向量引导。2)由多头一般注意力产生的特征丰富的一瞥向量用于辅助RNN迭代和每个时间步的字符预测。同时，我们还设计了一个Layermorm-Dropout LSTM单元，以提高模型对可变文本的泛化能力。大量的基准测试实验表明，RCEED在场景文本识别任务，特别是不规则的文本识别任务中具有优越的性能。
2021-11-14 cs.CV
LearnPruner: Rethinking Attention-based Token Pruning in Vision Language Models
Li Auto Inc.（利自动公司）
本文提出LearnPruner，通过两阶段令牌修剪框架在视觉语言模型中实现高效修剪，保留95%性能的同时减少5.5%视觉令牌使用，提升3.2倍推理速度。
2026-10-09 cs.CV
Scheduled Sampling in Vision-Language Pretraining with Decoupled Encoder-Decoder Network
JD AI Research（京东人工智能研究院）；Sun Yat-sen University（中山大学）
尽管使用基于BERT的编码器进行视觉语言（VL）预训练以用于VL理解，但用于VL理解和生成的通用编码器-解码器的预训练仍然具有挑战性。困难源于这两个学科固有的不同特点，例如，VL理解任务利用跨模态的不受限制的消息传递，而生成任务仅采用视觉到文本的消息传递。在本文中，我们开始与两个流解耦设计的编码器-解码器结构，其中两个解耦的跨模态编码器和解码器涉及到单独执行每种类型的代理任务，同时VL理解和生成预训练。此外，对于VL预训练，主要方式是用掩码令牌替换一些输入视觉/单词令牌，并强制多模态编码器/解码器重建原始令牌，但在下游任务上进行微调时不涉及掩码令牌。作为替代方案，我们提出了一个主要的预定采样策略，优雅地减轻这种差异，通过预训练编码器-解码器在一个两遍的方式。大量的实验证明了我们的预训练编码器-解码器通过对四个VL理解和生成下游任务进行微调而具有令人信服的普遍性。源代码可从\url{https://github.com/YehLi/TDEN}获得。
2021-01-27 cs.CL cs.CV
Cascade Decoder: A Universal Decoding Method for Biomedical Image Segmentation
University of Notre Dame（圣母大学）；Allen Institute for Cell Science（艾伦细胞科学研究所）
编码器-解码器架构是用于生物医学图像分割的主流深度学习模型。编码器完全压缩输入并生成编码特征，然后解码器使用编码特征生成密集预测。然而，解码器在这样的架构中仍然未被充分开发。在本文中，我们全面研究了最先进的编码器-解码器架构，并提出了一种新的通用解码器，称为级联解码器，以提高语义分割的准确性。我们的级联解码器可以嵌入到现有的网络中，并以端到端的方式进行训练。级联解码器结构旨在对分层编码的特征进行更有效的解码，并且与已知的解码器相比与普通编码器更兼容。我们用级联解码器替换了最先进模型的解码器，用于几个具有挑战性的生物医学图像分割任务，所取得的显著改进证明了我们新解码方法的有效性。
2019-01-15 cs.CV
Image denoising and restoration with CNN-LSTM Encoder Decoder with Direct Attention
图像去噪一直是计算机视觉和图像处理领域的一个具有挑战性的课题。在本文中，我们提出了一个编码器-解码器模型与直接注意，这是能够去噪和重建高度损坏的图像。我们的模型由一个编码器和一个解码器组成，其中编码器是一个卷积神经网络，解码器是一个多层长短期记忆网络。在所提出的模型中，编码器读取图像并捕获该图像的抽象向量，解码器将该向量以及损坏的图像重建为干净的图像。我们已经在MNIST手写数字数据库上训练了我们的模型，在此之前，我们将每个图像的下半部分都设置为黑色，并在顶部添加了噪声。在大规模破坏图像之后，人类很难理解这些图像的内容，我们的模型可以以最小的错误检索该图像。我们提出的模型已经与卷积编码器-解码器进行了比较，其中我们的模型在生成图像的缺失部分方面比卷积自动编码器表现得更好。
2018-01-16 cs.CV stat.ML
Dual Encoder-Decoder based Generative Adversarial Networks for Disentangled Facial Representation Learning
Jiangnan University（江南大学）；University of Surrey（萨里大学）
为了学习面部图像的解纠缠表示，我们提出了一种基于双编码器-解码器的生成对抗网络（DED-GAN）。在所提出的方法中，生成器和解码器都是以深度编码器-解码器架构作为其骨干来设计的。更具体地说，编码器-解码器结构化生成器用于学习姿态解纠缠的人脸表示，并且编码器-解码器结构化生成器的任务是执行真/假分类、人脸重建、确定身份和估计人脸姿态。我们进一步改进了所提出的网络架构，通过最小化由Wasserstein距离定义的额外像素损失，以便对抗框架可以更好地训练。此外，我们认为人脸姿态变化是连续的，而不是离散的现有文献中，注入更丰富的姿态信息到我们的模型。姿态估计任务被公式化为回归问题，这有助于从姿态变化中解开身份信息。建议的网络进行评估的任务的姿态不变的人脸识别（PIFR）和跨姿态的人脸合成。对几个受控和野外基准测试数据集进行的广泛的定量和定性评估表明，所提出的DED-GAN方法优于最先进的方法。
2019-09-19 cs.CV
Fast and accurate reconstruction of HARDI using a 1D encoder-decoder convolutional network
Huazhong University of Science and Technology（华中科技大学）
高角分辨率弥散成像（HARDI）与弥散张量成像相比，需要大量的数据测量，限制了其在实际中的应用。在这项工作中，我们探索了一种基于学习的方法，从q空间中的少量测量中重建HARDI。该方法的目的是直接学习测量和HARDI信号之间的映射关系，从收集其他主题的HARDI收购。具体地，映射被表示为在用于HARDI重建的压缩感测（CS）理论的指导下的1D编码器-解码器卷积神经网络。提出的网络架构主要由两部分组成：编码器网络产生稀疏系数和解码器网络产生重建结果。实验结果表明，该方法能够鲁棒地重建HARDI信号，重建结果准确，重建速度快。
2019-03-21 cs.CV
Full-Resolution Encoder-Decoder Networks with Multi-Scale Feature Fusion for Human Pose Estimation
University of Electronic Science and Technology of China（电子科技大学）
为了实现更准确的二维人体姿态估计，我们扩展了成功的编码器-解码器网络，简单基线网络（SBN），在三种方式。为了减少由大输出步幅大小引起的量化误差，在简单基线网络的末端添加了另外两个解码器模块，以获得完整的输出分辨率。然后，全局上下文块（GCB）被添加到编码器和解码器模块，以增强它们与全局上下文特征。此外，我们提出了一种新的基于空间注意力的多尺度特征收集和分配模块（SA-MFCD）融合和分配多尺度特征，以提高姿态估计。在MS COCO数据集上的实验结果表明，我们的网络可以显着提高SBN上人体姿态估计的准确性，我们使用ResNet 34作为骨干网络的网络甚至可以达到与使用ResNet 152的SBN相同的准确性，并且我们的网络可以在大型骨干网络上取得更好的结果。
2021-06-01 cs.CV
Spatial-Assistant Encoder-Decoder Network for Real Time Semantic Segmentation
本文提出SANet，通过融合编码器-解码器与双路径架构，并引入APPPM和SAD注意力模块，在Cityscapes和CamVid数据集上同时实现了高精度与实时推理速度。
2023-09-19 cs.CV
MaskOCR: Text Recognition with Masked Encoder-Decoder Pretraining
Baidu Inc.（百度公司）
针对文本识别预训练未统一视觉与语言学习的问题，提出MaskOCR方法，通过掩码图像建模预训练编码器、掩码图像-语言建模预训练解码器，在中英文基准数据集上取得优异性能。
2023-10-10 cs.CV
DiT-JSCC: Rethinking Deep JSCC with Diffusion Transformers and Semantic Representations
Beijing University of Posts and Telecommunications（北京邮电大学）；Shanghai Jiao Tong University（上海交通大学）；University of Shanghai for Science and Technology（上海科技大学）
提出DiT-JSCC框架，联合学习语义优先表示编码器和扩散变换器生成解码器，通过粗细粒度条件解码和基于Kolmogorov复杂度的自适应带宽分配，在极端信道条件下提升语义一致性与传输效率。
2026-06-19 cs.CV eess.IV
Transfer Learning for Segmentation Problems: Choose the Right Encoder and Skip the Decoder
Technische Universität Berlin（柏林工业大学）；Bayer AG（拜耳股份公司）；Bernstein Center for Computational Neuroscience Berlin（柏林伯恩斯坦计算神经科学中心）
通常的做法是重用最初在不同数据上训练的模型，以提高下游任务的性能。特别是在计算机视觉领域，ImageNet预训练权重已成功用于各种任务。在这项工作中，我们研究了迁移学习对分割问题的影响，这些问题是可以用编码器-解码器架构解决的像素分类问题。我们发现解码器的迁移学习对下游分割任务没有帮助，而编码器的迁移学习是真正有益的。我们证明，解码器的预训练权重可能会产生更快的收敛速度，但它们不会提高整体模型性能，因为使用随机初始化的解码器可以获得等效的结果。然而，我们表明，重用在分割或重建任务上训练的编码器权重比重用在分类任务上训练的编码器权重更有效。这一发现表明，使用ImageNet预训练的编码器进行下游分割问题是次优的。我们还提出了一种具有多个自重建任务的对比自监督方法，该方法提供了适合在没有分割标签的情况下在分割问题中进行迁移学习的编码器。
2022-07-29 cs.AI cs.CV
Beyond Stationarity: Rethinking Codebook Collapse in Vector Quantization
Wake Forest University School of Medicine（威斯康星大学福林斯医学院）
本文提出NSVQ和TransVQ方法，通过非平稳性机制解决向量量化中的代码书坍缩问题，提升生成模型的代码书利用率和重建质量。
2026-02-21 cs.CV
Learning to Refine Object Contours with a Top-Down Fully Convolutional Encoder-Decoder Network
Wuhan University（武汉大学）
我们开发了一种新的深度轮廓检测算法，具有自顶向下的全卷积编码器-解码器网络。我们提出的方法，名为TD-CEDN，解决了这个低级视觉问题中的两个重要问题：（1）学习多尺度和多级特征;（2）在网络中应用有效的自上而下的细化方法。TD-CEDN通过利用网络所有层的特征来执行逐像素预测。与跳过连接和以前的编码器-解码器方法不同，我们首先在前馈过程中的编码器阶段之后学习粗略的特征图，然后在解码器阶段利用连续较低层的特征以自上而下的策略细化该特征图。因此，反卷积过程是逐步进行的，这是由提供综合直接监督的深度监督网络指导的。上述提出的技术导致更精确和更清晰的预测。我们提出的算法在BSDS 500数据集（ODS F-score为0.788），PASCAL VOC 2012数据集（ODS F-score为0.588）和NYU Depth数据集（ODS F-score为0.735）上达到了最先进的水平。
2017-05-12 cs.CV
EDIT: Enhancing Vision Transformers by Mitigating Attention Sink through an Encoder-Decoder Architecture
School of Computer Science and Technology, Henan Polytechnic University（河南理工大学计算机科学与技术学院）
提出EDIT架构，通过层对齐编码器-解码器缓解注意力汇聚，在ImageNet及迁移任务上优于DeiT3。
2025-10-16 cs.AI cs.CV
T-DEED: Temporal-Discriminability Enhancer Encoder-Decoder for Precise Event Spotting in Sports Videos
Universitat de Barcelona（巴塞罗那大学）；Computer Vision Center（计算机视觉中心）；Aalborg University（奥尔堡大学）
针对体育视频事件定位中帧判别性、时序分辨率与多尺度建模难题，提出T-DEED时序判别性增强编解码器，在两个数据集上达SOTA水平。
2024-04-11 cs.CV
Group DETR v2: Strong Object Detector with Encoder-Decoder Pretraining
Baidu VIS（百度视觉技术部）；Australian National University（澳大利亚国立大学）；Beihang University（北京航空航天大学）；Peking University（北京大学）
我们提出了一个强大的对象检测器与编码器-解码器预训练和微调。我们的方法，称为组DETR v2，是建立在视觉Transformer编码器ViT-Huge~ \cite{dosovitskiy2020image}，DETR变体DINO~ \cite{zhang2022dino}，和一个有效的DETR训练方法组DETR~ \cite{chen2022group}。训练过程包括在ImageNet-1 K上自我监督预训练和微调ViT-Huge编码器，在Object 365上预训练检测器，最后在COCO上微调。Group DETR v2在COCO test-dev上实现了$\textbf{64.5}$ mAP，并在COCO排行榜https://paperswithcode.com/sota/object-detection-on-coco上建立了新的SoTA
2022-11-07 cs.CV
Rethinking Attention Gated with Hybrid Dual Pyramid Transformer-CNN for Generalized Segmentation in Medical Imaging
Junia（朱尼亚学院）；Centrale Lille（里尔中央理工学院）；University of the Basque Country UPV/EHU（巴斯克大学 UPV/EHU）；Université Polytechnique Hauts-de-France（上法兰西理工大学）；Université de Lille（里尔大学）；Ho Chi Minh City Open University（胡志明市开放大学）
提出混合CNN-Transformer架构PAG-TransYnet，通过双金字塔编码器、PVT transformer与双注意力门控机制融合多尺度特征，在多类医学影像分割任务中达到SOTA并展现强泛化能力。
2024-04-28 cs.CV eess.IV
Unsupervised Multi-Domain Image Translation with Domain-Specific Encoders/Decoders
Nanjing University of Science and Technology（南京理工大学）
无监督图像到图像翻译在当今取得了非常先进的发展。然而，最近的方法主要集中在具有两个域的一个模型上，在$n$域在一般设置中自由地彼此转移的要求下，这可能面临$O(n^2)$训练时间和模型参数的大成本的沉重负担。为了解决这个问题，我们提出了一个新的和统一的框架命名为Domain-Bank，它包括一个全球共享的自动编码器和$n$域特定的编码器/解码器，假设一个通用的共享潜在空间可以被投影。因此，我们在模型参数中产生$O(n)$复杂性，同时大大减少了时间预算。除了高效率之外，我们还在各种具有挑战性的无监督图像翻译任务上显示了与最先进的图像翻译结果相当（甚至更好）的图像翻译结果，包括人脸图像翻译，时装翻译和绘画风格翻译。我们还将所提出的框架应用于领域自适应，并在数字基准数据集上实现了最先进的性能。此外，由于域特定解码器的显式表示以及通用共享潜在空间，它还使我们能够进行增量学习以添加新的域编码器/解码器。通过融合相应的解码器，得到不同域表示的线性组合。
2017-12-06 cs.CV
Temporal Deformable Convolutional Encoder-Decoder Networks for Video Captioning
Sun Yat-sen University（中山大学）；JD AI Research（京东人工智能研究院）
视频描述是计算机视觉和人工智能领域中的一项基本而又具有挑战性的任务。流行的方法是通过递归神经网络（RNN）以序列到序列的方式将输入视频映射到可变长度的输出句子。然而，RNN的训练仍然在一定程度上受到消失/爆炸梯度问题的影响，使得优化变得困难。此外，RNN中固有的递归依赖性阻止了训练期间序列内的并行化，因此限制了计算。在本文中，我们提出了一种新的设计-时间可变形卷积编码器-解码器网络（简称TDConvED），充分利用卷积的编码器和解码器网络的视频描述。从技术上讲，我们利用卷积块结构来计算固定数量输入的中间状态，并堆叠几个块来捕获长期关系。编码器中的结构还配备有时间可变形卷积，以实现时间采样的自由形式变形。我们的模型还利用时间注意力机制的句子生成。在MSVD和MSR-VTT视频描述数据集上进行了大量的实验，与传统的基于RNN的编码器-解码器技术相比，报告了更好的结果。更值得注意的是，TDConvED将MSVD的CIDEr-D性能从58.8%提高到67.2%。
2019-05-03 cs.CV
Rethinking Remote Sensing Change Detection With A Mask View
Zhejiang University（浙江大学）；University of Leicester（莱斯特大学）
针对传统逐像素遥感变化检测范式难以适配复杂场景变化的问题，本文从掩码视角提出元架构CDMask及定制化实例网络CDMaskFormer，在五个基准数据集上实现了效率与精度的最优权衡。
2024-06-21 cs.CV
LEDNet: A Lightweight Encoder-Decoder Network for Real-Time Semantic Segmentation
Temple University（天普大学）
大量的计算负担限制了CNN在移动设备中用于密集估计任务的使用。本文提出了一种轻量级网络LEDNet，该网络采用非对称的编解码器架构，实现实时的【形】语义分割，编码器采用ResNet作为骨干网络，在每个残差块中使用两种新的操作：通道分割和洗牌，在保持较高分割精度的同时大大降低了计算成本。另一方面，在解码器中采用注意力金字塔网络（APN），以进一步减轻整个网络的复杂度。我们的模型具有不到1M的参数，并且能够在单个GTX 1080Ti GPU中以超过71 FPS的速度运行。综合实验表明，我们的方法在CityScapes数据集上实现了速度和准确性权衡方面的最先进的结果。
2019-05-13 cs.CV
Beyond Single Stage Encoder-Decoder Networks: Deep Decoders for Semantic Image Segmentation
University of Freiburg（弗莱堡大学）；Valeo Inc.（法雷奥公司）
用于语义分割的单个编码器-解码器方法在每层的分割质量和效率方面达到了顶峰。为了解决这些局限性，我们提出了一种新的架构的基础上的解码器，它使用了一组浅网络捕捉更多的信息内容。新的解码器有一个新的拓扑结构的跳跃连接，即向后和堆叠的剩余连接。为了进一步改进架构，我们引入了一个权重函数，旨在重新平衡类，以增加网络对未充分代表对象的关注。我们进行了一系列广泛的实验，为CamVid，Gatech和Freiburg Forest数据集提供了最先进的结果。此外，为了进一步证明我们的解码器的有效性，我们进行了一组实验，研究我们的解码器对最先进的分割技术的影响。此外，我们提出了一组实验增强语义分割与光流信息，运动线索可以提高纯图像的语义分割的方法。
2020-07-19 cs.CV cs.RO
PMR-Net: Parallel Multi-Resolution Encoder-Decoder Network Framework for Medical Image Segmentation
Shaanxi University of Science and Technology（陕西科技大学）；School of Electronic Information and Artificial Intelligence, Shaanxi University of Science and Technology（陕西科技大学电子信息与人工智能学院）
提出并行多分辨率编码器-解码器网络PMR-Net，通过并行多尺度特征提取与融合及对称解码器补充全局上下文，解决医学图像分割中细节丢失和上采样导致全局信息损失的问题，在五个公开数据集上超越现有方法。
2024-09-19 cs.CV eess.IV
T-Net: Nested encoder-decoder architecture for the main vessel segmentation in coronary angiography
Korea Advanced Institute of Science and Technology（韩国科学技术院）；University of Ulsan College of Medicine（蔚山大学医学院）；Asan Medical Center（峨山医学中心）
在本文中，我们提出了T-网包含一个小的编码器-解码器内部的编码器-解码器结构（EDiED）。T-Net克服了U-Net在编码器和解码器块之间只能有一组级联层的限制。更准确地说，U-Net对称地形成级联层，因此编码器的低级特征连接到解码器的后面部分，而高级特征连接到解码器的开始部分。T-Net在编码过程中适当地安排池化和上采样，同样在解码过程中也是如此，以便在单个块中获得各种大小的特征图。因此，从编码器提取的从低级别到高级别的所有特征都从解码器的开始处传递，以预测更准确的掩码。我们评估了T-Net在冠状动脉造影图像中分割三个主要血管的问题。实验包括在相同条件下比较U-网和T-网，以及优化的T-网用于主血管分割。结果，T-Net的Dice相似系数得分（DSC）为0.815，比U-Net高0.095，优化后的T-Net的DSC为0.890，比U-Net高0.170。此外，我们可视化了T-Net和U-Net卷积层的权重激活，以表明T-Net实际上预测了早期解码器的掩码。因此，我们期望T-Net可以有效地应用于其他类似的医学图像分割问题。
2020-05-20 cs.CV eess.IV
Rethinking Contrastive Loss in CLIP Post-training: A Complementary Framework with Frozen Text Encoder
Huazhong University of Science and Technology（华中科技大学）；Li Auto Inc.（理想汽车）
本文提出ComCLIP框架，通过冻结CLIP文本编码器、采用合适温度的对比损失等优化，提升了CLIP视觉编码器的特征可迁移性，且作为即插即用组件适配LLaVA等下游VLM。
2026-10-12 cs.AI cs.CV
Prediction of the morphological evolution of a splashing drop using an encoder-decoder
Tokyo University of Agriculture and Technology（东京农工大学）
液滴撞击固体表面是一个重要的现象，具有各种含义和应用。然而，这种现象的多相性导致其形态演变的预测复杂化，特别是当液滴飞溅时。虽然大多数基于机器学习的跌落冲击研究都集中在物理参数上，但这项研究使用了计算机视觉策略，通过训练编码器-解码器来使用图像数据预测跌落形态。在这里，我们表明，这种训练的编码器-解码器能够成功地生成显示飞溅和非飞溅水滴形态的视频。值得注意的是，在这些生成的视频的每一帧中，发现液滴的扩散直径与实际视频的扩散直径非常一致。此外，在飞溅/非飞溅预测中也有很高的准确性。这些发现证明了训练的编码器-解码器生成可以准确表示液滴形态的视频的能力。这种方法为实验和数值研究提供了更快，更便宜的替代方案。
2023-03-24 cs.CV physics.flu-dyn
Bangla Image Caption Generation through CNN-Transformer based Encoder-Decoder Network
Pioneer Alpha；Mississippi State University（密西西比州立大学）
自动图像描述是一种无休止的努力，它用自然语言和上下文来创建图像的语法和验证文本描述的准确性。在现有的孟加拉语图像描述（BIC）研究中使用的编码器-解码器结构利用抽象图像特征向量作为编码器的输入。我们提出了一种新的基于transformer的架构，具有注意力机制和预训练的ResNet-101模型图像编码器，用于从图像中提取特征提取。实验表明，我们的技术中的语言解码器捕获标题中的细粒度信息，然后与图像特征配对，在BanglaLekhaImageCaptions数据集上生成准确且多样化的标题。我们的方法优于所有现有的孟加拉语图像描述工作，并通过在BLEU-1上得分0.694，在BLEU-2上得分0.630，在BLEU-3上得分0.582，在METEOR上得分0.337来设定新的基准。
2021-10-24 cs.AI cs.CV
Deep Encoder-Decoder Neural Network for Fingerprint Image Denoising and Inpainting
Chongqing Normal University（重庆师范大学）
指纹图像去噪是指纹识别中非常重要的一步。为了提高指纹图像的去噪效果，设计了一种基于深度编解码器网络的指纹去噪算法，编码器子网学习含噪图像的指纹特征，解码器子网根据特征重构原始指纹图像实现去噪，同时在网络中使用扩张卷积，在不增加复杂度的情况下增加受体场，改善网络推理速度此外，通过引入残差学习，实现了网络不同层次的特征融合，进一步还原了指纹的细节特征，提高了去噪效果。实验结果表明，该算法能较好地恢复指纹图像的边缘、直线和曲线特征，与其他方法相比，具有更好的视觉效果和更高的峰值信噪比（PSNR）。
2020-05-03 cs.CV eess.IV
Return of the Encoder: Maximizing Parameter Efficiency for SLMs
Microsoft（微软公司）
本文提出一种知识蒸馏框架，使10亿参数以下的编码器-解码器SLM在保留低延迟和高吞吐优势的同时，吸收大型纯解码器教师模型的能力，在边缘部署中实现更优性能。
2025-01-30 cs.AI cs.CL cs.CV
DC-UNet: Rethinking the U-Net Architecture with Dual Channel Efficient CNN for Medical Images Segmentation
The George Washington University Medical Center（乔治华盛顿大学医学中心）
最近，深度学习在计算机视觉领域变得越来越流行。卷积神经网络（CNN）在图像分割领域，特别是医学图像分割领域取得了突破性进展。在这方面，U-Net是医学图像分割任务的主要方法。U-Net不仅在多模态医学图像分割方面表现良好，而且在一些棘手的情况下也表现良好。然而，我们发现，经典的U-Net架构在几个方面有局限性。因此，我们应用修改：1）设计高效的CNN架构来代替编码器和解码器，2）应用残差模块来代替编码器和解码器之间的跳过连接，以基于最先进的U-Net模型进行改进。在这些修改之后，我们设计了一种新的架构-DC-UNet，作为U-Net架构的潜在继承者。我们创建了一个新的有效的CNN架构，并建立了DC-UNet基于此CNN。我们在三个具有困难情况的数据集上评估了我们的模型，与经典的U-Net相比，性能分别提高了2.90%，1.49%和11.42%。此外，我们使用Tanimoto相似性来代替Jaccard相似性进行灰度图像比较。
2020-05-31 cs.CV eess.IV
