Spatial-Assistant Encoder-Decoder Network for Real Time Semantic Segmentation
本文提出SANet，通过融合编码器-解码器与双路径架构，并引入APPPM和SAD注意力模块，在Cityscapes和CamVid数据集上同时实现了高精度与实时推理速度。
2023-09-19 cs.CV
Group DETR v2: Strong Object Detector with Encoder-Decoder Pretraining
Baidu VIS（百度视觉技术部）；Australian National University（澳大利亚国立大学）；Beihang University（北京航空航天大学）；Peking University（北京大学）
我们提出了一个强大的对象检测器与编码器-解码器预训练和微调。我们的方法，称为组DETR v2，是建立在视觉Transformer编码器ViT-Huge~ \cite{dosovitskiy2020image}，DETR变体DINO~ \cite{zhang2022dino}，和一个有效的DETR训练方法组DETR~ \cite{chen2022group}。训练过程包括在ImageNet-1 K上自我监督预训练和微调ViT-Huge编码器，在Object 365上预训练检测器，最后在COCO上微调。Group DETR v2在COCO test-dev上实现了$\textbf{64.5}$ mAP，并在COCO排行榜https://paperswithcode.com/sota/object-detection-on-coco上建立了新的SoTA
2022-11-07 cs.CV
LEDNet: A Lightweight Encoder-Decoder Network for Real-Time Semantic Segmentation
Temple University（天普大学）
大量的计算负担限制了CNN在移动设备中用于密集估计任务的使用。本文提出了一种轻量级网络LEDNet，该网络采用非对称的编解码器架构，实现实时的【形】语义分割，编码器采用ResNet作为骨干网络，在每个残差块中使用两种新的操作：通道分割和洗牌，在保持较高分割精度的同时大大降低了计算成本。另一方面，在解码器中采用注意力金字塔网络（APN），以进一步减轻整个网络的复杂度。我们的模型具有不到1M的参数，并且能够在单个GTX 1080Ti GPU中以超过71 FPS的速度运行。综合实验表明，我们的方法在CityScapes数据集上实现了速度和准确性权衡方面的最先进的结果。
2019-05-13 cs.CV
Beyond Single Stage Encoder-Decoder Networks: Deep Decoders for Semantic Image Segmentation
University of Freiburg（弗莱堡大学）；Valeo Inc.（法雷奥公司）
用于语义分割的单个编码器-解码器方法在每层的分割质量和效率方面达到了顶峰。为了解决这些局限性，我们提出了一种新的架构的基础上的解码器，它使用了一组浅网络捕捉更多的信息内容。新的解码器有一个新的拓扑结构的跳跃连接，即向后和堆叠的剩余连接。为了进一步改进架构，我们引入了一个权重函数，旨在重新平衡类，以增加网络对未充分代表对象的关注。我们进行了一系列广泛的实验，为CamVid，Gatech和Freiburg Forest数据集提供了最先进的结果。此外，为了进一步证明我们的解码器的有效性，我们进行了一组实验，研究我们的解码器对最先进的分割技术的影响。此外，我们提出了一组实验增强语义分割与光流信息，运动线索可以提高纯图像的语义分割的方法。
2020-07-19 cs.CV cs.RO
PMR-Net: Parallel Multi-Resolution Encoder-Decoder Network Framework for Medical Image Segmentation
Shaanxi University of Science and Technology（陕西科技大学）；School of Electronic Information and Artificial Intelligence, Shaanxi University of Science and Technology（陕西科技大学电子信息与人工智能学院）
提出并行多分辨率编码器-解码器网络PMR-Net，通过并行多尺度特征提取与融合及对称解码器补充全局上下文，解决医学图像分割中细节丢失和上采样导致全局信息损失的问题，在五个公开数据集上超越现有方法。
2024-09-19 cs.CV eess.IV
T-Net: Nested encoder-decoder architecture for the main vessel segmentation in coronary angiography
Korea Advanced Institute of Science and Technology（韩国科学技术院）；University of Ulsan College of Medicine（蔚山大学医学院）；Asan Medical Center（峨山医学中心）
在本文中，我们提出了T-网包含一个小的编码器-解码器内部的编码器-解码器结构（EDiED）。T-Net克服了U-Net在编码器和解码器块之间只能有一组级联层的限制。更准确地说，U-Net对称地形成级联层，因此编码器的低级特征连接到解码器的后面部分，而高级特征连接到解码器的开始部分。T-Net在编码过程中适当地安排池化和上采样，同样在解码过程中也是如此，以便在单个块中获得各种大小的特征图。因此，从编码器提取的从低级别到高级别的所有特征都从解码器的开始处传递，以预测更准确的掩码。我们评估了T-Net在冠状动脉造影图像中分割三个主要血管的问题。实验包括在相同条件下比较U-网和T-网，以及优化的T-网用于主血管分割。结果，T-Net的Dice相似系数得分（DSC）为0.815，比U-Net高0.095，优化后的T-Net的DSC为0.890，比U-Net高0.170。此外，我们可视化了T-Net和U-Net卷积层的权重激活，以表明T-Net实际上预测了早期解码器的掩码。因此，我们期望T-Net可以有效地应用于其他类似的医学图像分割问题。
2020-05-20 cs.CV eess.IV
Mix and match networks: encoder-decoder alignment for zero-pair image translation
Computer Vision Center, Universitat Autònoma de Barcelona（巴塞罗那自治大学计算机视觉中心）
我们解决的问题，域或模态之间的图像翻译没有直接配对的数据是可用的（即零对翻译）。我们提出了混合和匹配网络，基于多个编码器和解码器，以这样一种方式对齐，即其他编码器-解码器对可以在测试时组成，以在训练期间看不到显式配对样本的域或模态之间执行看不见的图像翻译任务。我们研究了自动编码器，边信息和损失在提高训练成对翻译模型对看不见的翻译的对齐和可转移性方面的影响。我们证明了我们的方法是可扩展的，可以在看不见的域组合之间执行着色和风格转换。我们在一个具有挑战性的跨模态设置中评估我们的系统，其中从深度图像估计语义分割，而无需明确访问任何深度-语义分割训练对。我们的模型优于基于pix 2 pix和CycleGAN模型的基线。
2018-04-06 cs.CV stat.ML
CrossDiff: Diffusion Probabilistic Model With Cross-conditional Encoder-Decoder for Crack Segmentation
Zhengzhou University（郑州大学）；King’s College London（伦敦国王学院）
针对工业混凝土表面裂缝分割难题，提出首个基于扩散概率模型的CrossDiff，通过交叉条件编码器-解码器增强细节保留与语义提取，在五个数据集上Dice和IoU均提升8.0%。
2025-01-22 cs.CV
Atrous Residual Interconnected Encoder to Attention Decoder Framework for Vertebrae Segmentation via 3D Volumetric CT Images
The Hong Kong Polytechnic University（香港理工大学）；University of Oxford（牛津大学）
基于计算机断层扫描（CT）的医学图像自动分割是计算机辅助手术得到广泛应用的前提。随着深度学习技术的发展，深度卷积神经网络（DCNN）在医学图像的自动语义分割方面表现出了强大的性能。然而，基于DCNN的语义分割算法仍然面临着编码器和解码器之间的特征丢失、多尺度对象、滤波器视野受限以及医学图像数据缺乏等挑战。本文提出了一种新的算法自动分割椎骨通过三维体积脊柱CT图像。该模型基于编码器到解码器的结构，使用层归一化来优化小批量训练性能。为了解决编码器和解码器之间的信息丢失问题，我们设计了一个Atrous残差路径来将更多的特征从编码器传递到解码器，而不是简单的快捷连接。该模型还在解码器部分应用了注意力模块，从不同尺度中提取特征。所提出的模型进行评估的公开可用的数据集通过各种指标。实验结果表明，我们的模型实现了竞争力的性能相比，其他国家的最先进的医学语义分割方法。
2021-04-08 cs.CV cs.LG eess.IV
Double Encoder-Decoder Networks for Gastrointestinal Polyp Segmentation
Bournemouth University（伯恩茅斯大学）；Australian Institute for Machine Learning, University of Adelaide（阿德莱德大学澳大利亚机器学习研究所）；BCN Medtech（巴塞罗那医疗科技公司）；Universitat Pompeu Fabra（庞培法布拉大学）；ICREA（加泰罗尼亚高等研究院）
息肉是结直肠癌发展的早期迹象。检测它们的标准程序包括胃肠道的结肠镜检查。然而，广泛的息肉形状和视觉外观，以及这种图像模态的质量降低，使其自动识别和分割与计算工具成为一个具有挑战性的计算机视觉任务。在这项工作中，我们提出了一种新的策略，从内窥镜图像的基础上，直接扩展常见的编码器-解码器网络的语义分割的胃肠道息肉划定。在我们的方法中，两个预先训练的编码器-解码器网络依次堆叠：第二个网络将原始帧和第一个网络生成的初始预测的级联作为输入，这作为一种注意力机制，使第二个网络能够专注于图像中的感兴趣区域，从而提高其预测的质量。对几个息肉分割数据库进行的定量评估表明，在所有情况下，双编码器-解码器网络的性能明显优于单编码器-解码器网络。此外，我们最好的双编码器-解码器组合在所有考虑的数据集中获得了出色的分割精度，并达到了最先进的性能结果，从未用于训练的数据集中提取的图像的精度显著提高。
2021-10-05 cs.CV cs.LG eess.IV
FPCNet: Fast Pavement Crack Detection Network Based on Encoder-Decoder Architecture
Wuhan University（武汉大学）；University of Waterloo（滑铁卢大学）
及时、准确、自动地检测路面裂缝对于制定有关道路维护的经济有效的决策是必要的。传统的裂纹检测算法主要集中在单个或多个裂纹特征和分类器的设计上。然而，复杂的拓扑结构，不同程度的损伤和油污，使裂纹特征的设计困难。此外，在设计过程中没有广泛研究裂缝周围的上下文信息。因此，这些设计特征具有有限的区分适应性，并且不能与分类器有效地融合。为了解决这些问题，本文提出了一种用于路面裂缝检测的深度学习网络。利用Encoder-Decoder结构，自动学习具有多个上下文的裂缝特征，实现端到端的裂缝检测。具体来说，我们首先提出了多重膨胀（MD）模块，它可以通过多速率的膨胀卷积来合成多个上下文大小的裂缝特征。在该模块中获得的裂纹MD特征可以描述不同宽度和拓扑结构的裂纹。接下来，我们提出了SE上采样（SEU）模块，它使用挤压和激励学习操作来优化MD特征。最后，将上述两个模块集成在一起，开发了快速裂纹检测网络FPCNet。该网络不断优化的MD功能逐步实现快速像素级的裂纹检测。在具有挑战性的公共CFD数据集和G45裂纹数据集上进行了实验，这些数据集涉及不同拍摄条件下的各种裂纹类型。在所有数据集上的明显性能和速度改进表明，所提出的方法优于其他最先进的裂缝检测方法。
2019-07-04 cs.CV
Automated Monitoring of Cultural Heritage Artifacts Using Semantic Segmentation
CNR-IMATI（意大利国家研究委员会-IMATI研究所）
本文通过比较不同U-Net架构，利用CNN编码器实现文化遗产文物的像素级裂缝分割，并展示了模型在未见过的文化遗产场景中的泛化能力。
2025-11-25 cs.AI cs.CV cs.LG
CrackUDA: Incremental Unsupervised Domain Adaptation for Improved Crack Segmentation in Civil Structures
International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术学院）
针对跨数据集域偏移导致裂缝分割精度下降的问题，提出基于对抗学习的增量无监督域自适应深度网络CrackUDA，通过编码器-解码器架构结合域不变与域特定参数，并引入BuildCrack数据集，在源域和目标域上分别提升0.65和2.7 mIoU。
2024-12-20 cs.CV
SUPER Module for Detail-Sensitive and Cost-Efficient U-Net Variant Decoders
Yonsei Univ.（延世大学）
研究针对U-Net变体解码器空间上采样易模糊扭曲精细结构的问题，提出SUPER小波域解码器公式，通过有界频率抑制取代空间细化，经实验验证其能提升多种任务性能，改善细节-成本权衡。
2026-07-22 cs.CV
Vision Mamba-based autonomous crack segmentation on concrete, asphalt, and masonry surfaces
The University of Sydney（悉尼大学）；Hohai University（河海大学）
针对CNNs泛化性弱、Transformer计算复杂度高的问题，本文提出基于Vision Mamba的裂缝分割框架，在精度相当的前提下大幅降低参数量与浮点运算量。
2024-06-24 cs.CV
ISIC 2017 Skin Lesion Segmentation Using Deep Encoder-Decoder Network
Gachon University（嘉泉大学）
本文总结了我们的方法和ISBI挑战2018第1部分的验证结果。我们的算法利用深度编码器-解码器网络和新颖的皮肤病变数据增强来分割挑战目标。此外，我们还提出了一种有效的测试策略，通过应用多模型比较。
2018-07-24 cs.CV
RHA-Net: An Encoder-Decoder Network with Residual Blocks and Hybrid Attention Mechanisms for Pavement Crack Segmentation
Shantou University（汕头大学）；South China Agricultural University（华南农业大学）；Oklahoma State University（俄克拉荷马州立大学）
路面数据的采集与评价是路面状况评价的基础。为了提高路面裂缝自动分割的精度，提出了一种高效的路面裂缝自动分割端到端网络RHA-Net。RHA-Net是通过将残差块（ResBlocks）和混合注意力块集成到编码器-解码器架构中来构建的。ResBlocks用于提高RHA-Net提取高级抽象特征的能力。混合注意力块旨在融合低级特征和高级特征，以帮助模型专注于正确的通道和裂缝区域，从而提高RHA-Net的特征呈现能力。构建了一个包含789幅自行设计的移动机器人采集的路面裂缝图像的图像数据集，并用于训练和评估所提出的模型。与其他最先进的网络相比，该模型取得了更好的性能，并在一个全面的消融研究中验证了添加剩余块和混合注意力机制的功能。此外，通过引入深度可分离卷积生成的模型的轻量版本实现了更好的性能和更快的处理速度，其U-Net参数的数量为1/30。所开发的系统可以在嵌入式设备Jetson TX 2（25 FPS）上实时分割路面裂缝。实时实验中拍摄的视频发布在https://youtu.be/3XIogk0fiG4上。
2022-07-28 cs.CV cs.LG eess.IV
RED-NET: A Recursive Encoder-Decoder Network for Edge Detection
University of Missouri（密苏里大学）
在本文中，我们介绍了RED-NET：一个递归的编码器-解码器网络与跳过连接的边缘检测在自然图像。建议的网络是一个新的集成的递归神经网络的编码器-解码器架构。递归网络使我们能够在不增加参数数量的情况下增加网络深度。在编码器和解码器之间添加跳过连接有助于梯度更容易地到达网络的所有层，并允许在编码器的早期阶段与更精细的细节相关的信息在解码器中得到充分利用。基于我们对流行的边界检测数据集（包括BSDS 500 \cite{Arbelaez2011}、NYUD \cite{Silberman2012}和Pascal Context \cite{Mottaghi2014}）进行的广泛实验，RED-NET在标准评估指标（如最佳数据集尺度（ODS）F-measure、最佳图像尺度（OIS）F-measure和平均精度（AP））方面显著提升了边缘检测的最新技术水平。
2019-12-05 cs.CV
Multi-Task Crack Foundation Model for Engineering-Reliable Crack Representation and Topology Preservation in Civil Infrastructure
NDSU（内达苏大学）
提出 CrackGeoFM 多任务框架，结合冻结视觉基础骨干与裂缝专用适配模块，实现掩码预测、骨架重建和不确定性估计，在20个数据集上达到最优分割、拓扑保持和校准不确定性。
2026-06-04 cs.CV
SEED: Semantics Enhanced Encoder-Decoder Framework for Scene Text Recognition
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）
场景文本识别是计算机视觉的一个研究热点。近年来，许多基于编码器-解码器框架的识别方法已经被提出，并且它们可以处理具有透视变形和曲线形状的场景文本。尽管如此，它们仍然面临着许多挑战，如图像模糊，光照不均匀和不完整的字符。我们认为，大多数编码器-解码器的方法是基于本地的视觉特征，没有明确的全局语义信息。在这项工作中，我们提出了一个语义增强的编码器-解码器框架，以鲁棒地识别低质量的场景文本。语义信息在编码器模块中用于监督，在解码器模块中用于初始化。特别是，国家的最先进的ASTER方法集成到建议的框架作为范例。大量实验表明，该框架对低质量文本图像具有更强的鲁棒性，并在多个基准数据集上取得了最佳效果。
2020-05-22 cs.CV
Representation and Correlation Enhanced Encoder-Decoder Framework for Scene Text Recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
基于注意力的编码器-解码器框架广泛应用于场景文本识别任务中。然而，对于当前最先进的（SOTA）方法，在输入文本图像的局部视觉和全局上下文信息的有效使用以及场景处理模块（编码器）和文本处理模块（解码器）之间的鲁棒相关性方面存在改进的空间。在本文中，我们提出了一个表示和相关增强的编码器-解码器框架（RCEED），以解决这些不足，打破性能瓶颈。在编码器模块中，局部视觉特征、全局上下文特征和位置信息被对齐并融合以生成小尺寸的综合特征图。在解码模块中，采用了两种方法来增强场景和文本特征空间之间的相关性。1)解码器初始化由从编码器导出的整体特征和全局瞥见向量引导。2)由多头一般注意力产生的特征丰富的一瞥向量用于辅助RNN迭代和每个时间步的字符预测。同时，我们还设计了一个Layermorm-Dropout LSTM单元，以提高模型对可变文本的泛化能力。大量的基准测试实验表明，RCEED在场景文本识别任务，特别是不规则的文本识别任务中具有优越的性能。
2021-11-14 cs.CV
Dual Encoder-Decoder based Generative Adversarial Networks for Disentangled Facial Representation Learning
Jiangnan University（江南大学）；University of Surrey（萨里大学）
为了学习面部图像的解纠缠表示，我们提出了一种基于双编码器-解码器的生成对抗网络（DED-GAN）。在所提出的方法中，生成器和解码器都是以深度编码器-解码器架构作为其骨干来设计的。更具体地说，编码器-解码器结构化生成器用于学习姿态解纠缠的人脸表示，并且编码器-解码器结构化生成器的任务是执行真/假分类、人脸重建、确定身份和估计人脸姿态。我们进一步改进了所提出的网络架构，通过最小化由Wasserstein距离定义的额外像素损失，以便对抗框架可以更好地训练。此外，我们认为人脸姿态变化是连续的，而不是离散的现有文献中，注入更丰富的姿态信息到我们的模型。姿态估计任务被公式化为回归问题，这有助于从姿态变化中解开身份信息。建议的网络进行评估的任务的姿态不变的人脸识别（PIFR）和跨姿态的人脸合成。对几个受控和野外基准测试数据集进行的广泛的定量和定性评估表明，所提出的DED-GAN方法优于最先进的方法。
2019-09-19 cs.CV
Fast and accurate reconstruction of HARDI using a 1D encoder-decoder convolutional network
Huazhong University of Science and Technology（华中科技大学）
高角分辨率弥散成像（HARDI）与弥散张量成像相比，需要大量的数据测量，限制了其在实际中的应用。在这项工作中，我们探索了一种基于学习的方法，从q空间中的少量测量中重建HARDI。该方法的目的是直接学习测量和HARDI信号之间的映射关系，从收集其他主题的HARDI收购。具体地，映射被表示为在用于HARDI重建的压缩感测（CS）理论的指导下的1D编码器-解码器卷积神经网络。提出的网络架构主要由两部分组成：编码器网络产生稀疏系数和解码器网络产生重建结果。实验结果表明，该方法能够鲁棒地重建HARDI信号，重建结果准确，重建速度快。
2019-03-21 cs.CV
Rethinking Image Inpainting via a Mutual Encoder-Decoder with Feature Equalizations
Hunan University（湖南大学）；Tencent AI Lab（腾讯AI实验室）
基于深度编码器-解码器的CNN具有用于孔填充的高级图像修补方法。虽然现有的方法恢复结构和纹理一步一步在孔区域，他们通常使用两个编码器-解码器分别恢复。每个编码器的CNN特征被学习以捕获丢失的结构或纹理，而不将它们作为一个整体考虑。这些编码器功能的利用率不足，限制了恢复结构和纹理的性能。在本文中，我们提出了一个共同的编码器-解码器CNN的联合恢复。我们使用来自编码器的深层和浅层的CNN特征来分别表示输入图像的结构和纹理。深层特征被发送到结构分支，浅层特征被发送到纹理分支。在每个分支中，我们在CNN特征的多个尺度上填充漏洞。来自两个分支的填充的CNN特征被连接，然后被均衡。在特征均衡过程中，我们首先重新权衡信道注意力，并提出了一个双边传播激活函数，使空间均衡。为此，填充的结构和纹理的CNN特征相互受益，以表示所有特征级别的图像内容。我们使用均衡功能来补充解码器功能，通过跳过连接生成输出图像。基准数据集上的实验表明，该方法是有效的恢复结构和纹理，并表现出良好的国家的最先进的方法。
2020-07-14 cs.CV
MaskOCR: Text Recognition with Masked Encoder-Decoder Pretraining
Baidu Inc.（百度公司）
针对文本识别预训练未统一视觉与语言学习的问题，提出MaskOCR方法，通过掩码图像建模预训练编码器、掩码图像-语言建模预训练解码器，在中英文基准数据集上取得优异性能。
2023-10-10 cs.CV
Learning to Refine Object Contours with a Top-Down Fully Convolutional Encoder-Decoder Network
Wuhan University（武汉大学）
我们开发了一种新的深度轮廓检测算法，具有自顶向下的全卷积编码器-解码器网络。我们提出的方法，名为TD-CEDN，解决了这个低级视觉问题中的两个重要问题：（1）学习多尺度和多级特征;（2）在网络中应用有效的自上而下的细化方法。TD-CEDN通过利用网络所有层的特征来执行逐像素预测。与跳过连接和以前的编码器-解码器方法不同，我们首先在前馈过程中的编码器阶段之后学习粗略的特征图，然后在解码器阶段利用连续较低层的特征以自上而下的策略细化该特征图。因此，反卷积过程是逐步进行的，这是由提供综合直接监督的深度监督网络指导的。上述提出的技术导致更精确和更清晰的预测。我们提出的算法在BSDS 500数据集（ODS F-score为0.788），PASCAL VOC 2012数据集（ODS F-score为0.588）和NYU Depth数据集（ODS F-score为0.735）上达到了最先进的水平。
2017-05-12 cs.CV
Context-CrackNet: A Context-Aware Framework for Precise Segmentation of Tiny Cracks in Pavement images
North Dakota State University（北达科他州立大学）
本文提出Context-CrackNet，一种结合区域聚焦增强模块和上下文感知全局模块的编码器-解码器架构，用于路面微小裂缝的精确分割，在十个数据集上优于9个现有方法，兼顾精度与效率，适合实时监测。
2025-01-24 cs.CV
T-DEED: Temporal-Discriminability Enhancer Encoder-Decoder for Precise Event Spotting in Sports Videos
Universitat de Barcelona（巴塞罗那大学）；Computer Vision Center（计算机视觉中心）；Aalborg University（奥尔堡大学）
针对体育视频事件定位中帧判别性、时序分辨率与多尺度建模难题，提出T-DEED时序判别性增强编解码器，在两个数据集上达SOTA水平。
2024-04-11 cs.CV
Unsupervised Multi-Domain Image Translation with Domain-Specific Encoders/Decoders
Nanjing University of Science and Technology（南京理工大学）
无监督图像到图像翻译在当今取得了非常先进的发展。然而，最近的方法主要集中在具有两个域的一个模型上，在$n$域在一般设置中自由地彼此转移的要求下，这可能面临$O(n^2)$训练时间和模型参数的大成本的沉重负担。为了解决这个问题，我们提出了一个新的和统一的框架命名为Domain-Bank，它包括一个全球共享的自动编码器和$n$域特定的编码器/解码器，假设一个通用的共享潜在空间可以被投影。因此，我们在模型参数中产生$O(n)$复杂性，同时大大减少了时间预算。除了高效率之外，我们还在各种具有挑战性的无监督图像翻译任务上显示了与最先进的图像翻译结果相当（甚至更好）的图像翻译结果，包括人脸图像翻译，时装翻译和绘画风格翻译。我们还将所提出的框架应用于领域自适应，并在数字基准数据集上实现了最先进的性能。此外，由于域特定解码器的显式表示以及通用共享潜在空间，它还使我们能够进行增量学习以添加新的域编码器/解码器。通过融合相应的解码器，得到不同域表示的线性组合。
2017-12-06 cs.CV
Temporal Deformable Convolutional Encoder-Decoder Networks for Video Captioning
Sun Yat-sen University（中山大学）；JD AI Research（京东人工智能研究院）
视频描述是计算机视觉和人工智能领域中的一项基本而又具有挑战性的任务。流行的方法是通过递归神经网络（RNN）以序列到序列的方式将输入视频映射到可变长度的输出句子。然而，RNN的训练仍然在一定程度上受到消失/爆炸梯度问题的影响，使得优化变得困难。此外，RNN中固有的递归依赖性阻止了训练期间序列内的并行化，因此限制了计算。在本文中，我们提出了一种新的设计-时间可变形卷积编码器-解码器网络（简称TDConvED），充分利用卷积的编码器和解码器网络的视频描述。从技术上讲，我们利用卷积块结构来计算固定数量输入的中间状态，并堆叠几个块来捕获长期关系。编码器中的结构还配备有时间可变形卷积，以实现时间采样的自由形式变形。我们的模型还利用时间注意力机制的句子生成。在MSVD和MSR-VTT视频描述数据集上进行了大量的实验，与传统的基于RNN的编码器-解码器技术相比，报告了更好的结果。更值得注意的是，TDConvED将MSVD的CIDEr-D性能从58.8%提高到67.2%。
2019-05-03 cs.CV
QueryMamba: A Mamba-Based Encoder-Decoder Architecture with a Statistical Verb-Noun Interaction Module for Video Action Forecasting @ Ego4D Long-Term Action Anticipation Challenge 2024
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Fraunhofer IOSB（弗劳恩霍夫IOSB研究所）
本文提出QueryMamba架构，通过统计动词-名词共现矩阵增强视频动作预测，在Ego4D LTA挑战赛获第二名且名词预测精度第一。
2024-07-04 cs.CV
Video Summarization with Attention-Based Encoder-Decoder Networks
Tianjin University（天津大学）；Xi’an Institute of Optics and Precision Mechanics（西安光学精密机械研究所）
本文提出了一种有监督的视频摘要方法，将其描述为一个序列到序列的学习问题，输入是一个原始视频帧序列，输出是一个关键镜头序列。我们的核心思想是学习一个具有注意力机制的深度摘要网络，以模仿人类选择关键镜头的方式。为此，我们提出了一种新的视频摘要框架命名为Attentive encoder-decoder networks for Video Summarization（AVS），其中编码器使用双向长短期记忆（BiLSTM）来编码输入视频帧之间的上下文信息。对于解码器，分别使用加性和乘性目标函数探索了两个基于注意力的LSTM网络。在三个视频摘要基准数据集上进行了广泛的实验，SumMe和TVSum。结果表明，所提出的基于AVS的方法相对于最先进的方法的优越性，在两个数据集上分别具有从0.8%到3%的显著改进。
2018-04-16 cs.CV
A Convolutional-Transformer Network for Crack Segmentation with Boundary Awareness
Guangxi University（广西大学）；Peng Cheng Laboratory（鹏城实验室）；Southern University of Science and Technology（南方科技大学）
提出一种结合膨胀残差块和边界感知模块的卷积-Transformer编码器-解码器网络，用于裂缝分割，在典型数据集上优于现有方法。
2023-11-12 cs.CV eess.IV
Hybrid-Segmentor: A Hybrid Approach to Automated Fine-Grained Crack Segmentation in Civil Infrastructure
University College London（伦敦大学学院）；CYENS Centre of Excellence（CYENS卓越中心）；Department of Computer Science, University College London（伦敦大学学院计算机科学系）
本文提出 Hybrid-Segmentor 混合编码器-解码器裂缝分割模型，通过编码器自注意力与轻量解码器兼顾细粒度特征、泛化能力和计算效率，并在五项指标上达到最先进性能。
2024-09-04 cs.CV eess.SP
Scheduled Sampling in Vision-Language Pretraining with Decoupled Encoder-Decoder Network
JD AI Research（京东人工智能研究院）；Sun Yat-sen University（中山大学）
尽管使用基于BERT的编码器进行视觉语言（VL）预训练以用于VL理解，但用于VL理解和生成的通用编码器-解码器的预训练仍然具有挑战性。困难源于这两个学科固有的不同特点，例如，VL理解任务利用跨模态的不受限制的消息传递，而生成任务仅采用视觉到文本的消息传递。在本文中，我们开始与两个流解耦设计的编码器-解码器结构，其中两个解耦的跨模态编码器和解码器涉及到单独执行每种类型的代理任务，同时VL理解和生成预训练。此外，对于VL预训练，主要方式是用掩码令牌替换一些输入视觉/单词令牌，并强制多模态编码器/解码器重建原始令牌，但在下游任务上进行微调时不涉及掩码令牌。作为替代方案，我们提出了一个主要的预定采样策略，优雅地减轻这种差异，通过预训练编码器-解码器在一个两遍的方式。大量的实验证明了我们的预训练编码器-解码器通过对四个VL理解和生成下游任务进行微调而具有令人信服的普遍性。源代码可从\url{https://github.com/YehLi/TDEN}获得。
2021-01-27 cs.CL cs.CV
Image denoising and restoration with CNN-LSTM Encoder Decoder with Direct Attention
图像去噪一直是计算机视觉和图像处理领域的一个具有挑战性的课题。在本文中，我们提出了一个编码器-解码器模型与直接注意，这是能够去噪和重建高度损坏的图像。我们的模型由一个编码器和一个解码器组成，其中编码器是一个卷积神经网络，解码器是一个多层长短期记忆网络。在所提出的模型中，编码器读取图像并捕获该图像的抽象向量，解码器将该向量以及损坏的图像重建为干净的图像。我们已经在MNIST手写数字数据库上训练了我们的模型，在此之前，我们将每个图像的下半部分都设置为黑色，并在顶部添加了噪声。在大规模破坏图像之后，人类很难理解这些图像的内容，我们的模型可以以最小的错误检索该图像。我们提出的模型已经与卷积编码器-解码器进行了比较，其中我们的模型在生成图像的缺失部分方面比卷积自动编码器表现得更好。
2018-01-16 cs.CV stat.ML
Transfer Learning for Segmentation Problems: Choose the Right Encoder and Skip the Decoder
Technische Universität Berlin（柏林工业大学）；Bayer AG（拜耳股份公司）；Bernstein Center for Computational Neuroscience Berlin（柏林伯恩斯坦计算神经科学中心）
通常的做法是重用最初在不同数据上训练的模型，以提高下游任务的性能。特别是在计算机视觉领域，ImageNet预训练权重已成功用于各种任务。在这项工作中，我们研究了迁移学习对分割问题的影响，这些问题是可以用编码器-解码器架构解决的像素分类问题。我们发现解码器的迁移学习对下游分割任务没有帮助，而编码器的迁移学习是真正有益的。我们证明，解码器的预训练权重可能会产生更快的收敛速度，但它们不会提高整体模型性能，因为使用随机初始化的解码器可以获得等效的结果。然而，我们表明，重用在分割或重建任务上训练的编码器权重比重用在分类任务上训练的编码器权重更有效。这一发现表明，使用ImageNet预训练的编码器进行下游分割问题是次优的。我们还提出了一种具有多个自重建任务的对比自监督方法，该方法提供了适合在没有分割标签的情况下在分割问题中进行迁移学习的编码器。
2022-07-29 cs.AI cs.CV
EDIT: Enhancing Vision Transformers by Mitigating Attention Sink through an Encoder-Decoder Architecture
School of Computer Science and Technology, Henan Polytechnic University（河南理工大学计算机科学与技术学院）
提出EDIT架构，通过层对齐编码器-解码器缓解注意力汇聚，在ImageNet及迁移任务上优于DeiT3。
2025-10-16 cs.AI cs.CV
Rethinking Skip Connections in Encoder-decoder Networks for Monocular Depth Estimation
Changchun Institute of Optics, Fine Mechanics and Physics, Chinese Academy of Sciences（中国科学院长春光学精密机械与物理研究所）；University of the Chinese Academy of Sciences（中国科学院大学）
跳跃连接是编解码器网络中的基本单元，它能够改善神经网络的特征传播。然而，大多数使用跳过连接的方法只是连接编码器和解码器中具有相同分辨率的特征，这忽略了编码器中的信息丢失。为了利用编码器较浅层中特征的信息损失，我们提出了一种用于单目深度估计任务的全跳过连接网络（FSCN）。此外，为了更紧密地融合跳跃连接中的特征，我们提出了一个自适应级联模块（ACM）。此外，我们在户外和室内数据集上进行了广泛的实验（即，KITTI数据集和NYU Depth V2数据集）得到了最先进的结果。
2022-08-29 cs.AI cs.CV
Rethinking Encoder-Decoder Flow Through Shared Structures
Samsung R&D Institute UK (SRUK)（三星英国研发中心）
针对密集预测任务中解码器结构不变的问题，提出共享结构“banks”为每个解码块提供额外上下文，通过重采样和特征融合提升基于Transformer架构的深度估计性能。
2025-01-24 cs.CV cs.LG
Prediction of the morphological evolution of a splashing drop using an encoder-decoder
Tokyo University of Agriculture and Technology（东京农工大学）
液滴撞击固体表面是一个重要的现象，具有各种含义和应用。然而，这种现象的多相性导致其形态演变的预测复杂化，特别是当液滴飞溅时。虽然大多数基于机器学习的跌落冲击研究都集中在物理参数上，但这项研究使用了计算机视觉策略，通过训练编码器-解码器来使用图像数据预测跌落形态。在这里，我们表明，这种训练的编码器-解码器能够成功地生成显示飞溅和非飞溅水滴形态的视频。值得注意的是，在这些生成的视频的每一帧中，发现液滴的扩散直径与实际视频的扩散直径非常一致。此外，在飞溅/非飞溅预测中也有很高的准确性。这些发现证明了训练的编码器-解码器生成可以准确表示液滴形态的视频的能力。这种方法为实验和数值研究提供了更快，更便宜的替代方案。
2023-03-24 cs.CV physics.flu-dyn
Bangla Image Caption Generation through CNN-Transformer based Encoder-Decoder Network
Pioneer Alpha；Mississippi State University（密西西比州立大学）
自动图像描述是一种无休止的努力，它用自然语言和上下文来创建图像的语法和验证文本描述的准确性。在现有的孟加拉语图像描述（BIC）研究中使用的编码器-解码器结构利用抽象图像特征向量作为编码器的输入。我们提出了一种新的基于transformer的架构，具有注意力机制和预训练的ResNet-101模型图像编码器，用于从图像中提取特征提取。实验表明，我们的技术中的语言解码器捕获标题中的细粒度信息，然后与图像特征配对，在BanglaLekhaImageCaptions数据集上生成准确且多样化的标题。我们的方法优于所有现有的孟加拉语图像描述工作，并通过在BLEU-1上得分0.694，在BLEU-2上得分0.630，在BLEU-3上得分0.582，在METEOR上得分0.337来设定新的基准。
2021-10-24 cs.AI cs.CV
Deep Encoder-Decoder Neural Network for Fingerprint Image Denoising and Inpainting
Chongqing Normal University（重庆师范大学）
指纹图像去噪是指纹识别中非常重要的一步。为了提高指纹图像的去噪效果，设计了一种基于深度编解码器网络的指纹去噪算法，编码器子网学习含噪图像的指纹特征，解码器子网根据特征重构原始指纹图像实现去噪，同时在网络中使用扩张卷积，在不增加复杂度的情况下增加受体场，改善网络推理速度此外，通过引入残差学习，实现了网络不同层次的特征融合，进一步还原了指纹的细节特征，提高了去噪效果。实验结果表明，该算法能较好地恢复指纹图像的边缘、直线和曲线特征，与其他方法相比，具有更好的视觉效果和更高的峰值信噪比（PSNR）。
2020-05-03 cs.CV eess.IV
MixerCSeg: An Efficient Mixer Architecture for Crack Segmentation via Decoupled Mamba Attention
School of Qilu Transportation, Shandong University, China（山东大学齐鲁交通学院）；Department of Computer Science, Tulane University, USA（路易斯安那大学计算机科学系）
MixerCSeg通过解耦Mamba注意力机制，高效分割裂缝，实现高精度与低计算开销的平衡。
2026-03-02 cs.AI cs.CV
SEDEG:Sequential Enhancement of Decoder and Encoder's Generality for Class Incremental Learning with Small Memory
Zhejiang Lab（浙江实验室）；Hangzhou Institute for Advanced Study（杭州高等研究院）；University of Chinese Academy of Sciences（中国科学院大学）
SEDEG通过两阶段训练框架提升视觉Transformer中解码器和编码器的通用性，以应对动态数据输入，减少灾难性遗忘，实验表明其在小内存场景下表现优异。
2025-08-18 cs.AI cs.CV
Deep Learning for Segmentation of Cracks in High-Resolution Images of Steel Bridges
Eindhoven University of Technology（埃因霍温理工大学）；Eindhoven Artificial Intelligence Systems Institute（埃因霍温人工智能系统研究所）
本文提出一种结合ConvNext与编码器-解码器网络的深度学习方法，用于钢桥梁高分辨率图像中的疲劳裂缝分割，并构建了新数据集，引入新损失函数利用更多背景块训练，显著降低了假阳性率。
2024-03-26 cs.CV eess.IV
SoftPool++: An Encoder-Decoder Network for Point Cloud Completion
Technische Universität München（慕尼黑工业大学）；Google（谷歌）
我们提出了一种新的卷积算子的点云完成的任务。我们的方法的一个显着特点是，与相关工作相反，它不需要任何最大池或体素化操作。相反，用于学习点云嵌入编码器中的所提出的算子通过特征激活的软池从点云中提取置换不变特征，这能够保留细粒度的几何细节。然后将这些特征传递到解码器架构。由于编码器中的压缩，这种类型的架构的典型限制是它们倾向于丢失输入形状结构的部分。我们建议通过使用专门为点云设计的跳过连接来克服这一限制，其中建立了编码器和解码器中相应层之间的链接。作为这些连接的一部分，我们引入了一个变换矩阵，将特征从编码器投影到解码器，反之亦然。ShapeNet数据集上部分扫描的对象完成任务的定量和定性结果表明，结合我们的方法在低分辨率和高分辨率下都实现了形状完成的最新性能。
2022-05-08 cs.AI cs.CV
Understanding Geometry of Encoder-Decoder CNNs
KAIST（韩国科学技术院）
使用卷积神经网络（CNN）架构的编码器-解码器网络由于其对各种逆问题的优异性能而被广泛用于深度学习文献中。然而，它仍然很难获得连贯的几何视图，为什么这样的架构给出了所需的性能。受最近对神经网络的泛化性，表达性和优化前景的理论理解以及卷积小框架理论的启发，我们在这里提供了一个统一的理论框架，可以更好地理解编码器-解码器CNN的几何结构。我们的统一数学框架表明，编码器-解码器CNN架构与使用组合卷积帧的非线性基表示密切相关，其可表达性随网络深度呈指数级增长。我们还展示了跳过连接在可表达性和优化景观方面的重要性。
2019-05-07 cs.AI cs.CV cs.LG
MsEdF: A Multi-stream Encoder-decoder Framework for Remote Sensing Image Captioning
本文提出MsEdF框架，通过优化编码器-解码器的空域表示和语言生成，提升遥感图像描述的准确性，实验表明其在三个基准数据集上优于现有方法。
2025-10-28 cs.CV cs.HC cs.LG
DEED: Dynamic Early Exit on Decoder for Accelerating Encoder-Decoder Transformer Models
AWS AI Labs（AWS AI实验室）；University of California San Diego（加州大学圣迭戈分校）
提出DEED方法，在编码器-解码器Transformer解码器中实现动态早退，通过多出口和深度监督训练，按步置信度减少解码层数，降低30%-60%推理延迟，保持或提升准确性。
2023-11-15 cs.CL cs.CV cs.LG
Review Networks for Caption Generation
Carnegie Mellon University（卡内基梅隆大学）
我们提出了一种新的扩展的编码器-解码器框架，称为审查网络。审查网络是通用的，可以增强任何现有的编码器-解码器模型：在本文中，我们考虑RNN解码器与CNN和RNN编码器。回顾网络利用注意力机制对编码器隐藏状态执行多个回顾步骤，并且在每个回顾步骤之后输出思想向量;思想向量用作解码器中的注意力机制的输入。我们表明，传统的编码器-解码器是我们的框架的一个特殊情况。从经验上讲，我们表明，我们的框架提高了国家的最先进的编码器-解码器系统上的任务，图像描述和源代码字幕。
2016-10-27 cs.CL cs.CV cs.LG
Target Detection and Segmentation in Circular-Scan Synthetic-Aperture-Sonar Images using Semi-Supervised Convolutional Encoder-Decoders
Naval Surface Warfare Center（海军水面作战中心）；Naval Sea Systems Command（海军海上系统司令部）；University of Florida（佛罗里达大学）
我们提出了一个框架，基于显着性，多目标检测和分割的圆扫描，合成孔径声纳（CSAS）图像。我们的框架依赖于多分支卷积编码器-解码器网络（MB-CEDN）。MB-CEDN的编码器部分从CSAS图像中提取视觉对比度特征。这些特征被送入双解码器，执行像素级分割以掩盖目标。每个解码器提供不同的视角，以构成一个显着的目标。这些意见被聚合并级联到一个深度解析网络中，以细化分割。我们使用由五个广泛目标类别组成的真实世界CSAS图像来评估我们的框架。我们比较现有的方法，从计算机视觉文献。我们表明，我们的框架优于为自然图像设计的有监督的深度显着性网络。它大大优于为自然图像开发的无监督显着性方法。这说明，可能需要改变基于自然图像的模型，以有效地用于这种成像声纳模态。
2022-02-17 cs.AI cs.CV
Vision Encoder-Decoder Models for AI Coaching
B. M. S. College of Engineering（B.M.S.工程学院）
本文提出将视觉编码器-解码器模型用于AI教练，以Vision Transformer和GPT-2实现图像输入下的自然问答对话，并通过不同规模GPT-2实验验证了方法的可扩展性与通用性。
2023-11-09 cs.AI cs.CV
Return of the Encoder: Maximizing Parameter Efficiency for SLMs
Microsoft（微软公司）
本文提出一种知识蒸馏框架，使10亿参数以下的编码器-解码器SLM在保留低延迟和高吞吐优势的同时，吸收大型纯解码器教师模型的能力，在边缘部署中实现更优性能。
2025-01-30 cs.AI cs.CL cs.CV
