Progressive Seed Generation Auto-encoder for Unsupervised Point Cloud Learning
KAIST（韩国科学技术院）
随着三维扫描技术的发展，三维视觉任务已经成为一个热门的研究领域。由于传感器获取的数据量大，无监督学习对于理解和利用点云而无需昂贵的注释过程至关重要。在本文中，我们提出了一个新的框架和一个有效的自动编码器架构命名为“PSG网络”的重建为基础的学习点云。与使用固定或随机2D点的现有研究不同，我们的框架为潜在点集生成依赖于输入的逐点特征。PSG-Net使用编码输入通过种子生成模块生成逐点特征，并通过逐步应用种子特征传播模块，以逐渐增加的分辨率在多个阶段中提取更丰富的特征。我们通过实验证明了PSG-Net的有效性; PSG-Net在点云重建和无监督分类方面表现出最先进的性能，并在监督完成方面达到了与同类方法相当的性能。
2021-12-09 cs.CV
Optimized Deep Encoder-Decoder Methods for Crack Segmentation
Glasgow Caledonian University（格拉斯哥卡里多尼亚大学）
由于裂纹的背景、形状、颜色和大小等都不相同，因此表面裂纹的分割是一项具有挑战性的计算机视觉任务。在这项工作中，我们提出了优化的深度编码器-解码器方法，包括一系列技术，这些技术可以提高裂缝分割性能。具体来说，我们提出了一个基于编码器-解码器的深度学习架构的解码器部分，用于语义分割，并研究其组件以提高性能。我们还研究了不同编码器策略的使用，并引入了一个数据增强策略来增加可用的训练数据量。我们的方法的性能评估进行了四个公开可用的裂纹分割数据集。此外，我们将两种技术引入表面裂纹分割领域，以前没有使用过：使用测试时间增强生成结果，并在多个训练运行中执行统计结果分析。前一种方法通常会产生更高的性能结果，而后者允许方法结果的可重复性和可代表性更好。使用上述策略与我们提出的编码器-解码器架构，我们能够在所有数据集中实现新的最先进的结果。
2021-08-26 cs.CV
Cascade Decoder: A Universal Decoding Method for Biomedical Image Segmentation
University of Notre Dame（圣母大学）；Allen Institute for Cell Science（艾伦细胞科学研究所）
编码器-解码器架构是用于生物医学图像分割的主流深度学习模型。编码器完全压缩输入并生成编码特征，然后解码器使用编码特征生成密集预测。然而，解码器在这样的架构中仍然未被充分开发。在本文中，我们全面研究了最先进的编码器-解码器架构，并提出了一种新的通用解码器，称为级联解码器，以提高语义分割的准确性。我们的级联解码器可以嵌入到现有的网络中，并以端到端的方式进行训练。级联解码器结构旨在对分层编码的特征进行更有效的解码，并且与已知的解码器相比与普通编码器更兼容。我们用级联解码器替换了最先进模型的解码器，用于几个具有挑战性的生物医学图像分割任务，所取得的显著改进证明了我们新解码方法的有效性。
2019-01-15 cs.CV
Dual Encoder-Decoder based Generative Adversarial Networks for Disentangled Facial Representation Learning
Jiangnan University（江南大学）；University of Surrey（萨里大学）
为了学习面部图像的解纠缠表示，我们提出了一种基于双编码器-解码器的生成对抗网络（DED-GAN）。在所提出的方法中，生成器和解码器都是以深度编码器-解码器架构作为其骨干来设计的。更具体地说，编码器-解码器结构化生成器用于学习姿态解纠缠的人脸表示，并且编码器-解码器结构化生成器的任务是执行真/假分类、人脸重建、确定身份和估计人脸姿态。我们进一步改进了所提出的网络架构，通过最小化由Wasserstein距离定义的额外像素损失，以便对抗框架可以更好地训练。此外，我们认为人脸姿态变化是连续的，而不是离散的现有文献中，注入更丰富的姿态信息到我们的模型。姿态估计任务被公式化为回归问题，这有助于从姿态变化中解开身份信息。建议的网络进行评估的任务的姿态不变的人脸识别（PIFR）和跨姿态的人脸合成。对几个受控和野外基准测试数据集进行的广泛的定量和定性评估表明，所提出的DED-GAN方法优于最先进的方法。
2019-09-19 cs.CV
Fast and accurate reconstruction of HARDI using a 1D encoder-decoder convolutional network
Huazhong University of Science and Technology（华中科技大学）
高角分辨率弥散成像（HARDI）与弥散张量成像相比，需要大量的数据测量，限制了其在实际中的应用。在这项工作中，我们探索了一种基于学习的方法，从q空间中的少量测量中重建HARDI。该方法的目的是直接学习测量和HARDI信号之间的映射关系，从收集其他主题的HARDI收购。具体地，映射被表示为在用于HARDI重建的压缩感测（CS）理论的指导下的1D编码器-解码器卷积神经网络。提出的网络架构主要由两部分组成：编码器网络产生稀疏系数和解码器网络产生重建结果。实验结果表明，该方法能够鲁棒地重建HARDI信号，重建结果准确，重建速度快。
2019-03-21 cs.CV
Rethinking Image Inpainting via a Mutual Encoder-Decoder with Feature Equalizations
Hunan University（湖南大学）；Tencent AI Lab（腾讯AI实验室）
基于深度编码器-解码器的CNN具有用于孔填充的高级图像修补方法。虽然现有的方法恢复结构和纹理一步一步在孔区域，他们通常使用两个编码器-解码器分别恢复。每个编码器的CNN特征被学习以捕获丢失的结构或纹理，而不将它们作为一个整体考虑。这些编码器功能的利用率不足，限制了恢复结构和纹理的性能。在本文中，我们提出了一个共同的编码器-解码器CNN的联合恢复。我们使用来自编码器的深层和浅层的CNN特征来分别表示输入图像的结构和纹理。深层特征被发送到结构分支，浅层特征被发送到纹理分支。在每个分支中，我们在CNN特征的多个尺度上填充漏洞。来自两个分支的填充的CNN特征被连接，然后被均衡。在特征均衡过程中，我们首先重新权衡信道注意力，并提出了一个双边传播激活函数，使空间均衡。为此，填充的结构和纹理的CNN特征相互受益，以表示所有特征级别的图像内容。我们使用均衡功能来补充解码器功能，通过跳过连接生成输出图像。基准数据集上的实验表明，该方法是有效的恢复结构和纹理，并表现出良好的国家的最先进的方法。
2020-07-14 cs.CV
Full-Resolution Encoder-Decoder Networks with Multi-Scale Feature Fusion for Human Pose Estimation
University of Electronic Science and Technology of China（电子科技大学）
为了实现更准确的二维人体姿态估计，我们扩展了成功的编码器-解码器网络，简单基线网络（SBN），在三种方式。为了减少由大输出步幅大小引起的量化误差，在简单基线网络的末端添加了另外两个解码器模块，以获得完整的输出分辨率。然后，全局上下文块（GCB）被添加到编码器和解码器模块，以增强它们与全局上下文特征。此外，我们提出了一种新的基于空间注意力的多尺度特征收集和分配模块（SA-MFCD）融合和分配多尺度特征，以提高姿态估计。在MS COCO数据集上的实验结果表明，我们的网络可以显着提高SBN上人体姿态估计的准确性，我们使用ResNet 34作为骨干网络的网络甚至可以达到与使用ResNet 152的SBN相同的准确性，并且我们的网络可以在大型骨干网络上取得更好的结果。
2021-06-01 cs.CV
Spatial-Assistant Encoder-Decoder Network for Real Time Semantic Segmentation
本文提出SANet，通过融合编码器-解码器与双路径架构，并引入APPPM和SAD注意力模块，在Cityscapes和CamVid数据集上同时实现了高精度与实时推理速度。
2023-09-19 cs.CV
MaskOCR: Text Recognition with Masked Encoder-Decoder Pretraining
Baidu Inc.（百度公司）
针对文本识别预训练未统一视觉与语言学习的问题，提出MaskOCR方法，通过掩码图像建模预训练编码器、掩码图像-语言建模预训练解码器，在中英文基准数据集上取得优异性能。
2023-10-10 cs.CV
Learning to Refine Object Contours with a Top-Down Fully Convolutional Encoder-Decoder Network
Wuhan University（武汉大学）
我们开发了一种新的深度轮廓检测算法，具有自顶向下的全卷积编码器-解码器网络。我们提出的方法，名为TD-CEDN，解决了这个低级视觉问题中的两个重要问题：（1）学习多尺度和多级特征;（2）在网络中应用有效的自上而下的细化方法。TD-CEDN通过利用网络所有层的特征来执行逐像素预测。与跳过连接和以前的编码器-解码器方法不同，我们首先在前馈过程中的编码器阶段之后学习粗略的特征图，然后在解码器阶段利用连续较低层的特征以自上而下的策略细化该特征图。因此，反卷积过程是逐步进行的，这是由提供综合直接监督的深度监督网络指导的。上述提出的技术导致更精确和更清晰的预测。我们提出的算法在BSDS 500数据集（ODS F-score为0.788），PASCAL VOC 2012数据集（ODS F-score为0.588）和NYU Depth数据集（ODS F-score为0.735）上达到了最先进的水平。
2017-05-12 cs.CV
T-DEED: Temporal-Discriminability Enhancer Encoder-Decoder for Precise Event Spotting in Sports Videos
Universitat de Barcelona（巴塞罗那大学）；Computer Vision Center（计算机视觉中心）；Aalborg University（奥尔堡大学）
针对体育视频事件定位中帧判别性、时序分辨率与多尺度建模难题，提出T-DEED时序判别性增强编解码器，在两个数据集上达SOTA水平。
2024-04-11 cs.CV
Group DETR v2: Strong Object Detector with Encoder-Decoder Pretraining
Baidu VIS（百度视觉技术部）；Australian National University（澳大利亚国立大学）；Beihang University（北京航空航天大学）；Peking University（北京大学）
我们提出了一个强大的对象检测器与编码器-解码器预训练和微调。我们的方法，称为组DETR v2，是建立在视觉Transformer编码器ViT-Huge~ \cite{dosovitskiy2020image}，DETR变体DINO~ \cite{zhang2022dino}，和一个有效的DETR训练方法组DETR~ \cite{chen2022group}。训练过程包括在ImageNet-1 K上自我监督预训练和微调ViT-Huge编码器，在Object 365上预训练检测器，最后在COCO上微调。Group DETR v2在COCO test-dev上实现了$\textbf{64.5}$ mAP，并在COCO排行榜https://paperswithcode.com/sota/object-detection-on-coco上建立了新的SoTA
2022-11-07 cs.CV
Unsupervised Multi-Domain Image Translation with Domain-Specific Encoders/Decoders
Nanjing University of Science and Technology（南京理工大学）
无监督图像到图像翻译在当今取得了非常先进的发展。然而，最近的方法主要集中在具有两个域的一个模型上，在$n$域在一般设置中自由地彼此转移的要求下，这可能面临$O(n^2)$训练时间和模型参数的大成本的沉重负担。为了解决这个问题，我们提出了一个新的和统一的框架命名为Domain-Bank，它包括一个全球共享的自动编码器和$n$域特定的编码器/解码器，假设一个通用的共享潜在空间可以被投影。因此，我们在模型参数中产生$O(n)$复杂性，同时大大减少了时间预算。除了高效率之外，我们还在各种具有挑战性的无监督图像翻译任务上显示了与最先进的图像翻译结果相当（甚至更好）的图像翻译结果，包括人脸图像翻译，时装翻译和绘画风格翻译。我们还将所提出的框架应用于领域自适应，并在数字基准数据集上实现了最先进的性能。此外，由于域特定解码器的显式表示以及通用共享潜在空间，它还使我们能够进行增量学习以添加新的域编码器/解码器。通过融合相应的解码器，得到不同域表示的线性组合。
2017-12-06 cs.CV
Temporal Deformable Convolutional Encoder-Decoder Networks for Video Captioning
Sun Yat-sen University（中山大学）；JD AI Research（京东人工智能研究院）
视频描述是计算机视觉和人工智能领域中的一项基本而又具有挑战性的任务。流行的方法是通过递归神经网络（RNN）以序列到序列的方式将输入视频映射到可变长度的输出句子。然而，RNN的训练仍然在一定程度上受到消失/爆炸梯度问题的影响，使得优化变得困难。此外，RNN中固有的递归依赖性阻止了训练期间序列内的并行化，因此限制了计算。在本文中，我们提出了一种新的设计-时间可变形卷积编码器-解码器网络（简称TDConvED），充分利用卷积的编码器和解码器网络的视频描述。从技术上讲，我们利用卷积块结构来计算固定数量输入的中间状态，并堆叠几个块来捕获长期关系。编码器中的结构还配备有时间可变形卷积，以实现时间采样的自由形式变形。我们的模型还利用时间注意力机制的句子生成。在MSVD和MSR-VTT视频描述数据集上进行了大量的实验，与传统的基于RNN的编码器-解码器技术相比，报告了更好的结果。更值得注意的是，TDConvED将MSVD的CIDEr-D性能从58.8%提高到67.2%。
2019-05-03 cs.CV
LEDNet: A Lightweight Encoder-Decoder Network for Real-Time Semantic Segmentation
Temple University（天普大学）
大量的计算负担限制了CNN在移动设备中用于密集估计任务的使用。本文提出了一种轻量级网络LEDNet，该网络采用非对称的编解码器架构，实现实时的【形】语义分割，编码器采用ResNet作为骨干网络，在每个残差块中使用两种新的操作：通道分割和洗牌，在保持较高分割精度的同时大大降低了计算成本。另一方面，在解码器中采用注意力金字塔网络（APN），以进一步减轻整个网络的复杂度。我们的模型具有不到1M的参数，并且能够在单个GTX 1080Ti GPU中以超过71 FPS的速度运行。综合实验表明，我们的方法在CityScapes数据集上实现了速度和准确性权衡方面的最先进的结果。
2019-05-13 cs.CV
QueryMamba: A Mamba-Based Encoder-Decoder Architecture with a Statistical Verb-Noun Interaction Module for Video Action Forecasting @ Ego4D Long-Term Action Anticipation Challenge 2024
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Fraunhofer IOSB（弗劳恩霍夫IOSB研究所）
本文提出QueryMamba架构，通过统计动词-名词共现矩阵增强视频动作预测，在Ego4D LTA挑战赛获第二名且名词预测精度第一。
2024-07-04 cs.CV
Video Summarization with Attention-Based Encoder-Decoder Networks
Tianjin University（天津大学）；Xi’an Institute of Optics and Precision Mechanics（西安光学精密机械研究所）
本文提出了一种有监督的视频摘要方法，将其描述为一个序列到序列的学习问题，输入是一个原始视频帧序列，输出是一个关键镜头序列。我们的核心思想是学习一个具有注意力机制的深度摘要网络，以模仿人类选择关键镜头的方式。为此，我们提出了一种新的视频摘要框架命名为Attentive encoder-decoder networks for Video Summarization（AVS），其中编码器使用双向长短期记忆（BiLSTM）来编码输入视频帧之间的上下文信息。对于解码器，分别使用加性和乘性目标函数探索了两个基于注意力的LSTM网络。在三个视频摘要基准数据集上进行了广泛的实验，SumMe和TVSum。结果表明，所提出的基于AVS的方法相对于最先进的方法的优越性，在两个数据集上分别具有从0.8%到3%的显著改进。
2018-04-16 cs.CV
CrossDiff: Diffusion Probabilistic Model With Cross-conditional Encoder-Decoder for Crack Segmentation
Zhengzhou University（郑州大学）；King’s College London（伦敦国王学院）
针对工业混凝土表面裂缝分割难题，提出首个基于扩散概率模型的CrossDiff，通过交叉条件编码器-解码器增强细节保留与语义提取，在五个数据集上Dice和IoU均提升8.0%。
2025-01-22 cs.CV
PottsMGNet: A Mathematical Explanation of Encoder-Decoder Based Neural Networks
NORCE Norwegian Research Centre（NORCE挪威研究中心）；Hong Kong Baptist University（香港浸会大学）；City University of Hong Kong（香港城市大学）；Hong Kong Centre for Cerebro-Cardiovascular Health Engineering（香港心脑血管健康工程中心）
本文从算法角度研究基于编码器-解码器的网络架构，提出PottsMGNet以解释其数学原理，并证明多种流行网络为其实例，且在图像分割任务中表现优异。
2023-09-15 cs.CV
Decoder Denoising Pretraining for Semantic Segmentation
Google Research（谷歌研究院）
获取语义分割标签是昂贵且耗时的。因此，预训练通常用于提高分割模型的标记效率。通常，分割模型的编码器被预先训练为分类器，解码器被随机初始化。在这里，我们认为，随机初始化的解码器可以是次优的，特别是当很少标记的例子。我们提出了一种基于去噪的解码器预训练方法，该方法可以与编码器的监督预训练相结合。我们发现，在ImageNet数据集上进行解码器去噪预训练的效果明显优于仅编码器监督预训练。尽管简单，解码器去噪预训练在标签高效的语义分割上实现了最先进的结果，并在Cityscapes、Pascal Context和ADE 20 K数据集上提供了相当大的收益。
2022-05-23 cs.CV
Scheduled Sampling in Vision-Language Pretraining with Decoupled Encoder-Decoder Network
JD AI Research（京东人工智能研究院）；Sun Yat-sen University（中山大学）
尽管使用基于BERT的编码器进行视觉语言（VL）预训练以用于VL理解，但用于VL理解和生成的通用编码器-解码器的预训练仍然具有挑战性。困难源于这两个学科固有的不同特点，例如，VL理解任务利用跨模态的不受限制的消息传递，而生成任务仅采用视觉到文本的消息传递。在本文中，我们开始与两个流解耦设计的编码器-解码器结构，其中两个解耦的跨模态编码器和解码器涉及到单独执行每种类型的代理任务，同时VL理解和生成预训练。此外，对于VL预训练，主要方式是用掩码令牌替换一些输入视觉/单词令牌，并强制多模态编码器/解码器重建原始令牌，但在下游任务上进行微调时不涉及掩码令牌。作为替代方案，我们提出了一个主要的预定采样策略，优雅地减轻这种差异，通过预训练编码器-解码器在一个两遍的方式。大量的实验证明了我们的预训练编码器-解码器通过对四个VL理解和生成下游任务进行微调而具有令人信服的普遍性。源代码可从\url{https://github.com/YehLi/TDEN}获得。
2021-01-27 cs.CL cs.CV
Image denoising and restoration with CNN-LSTM Encoder Decoder with Direct Attention
图像去噪一直是计算机视觉和图像处理领域的一个具有挑战性的课题。在本文中，我们提出了一个编码器-解码器模型与直接注意，这是能够去噪和重建高度损坏的图像。我们的模型由一个编码器和一个解码器组成，其中编码器是一个卷积神经网络，解码器是一个多层长短期记忆网络。在所提出的模型中，编码器读取图像并捕获该图像的抽象向量，解码器将该向量以及损坏的图像重建为干净的图像。我们已经在MNIST手写数字数据库上训练了我们的模型，在此之前，我们将每个图像的下半部分都设置为黑色，并在顶部添加了噪声。在大规模破坏图像之后，人类很难理解这些图像的内容，我们的模型可以以最小的错误检索该图像。我们提出的模型已经与卷积编码器-解码器进行了比较，其中我们的模型在生成图像的缺失部分方面比卷积自动编码器表现得更好。
2018-01-16 cs.CV stat.ML
Transfer Learning for Segmentation Problems: Choose the Right Encoder and Skip the Decoder
Technische Universität Berlin（柏林工业大学）；Bayer AG（拜耳股份公司）；Bernstein Center for Computational Neuroscience Berlin（柏林伯恩斯坦计算神经科学中心）
通常的做法是重用最初在不同数据上训练的模型，以提高下游任务的性能。特别是在计算机视觉领域，ImageNet预训练权重已成功用于各种任务。在这项工作中，我们研究了迁移学习对分割问题的影响，这些问题是可以用编码器-解码器架构解决的像素分类问题。我们发现解码器的迁移学习对下游分割任务没有帮助，而编码器的迁移学习是真正有益的。我们证明，解码器的预训练权重可能会产生更快的收敛速度，但它们不会提高整体模型性能，因为使用随机初始化的解码器可以获得等效的结果。然而，我们表明，重用在分割或重建任务上训练的编码器权重比重用在分类任务上训练的编码器权重更有效。这一发现表明，使用ImageNet预训练的编码器进行下游分割问题是次优的。我们还提出了一种具有多个自重建任务的对比自监督方法，该方法提供了适合在没有分割标签的情况下在分割问题中进行迁移学习的编码器。
2022-07-29 cs.AI cs.CV
EDIT: Enhancing Vision Transformers by Mitigating Attention Sink through an Encoder-Decoder Architecture
School of Computer Science and Technology, Henan Polytechnic University（河南理工大学计算机科学与技术学院）
提出EDIT架构，通过层对齐编码器-解码器缓解注意力汇聚，在ImageNet及迁移任务上优于DeiT3。
2025-10-16 cs.AI cs.CV
Beyond Single Stage Encoder-Decoder Networks: Deep Decoders for Semantic Image Segmentation
University of Freiburg（弗莱堡大学）；Valeo Inc.（法雷奥公司）
用于语义分割的单个编码器-解码器方法在每层的分割质量和效率方面达到了顶峰。为了解决这些局限性，我们提出了一种新的架构的基础上的解码器，它使用了一组浅网络捕捉更多的信息内容。新的解码器有一个新的拓扑结构的跳跃连接，即向后和堆叠的剩余连接。为了进一步改进架构，我们引入了一个权重函数，旨在重新平衡类，以增加网络对未充分代表对象的关注。我们进行了一系列广泛的实验，为CamVid，Gatech和Freiburg Forest数据集提供了最先进的结果。此外，为了进一步证明我们的解码器的有效性，我们进行了一组实验，研究我们的解码器对最先进的分割技术的影响。此外，我们提出了一组实验增强语义分割与光流信息，运动线索可以提高纯图像的语义分割的方法。
2020-07-19 cs.CV cs.RO
Rethinking Skip Connections in Encoder-decoder Networks for Monocular Depth Estimation
Changchun Institute of Optics, Fine Mechanics and Physics, Chinese Academy of Sciences（中国科学院长春光学精密机械与物理研究所）；University of the Chinese Academy of Sciences（中国科学院大学）
跳跃连接是编解码器网络中的基本单元，它能够改善神经网络的特征传播。然而，大多数使用跳过连接的方法只是连接编码器和解码器中具有相同分辨率的特征，这忽略了编码器中的信息丢失。为了利用编码器较浅层中特征的信息损失，我们提出了一种用于单目深度估计任务的全跳过连接网络（FSCN）。此外，为了更紧密地融合跳跃连接中的特征，我们提出了一个自适应级联模块（ACM）。此外，我们在户外和室内数据集上进行了广泛的实验（即，KITTI数据集和NYU Depth V2数据集）得到了最先进的结果。
2022-08-29 cs.AI cs.CV
PMR-Net: Parallel Multi-Resolution Encoder-Decoder Network Framework for Medical Image Segmentation
Shaanxi University of Science and Technology（陕西科技大学）；School of Electronic Information and Artificial Intelligence, Shaanxi University of Science and Technology（陕西科技大学电子信息与人工智能学院）
提出并行多分辨率编码器-解码器网络PMR-Net，通过并行多尺度特征提取与融合及对称解码器补充全局上下文，解决医学图像分割中细节丢失和上采样导致全局信息损失的问题，在五个公开数据集上超越现有方法。
2024-09-19 cs.CV eess.IV
T-Net: Nested encoder-decoder architecture for the main vessel segmentation in coronary angiography
Korea Advanced Institute of Science and Technology（韩国科学技术院）；University of Ulsan College of Medicine（蔚山大学医学院）；Asan Medical Center（峨山医学中心）
在本文中，我们提出了T-网包含一个小的编码器-解码器内部的编码器-解码器结构（EDiED）。T-Net克服了U-Net在编码器和解码器块之间只能有一组级联层的限制。更准确地说，U-Net对称地形成级联层，因此编码器的低级特征连接到解码器的后面部分，而高级特征连接到解码器的开始部分。T-Net在编码过程中适当地安排池化和上采样，同样在解码过程中也是如此，以便在单个块中获得各种大小的特征图。因此，从编码器提取的从低级别到高级别的所有特征都从解码器的开始处传递，以预测更准确的掩码。我们评估了T-Net在冠状动脉造影图像中分割三个主要血管的问题。实验包括在相同条件下比较U-网和T-网，以及优化的T-网用于主血管分割。结果，T-Net的Dice相似系数得分（DSC）为0.815，比U-Net高0.095，优化后的T-Net的DSC为0.890，比U-Net高0.170。此外，我们可视化了T-Net和U-Net卷积层的权重激活，以表明T-Net实际上预测了早期解码器的掩码。因此，我们期望T-Net可以有效地应用于其他类似的医学图像分割问题。
2020-05-20 cs.CV eess.IV
Rethinking Encoder-Decoder Flow Through Shared Structures
Samsung R&D Institute UK (SRUK)（三星英国研发中心）
针对密集预测任务中解码器结构不变的问题，提出共享结构“banks”为每个解码块提供额外上下文，通过重采样和特征融合提升基于Transformer架构的深度估计性能。
2025-01-24 cs.CV cs.LG
Prediction of the morphological evolution of a splashing drop using an encoder-decoder
Tokyo University of Agriculture and Technology（东京农工大学）
液滴撞击固体表面是一个重要的现象，具有各种含义和应用。然而，这种现象的多相性导致其形态演变的预测复杂化，特别是当液滴飞溅时。虽然大多数基于机器学习的跌落冲击研究都集中在物理参数上，但这项研究使用了计算机视觉策略，通过训练编码器-解码器来使用图像数据预测跌落形态。在这里，我们表明，这种训练的编码器-解码器能够成功地生成显示飞溅和非飞溅水滴形态的视频。值得注意的是，在这些生成的视频的每一帧中，发现液滴的扩散直径与实际视频的扩散直径非常一致。此外，在飞溅/非飞溅预测中也有很高的准确性。这些发现证明了训练的编码器-解码器生成可以准确表示液滴形态的视频的能力。这种方法为实验和数值研究提供了更快，更便宜的替代方案。
2023-03-24 cs.CV physics.flu-dyn
Bangla Image Caption Generation through CNN-Transformer based Encoder-Decoder Network
Pioneer Alpha；Mississippi State University（密西西比州立大学）
自动图像描述是一种无休止的努力，它用自然语言和上下文来创建图像的语法和验证文本描述的准确性。在现有的孟加拉语图像描述（BIC）研究中使用的编码器-解码器结构利用抽象图像特征向量作为编码器的输入。我们提出了一种新的基于transformer的架构，具有注意力机制和预训练的ResNet-101模型图像编码器，用于从图像中提取特征提取。实验表明，我们的技术中的语言解码器捕获标题中的细粒度信息，然后与图像特征配对，在BanglaLekhaImageCaptions数据集上生成准确且多样化的标题。我们的方法优于所有现有的孟加拉语图像描述工作，并通过在BLEU-1上得分0.694，在BLEU-2上得分0.630，在BLEU-3上得分0.582，在METEOR上得分0.337来设定新的基准。
2021-10-24 cs.AI cs.CV
Deep Encoder-Decoder Neural Network for Fingerprint Image Denoising and Inpainting
Chongqing Normal University（重庆师范大学）
指纹图像去噪是指纹识别中非常重要的一步。为了提高指纹图像的去噪效果，设计了一种基于深度编解码器网络的指纹去噪算法，编码器子网学习含噪图像的指纹特征，解码器子网根据特征重构原始指纹图像实现去噪，同时在网络中使用扩张卷积，在不增加复杂度的情况下增加受体场，改善网络推理速度此外，通过引入残差学习，实现了网络不同层次的特征融合，进一步还原了指纹的细节特征，提高了去噪效果。实验结果表明，该算法能较好地恢复指纹图像的边缘、直线和曲线特征，与其他方法相比，具有更好的视觉效果和更高的峰值信噪比（PSNR）。
2020-05-03 cs.CV eess.IV
Understanding Geometry of Encoder-Decoder CNNs
KAIST（韩国科学技术院）
使用卷积神经网络（CNN）架构的编码器-解码器网络由于其对各种逆问题的优异性能而被广泛用于深度学习文献中。然而，它仍然很难获得连贯的几何视图，为什么这样的架构给出了所需的性能。受最近对神经网络的泛化性，表达性和优化前景的理论理解以及卷积小框架理论的启发，我们在这里提供了一个统一的理论框架，可以更好地理解编码器-解码器CNN的几何结构。我们的统一数学框架表明，编码器-解码器CNN架构与使用组合卷积帧的非线性基表示密切相关，其可表达性随网络深度呈指数级增长。我们还展示了跳过连接在可表达性和优化景观方面的重要性。
2019-05-07 cs.AI cs.CV cs.LG
SEDEG:Sequential Enhancement of Decoder and Encoder's Generality for Class Incremental Learning with Small Memory
Zhejiang Lab（浙江实验室）；Hangzhou Institute for Advanced Study（杭州高等研究院）；University of Chinese Academy of Sciences（中国科学院大学）
SEDEG通过两阶段训练框架提升视觉Transformer中解码器和编码器的通用性，以应对动态数据输入，减少灾难性遗忘，实验表明其在小内存场景下表现优异。
2025-08-18 cs.AI cs.CV
SoftPool++: An Encoder-Decoder Network for Point Cloud Completion
Technische Universität München（慕尼黑工业大学）；Google（谷歌）
我们提出了一种新的卷积算子的点云完成的任务。我们的方法的一个显着特点是，与相关工作相反，它不需要任何最大池或体素化操作。相反，用于学习点云嵌入编码器中的所提出的算子通过特征激活的软池从点云中提取置换不变特征，这能够保留细粒度的几何细节。然后将这些特征传递到解码器架构。由于编码器中的压缩，这种类型的架构的典型限制是它们倾向于丢失输入形状结构的部分。我们建议通过使用专门为点云设计的跳过连接来克服这一限制，其中建立了编码器和解码器中相应层之间的链接。作为这些连接的一部分，我们引入了一个变换矩阵，将特征从编码器投影到解码器，反之亦然。ShapeNet数据集上部分扫描的对象完成任务的定量和定性结果表明，结合我们的方法在低分辨率和高分辨率下都实现了形状完成的最新性能。
2022-05-08 cs.AI cs.CV
MsEdF: A Multi-stream Encoder-decoder Framework for Remote Sensing Image Captioning
本文提出MsEdF框架，通过优化编码器-解码器的空域表示和语言生成，提升遥感图像描述的准确性，实验表明其在三个基准数据集上优于现有方法。
2025-10-28 cs.CV cs.HC cs.LG
DEED: Dynamic Early Exit on Decoder for Accelerating Encoder-Decoder Transformer Models
AWS AI Labs（AWS AI实验室）；University of California San Diego（加州大学圣迭戈分校）
提出DEED方法，在编码器-解码器Transformer解码器中实现动态早退，通过多出口和深度监督训练，按步置信度减少解码层数，降低30%-60%推理延迟，保持或提升准确性。
2023-11-15 cs.CL cs.CV cs.LG
Review Networks for Caption Generation
Carnegie Mellon University（卡内基梅隆大学）
我们提出了一种新的扩展的编码器-解码器框架，称为审查网络。审查网络是通用的，可以增强任何现有的编码器-解码器模型：在本文中，我们考虑RNN解码器与CNN和RNN编码器。回顾网络利用注意力机制对编码器隐藏状态执行多个回顾步骤，并且在每个回顾步骤之后输出思想向量;思想向量用作解码器中的注意力机制的输入。我们表明，传统的编码器-解码器是我们的框架的一个特殊情况。从经验上讲，我们表明，我们的框架提高了国家的最先进的编码器-解码器系统上的任务，图像描述和源代码字幕。
2016-10-27 cs.CL cs.CV cs.LG
Mix and match networks: encoder-decoder alignment for zero-pair image translation
Computer Vision Center, Universitat Autònoma de Barcelona（巴塞罗那自治大学计算机视觉中心）
我们解决的问题，域或模态之间的图像翻译没有直接配对的数据是可用的（即零对翻译）。我们提出了混合和匹配网络，基于多个编码器和解码器，以这样一种方式对齐，即其他编码器-解码器对可以在测试时组成，以在训练期间看不到显式配对样本的域或模态之间执行看不见的图像翻译任务。我们研究了自动编码器，边信息和损失在提高训练成对翻译模型对看不见的翻译的对齐和可转移性方面的影响。我们证明了我们的方法是可扩展的，可以在看不见的域组合之间执行着色和风格转换。我们在一个具有挑战性的跨模态设置中评估我们的系统，其中从深度图像估计语义分割，而无需明确访问任何深度-语义分割训练对。我们的模型优于基于pix 2 pix和CycleGAN模型的基线。
2018-04-06 cs.CV stat.ML
Atrous Residual Interconnected Encoder to Attention Decoder Framework for Vertebrae Segmentation via 3D Volumetric CT Images
The Hong Kong Polytechnic University（香港理工大学）；University of Oxford（牛津大学）
基于计算机断层扫描（CT）的医学图像自动分割是计算机辅助手术得到广泛应用的前提。随着深度学习技术的发展，深度卷积神经网络（DCNN）在医学图像的自动语义分割方面表现出了强大的性能。然而，基于DCNN的语义分割算法仍然面临着编码器和解码器之间的特征丢失、多尺度对象、滤波器视野受限以及医学图像数据缺乏等挑战。本文提出了一种新的算法自动分割椎骨通过三维体积脊柱CT图像。该模型基于编码器到解码器的结构，使用层归一化来优化小批量训练性能。为了解决编码器和解码器之间的信息丢失问题，我们设计了一个Atrous残差路径来将更多的特征从编码器传递到解码器，而不是简单的快捷连接。该模型还在解码器部分应用了注意力模块，从不同尺度中提取特征。所提出的模型进行评估的公开可用的数据集通过各种指标。实验结果表明，我们的模型实现了竞争力的性能相比，其他国家的最先进的医学语义分割方法。
2021-04-08 cs.CV cs.LG eess.IV
Return of the Encoder: Maximizing Parameter Efficiency for SLMs
Microsoft（微软公司）
本文提出一种知识蒸馏框架，使10亿参数以下的编码器-解码器SLM在保留低延迟和高吞吐优势的同时，吸收大型纯解码器教师模型的能力，在边缘部署中实现更优性能。
2025-01-30 cs.AI cs.CL cs.CV
Double Encoder-Decoder Networks for Gastrointestinal Polyp Segmentation
Bournemouth University（伯恩茅斯大学）；Australian Institute for Machine Learning, University of Adelaide（阿德莱德大学澳大利亚机器学习研究所）；BCN Medtech（巴塞罗那医疗科技公司）；Universitat Pompeu Fabra（庞培法布拉大学）；ICREA（加泰罗尼亚高等研究院）
息肉是结直肠癌发展的早期迹象。检测它们的标准程序包括胃肠道的结肠镜检查。然而，广泛的息肉形状和视觉外观，以及这种图像模态的质量降低，使其自动识别和分割与计算工具成为一个具有挑战性的计算机视觉任务。在这项工作中，我们提出了一种新的策略，从内窥镜图像的基础上，直接扩展常见的编码器-解码器网络的语义分割的胃肠道息肉划定。在我们的方法中，两个预先训练的编码器-解码器网络依次堆叠：第二个网络将原始帧和第一个网络生成的初始预测的级联作为输入，这作为一种注意力机制，使第二个网络能够专注于图像中的感兴趣区域，从而提高其预测的质量。对几个息肉分割数据库进行的定量评估表明，在所有情况下，双编码器-解码器网络的性能明显优于单编码器-解码器网络。此外，我们最好的双编码器-解码器组合在所有考虑的数据集中获得了出色的分割精度，并达到了最先进的性能结果，从未用于训练的数据集中提取的图像的精度显著提高。
2021-10-05 cs.CV cs.LG eess.IV
Target Detection and Segmentation in Circular-Scan Synthetic-Aperture-Sonar Images using Semi-Supervised Convolutional Encoder-Decoders
Naval Surface Warfare Center（海军水面作战中心）；Naval Sea Systems Command（海军海上系统司令部）；University of Florida（佛罗里达大学）
我们提出了一个框架，基于显着性，多目标检测和分割的圆扫描，合成孔径声纳（CSAS）图像。我们的框架依赖于多分支卷积编码器-解码器网络（MB-CEDN）。MB-CEDN的编码器部分从CSAS图像中提取视觉对比度特征。这些特征被送入双解码器，执行像素级分割以掩盖目标。每个解码器提供不同的视角，以构成一个显着的目标。这些意见被聚合并级联到一个深度解析网络中，以细化分割。我们使用由五个广泛目标类别组成的真实世界CSAS图像来评估我们的框架。我们比较现有的方法，从计算机视觉文献。我们表明，我们的框架优于为自然图像设计的有监督的深度显着性网络。它大大优于为自然图像开发的无监督显着性方法。这说明，可能需要改变基于自然图像的模型，以有效地用于这种成像声纳模态。
2022-02-17 cs.AI cs.CV
Vision Encoder-Decoder Models for AI Coaching
B. M. S. College of Engineering（B.M.S.工程学院）
本文提出将视觉编码器-解码器模型用于AI教练，以Vision Transformer和GPT-2实现图像输入下的自然问答对话，并通过不同规模GPT-2实验验证了方法的可扩展性与通用性。
2023-11-09 cs.AI cs.CV
Deformable Image Registration with Multi-scale Feature Fusion from Shared Encoder, Auxiliary and Pyramid Decoders
School of Information Science and Engineering, Linyi University（临沂大学信息科学与工程学院）
提出一种用于无监督图像配准的可变形卷积金字塔网络，通过共享辅助解码器和多尺度特征融合块融合全局与局部特征，提升复杂变形捕捉能力、配准精度及变形平滑合理性。
2024-08-11 cs.AI cs.CV
DSM Refinement with Deep Encoder-Decoder Networks
BSC of Geomatics, ETH Zürich（苏黎世联邦理工学院测量与地理信息科学中心）
3D城市模型可以从航空图像生成。然而，所计算的DSM遭受噪声、伪像和数据漏洞，这些必须在耗时的过程中手动清理。这项工作提出了一种方法，自动完善这样的DSM。其核心思想是从参考数据中教授神经网络城市区域的特征。为了实现这一目标，一个损失函数组成的L1范数和特征损失的建议。这些特征是使用预先训练的图像分类网络构造的。为了学习更新高度图，基于深度残差学习的概念和编码器-解码器结构建立了网络架构。结果表明，这种组合在保留相关几何结构同时去除不期望的伪影和噪音方面非常有效。
2020-12-14 cs.CV eess.IV
Polyp and Surgical Instrument Segmentation with Double Encoder-Decoder Networks
Pompeu Fabra University（庞培法布拉大学）；BCN MedTech
本文提出一种增强型双编码器-解码器网络，通过改进编码器架构、优化流程和温度调节模型集成后处理，在内窥镜图像中同时分割息肉和手术器械，取得与专家标注高度一致的结果。
2024-06-06 cs.CV cs.LG eess.IV
TED-net: Convolution-free T2T Vision Transformer-based Encoder-decoder Dilation network for Low-dose CT Denoising
University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）
低剂量CT是临床应用的主流。然而，与常规剂量CT相比，低剂量CT（LDCT）图像中存在较强的噪声和较多的伪影，这给实际应用带来了障碍。在过去的几年中，基于卷积的端到端深度学习方法已被广泛用于LDCT图像去噪。最近，Transformer已经显示出优于卷积的性能，具有更多的功能交互。但其在LDCT去噪中的应用还没有得到充分的研究。在这里，我们提出了一个无卷积的T2 T视觉变换为基础的编码器-解码器扩张网络（TED-net），以丰富家庭的LDCT去噪算法。该模型是免费的卷积块，并由一个对称的编码器-解码器块与唯一的Transformer。我们的模型在AAPM-Mayo clinic LDCT Grand Challenge数据集上进行了评估，结果显示优于最先进的去噪方法。
2021-06-08 cs.CV eess.IV physics.med-ph
Back to the Future: Predicting Traffic Shockwave Formation and Propagation Using a Convolutional Encoder-Decoder Network
Texas A&M University（德州农工大学）
这项研究提出了一种深度学习方法来预测交通冲击波的传播。深度神经网络的输入是研究段的时空图，网络的输出是以时空图的形式预测的冲击波在研究段上的（未来）传播。所提出的方法的主要特点是能够提取嵌入在时间-空间图中的特征来预测交通冲击波的传播。
2019-05-04 cs.CV cs.LG eess.SP
