Understanding Transformer Encoder-Decoder Representations through Bernoulli Dropout
School of Electrical and Computer Engineering（电气与计算机工程学院）；Georgia Institute of Technology（佐治亚理工学院）
本研究通过伯努利丢弃方法探索Transformer编码器-解码器表示，分析稀疏性对模型性能的影响，并在翻译任务中验证了稀疏性阈值对性能的决定性作用。
2026-01-24 cs.LG
An Odor Labeling Convolutional Encoder-Decoder for Odor Sensing in Machine Olfaction
Guangdong University of Technology（广东工业大学）
深度学习方法已广泛应用于视觉和声学技术。提出了一种用于机器嗅觉中气味识别的气味标记卷积编码解码器（OLCE）。OLCE构成了一个卷积神经网络编码器和解码器，其中编码器输出被约束为气味标签。电子鼻用于气体响应的数据汇集，随后是规范的实验程序。计算了几个评价指标来评估算法的有效性：准确率92.57%，精确率92.29%，召回率92.06%，F1-Score 91.96%，Kappa系数90.76%。我们还将该模型与机器嗅觉中的一些算法进行了比较。比较结果表明，OLCE算法的性能最好.本文还对机器嗅觉的发展前景进行了展望。
2021-01-06 cs.LG
A manifold learning perspective on representation learning: Learning decoder and representations without an encoder
University of Copenhagen（哥本哈根大学）
自动编码器通常用于表示学习。它们由一个编码器和一个解码器组成，提供了一种直接的方法来将输入空间中的n维数据映射到一个较低的m维表示空间。解码器本身在输入空间中定义了一个m维流形。受流形学习的启发，我们证明了解码器可以通过使用梯度下降学习训练样本的表示以及解码器权重来自己训练。然后，平方和损失对应于优化流形以具有到训练样本的最小欧几里得距离，并且对于其他损失函数也是类似的。我们推导出表达式的样本数需要指定的编码器和解码器，并表明，解码器一般需要少得多的训练样本，以及指定相比，编码器。我们从这个角度讨论了自编码器的训练，并涉及到该领域以前的工作，使用嘈杂的训练样本和其他类型的正则化。在自然图像数据集MNIST和CIFAR10上，我们证明了解码器更适合学习低维表示，特别是在小数据集上训练时。使用模拟的基因调控数据，我们进一步表明，解码器单独导致更好的泛化和有意义的表示。我们单独训练解码器的方法即使在小数据集上也有利于表示学习，并且可以改进自编码器的训练。我们希望，简单的分析也将有助于提高概念上的理解表示学习。
2021-10-13 cs.LG
Short-term Inland Vessel Trajectory Prediction with Encoder-Decoder Models
Institute of Ship Technology, Ocean Engineering and Transport Systems (ISMT), University of Duisburg-Essen（杜伊斯堡-埃森大学船舶技术、海洋工程与交通系统研究所（ISMT））；German Federal Waterway Engineering and Research Institute（德国联邦航道工程与研究院）；Chair of Dynamics and Control (SRS), University of Duisburg-Essen（杜伊斯堡-埃森大学动力学与控制讲席（SRS））
本文针对内河船舶轨迹预测问题，比较了多种编码器-解码器架构，发现将回归转化为分类问题并加入河流特征时LSTM优于transformer，首次应用transformer模型并构建了河流特定上下文特征向量。
2024-06-04 cs.LG
FlexTab: A Flexible Encoder-Decoder Architecture for In-Context Learning Across Diverse Tabular Tasks
SAP SE；SAP France（SAP法国）
提出FlexTab架构，通过任务无关编码器与任务特定解码器组合，在表格数据上实现上下文学习，在分类、回归等六项任务上达到最优或竞争力性能。
2026-10-14 cs.LG
Less is More: Pre-train a Strong Text Encoder for Dense Retrieval Using a Weak Decoder
Renmin University of China（中国人民大学）；Microsoft（微软）
稠密检索需要高质量的文本序列嵌入来支持在表示空间中的有效搜索。基于自动编码器的语言模型在稠密检索中很有吸引力，因为它们训练编码器以输出可以重建输入文本的高质量嵌入。然而，在本文中，我们提供了理论分析和经验表明，一个自动编码器语言模型与低重建损失可能无法提供良好的序列表示，因为解码器可能会采取捷径，利用语言模式。为了解决这个问题，我们提出了一种新的自学习方法，使用\textit{weak}解码器预训练自动编码器，具有有限的容量和注意力灵活性，以推动编码器提供更好的文本表示。我们在Web搜索、新闻推荐和开放域问答上的实验表明，我们的预训练模型显著提高了稠密检索模型的有效性和Few-Shot能力。我们的代码可在https://github.com/microsoft/SEED-Encoder/上获得。
2021-09-16 cs.LG
Mental Task Classification Using Electroencephalogram Signal
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Massachusetts Institute of Technology（麻省理工学院）
研究了基于三层CNN、层叠LSTM、层叠GRU的脑电数据分类问题。我们进一步提出了一种新的分类器-具有CNN解码器的混合LSTM模型。在CNN上进行的超参数优化显示，验证准确率为72%，测试准确率为62%。经过FFT预处理和数据下采样的堆叠LSTM和GRU模型分别实现了55%和51%的测试精度。对于带有CNN解码器的混合LSTM模型，验证准确率为75%，测试准确率为70%。我们相信，通过使用CNN层作为后续LSTM层的解码器，混合模型比单独的CNN和LSTM更鲁棒和准确。代码是在Pytorch和Keras的框架中完成的。结果和代码可以在https://github.com/theyou21/BigProject上找到。
2019-10-02 cs.LG eess.SP
BCI decoder performance comparison of an LSTM recurrent neural network and a Kalman filter in retrospective simulation
Brown University（布朗大学）；Harvard Medical School（哈佛医学院）
使用线性卡尔曼解码器的皮质内脑机接口（iBCI）使瘫痪患者能够控制计算机光标，在虚拟键盘上连续点击打字，浏览互联网和使用熟悉的平板电脑应用程序。然而，需要进一步的进步来提供接近健全性能的支持iBCI的光标控制。最近的证据表明，非线性递归神经网络（RNN）可以在非人类灵长类动物（NHP）中提供更高性能的iBCI光标控制，我们使用经过多天多电极记录训练的长短期记忆（LSTM）RNN评估了人类运动皮层信号的预期光标速度解码。通过对来自三名BrainGate iBCI试验参与者的先前记录的皮质内信号进行模拟，我们展示了一种RNN，与卡尔曼解码器相比，它可以在基于高速光标的目标选择任务以及具有挑战性的小目标高精度任务中大幅增加每秒比特数。这些结果表明，应用于人类皮质内信号的RNN解码可以在连续的2-D光标控制中实现实质性的性能进步，并激励实时RNN实现用于四肢瘫痪个体的在线评估。
2018-12-24 cs.HC cs.LG
Amirkabir University of Technology（阿米尔卡比尔理工大学）
Clustering is an unsupervised data mining technique that can be employed to segment customers. The efficient clustering of customers enables banks to design and make offers based on the features of the target customers. The present study uses a real-world financial dataset (Berka, 2000) to cluster bank customers by an encoder-decoder network and the dynamic time warping (DTW) method. The customer features required for clustering are obtained in four ways: Dynamic Time Warping (DTW), Recency Frequency and Monetary (RFM), LSTM encoder-decoder network, and our proposed hybrid method. Once the LST…
2021-10-22 cs.AI cs.LG stat.ML
Temporal convolutional and fusional transformer model with Bi-LSTM encoder-decoder for multi-time-window remaining useful life prediction
本文提出一种结合时序卷积网络和改进的时序融合变换器的模型，通过多时间窗口方法提升工业系统剩余寿命预测的准确性。
2025-11-06 cs.AI cs.LG
Improved Variational Autoencoders for Text Modeling using Dilated Convolutions
Carnegie Mellon University（卡内基梅隆大学）
最近关于文本的生成建模的工作已经发现，结合LSTM解码器的变分自动编码器（VAE）比更简单的LSTM语言模型表现更差（Bowman等人，2015年）。到目前为止，这个负面结果还不太清楚，但这归因于LSTM解码器忽略来自编码器的条件信息的倾向。在本文中，我们实验了一种新型的解码器VAE：一个扩大的CNN。通过改变解码器的膨胀架构，我们控制有效的上下文从以前生成的单词。在实验中，我们发现，有一个权衡的上下文容量的解码器和编码信息的使用量。我们证明，使用正确的解码器，VAE可以超越LSTM语言模型。我们在两个数据集上展示了困惑增益，代表了使用VAE进行文本生成建模的第一个积极的实验结果。此外，我们对VAE（使用我们的新解码架构）用于半监督和无监督标记任务进行了深入研究，证明了在几个强基线上的收益。
2017-06-18 cs.CL cs.LG cs.NE
Machine translation considering context information using Encoder-Decoder model
Kanazawa University（金泽大学）
在机器翻译任务中，上下文信息是一个重要因素。但考虑上下文信息的模型没有提出。本文提出了一种新的模型，可以集成上下文信息进行翻译。在本文中，我们创建了一个新的基于模型的编码器解码器模型。在翻译当前句子时，该模型将前一个编码器的输出与当前编码器的输出相结合。该模型能够考虑上下文信息，其结果得分高于现有模型。
2019-03-30 cs.CL cs.LG
Enforcing Encoder-Decoder Modularity in Sequence-to-Sequence Models
Carnegie Mellon University（卡内基梅隆大学）；Facebook AI Research（Facebook人工智能研究院）
受模块化软件的独立性，可扩展性和清晰的接口设计原则的启发，我们引入了一种方法，用于在不牺牲整体模型质量或其完全可微性的情况下，在seq 2seq模型中实施编码器-解码器模块化。我们离散化的编码器输出单元到一个预定义的可解释的词汇空间，使用连接时间分类（CTC）的损失。我们的模块化系统在300 h Switchboard基准测试中实现了接近SOTA的性能，SWB和CH子集的WER分别为8.3%和17.6%，使用具有独立和可互换的编码器和解码器模块的seq 2seq模型。
2019-11-09 cs.CL cs.LG
Adapting Decoder-Based Language Models for Diverse Encoder Downstream Tasks
Google Inc（谷歌公司）
本文提出Gemma Encoder，将Gemma解码器模型适配为编码器架构，通过系统分析池化策略、注意力机制与超参数优化适配过程，在GLUE和MS MARCO基准上验证了其在分类、回归和排序等非生成式任务中的有效性与多功能性。
2025-03-04 cs.CL cs.LG
Encoder vs Decoder: Comparative Analysis of Encoder and Decoder Language Models on Multilingual NLU Tasks
The Alexandra Institute（亚历山德拉研究所）；University of Aarhus（奥胡斯大学）；University of Southern Denmark（南丹麦大学）
该研究扩展ScandEval基准以纳入解码器模型，对比了日耳曼语族多语NLU任务中编码器与解码器模型的性能，发现参数量少得多的编码器模型性能更优，并通过UMAP分析揭示两类模型的独特能力，为多语场景模型选择提供参考。
2025-01-11 cs.AI cs.CL cs.LG
Understanding How Encoder-Decoder Architectures Attend
University of Washington（华盛顿大学）；Google Research（谷歌研究院）
具有注意力的编码器-解码器网络已被证明是解决许多序列到序列任务的强大方法。在这些网络中，注意力将编码器和解码器状态对齐，通常用于可视化网络行为。然而，网络用来生成适当的注意力矩阵的机制仍然是神秘的。此外，这些机制如何变化取决于用于编码器和解码器的特定架构（循环、前馈等）。也没有得到很好的理解。在这项工作中，我们研究了编码器-解码器网络如何解决不同的序列到序列任务。我们介绍了一种方法，将隐藏状态分解为时间（独立于输入）和输入驱动（独立于序列位置）组件的序列。这揭示了注意力矩阵是如何形成的：根据任务要求，网络更依赖于时间或输入驱动的组件。这些研究结果保持在两个经常性和前馈架构，尽管他们的差异，形成的时间组成部分。总的来说，我们的研究结果为基于注意力的编码器-解码器网络的内部工作提供了新的见解。
2021-10-28 cs.LG stat.ML
Decoder-Only or Encoder-Decoder? Interpreting Language Model as a Regularized Encoder-Decoder
University of Cambridge（剑桥大学）；The Chinese University of Hong Kong（香港中文大学）；Tsinghua University（清华大学）
本文通过正则化编码器-解码器结构对比分析仅解码器与编码器-解码器架构，揭示并理论分析了仅解码器模型中的注意力退化问题，提出部分注意力语言模型加以解决，在多项生成任务上验证了有效性。
2023-04-08 cs.AI cs.CL cs.LG
An optimized Capsule-LSTM model for facial expression recognition with video sequences
Chongqing University of Posts and Telecommunications（重庆邮电大学）；Southwestern University of Finance and Economics（西南财经大学）
针对卷积神经网络在人脸表情识别过程中的局限性，提出了一种基于视频帧序列的人脸表情识别模型Capsule-LSTM。该模型由三个网络组成，包括胶囊编码器，胶囊解码器和LSTM网络。胶囊编码器提取视频帧中面部表情的空间信息。Capsule解码器重建图像以优化网络。LSTM提取视频帧之间的时间信息，并分析帧之间表情变化的差异。在MMI数据集上的实验结果表明，本文提出的Capsule-LSTM模型能够有效提高视频表情识别的准确率。
2021-05-27 cs.CV cs.LG eess.IV
Improving Generalization of Sequence Encoder-Decoder Networks for Inverse Imaging of Cardiac Transmembrane Potential
Golisano College of Computing and Information Sciences（戈利萨诺计算与信息科学学院）；Rochester Institute of Technology（罗切斯特理工学院）
深度学习模型在许多逆重建问题中表现出最先进的性能。然而，人们还没有很好地理解潜在表示的哪些属性可以提高网络的泛化能力。此外，对于时间序列的逆重建，已经提出了有限的模型。在本文中，我们研究了一个序列编码器解码器模型的泛化能力，用于解决时间序列的逆重建。我们的中心假设是网络的泛化能力可以通过1）约束随机性和2）潜在空间中时间信息的全局聚合来提高。首先，借鉴分析学习理论，我们从理论上表明，随机潜在空间将导致提高泛化能力。其次，我们考虑LSTM编码器-解码器架构，该架构从LSTM编码器中的所有最后一层单元压缩全局特征向量。该模型与其他LSTM编码器-解码器架构进行了比较，每个架构都有确定性和随机性版本。结果表明，约束随机性结合隐空间中时间信息的全局聚集，可以提高逆重构网络的泛化能力。
2018-10-12 cs.LG stat.ML
Time Series Forecasting Using a Hybrid Deep Learning Method: A Bi-LSTM Embedding Denoising Auto Encoder Transformer
本文提出Bi-LSTM嵌入去噪自编码器模型BDM用于短期电动汽车充电负荷预测，在五个时间步中的四个上优于Transformer、CNN、RNN、LSTM和GRU等基准模型，提升了时间序列预测与决策能力。
2025-09-21 cs.AI cs.LG
Encoder-Decoder Gemma: Improving the Quality-Efficiency Trade-Off via Adaptation
Google（谷歌）
本文研究将预训练仅解码器 LLM 适配为编码器-解码器，以继承其能力并降低计算需求，实验表明在相近推理预算下可获得更优的微调性能和灵活模型组合优势。
2025-04-08 cs.CL cs.LG
Residual Encoder-Decoder Network for Deep Subspace Clustering
Peking University（北京大学）
子空间聚类的目标是对位于低维线性子空间的并集中的未标记数据进行聚类。基于自动编码器的深度子空间聚类方法已经成为解决子空间聚类问题的一种非常流行的方法。然而，当前深度方法的训练收敛缓慢，这比传统方法效率低得多。我们提出了一种用于深度子空间聚类的残差编码器-解码器网络（RED-SC），它将卷积层和去卷积层与跳过层连接对称地连接起来，使用这种连接，训练收敛得更快。我们使用一个自我表达层，通过多个潜在空间的不同潜在表示来生成更准确的线性表示系数。实验结果表明，RED-SC算法在训练效率和聚类准确率上都具有一定的优势。此外，我们是第一个将残差编码器-解码器应用于无监督学习任务的人。
2019-10-12 cs.LG stat.ML
Causal Reasoning Favors Encoders: On The Limits of Decoder-Only Models
SIRE, IIT Delhi（IIT德里SIRE）；Robert Bosch GmbH, India（印度罗伯特博世集团）；IIIT Hyderabad（海得拉巴IIIT）；IISER Kolkata（科钦IISER）；Microsoft and the University of York（微软和约克大学）
本文探讨了因果推理中编码器和编码器-解码器架构相较于仅解码器模型的优势，发现前者在多跳联合推理和分布偏移鲁棒性方面表现更优。
2025-12-11 cs.CL cs.LG
Theoretical limitations of Encoder-Decoder GAN architectures
Princeton University（普林斯顿大学）
编码器-解码器GANs架构（例如，BiGAN和ALI）试图在GANs设置中添加一种推理机制，由一个小型编码器深度网络组成，该网络将数据点映射到其简洁的编码。直觉是，被迫与通常的生成器一起训练编码器迫使系统学习从代码到数据点的有意义的映射，反之亦然，这应该改善对目标分布的学习并改善模式崩溃。它还应该产生有意义的代码，作为下游任务的功能。目前的论文严格表明，即使在现实生活中的图像分布，编码-解码器GAN训练目标（a）不能防止模式坍塌;即即使当生成的分布具有低和有限的支持时，目标也可以接近最优（b）不能防止学习数据的无意义代码-本质上是白噪声。因此，如果编码器-解码器GANs确实工作，那么它一定是由于尚未理解的原因，因为即使对于无意义的解决方案，训练目标也可能很低。
2017-11-07 cs.LG stat.ML
NASH: A Simple Unified Framework of Structured Pruning for Accelerating Encoder-Decoder Language Models
KAIST AI（韩国科学技术院人工智能研究院）；Michigan State University（密歇根州立大学）
本研究提出NASH框架，通过分别剪枝编码器-解码器模型的编码器与解码器，发现解码器层数主导推理速度且编码器低稀疏度提升生成质量，从而窄化编码器、缩短解码器，在多种任务上实现加速并保持输出质量。
2023-10-16 cs.AI cs.CL cs.LG
Real-Time Radio Technology and Modulation Classification via an LSTM Auto-Encoder
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
基于检测到的无线电信号来识别通信技术和/或调制方案的类型是在包括频谱分配和无线电干扰减轻的各种应用中遇到的具有挑战性的问题。由于越来越多的发射器类型和现实世界信道对无线电信号的不同影响，它们变得困难。现有的频谱监测技术能够使用部署在各种设置中的紧凑型传感器来获取大量的无线电和实时频谱数据。然而，使用这样的数据来分类发射器类型和检测通信方案的现有技术方法难以以允许它们在低成本计算平台上实现的计算效率实现所需的准确度水平。在本文中，我们提出了一个基于LSTM去噪自动编码器的学习框架，该框架旨在从嘈杂的无线电信号中自动提取稳定和鲁棒的特征，并使用学习到的特征推断调制或技术类型。该算法利用了一个紧凑的神经网络架构，易于实现在一个低成本的计算平台，同时超过国家的最先进的精度。现实的合成以及空中无线电数据的结果表明，所提出的框架可靠，有效地分类接收到的无线电信号，往往表现出优越的性能相比，国家的最先进的方法。
2020-11-16 cs.LG eess.SP
Machine Translation with Large Language Models: Decoder Only vs. Encoder-Decoder
Calicut University（卡利卡特大学）；VIT University（维特大学）；National Institute of Technology, Trichy（特里奇国家理工学院）
本项目旨在开发面向印度地区语言的多语言机器翻译模型，通过对比大型语言模型中Decoder-only与Encoder-Decoder架构的有效性，优化翻译质量与效率，推动跨语言交流工具的发展。
2024-09-12 cs.CL cs.ET cs.LG
Interpretable Structure-aware Document Encoders with Hierarchical Attention
University of California, San Diego（加州大学圣迭戈分校）；Swisscom AG（瑞士电信公司）；EPFL（洛桑联邦理工学院）
我们提出了一种方法来创建文件表示，反映其内部结构。我们修改Tree-LSTM，将单词和句子等基本元素分层合并为复杂度不断增加的块。我们的结构树-LSTM在各个组件及其组合上实现了分层的注意力机制。因此，我们强调Tree-LSTM对于大于句子的文本的有用性。我们表明，结构感知编码器可以用来提高性能的文件分类。我们证明，我们的方法是弹性的变化的基本构建块，因为它表现良好的句子和词嵌入。结构树-LSTM通过利用结构线索在两个数据集上优于所有基线。我们通过可视化我们的模型如何在文档中分配注意力来展示我们的模型的可解释性。在来自医疗领域的第三个数据集上，我们的模型实现了与最先进技术竞争的性能。这一结果表明，结构树-LSTM可以利用文本结构以外的依赖关系，例如同一患者的一组报告。
2019-10-05 cs.AI cs.CL cs.LG
Sensitivity Analysis of GRU, LSTM and Transformer Encoder in Classification of Automated Driving Systems
本文研究GRU、LSTM、Transformer编码器对Level 2级自动驾驶系统的分类性能，提出含5类损坏的鲁棒性评估框架，发现时间抖动会大幅降低三类模型的宏F1。
2026-08-03 cs.AI cs.LG
Comparison of RNN Encoder-Decoder Models for Anomaly Detection
Hankuk University of Foreign Studies（韩国外国语大学）
在本文中，我们比较了不同类型的递归神经网络（RNN）编码器-解码器在异常检测的观点。我们专注于寻找可以更有效地学习相同数据的模型。我们在相同的条件下比较了多个模型，例如参数的数量，优化器和学习率。然而，区别在于是预测未来序列还是恢复当前序列。我们用简单的向量构建了数据集，并将它们用于实验。最后，我们通过实验证实，当模型恢复当前序列时，模型的性能更好，而不是预测未来序列。
2018-07-19 cs.LG stat.ML
Rethinking Encoder-Decoder Flow Through Shared Structures
Samsung R&D Institute UK (SRUK)（三星英国研发中心）
针对密集预测任务中解码器结构不变的问题，提出共享结构“banks”为每个解码块提供额外上下文，通过重采样和特征融合提升基于Transformer架构的深度估计性能。
2025-01-24 cs.CV cs.LG
Understanding the Natural Language of DNA using Encoder-Decoder Foundation Models with Byte-level Precision
Purdue University（普渡大学）；Institute for Cancer Research, Purdue University（普渡大学癌症研究所）
本文提出ENBED基础模型，采用编码器-解码器Transformer架构以字节级精度分析DNA序列，通过掩码语言建模预训练，在增强子识别、错误检测、功能注释及病毒突变生成等任务上显著优于现有方法。
2024-08-22 cs.LG q-bio.GN
Learning Discriminative Features using Encoder-Decoder type Deep Neural Nets
ALPES；SNIST
随着机器学习被应用于越来越多的复杂问题，这些问题由高维和复杂的数据集定义，面向任务的特征学习的必要性变得越来越重要。随着深度学习算法的进步，各种成功的特征学习技术已经发展。在本文中，我们提出了一种通过训练具有类似于自动编码器的编码器或解码器类型架构的深度神经网络来学习区分特征的新方法。我们证明了我们的方法可以学习判别特征，当训练样本的数量相对较小时，这些特征可以在模式分类任务中表现得更好。
2016-03-22 cs.LG stat.ML
Is Encoder-Decoder Redundant for Neural Machine Translation?
RWTH Aachen University（亚琛工业大学）
编码器-解码器体系结构被广泛用于序列到序列建模任务。对于机器翻译，尽管从长短期记忆网络进化到了Transformer网络，再加上注意力机制的引入和发展，编码器-解码器仍然是最先进模型的事实上的神经网络架构。虽然从某些隐藏空间解码信息的动机很简单，但在模型架构中将编码和解码步骤严格分离为编码器和解码器并不一定是必须的。与目标语言中的自回归语言建模任务相比，机器翻译只是具有额外的源句子作为上下文。鉴于神经语言模型现在已经可以处理目标语言中相当长的上下文，很自然地会问，简单地连接源和目标句子并训练语言模型进行翻译是否可行。在这项工作中，我们调查上述概念的机器翻译。具体来说，我们实验双语翻译，翻译与额外的目标单语数据，和多语言翻译。在所有情况下，这种替代方法的性能与基线编码器-解码器Transformer相当，这表明编码器-解码器架构对于神经机器翻译来说可能是冗余的。
2022-10-21 cs.AI cs.CL cs.LG
On the Encoder-Decoder Incompatibility in Variational Text Modeling and Beyond
Tsinghua University（清华大学）；University of California, Santa Barbara（加州大学圣塔芭芭拉分校）
变分自编码器（VAE）将隐变量与摊销变分推理相结合，其优化通常收敛到称为后验崩溃的平凡局部最优，特别是在文本建模中。通过跟踪优化动态，我们观察到编码器-解码器的不兼容性，导致数据流形的参数化不佳。我们认为，平凡的局部最优可以避免通过改进的编码器和解码器的参数化，因为后验网络是它们之间的过渡映射的一部分。为此，我们提出了耦合VAE，它耦合VAE模型与具有相同结构的确定性自动编码器，并通过编码器权重共享和解码器信号匹配来改进编码器和解码器参数化。我们将所提出的耦合VAE方法应用于具有不同正则化、后验族、解码器结构和优化策略的各种VAE模型。在基准数据集上的实验（即，PTB、Yelp和Yahoo）在概率估计和潜在空间丰富度方面显示出一致的改进结果。我们还将我们的方法推广到条件语言建模，并提出了耦合CVAE，这在很大程度上提高了Switchboard数据集上对话生成的多样性。
2020-04-20 cs.CL cs.LG stat.ML
Multi-space Variational Encoder-Decoders for Semi-supervised Labeled Sequence Transduction
Carnegie Mellon University（卡内基梅隆大学）
标记序列转换是将一个序列转换成另一个序列的任务，该序列满足由一组标记指定的要求。在本文中，我们提出了多空间变分编码器-解码器，一个新的模型，标记序列转导半监督学习。生成模型可以使用神经网络来处理离散和连续潜在变量以利用数据的各种特征。实验表明，我们的模型不仅提供了一个强大的监督框架，而且可以有效地利用未标记的数据。在SIGMORPHON形态变化基准测试中，我们的模型在大多数语言中的表现都大大优于单一模型的最新结果。
2017-08-17 cs.CL cs.LG
Encoder-Decoder Networks for Self-Supervised Pretraining and Downstream Signal Bandwidth Regression on Digital Antenna Arrays
DeepSig, Inc.（DeepSig公司）
本文首次将自监督学习用于数字天线阵列数据，通过通道修复任务预训练编码器-解码器网络，再迁移到少量标注数据上训练带宽回归任务，证明预训练能显著提升下游回归性能。
2023-07-06 cs.LG eess.SP
Seq vs Seq: An Open Suite of Paired Encoders and Decoders
Johns Hopkins University（约翰霍普金斯大学）；LightOn
本文提出SOTA开放数据Ettin模型套件，包含不同规模的编码器和解码器模型，通过统一训练方法在分类、检索和生成任务中取得最佳性能。
2026-03-12 cs.CL cs.IR cs.LG
RAR-U-Net: a Residual Encoder to Attention Decoder by Residual Connections Framework for Spine Segmentation under Noisy Labels
University of Oxford（牛津大学）；Beihang University（北京航空航天大学）
医学图像的分割算法被广泛研究用于各种临床和研究目的。在本文中，我们提出了一种新的和有效的方法用于医学图像分割噪声标签。该方法在深度学习范式下运行，结合了四个新的贡献。首先，在不同尺度编码器中探索残差互连以有效地传递梯度信息。其次，四个复制和裁剪连接被替换为基于剩余块的级联，以减轻编码器和解码器之间的差异。第三，在所有尺度解码器上研究了用于特征细化的卷积注意力模块。最后，自适应去噪学习策略（ADL）被引入到训练过程中，以避免过多的噪声标签的影响。实验结果说明了一个公开的基准数据库的脊柱CT。我们提出的方法实现了竞争力的表现对其他国家的最先进的方法在各种不同的评估措施。
2021-06-16 cs.LG eess.IV
An Encoder-Decoder Based Approach for Anomaly Detection with Application in Additive Manufacturing
RWTH Aachen University（亚琛工业大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of California, Berkeley（加州大学伯克利分校）；California Institute of Technology（加州理工学院）
我们提出了一种新的无监督深度学习方法，该方法利用编码器-解码器架构来检测在工业制造过程中收集的顺序传感器数据中的异常。我们的方法的目的不仅是检测是否存在一个异常在给定的时间步，但也要预测接下来会发生什么（顺序）的过程。我们展示了我们的方法从现实世界的测试平台收集的数据集。该数据集包含在正常条件和合成异常条件下收集的图像。我们表明，编码器-解码器模型是能够识别注入的异常，在现代制造过程中，在一个无监督的方式。此外，它还给出了制造过程中测试台温度不均匀性的提示，这是我们在做实验之前没有意识到的。
2019-07-26 cs.LG stat.ML
Understanding Geometry of Encoder-Decoder CNNs
KAIST（韩国科学技术院）
使用卷积神经网络（CNN）架构的编码器-解码器网络由于其对各种逆问题的优异性能而被广泛用于深度学习文献中。然而，它仍然很难获得连贯的几何视图，为什么这样的架构给出了所需的性能。受最近对神经网络的泛化性，表达性和优化前景的理论理解以及卷积小框架理论的启发，我们在这里提供了一个统一的理论框架，可以更好地理解编码器-解码器CNN的几何结构。我们的统一数学框架表明，编码器-解码器CNN架构与使用组合卷积帧的非线性基表示密切相关，其可表达性随网络深度呈指数级增长。我们还展示了跳过连接在可表达性和优化景观方面的重要性。
2019-05-07 cs.AI cs.CV cs.LG
LSTM-based Encoder-Decoder for Multi-sensor Anomaly Detection
TCS Research（塔塔咨询服务研究院）
机械装置，如发动机、车辆、飞机等，通常装备有许多传感器以捕获机器的行为和健康状况。然而，通常存在传感器未捕获的外部因素或变量，从而导致本质上不可预测的时间序列。例如，手动控制和/或未监测的环境条件或负载可能导致固有的不可预测的时间序列。使用基于依赖于平稳性的数学模型或利用预测误差来检测异常的预测模型的标准方法来检测此类场景中的异常变得具有挑战性。我们提出了一种基于长短期记忆网络的异常检测编码解码器方案（EncDec-AD），该方案学习重建“正常”的时间序列行为，然后使用重建误差来检测异常。我们用三个公开的准可预测的时间序列数据集进行了实验：电力需求，航天飞机和ECG，以及两个具有预测和不可预测行为的真实发动机数据集。我们表明，EncDec-AD是强大的，可以从可预测的，不可预测的，周期性的，非周期性的和准周期性的时间序列检测异常。此外，我们还表明EncDec-AD能够检测短时间序列（长度小至30）和长时间序列（长度大至500）的异常。
2016-07-11 cs.AI cs.LG stat.ML
MsEdF: A Multi-stream Encoder-decoder Framework for Remote Sensing Image Captioning
本文提出MsEdF框架，通过优化编码器-解码器的空域表示和语言生成，提升遥感图像描述的准确性，实验表明其在三个基准数据集上优于现有方法。
2025-10-28 cs.CV cs.HC cs.LG
DEED: Dynamic Early Exit on Decoder for Accelerating Encoder-Decoder Transformer Models
AWS AI Labs（AWS AI实验室）；University of California San Diego（加州大学圣迭戈分校）
提出DEED方法，在编码器-解码器Transformer解码器中实现动态早退，通过多出口和深度监督训练，按步置信度减少解码层数，降低30%-60%推理延迟，保持或提升准确性。
2023-11-15 cs.CL cs.CV cs.LG
Discourse Embellishment Using a Deep Encoder-Decoder Network
Institute of Cognitive Science（认知科学研究所）；University of Osnabrück（奥斯纳布吕克大学）；Radboud University（拉德堡德大学）
我们提出了一个新的NLG任务的背景下，话语生成管道的计算讲故事系统。这一任务，文本修饰，是通过将文本作为输入，并生成语义上等同的输出，增加词汇和句法复杂性来定义的。理想情况下，这将允许计算说书人的作者实现轻量级的NLG系统，并使用独立于域的修饰模块将其输出转换为更具文学性的文本。我们使用在WikiLarge数据集上训练的LSTM编码器-解码器网络，在这项任务上展示了有希望的第一个结果。此外，我们介绍了“编译的计算机故事”，计算生成的故事语料库，可用于测试的能力，修饰算法。
2018-10-18 cs.CL cs.LG
Review Networks for Caption Generation
Carnegie Mellon University（卡内基梅隆大学）
我们提出了一种新的扩展的编码器-解码器框架，称为审查网络。审查网络是通用的，可以增强任何现有的编码器-解码器模型：在本文中，我们考虑RNN解码器与CNN和RNN编码器。回顾网络利用注意力机制对编码器隐藏状态执行多个回顾步骤，并且在每个回顾步骤之后输出思想向量;思想向量用作解码器中的注意力机制的输入。我们表明，传统的编码器-解码器是我们的框架的一个特殊情况。从经验上讲，我们表明，我们的框架提高了国家的最先进的编码器-解码器系统上的任务，图像描述和源代码字幕。
2016-10-27 cs.CL cs.CV cs.LG
Encoders and Decoders for Quantum Expander Codes Using Machine Learning
IIT Madras（马德拉斯印度理工学院）；Purdue University（普渡大学）
量子密钥分发（QKD）允许两个远程方共享加密密钥，其安全性基于量子力学定律。为了共享密钥，量子比特必须通过噪声量子信道从发送方传输到接收方。为了传输这些信息，需要设计高效的编码器和解码器。然而，量子编码器和解码器的大规模设计必须取决于信道特性，并且需要查找表，查找表需要量子比特数量呈指数级的存储器。为了缓解这一问题，本文旨在通过将强化学习和神经网络等机器学习技术应用于量子领域来设计扩展码的量子编码器和解码器。所提出的量子解码器训练一个神经网络，该神经网络是使用最大后验误差训练的，消除了使用大型查找表。量子编码器使用基于深度Q学习的技术来优化量子Calderbank-Shor-Steane（CSS）码中的生成器矩阵。评估结果表明，与量子扩展器码相比，所提出的量子编码器和解码器设计的性能有所改善。
2019-09-06 cs.IT cs.LG math.IT
Encoder Decoder Generative Adversarial Network Model for Stock Market Prediction
Department of Mathematics, School of Advanced Sciences, Vellore Institute of Technology（数学系、先进科学学院、维洛雷理工学院）
提出基于GRU的编码器-解码器GAN（EDGAN）模型，通过时间解码器、协变量条件化和窗口机制等创新，在股票市场预测中实现了更高的预测精度和训练稳定性。
2025-10-12 cs.LG math.OC
Deep Capsule Encoder-Decoder Network for Surrogate Modeling and Uncertainty Quantification
Indian Institute of Technology Delhi（印度理工学院德里分校）
我们提出了一种新的\textit{capsule}为基础的深度编码器-解码器模型的替代建模和不确定性量化的系统在力学稀疏数据。所提出的框架是通过将胶囊网络（CapsNet）架构适配到图像到图像回归编码器-解码器网络来开发的。具体而言，目的是利用CapsNet优于卷积神经网络（CNN）$-$的优点，保留与实体相关的姿势和位置信息。所提出的方法的性能说明通过求解椭圆随机偏微分方程（SPDE），这也支配系统的力学，如稳定的热传导，地下水流动或其他扩散过程，基于不确定性量化问题的输入维数为$1024$。然而，该问题的定义并没有限制的随机扩散场的特定协方差结构，和更艰巨的任务的响应预测的任意扩散场得到解决。性能评估结果表明，该方法是准确的，有效的，和强大的。
2022-01-19 cs.LG stat.ML
High-fidelity Prediction of Megapixel Longitudinal Phase-space Images of Electron Beams using Encoder-Decoder Neural Networks
Deutsches Elektronen-Synchrotron DESY（德国电子同步加速器研究所）
由于复杂的物理过程和工程问题，大型研究设施的建模极具挑战性。在这里，我们采用数据驱动的方法来建模的纵向相空间诊断光束线在欧洲XFEL的光注入器与编码器-解码器神经网络模型。深度卷积神经网络（解码器）用于从另一个神经网络（编码器）生成的小特征图构建在屏幕上测量的图像。我们证明，仅用实验数据训练的模型可以对纵向相空间测量的百万像素图像进行高保真度预测，而无需任何光电注入器和电子束的先验知识。该预测显著优于现有方法。我们还展示了模型的可扩展性和可解释性，通过共享相同的解码器与多个编码器用于不同的设置的光电注入器，并提出了一个务实的方式来模拟各种诊断和工作点的设施。这为使用神经网络和实验数据精确建模光注入器的新方法打开了大门。该方法可以推广到整个加速器甚至其他类型的科学设施。
2021-08-02 cs.LG physics.acc-ph
Rethinking Perturbations in Encoder-Decoders for Fast Training
Tokyo Institute of Technology（东京工业大学）；RIKEN（理化学研究所）；Tohoku University（东北大学）
我们经常使用扰动来正则化神经模型。对于神经编码器-解码器，先前的研究应用了预定采样（Bengio等人，2015）和对抗性扰动（Sato et al.，2019年）作为扰动，但这些方法需要相当长的计算时间。因此，本研究解决了这些方法是否足够有效的训练时间的问题。我们比较了几个扰动序列到序列的问题相对于计算时间。实验结果表明，简单的技术，如单词丢弃（Gal和Ghahramani，2016）和输入标记的随机替换，与最近提出的扰动相比，可以获得相当（或更好）的分数，尽管这些简单的方法更快。我们的代码可在https://github.com/takase/rethink_perturbations上公开获取。
2021-04-05 cs.CL cs.LG
Neural-based Natural Language Generation in Dialogue using RNN Encoder-Decoder with Semantic Aggregation
Japan Advanced Institute of Science and Technology（日本北陆先端科学技术大学院大学）；University of Information and Communication Technology（信息与通信技术大学）；Thai Nguyen University（太原大学）
自然语言生成是口语对话系统的重要组成部分。本文提出了一种称为编码器-聚合器-解码器的模型，它是基于递归神经网络的编码器-解码器架构的扩展。建议的语义聚合器由两个组件组成：一个对齐器和一个精炼器。Aligner是在编码的输入信息上计算的常规注意力，而Refiner是堆叠在注意力Aligner上的另一个注意力或门控机制，以便进一步选择和聚合语义元素。所提出的模型可以联合训练两个句子规划和表面实现产生自然语言的话语。在四个不同的NLG域上对该模型进行了广泛的评估，实验结果表明，所提出的生成器在所有NLG域上的性能始终优于以前的方法。
2017-07-11 cs.CL cs.LG
Clinical Reading Comprehension with Encoder-Decoder Models Enhanced by Direct Preference Optimization
University of Kentucky（肯塔基大学）
本研究将编码器-解码器模型与直接偏好优化结合，在RadQA放射学问答任务上提升12-15个F1点，首次证明DPO方法无需人工输入即可适用于阅读理解。
2024-07-19 cs.CL cs.IR cs.LG
Atrous Residual Interconnected Encoder to Attention Decoder Framework for Vertebrae Segmentation via 3D Volumetric CT Images
The Hong Kong Polytechnic University（香港理工大学）；University of Oxford（牛津大学）
基于计算机断层扫描（CT）的医学图像自动分割是计算机辅助手术得到广泛应用的前提。随着深度学习技术的发展，深度卷积神经网络（DCNN）在医学图像的自动语义分割方面表现出了强大的性能。然而，基于DCNN的语义分割算法仍然面临着编码器和解码器之间的特征丢失、多尺度对象、滤波器视野受限以及医学图像数据缺乏等挑战。本文提出了一种新的算法自动分割椎骨通过三维体积脊柱CT图像。该模型基于编码器到解码器的结构，使用层归一化来优化小批量训练性能。为了解决编码器和解码器之间的信息丢失问题，我们设计了一个Atrous残差路径来将更多的特征从编码器传递到解码器，而不是简单的快捷连接。该模型还在解码器部分应用了注意力模块，从不同尺度中提取特征。所提出的模型进行评估的公开可用的数据集通过各种指标。实验结果表明，我们的模型实现了竞争力的性能相比，其他国家的最先进的医学语义分割方法。
2021-04-08 cs.CV cs.LG eess.IV
