Encoder vs Decoder: Comparative Analysis of Encoder and Decoder Language Models on Multilingual NLU Tasks
The Alexandra Institute(亚历山德拉研究所);University of Aarhus(奥胡斯大学);University of Southern Denmark(南丹麦大学)
该研究扩展ScandEval基准以纳入解码器模型,对比了日耳曼语族多语NLU任务中编码器与解码器模型的性能,发现参数量少得多的编码器模型性能更优,并通过UMAP分析揭示两类模型的独特能力,为多语场景模型选择提供参考。
2025-01-11 cs.AI cs.CL cs.LG
Decoder-Only or Encoder-Decoder? Interpreting Language Model as a Regularized Encoder-Decoder
University of Cambridge(剑桥大学);The Chinese University of Hong Kong(香港中文大学);Tsinghua University(清华大学)
本文通过正则化编码器-解码器结构对比分析仅解码器与编码器-解码器架构,揭示并理论分析了仅解码器模型中的注意力退化问题,提出部分注意力语言模型加以解决,在多项生成任务上验证了有效性。
2023-04-08 cs.AI cs.CL cs.LG
NASH: A Simple Unified Framework of Structured Pruning for Accelerating Encoder-Decoder Language Models
KAIST AI(韩国科学技术院人工智能研究院);Michigan State University(密歇根州立大学)
本研究提出NASH框架,通过分别剪枝编码器-解码器模型的编码器与解码器,发现解码器层数主导推理速度且编码器低稀疏度提升生成质量,从而窄化编码器、缩短解码器,在多种任务上实现加速并保持输出质量。
2023-10-16 cs.AI cs.CL cs.LG
Is Encoder-Decoder Redundant for Neural Machine Translation?
RWTH Aachen University(亚琛工业大学)
编码器-解码器体系结构被广泛用于序列到序列建模任务。对于机器翻译,尽管从长短期记忆网络进化到了Transformer网络,再加上注意力机制的引入和发展,编码器-解码器仍然是最先进模型的事实上的神经网络架构。虽然从某些隐藏空间解码信息的动机很简单,但在模型架构中将编码和解码步骤严格分离为编码器和解码器并不一定是必须的。与目标语言中的自回归语言建模任务相比,机器翻译只是具有额外的源句子作为上下文。鉴于神经语言模型现在已经可以处理目标语言中相当长的上下文,很自然地会问,简单地连接源和目标句子并训练语言模型进行翻译是否可行。在这项工作中,我们调查上述概念的机器翻译。具体来说,我们实验双语翻译,翻译与额外的目标单语数据,和多语言翻译。在所有情况下,这种替代方法的性能与基线编码器-解码器Transformer相当,这表明编码器-解码器架构对于神经机器翻译来说可能是冗余的。
2022-10-21 cs.AI cs.CL cs.LG
Multifidelity data fusion in convolutional encoder/decoder networks
University of Notre Dame(圣母大学);Sandia National Laboratories(桑迪亚国家实验室);Stanford University(斯坦福大学)
我们分析了由编码器、解码器和跳过连接组装并使用多保真度数据训练的卷积神经网络的回归精度。除了需要比等效的全连接网络少得多的可训练参数之外,编码器、解码器、编码器-解码器或解码器-编码器架构可以学习任意维度的输入到输出之间的映射。我们证明了他们的准确性时,训练的一些高保真度和许多低保真度的数据从模型,从一维函数到泊松方程求解器在二维。最后,我们讨论了一些实施方案的选择,提高了Monte Carlo DropBlocks产生的不确定性估计的可靠性,并比较低,高和多保真度的方法之间的不确定性估计。
2022-05-10 cs.LG
Global Attention-based Encoder-Decoder LSTM Model for Temperature Prediction of Permanent Magnet Synchronous Motors
Lakehead University(湖首大学)
温度监测对于电动机至关重要,以确定是否应执行设备保护措施。然而,永磁同步电动机(PMSM)内部结构的复杂性使得其内部元件的温度直接测量变得困难。这项工作务实地开发了三个深度学习模型,以基于易于测量的外部量来估计PMSM的内部温度。所提出的监督学习模型利用长短期记忆(LSTM)模块、双向LSTM和注意力机制来形成编码器-解码器结构,以同时预测定子绕组、齿、轭和永磁体的温度。在基准数据集上进行了详尽的实验,以验证所提出的模型的性能。对比分析表明,所提出的基于全局注意力的编码器-解码器(EnDec)模型提供了一个有竞争力的整体性能为1.72均方误差(MSE)和5.34平均绝对误差(MAE)。
2022-07-30 cs.AI cs.LG
Understanding Geometry of Encoder-Decoder CNNs
KAIST(韩国科学技术院)
使用卷积神经网络(CNN)架构的编码器-解码器网络由于其对各种逆问题的优异性能而被广泛用于深度学习文献中。然而,它仍然很难获得连贯的几何视图,为什么这样的架构给出了所需的性能。受最近对神经网络的泛化性,表达性和优化前景的理论理解以及卷积小框架理论的启发,我们在这里提供了一个统一的理论框架,可以更好地理解编码器-解码器CNN的几何结构。我们的统一数学框架表明,编码器-解码器CNN架构与使用组合卷积帧的非线性基表示密切相关,其可表达性随网络深度呈指数级增长。我们还展示了跳过连接在可表达性和优化景观方面的重要性。
2019-05-07 cs.AI cs.CV cs.LG
Block-Based Double Decoders
Brown University(布朗大学)
提出基于块的双解码器架构,利用双重因果块注意力掩码实现全损失监督和静态序列打包,结合解码器训练效率与编码器-解码器推理效率,在缩放定律实验中优于编码器-解码器并接近解码器模型,推理时KV缓存和每token计算减少至少2/3。
2026-05-29 cs.AI cs.LG
Seasonal Encoder-Decoder Architecture for Forecasting
TCS Research(塔塔咨询服务公司研究院)
一般来说,深度学习(DL)和递归神经网络(RNN)在基于序列的应用中取得了很高的成功。本文涉及用于时间序列建模和预测的RNN。我们提出了一种新的RNN架构,智能地捕获(随机)季节相关性,同时能够进行准确的多步预测。它是从著名的编码器-解码器(ED)架构和乘法季节性自回归模型的动机。它包含多步骤(多目标)学习,即使在存在(或不存在)外源输入。它可以用于单个或多个序列数据。对于多序列的情况下,我们还提出了一种新的贪婪递归过程,以建立(一个或多个)预测模型时,每序列的数据是less. We通过广泛的实验表明,我们提出的架构在单序列和多序列的情况下的效用。
2022-07-08 cs.AI cs.LG
Machine translation considering context information using Encoder-Decoder model
Kanazawa University(金泽大学)
在机器翻译任务中,上下文信息是一个重要因素。但考虑上下文信息的模型没有提出。本文提出了一种新的模型,可以集成上下文信息进行翻译。在本文中,我们创建了一个新的基于模型的编码器解码器模型。在翻译当前句子时,该模型将前一个编码器的输出与当前编码器的输出相结合。该模型能够考虑上下文信息,其结果得分高于现有模型。
2019-03-30 cs.CL cs.LG
A Reinforcement Learning Based Encoder-Decoder Framework for Learning Stock Trading Rules
最近提出了各种各样的深度强化学习(DRL)模型来学习有利可图的投资策略。特别是在高频交易环境中,这些模型学习的规则优于以前的策略。然而,它表明,从长期序列的原始价格的工具提取的功能的质量极大地影响了这些模型学习的交易规则的性能。事实证明,采用神经编码器-解码器结构从复杂的输入时间序列中提取信息特征在其他流行的任务中非常有效,如神经机器翻译和视频字幕,其中模型面临类似的问题。编码器-解码器框架从一长串价格中提取高度信息化的特征,并学习如何基于提取的特征生成输出。本文提出了一种基于神经编码器-解码器框架结合DRL的端到端模型,用于从一长串的原始价格序列中学习单一工具的交易策略。该模型包括一个编码器,这是一个神经结构,负责学习信息功能的输入序列,和一个解码器,这是一个DRL模型,负责学习有利可图的策略的基础上提取的特征的编码器。编码器和解码器结构的参数是共同学习的,这使得编码器能够提取适合于解码器DRL的任务的特征。此外,不同结构的编码器和各种形式的输入序列的学习策略的性能的影响进行了研究。实验结果表明,该模型优于其他国家的最先进的模型在高度动态的环境。
2021-01-08 cs.AI cs.LG cs.NE
Enforcing Encoder-Decoder Modularity in Sequence-to-Sequence Models
Carnegie Mellon University(卡内基梅隆大学);Facebook AI Research(Facebook人工智能研究院)
受模块化软件的独立性,可扩展性和清晰的接口设计原则的启发,我们引入了一种方法,用于在不牺牲整体模型质量或其完全可微性的情况下,在seq 2seq模型中实施编码器-解码器模块化。我们离散化的编码器输出单元到一个预定义的可解释的词汇空间,使用连接时间分类(CTC)的损失。我们的模块化系统在300 h Switchboard基准测试中实现了接近SOTA的性能,SWB和CH子集的WER分别为8.3%和17.6%,使用具有独立和可互换的编码器和解码器模块的seq 2seq模型。
2019-11-09 cs.CL cs.LG
Adapting Decoder-Based Language Models for Diverse Encoder Downstream Tasks
Google Inc(谷歌公司)
本文提出Gemma Encoder,将Gemma解码器模型适配为编码器架构,通过系统分析池化策略、注意力机制与超参数优化适配过程,在GLUE和MS MARCO基准上验证了其在分类、回归和排序等非生成式任务中的有效性与多功能性。
2025-03-04 cs.CL cs.LG
Sequence-to-Sequence Prediction of Vehicle Trajectory via LSTM Encoder-Decoder Architecture
Hanyang University(汉阳大学)
本文提出了一种基于深度学习的车辆轨迹预测技术,可以实时的生成周围车辆的未来轨迹序列。我们采用编码器-解码器架构,该架构使用基于长短期记忆(LSTM)的编码器来分析过去轨迹中潜在的模式,并使用基于LSTM的解码器来生成未来轨迹序列。该结构通过采用波束搜索技术在占用栅格地图上产生$K$最可能的轨迹候选,该波束搜索技术保持来自解码器输出的$K$局部最佳候选。高速公路交通场景的实验表明,该方法的预测精度显着高于传统的轨迹预测技术。
2018-10-22 cs.LG
Understanding How Encoder-Decoder Architectures Attend
University of Washington(华盛顿大学);Google Research(谷歌研究院)
具有注意力的编码器-解码器网络已被证明是解决许多序列到序列任务的强大方法。在这些网络中,注意力将编码器和解码器状态对齐,通常用于可视化网络行为。然而,网络用来生成适当的注意力矩阵的机制仍然是神秘的。此外,这些机制如何变化取决于用于编码器和解码器的特定架构(循环、前馈等)。也没有得到很好的理解。在这项工作中,我们研究了编码器-解码器网络如何解决不同的序列到序列任务。我们介绍了一种方法,将隐藏状态分解为时间(独立于输入)和输入驱动(独立于序列位置)组件的序列。这揭示了注意力矩阵是如何形成的:根据任务要求,网络更依赖于时间或输入驱动的组件。这些研究结果保持在两个经常性和前馈架构,尽管他们的差异,形成的时间组成部分。总的来说,我们的研究结果为基于注意力的编码器-解码器网络的内部工作提供了新的见解。
2021-10-28 cs.LG stat.ML
EdgeNet : Encoder-decoder generative Network for Auction Design in E-commerce Online Advertising
Alibaba Group(阿里巴巴集团);NWPU(西北工业大学)
EdgeNet提出一种编码器-解码器生成网络,打破GSP范式,利用Transformer编码器和自回归解码器提升数据效率与拍卖经济性,改善用户体验和平台收入。
2023-05-09 cs.AI cs.IR cs.LG
GATech at AbjadMed: Bidirectional Encoders vs. Causal Decoders: Insights from 82-Class Arabic Medical Classification
Georgia Institute of Technology(佐治亚理工学院)
本文研究了阿拉伯语医学文本在82类分类中的表现,对比了双向编码器与因果解码器,发现前者在捕捉细粒度语义边界方面更优。
2026-02-17 cs.AI cs.CL cs.LG
Machine Translation with Large Language Models: Decoder Only vs. Encoder-Decoder
Calicut University(卡利卡特大学);VIT University(维特大学);National Institute of Technology, Trichy(特里奇国家理工学院)
本项目旨在开发面向印度地区语言的多语言机器翻译模型,通过对比大型语言模型中Decoder-only与Encoder-Decoder架构的有效性,优化翻译质量与效率,推动跨语言交流工具的发展。
2024-09-12 cs.CL cs.ET cs.LG
Understanding Transformer Encoder-Decoder Representations through Bernoulli Dropout
School of Electrical and Computer Engineering(电气与计算机工程学院);Georgia Institute of Technology(佐治亚理工学院)
本研究通过伯努利丢弃方法探索Transformer编码器-解码器表示,分析稀疏性对模型性能的影响,并在翻译任务中验证了稀疏性阈值对性能的决定性作用。
2026-01-24 cs.LG
An Odor Labeling Convolutional Encoder-Decoder for Odor Sensing in Machine Olfaction
Guangdong University of Technology(广东工业大学)
深度学习方法已广泛应用于视觉和声学技术。提出了一种用于机器嗅觉中气味识别的气味标记卷积编码解码器(OLCE)。OLCE构成了一个卷积神经网络编码器和解码器,其中编码器输出被约束为气味标签。电子鼻用于气体响应的数据汇集,随后是规范的实验程序。计算了几个评价指标来评估算法的有效性:准确率92.57%,精确率92.29%,召回率92.06%,F1-Score 91.96%,Kappa系数90.76%。我们还将该模型与机器嗅觉中的一些算法进行了比较。比较结果表明,OLCE算法的性能最好.本文还对机器嗅觉的发展前景进行了展望。
2021-01-06 cs.LG
Encoder-Decoder Gemma: Improving the Quality-Efficiency Trade-Off via Adaptation
Google(谷歌)
本文研究将预训练仅解码器 LLM 适配为编码器-解码器,以继承其能力并降低计算需求,实验表明在相近推理预算下可获得更优的微调性能和灵活模型组合优势。
2025-04-08 cs.CL cs.LG
Residual Encoder-Decoder Network for Deep Subspace Clustering
Peking University(北京大学)
子空间聚类的目标是对位于低维线性子空间的并集中的未标记数据进行聚类。基于自动编码器的深度子空间聚类方法已经成为解决子空间聚类问题的一种非常流行的方法。然而,当前深度方法的训练收敛缓慢,这比传统方法效率低得多。我们提出了一种用于深度子空间聚类的残差编码器-解码器网络(RED-SC),它将卷积层和去卷积层与跳过层连接对称地连接起来,使用这种连接,训练收敛得更快。我们使用一个自我表达层,通过多个潜在空间的不同潜在表示来生成更准确的线性表示系数。实验结果表明,RED-SC算法在训练效率和聚类准确率上都具有一定的优势。此外,我们是第一个将残差编码器-解码器应用于无监督学习任务的人。
2019-10-12 cs.LG stat.ML
Causal Reasoning Favors Encoders: On The Limits of Decoder-Only Models
SIRE, IIT Delhi(IIT德里SIRE);Robert Bosch GmbH, India(印度罗伯特博世集团);IIIT Hyderabad(海得拉巴IIIT);IISER Kolkata(科钦IISER);Microsoft and the University of York(微软和约克大学)
本文探讨了因果推理中编码器和编码器-解码器架构相较于仅解码器模型的优势,发现前者在多跳联合推理和分布偏移鲁棒性方面表现更优。
2025-12-11 cs.CL cs.LG
A Multi-Encoder Frozen-Decoder Approach for Fine-Tuning Large Language Models
Emory University(埃默里大学)
该研究提出多编码器冻结解码器的大模型参数高效微调方法,在AlexaTM上实验验证其可降部署开销、缓解遗忘,搭配大模型还能维持甚至提升结构化与问答任务性能。
2025-01-14 cs.AI cs.CL cs.LG
Clustering of Bank Customers using LSTM-based encoder-decoder and Dynamic Time Warping
Amirkabir University of Technology(阿米尔卡比尔理工大学)
聚类是一种无监督的数据采掘技术,可用于细分客户。客户的有效聚类使银行能够根据目标客户的特征设计和提供服务。本研究使用一个真实世界的金融数据集(Berka,2000)聚类银行客户的编码器-解码器网络和动态时间规整(DTW)的方法。聚类所需的客户特征可以通过四种方式获得:动态时间规整(DTW),最近频率和货币(RFM),LSTM编码器-解码器网络以及我们提出的混合方法。一旦LSTM模型被客户交易数据训练,编码器就会自动提取每个客户的特征向量。此外,使用DTW获得交易金额序列对之间的距离。通过RFM评分为客户计算另一个向量特征。在混合方法中,特征向量从编码器-解码器输出、DTW距离和人口统计数据(例如,年龄和性别)。最后,将特征向量作为输入引入k-means聚类算法,并将聚类结果与Silhouette和Davies-Bouldin指标进行比较。因此,从混合方法得到的集群是更准确和有意义的比那些来自个人聚类技术。此外,神经网络层的类型对聚类有很大的影响,高的网络错误并不一定会恶化聚类性能。
2021-10-22 cs.AI cs.LG stat.ML
Improved Multi-Stage Training of Online Attention-based Encoder-Decoder Models
Samsung Research(三星研究院)
在本文中,我们提出了一种改进的多阶段多任务训练策略,以提高在线基于注意力的编码器-解码器(AED)模型的性能。提出了一种基于字符编码器、基于字节对编码(BPE)的编码器和注意力解码器的三级训练方法。此外,多任务学习的基础上两个层次的语言粒度,即字符和BPE,使用。我们探索了编码器的不同预训练策略,包括双向编码器的迁移学习。我们的编码器-解码器模型与在线注意力相比,对于较小和较大的模型,分别显示出35%和10%的相对改善。在与基于长短期记忆(LSTM)的外部语言模型(LM)融合后,我们的模型在Librispeech测试干净数据上的单词错误率(WER)分别为5.04%和4.48%。
2019-12-28 cs.LG cs.SD eess.AS
Short-term Inland Vessel Trajectory Prediction with Encoder-Decoder Models
Institute of Ship Technology, Ocean Engineering and Transport Systems (ISMT), University of Duisburg-Essen(杜伊斯堡-埃森大学船舶技术、海洋工程与交通系统研究所(ISMT));German Federal Waterway Engineering and Research Institute(德国联邦航道工程与研究院);Chair of Dynamics and Control (SRS), University of Duisburg-Essen(杜伊斯堡-埃森大学动力学与控制讲席(SRS))
本文针对内河船舶轨迹预测问题,比较了多种编码器-解码器架构,发现将回归转化为分类问题并加入河流特征时LSTM优于transformer,首次应用transformer模型并构建了河流特定上下文特征向量。
2024-06-04 cs.LG
Encoders and Decoders for Quantum Expander Codes Using Machine Learning
IIT Madras(马德拉斯印度理工学院);Purdue University(普渡大学)
量子密钥分发(QKD)允许两个远程方共享加密密钥,其安全性基于量子力学定律。为了共享密钥,量子比特必须通过噪声量子信道从发送方传输到接收方。为了传输这些信息,需要设计高效的编码器和解码器。然而,量子编码器和解码器的大规模设计必须取决于信道特性,并且需要查找表,查找表需要量子比特数量呈指数级的存储器。为了缓解这一问题,本文旨在通过将强化学习和神经网络等机器学习技术应用于量子领域来设计扩展码的量子编码器和解码器。所提出的量子解码器训练一个神经网络,该神经网络是使用最大后验误差训练的,消除了使用大型查找表。量子编码器使用基于深度Q学习的技术来优化量子Calderbank-Shor-Steane(CSS)码中的生成器矩阵。评估结果表明,与量子扩展器码相比,所提出的量子编码器和解码器设计的性能有所改善。
2019-09-06 cs.IT cs.LG math.IT
Theoretical limitations of Encoder-Decoder GAN architectures
Princeton University(普林斯顿大学)
编码器-解码器GANs架构(例如,BiGAN和ALI)试图在GANs设置中添加一种推理机制,由一个小型编码器深度网络组成,该网络将数据点映射到其简洁的编码。直觉是,被迫与通常的生成器一起训练编码器迫使系统学习从代码到数据点的有意义的映射,反之亦然,这应该改善对目标分布的学习并改善模式崩溃。它还应该产生有意义的代码,作为下游任务的功能。目前的论文严格表明,即使在现实生活中的图像分布,编码-解码器GAN训练目标(a)不能防止模式坍塌;即即使当生成的分布具有低和有限的支持时,目标也可以接近最优(b)不能防止学习数据的无意义代码-本质上是白噪声。因此,如果编码器-解码器GANs确实工作,那么它一定是由于尚未理解的原因,因为即使对于无意义的解决方案,训练目标也可能很低。
2017-11-07 cs.LG stat.ML
On the Encoder-Decoder Incompatibility in Variational Text Modeling and Beyond
Tsinghua University(清华大学);University of California, Santa Barbara(加州大学圣塔芭芭拉分校)
变分自编码器(VAE)将隐变量与摊销变分推理相结合,其优化通常收敛到称为后验崩溃的平凡局部最优,特别是在文本建模中。通过跟踪优化动态,我们观察到编码器-解码器的不兼容性,导致数据流形的参数化不佳。我们认为,平凡的局部最优可以避免通过改进的编码器和解码器的参数化,因为后验网络是它们之间的过渡映射的一部分。为此,我们提出了耦合VAE,它耦合VAE模型与具有相同结构的确定性自动编码器,并通过编码器权重共享和解码器信号匹配来改进编码器和解码器参数化。我们将所提出的耦合VAE方法应用于具有不同正则化、后验族、解码器结构和优化策略的各种VAE模型。在基准数据集上的实验(即,PTB、Yelp和Yahoo)在概率估计和潜在空间丰富度方面显示出一致的改进结果。我们还将我们的方法推广到条件语言建模,并提出了耦合CVAE,这在很大程度上提高了Switchboard数据集上对话生成的多样性。
2020-04-20 cs.CL cs.LG stat.ML
Seq vs Seq: An Open Suite of Paired Encoders and Decoders
Johns Hopkins University(约翰霍普金斯大学);LightOn
本文提出SOTA开放数据Ettin模型套件,包含不同规模的编码器和解码器模型,通过统一训练方法在分类、检索和生成任务中取得最佳性能。
2026-03-12 cs.CL cs.IR cs.LG
Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation
Université de Montréal(蒙特利尔大学);Jacobs University(雅各布大学);Université du Maine(曼恩大学)
在本文中,我们提出了一种新的神经网络模型称为RNN编码器-解码器,由两个递归神经网络(RNN)。一个RNN将符号序列编码为固定长度的向量表示,另一个将表示解码为另一个符号序列。所提出的模型的编码器和解码器联合训练,以最大限度地提高给定源序列的目标序列的条件概率。通过使用由RNN编码器-解码器计算的短语对的条件概率作为现有对数线性模型中的附加特征,经验地发现统计机器翻译系统的性能得到改善。定性,我们表明,该模型学习语义和语法有意义的语言短语表示。
2014-09-03 cs.CL cs.LG cs.NE
MsEdF: A Multi-stream Encoder-decoder Framework for Remote Sensing Image Captioning
本文提出MsEdF框架,通过优化编码器-解码器的空域表示和语言生成,提升遥感图像描述的准确性,实验表明其在三个基准数据集上优于现有方法。
2025-10-28 cs.CV cs.HC cs.LG
DEED: Dynamic Early Exit on Decoder for Accelerating Encoder-Decoder Transformer Models
AWS AI Labs(AWS AI实验室);University of California San Diego(加州大学圣迭戈分校)
提出DEED方法,在编码器-解码器Transformer解码器中实现动态早退,通过多出口和深度监督训练,按步置信度减少解码层数,降低30%-60%推理延迟,保持或提升准确性。
2023-11-15 cs.CL cs.CV cs.LG
Review Networks for Caption Generation
Carnegie Mellon University(卡内基梅隆大学)
我们提出了一种新的扩展的编码器-解码器框架,称为审查网络。审查网络是通用的,可以增强任何现有的编码器-解码器模型:在本文中,我们考虑RNN解码器与CNN和RNN编码器。回顾网络利用注意力机制对编码器隐藏状态执行多个回顾步骤,并且在每个回顾步骤之后输出思想向量;思想向量用作解码器中的注意力机制的输入。我们表明,传统的编码器-解码器是我们的框架的一个特殊情况。从经验上讲,我们表明,我们的框架提高了国家的最先进的编码器-解码器系统上的任务,图像描述和源代码字幕。
2016-10-27 cs.CL cs.CV cs.LG
FlexTab: A Flexible Encoder-Decoder Architecture for In-Context Learning Across Diverse Tabular Tasks
SAP SE;SAP France(SAP法国)
提出FlexTab架构,通过任务无关编码器与任务特定解码器组合,在表格数据上实现上下文学习,在分类、回归等六项任务上达到最优或竞争力性能。
2026-10-14 cs.LG
Clinical Reading Comprehension with Encoder-Decoder Models Enhanced by Direct Preference Optimization
University of Kentucky(肯塔基大学)
本研究将编码器-解码器模型与直接偏好优化结合,在RadQA放射学问答任务上提升12-15个F1点,首次证明DPO方法无需人工输入即可适用于阅读理解。
2024-07-19 cs.CL cs.IR cs.LG
Less is More: Pre-train a Strong Text Encoder for Dense Retrieval Using a Weak Decoder
Renmin University of China(中国人民大学);Microsoft(微软)
稠密检索需要高质量的文本序列嵌入来支持在表示空间中的有效搜索。基于自动编码器的语言模型在稠密检索中很有吸引力,因为它们训练编码器以输出可以重建输入文本的高质量嵌入。然而,在本文中,我们提供了理论分析和经验表明,一个自动编码器语言模型与低重建损失可能无法提供良好的序列表示,因为解码器可能会采取捷径,利用语言模式。为了解决这个问题,我们提出了一种新的自学习方法,使用\textit{weak}解码器预训练自动编码器,具有有限的容量和注意力灵活性,以推动编码器提供更好的文本表示。我们在Web搜索、新闻推荐和开放域问答上的实验表明,我们的预训练模型显著提高了稠密检索模型的有效性和Few-Shot能力。我们的代码可在https://github.com/microsoft/SEED-Encoder/上获得。
2021-09-16 cs.LG
Atrous Residual Interconnected Encoder to Attention Decoder Framework for Vertebrae Segmentation via 3D Volumetric CT Images
The Hong Kong Polytechnic University(香港理工大学);University of Oxford(牛津大学)
基于计算机断层扫描(CT)的医学图像自动分割是计算机辅助手术得到广泛应用的前提。随着深度学习技术的发展,深度卷积神经网络(DCNN)在医学图像的自动语义分割方面表现出了强大的性能。然而,基于DCNN的语义分割算法仍然面临着编码器和解码器之间的特征丢失、多尺度对象、滤波器视野受限以及医学图像数据缺乏等挑战。本文提出了一种新的算法自动分割椎骨通过三维体积脊柱CT图像。该模型基于编码器到解码器的结构,使用层归一化来优化小批量训练性能。为了解决编码器和解码器之间的信息丢失问题,我们设计了一个Atrous残差路径来将更多的特征从编码器传递到解码器,而不是简单的快捷连接。该模型还在解码器部分应用了注意力模块,从不同尺度中提取特征。所提出的模型进行评估的公开可用的数据集通过各种指标。实验结果表明,我们的模型实现了竞争力的性能相比,其他国家的最先进的医学语义分割方法。
2021-04-08 cs.CV cs.LG eess.IV
Comparison of RNN Encoder-Decoder Models for Anomaly Detection
Hankuk University of Foreign Studies(韩国外国语大学)
在本文中,我们比较了不同类型的递归神经网络(RNN)编码器-解码器在异常检测的观点。我们专注于寻找可以更有效地学习相同数据的模型。我们在相同的条件下比较了多个模型,例如参数的数量,优化器和学习率。然而,区别在于是预测未来序列还是恢复当前序列。我们用简单的向量构建了数据集,并将它们用于实验。最后,我们通过实验证实,当模型恢复当前序列时,模型的性能更好,而不是预测未来序列。
2018-07-19 cs.LG stat.ML
Geometry-Preserving Encoder/Decoder in Latent Generative Models
Department of Mathematics, The Ohio State University(俄亥俄州立大学数学系);Department of Mathematics, University of Minnesota(明尼苏达大学数学系);Zu Chongzhi Center for Mathematics and Computational Sciences, Duke Kunshan University(杜克-昆山大学仲长奇中心)
本文提出一种新型几何保持编码器/解码器框架,通过保留数据分布的几何结构,在潜在扩散模型中实现更高效的训练和更快的收敛。
2026-06-17 cs.LG cs.NA math.NA
Rethinking Encoder-Decoder Flow Through Shared Structures
Samsung R&D Institute UK (SRUK)(三星英国研发中心)
针对密集预测任务中解码器结构不变的问题,提出共享结构“banks”为每个解码块提供额外上下文,通过重采样和特征融合提升基于Transformer架构的深度估计性能。
2025-01-24 cs.CV cs.LG
Double Encoder-Decoder Networks for Gastrointestinal Polyp Segmentation
Bournemouth University(伯恩茅斯大学);Australian Institute for Machine Learning, University of Adelaide(阿德莱德大学澳大利亚机器学习研究所);BCN Medtech(巴塞罗那医疗科技公司);Universitat Pompeu Fabra(庞培法布拉大学);ICREA(加泰罗尼亚高等研究院)
息肉是结直肠癌发展的早期迹象。检测它们的标准程序包括胃肠道的结肠镜检查。然而,广泛的息肉形状和视觉外观,以及这种图像模态的质量降低,使其自动识别和分割与计算工具成为一个具有挑战性的计算机视觉任务。在这项工作中,我们提出了一种新的策略,从内窥镜图像的基础上,直接扩展常见的编码器-解码器网络的语义分割的胃肠道息肉划定。在我们的方法中,两个预先训练的编码器-解码器网络依次堆叠:第二个网络将原始帧和第一个网络生成的初始预测的级联作为输入,这作为一种注意力机制,使第二个网络能够专注于图像中的感兴趣区域,从而提高其预测的质量。对几个息肉分割数据库进行的定量评估表明,在所有情况下,双编码器-解码器网络的性能明显优于单编码器-解码器网络。此外,我们最好的双编码器-解码器组合在所有考虑的数据集中获得了出色的分割精度,并达到了最先进的性能结果,从未用于训练的数据集中提取的图像的精度显著提高。
2021-10-05 cs.CV cs.LG eess.IV
Understanding the Natural Language of DNA using Encoder-Decoder Foundation Models with Byte-level Precision
Purdue University(普渡大学);Institute for Cancer Research, Purdue University(普渡大学癌症研究所)
本文提出ENBED基础模型,采用编码器-解码器Transformer架构以字节级精度分析DNA序列,通过掩码语言建模预训练,在增强子识别、错误检测、功能注释及病毒突变生成等任务上显著优于现有方法。
2024-08-22 cs.LG q-bio.GN
A systematic comparison of grapheme-based vs. phoneme-based label units for encoder-decoder-attention models
RWTH Aachen University(亚琛工业大学);AppTek GmbH(AppTek公司)
遵循端到端建模的基本原理,用于自动语音识别(ASR)的CTC、RNN-T或编码器-解码器-注意力模型使用基于例如字节对编码(BPE)的字素或基于字素的子字单元。从发音到拼写的映射完全是从数据中学习的。与此相反,ASR的经典方法采用音素列表形式的二级知识源来定义语音输出标签和发音词典。在这项工作中,我们做了一个系统的比较字素和音素为基础的输出标签的编码器-解码器-注意力ASR模型。我们调查使用单个音素以及基于BPE的音素组作为我们的模型的输出标签。为了保持一个简化和有效的解码器设计,我们还扩展了音素集的辅助单元,能够区分同音字。在Switchboard 300 h和LibriSpeech基准测试上进行的实验表明,基于音素的建模与基于图素的编码器-解码器-注意力建模相比具有竞争力。
2021-04-15 cs.CL cs.LG cs.NE
Improving Generalization of Sequence Encoder-Decoder Networks for Inverse Imaging of Cardiac Transmembrane Potential
Golisano College of Computing and Information Sciences(戈利萨诺计算与信息科学学院);Rochester Institute of Technology(罗切斯特理工学院)
深度学习模型在许多逆重建问题中表现出最先进的性能。然而,人们还没有很好地理解潜在表示的哪些属性可以提高网络的泛化能力。此外,对于时间序列的逆重建,已经提出了有限的模型。在本文中,我们研究了一个序列编码器解码器模型的泛化能力,用于解决时间序列的逆重建。我们的中心假设是网络的泛化能力可以通过1)约束随机性和2)潜在空间中时间信息的全局聚合来提高。首先,借鉴分析学习理论,我们从理论上表明,随机潜在空间将导致提高泛化能力。其次,我们考虑LSTM编码器-解码器架构,该架构从LSTM编码器中的所有最后一层单元压缩全局特征向量。该模型与其他LSTM编码器-解码器架构进行了比较,每个架构都有确定性和随机性版本。结果表明,约束随机性结合隐空间中时间信息的全局聚集,可以提高逆重构网络的泛化能力。
2018-10-12 cs.LG stat.ML
Learning Discriminative Features using Encoder-Decoder type Deep Neural Nets
ALPES;SNIST
随着机器学习被应用于越来越多的复杂问题,这些问题由高维和复杂的数据集定义,面向任务的特征学习的必要性变得越来越重要。随着深度学习算法的进步,各种成功的特征学习技术已经发展。在本文中,我们提出了一种通过训练具有类似于自动编码器的编码器或解码器类型架构的深度神经网络来学习区分特征的新方法。我们证明了我们的方法可以学习判别特征,当训练样本的数量相对较小时,这些特征可以在模式分类任务中表现得更好。
2016-03-22 cs.LG stat.ML
Polyp and Surgical Instrument Segmentation with Double Encoder-Decoder Networks
Pompeu Fabra University(庞培法布拉大学);BCN MedTech
本文提出一种增强型双编码器-解码器网络,通过改进编码器架构、优化流程和温度调节模型集成后处理,在内窥镜图像中同时分割息肉和手术器械,取得与专家标注高度一致的结果。
2024-06-06 cs.CV cs.LG eess.IV
Multi-space Variational Encoder-Decoders for Semi-supervised Labeled Sequence Transduction
Carnegie Mellon University(卡内基梅隆大学)
标记序列转换是将一个序列转换成另一个序列的任务,该序列满足由一组标记指定的要求。在本文中,我们提出了多空间变分编码器-解码器,一个新的模型,标记序列转导半监督学习。生成模型可以使用神经网络来处理离散和连续潜在变量以利用数据的各种特征。实验表明,我们的模型不仅提供了一个强大的监督框架,而且可以有效地利用未标记的数据。在SIGMORPHON形态变化基准测试中,我们的模型在大多数语言中的表现都大大优于单一模型的最新结果。
2017-08-17 cs.CL cs.LG
RAR-U-Net: a Residual Encoder to Attention Decoder by Residual Connections Framework for Spine Segmentation under Noisy Labels
University of Oxford(牛津大学);Beihang University(北京航空航天大学)
医学图像的分割算法被广泛研究用于各种临床和研究目的。在本文中,我们提出了一种新的和有效的方法用于医学图像分割噪声标签。该方法在深度学习范式下运行,结合了四个新的贡献。首先,在不同尺度编码器中探索残差互连以有效地传递梯度信息。其次,四个复制和裁剪连接被替换为基于剩余块的级联,以减轻编码器和解码器之间的差异。第三,在所有尺度解码器上研究了用于特征细化的卷积注意力模块。最后,自适应去噪学习策略(ADL)被引入到训练过程中,以避免过多的噪声标签的影响。实验结果说明了一个公开的基准数据库的脊柱CT。我们提出的方法实现了竞争力的表现对其他国家的最先进的方法在各种不同的评估措施。
2021-06-16 cs.LG eess.IV
An Encoder-Decoder Based Approach for Anomaly Detection with Application in Additive Manufacturing
RWTH Aachen University(亚琛工业大学);University of Texas at Austin(德克萨斯大学奥斯汀分校);University of California, Berkeley(加州大学伯克利分校);California Institute of Technology(加州理工学院)
我们提出了一种新的无监督深度学习方法,该方法利用编码器-解码器架构来检测在工业制造过程中收集的顺序传感器数据中的异常。我们的方法的目的不仅是检测是否存在一个异常在给定的时间步,但也要预测接下来会发生什么(顺序)的过程。我们展示了我们的方法从现实世界的测试平台收集的数据集。该数据集包含在正常条件和合成异常条件下收集的图像。我们表明,编码器-解码器模型是能够识别注入的异常,在现代制造过程中,在一个无监督的方式。此外,它还给出了制造过程中测试台温度不均匀性的提示,这是我们在做实验之前没有意识到的。
2019-07-26 cs.LG stat.ML
Discourse Embellishment Using a Deep Encoder-Decoder Network
Institute of Cognitive Science(认知科学研究所);University of Osnabrück(奥斯纳布吕克大学);Radboud University(拉德堡德大学)
我们提出了一个新的NLG任务的背景下,话语生成管道的计算讲故事系统。这一任务,文本修饰,是通过将文本作为输入,并生成语义上等同的输出,增加词汇和句法复杂性来定义的。理想情况下,这将允许计算说书人的作者实现轻量级的NLG系统,并使用独立于域的修饰模块将其输出转换为更具文学性的文本。我们使用在WikiLarge数据集上训练的LSTM编码器-解码器网络,在这项任务上展示了有希望的第一个结果。此外,我们介绍了“编译的计算机故事”,计算生成的故事语料库,可用于测试的能力,修饰算法。
2018-10-18 cs.CL cs.LG
Encoder Decoder Generative Adversarial Network Model for Stock Market Prediction
Department of Mathematics, School of Advanced Sciences, Vellore Institute of Technology(数学系、先进科学学院、维洛雷理工学院)
提出基于GRU的编码器-解码器GAN(EDGAN)模型,通过时间解码器、协变量条件化和窗口机制等创新,在股票市场预测中实现了更高的预测精度和训练稳定性。
2025-10-12 cs.LG math.OC
Deep Capsule Encoder-Decoder Network for Surrogate Modeling and Uncertainty Quantification
Indian Institute of Technology Delhi(印度理工学院德里分校)
我们提出了一种新的\textit{capsule}为基础的深度编码器-解码器模型的替代建模和不确定性量化的系统在力学稀疏数据。所提出的框架是通过将胶囊网络(CapsNet)架构适配到图像到图像回归编码器-解码器网络来开发的。具体而言,目的是利用CapsNet优于卷积神经网络(CNN)$-$的优点,保留与实体相关的姿势和位置信息。所提出的方法的性能说明通过求解椭圆随机偏微分方程(SPDE),这也支配系统的力学,如稳定的热传导,地下水流动或其他扩散过程,基于不确定性量化问题的输入维数为$1024$。然而,该问题的定义并没有限制的随机扩散场的特定协方差结构,和更艰巨的任务的响应预测的任意扩散场得到解决。性能评估结果表明,该方法是准确的,有效的,和强大的。
2022-01-19 cs.LG stat.ML