Implicit Distortion and Fertility Models for Attention-based Encoder-Decoder NMT Model
Shanghai Jiao Tong University(上海交通大学);Microsoft Research(微软研究院)
神经机器翻译最近显示出非常有前途的结果。大多数NMT模型遵循编码器-解码器框架。为了使编码器-解码器模型更加灵活,注意力机制被引入到机器翻译以及诸如语音识别和图像描述的其他任务中。我们观察到,当对齐不正确时,基于注意力的编码器-解码器的翻译质量可能会受到显着损害。我们将这些问题归因于缺乏扭曲和生育模型。针对这些问题,我们提出了新的基于注意力的编码器-解码器的变体,并将其与其他机器翻译模型进行了比较。我们提出的方法比原来的基于注意力的编码器-解码器提高了2个BLEU点。
2016-01-22 cs.CL
DecoderLens: Layerwise Interpretation of Encoder-Decoder Transformers
University of Amsterdam(阿姆斯特丹大学);Tilburg University(蒂尔堡大学);University of Groningen(格罗宁根大学)
本文提出 DecoderLens,通过让解码器交叉注意编码器中间层表示,逐层分析编码器-解码器 Transformer,并在多任务模型中揭示低层和中间层完成的子任务。
2024-04-03 cs.CL
Is Encoder-Decoder Redundant for Neural Machine Translation?
RWTH Aachen University(亚琛工业大学)
编码器-解码器体系结构被广泛用于序列到序列建模任务。对于机器翻译,尽管从长短期记忆网络进化到了Transformer网络,再加上注意力机制的引入和发展,编码器-解码器仍然是最先进模型的事实上的神经网络架构。虽然从某些隐藏空间解码信息的动机很简单,但在模型架构中将编码和解码步骤严格分离为编码器和解码器并不一定是必须的。与目标语言中的自回归语言建模任务相比,机器翻译只是具有额外的源句子作为上下文。鉴于神经语言模型现在已经可以处理目标语言中相当长的上下文,很自然地会问,简单地连接源和目标句子并训练语言模型进行翻译是否可行。在这项工作中,我们调查上述概念的机器翻译。具体来说,我们实验双语翻译,翻译与额外的目标单语数据,和多语言翻译。在所有情况下,这种替代方法的性能与基线编码器-解码器Transformer相当,这表明编码器-解码器架构对于神经机器翻译来说可能是冗余的。
2022-10-21 cs.AI cs.CL cs.LG
Double Encoder-Decoder Networks for Gastrointestinal Polyp Segmentation
Bournemouth University(伯恩茅斯大学);Australian Institute for Machine Learning, University of Adelaide(阿德莱德大学澳大利亚机器学习研究所);BCN Medtech(巴塞罗那医疗科技公司);Universitat Pompeu Fabra(庞培法布拉大学);ICREA(加泰罗尼亚高等研究院)
息肉是结直肠癌发展的早期迹象。检测它们的标准程序包括胃肠道的结肠镜检查。然而,广泛的息肉形状和视觉外观,以及这种图像模态的质量降低,使其自动识别和分割与计算工具成为一个具有挑战性的计算机视觉任务。在这项工作中,我们提出了一种新的策略,从内窥镜图像的基础上,直接扩展常见的编码器-解码器网络的语义分割的胃肠道息肉划定。在我们的方法中,两个预先训练的编码器-解码器网络依次堆叠:第二个网络将原始帧和第一个网络生成的初始预测的级联作为输入,这作为一种注意力机制,使第二个网络能够专注于图像中的感兴趣区域,从而提高其预测的质量。对几个息肉分割数据库进行的定量评估表明,在所有情况下,双编码器-解码器网络的性能明显优于单编码器-解码器网络。此外,我们最好的双编码器-解码器组合在所有考虑的数据集中获得了出色的分割精度,并达到了最先进的性能结果,从未用于训练的数据集中提取的图像的精度显著提高。
2021-10-05 cs.CV cs.LG eess.IV
Multilingual Machine Translation: Closing the Gap between Shared and Language-specific Encoder-Decoders
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);University of the Basque Country (UPV/EHU)(巴斯克大学(UPV/EHU))
最先进的多语言机器翻译依赖于通用的编码器-解码器,这需要重新训练整个系统以添加新的语言。在本文中,我们提出了一种替代方法,是基于特定语言的编码器-解码器,因此可以更容易地扩展到新的语言,通过学习其相应的模块。为了鼓励共同的中间语言表示,我们同时训练N种初始语言。我们的实验表明,所提出的方法比通用编码器-解码器平均高出3.28个BLEU点,并且在添加新语言时,不需要重新训练其余模块。总而言之,我们的工作缩小了共享和特定语言编码器-解码器之间的差距,朝着模块化多语言机器翻译系统迈进,可以在终身学习环境中灵活扩展。
2020-04-14 cs.CL
Calibration of Encoder Decoder Models for Neural Machine Translation
University of California Berkeley(加州大学伯克利分校);Indian Institute of Technology Bombay(印度理工学院孟买分校)
我们研究了几个国家的最先进的神经机器翻译(NMT)系统的基于注意力的编码器-解码器模型的校准。对于像NMT中的结构化输出,校准不仅对于预测的可靠置信度很重要,而且对于波束搜索推理的正确功能也很重要。我们发现,大多数现代NMT模型是令人惊讶的错误校准,即使在真正的以前的令牌的条件。我们的调查导致两个主要原因-EOS(序列结束标记)的严重误校准和抑制的注意不确定性。我们根据这些信号设计了重新校准方法,并证明了更高的准确性,更好的序列级校准,以及更直观的波束搜索结果。
2019-03-03 cs.CL cs.LG stat.ML
Multilingual Neural Machine Translation with Deep Encoder and Multiple Shallow Decoders
Carnegie Mellon University(卡内基梅隆大学);Facebook AI(脸书人工智能研究院)
最近在多语言翻译方面的工作使用具有更大容量的深度Transformer模型,提高了翻译质量,超过了双语基线。然而,这种方法引入的额外延迟和存储器成本可能使其对于效率受限的应用不可接受。最近有研究表明,双语翻译使用深度编码器和浅层解码器(DESD)可以减少推理延迟,同时保持翻译质量,因此我们研究了多语言翻译的类似速度-准确性权衡。我们发现,对于多对一的翻译,我们确实可以使用这种方法在不牺牲质量的情况下提高解码器速度,但对于一对多的翻译,浅解码器会导致明显的质量下降。为了改善这种下降,我们提出了一个深编码器与多个浅解码器(DEMSD),其中每个浅解码器负责目标语言的不相交子集。具体而言,与标准Transformer模型相比,具有2层解码器的DEMSD模型能够获得平均1.8倍的加速,而不会降低翻译质量。
2022-06-05 cs.CL
Improved Neural Machine Translation with a Syntax-Aware Encoder and Decoder
Nanjing University(南京大学);University of Notre Dame(圣母大学)
大多数神经机器翻译(NMT)模型基于顺序编码器-解码器框架,该框架不使用语法信息。在本文中,我们改进了这个模型,明确纳入源端语法树。更具体地说,我们提出了(1)一个双向树编码器,学习顺序和树结构表示;(2)一个树覆盖模型,让注意力取决于源端语法。汉英翻译实验表明,我们提出的模型优于顺序注意模型,以及一个更强的基线与自底向上的树编码器和单词覆盖率。
2017-07-18 cs.CL
On the Properties of Neural Machine Translation: Encoder-Decoder Approaches
Université de Montréal(蒙特利尔大学);Jacobs University(雅各布大学)
神经机器翻译是纯粹基于神经网络的统计机器翻译的一种相对较新的方法。神经机器翻译模型通常由编码器和解码器组成。编码器从一个可变长度的输入句子中提取一个固定长度的表示,解码器从这个表示中生成一个正确的翻译。在本文中,我们重点分析了两种模型的神经机器翻译的性能:RNN编码器-解码器和一个新提出的门控递归卷积神经网络。我们发现,神经机器翻译在没有未知词的短句上表现相对较好,但随着句子长度和未知词数量的增加,其性能迅速下降。此外,我们发现所提出的门控递归卷积网络可以自动学习句子的语法结构。
2014-10-07 cs.CL stat.ML
Unbabel's Submission to the WMT2019 APE Shared Task: BERT-based Encoder-Decoder for Automatic Post-Editing
Unbabel(Unbabel公司);Instituto de Telecomunicações(电信研究所)
本文介绍了Unbabel提交给WMT 2019 APE共享任务的英语-德语语言对。随着最近大型、强大的预训练模型的兴起,我们对BERT预训练模型进行了调整,以在编码器-解码器框架中执行自动后期编辑。类似于双编码器架构,我们开发了一个基于BERT的编码器-解码器(BED)模型,其中单个预训练的BERT编码器接收源src和机器翻译tgt字符串。此外,我们探索了一个保守性因素,以限制APE系统执行更少的编辑。正如官方结果所示,当在域内和人工训练数据的加权组合上进行训练时,我们的具有保守性惩罚的BED系统分别在TER和BLEU方面通过$-0.78$和$+1.23$显着提高了强大神经机器翻译系统的翻译。最后,我们的提交达到了一个新的国家的最先进的,前aequo,在英语-德语APE的NMT。
2019-06-29 cs.CL
Understanding the Natural Language of DNA using Encoder-Decoder Foundation Models with Byte-level Precision
Purdue University(普渡大学);Institute for Cancer Research, Purdue University(普渡大学癌症研究所)
本文提出ENBED基础模型,采用编码器-解码器Transformer架构以字节级精度分析DNA序列,通过掩码语言建模预训练,在增强子识别、错误检测、功能注释及病毒突变生成等任务上显著优于现有方法。
2024-08-22 cs.LG q-bio.GN
Global Attention-based Encoder-Decoder LSTM Model for Temperature Prediction of Permanent Magnet Synchronous Motors
Lakehead University(湖首大学)
温度监测对于电动机至关重要,以确定是否应执行设备保护措施。然而,永磁同步电动机(PMSM)内部结构的复杂性使得其内部元件的温度直接测量变得困难。这项工作务实地开发了三个深度学习模型,以基于易于测量的外部量来估计PMSM的内部温度。所提出的监督学习模型利用长短期记忆(LSTM)模块、双向LSTM和注意力机制来形成编码器-解码器结构,以同时预测定子绕组、齿、轭和永磁体的温度。在基准数据集上进行了详尽的实验,以验证所提出的模型的性能。对比分析表明,所提出的基于全局注意力的编码器-解码器(EnDec)模型提供了一个有竞争力的整体性能为1.72均方误差(MSE)和5.34平均绝对误差(MAE)。
2022-07-30 cs.AI cs.LG
Training Multilingual Machine Translation by Alternately Freezing Language-Specific Encoders-Decoders
TALP Research Center(TALP研究中心);Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);IXA NLP Group(IXA自然语言处理组);University of the Basque Country (UPV/EHU)(巴斯克大学(UPV/EHU))
我们提出了一个模块化的体系结构的语言特定的编码器-解码器,构成一个多语言的机器翻译系统,可以逐步扩展到新的语言,而不需要重新训练现有的系统时,添加新的语言。从以前的作品,我们同时训练$N$语言的所有翻译方向交替冻结编码器或解码器模块,这间接迫使系统训练在一个共同的中间表示所有的语言。多语言机器翻译的实验结果表明,我们可以成功地训练这个模块化的架构,提高了初始语言,而略有落后时,添加新的语言或做zero-shot翻译。另外,在自然语言推理任务中对句子表征质量的比较表明,交替冻结训练也有利于这一方向。
2020-05-29 cs.CL
Improving Zero-shot Neural Machine Translation on Language-specific Encoders-Decoders
University of Electronic Science and Technology of China(电子科技大学);Microsoft(微软)
最近,通用神经机器翻译(NMT)与共享的编码器-解码器上取得了良好的性能zero-shot翻译。与通用NMT不同,联合训练的语言特定编码器-解码器旨在实现跨非共享模块的通用表示,每个模块都用于一种语言或语言家族。非共享架构具有减轻内部语言竞争的优点,特别是当共享词汇表和模型参数的大小受到限制时。然而,在zero-shot翻译上使用多个编码器和解码器的性能仍然落后于通用NMT。在这项工作中,我们研究zero-shot翻译使用特定语言的编码器-解码器。我们建议通过区分特定语言和中间语言之间的Transformer层来推广非共享架构和通用NMT。通过选择性地共享参数和应用交叉注意,我们探索最大限度地提高表示的普遍性,实现语言无关信息的最佳对齐。我们还引入了一个去噪自动编码(DAE)目标,以多任务方式联合训练模型和翻译任务。在两个公开的多语言并行数据集上的实验表明,我们提出的模型取得了竞争力或更好的结果比通用NMT和强枢轴基线。此外,我们通过只更新新的模型参数来逐步向训练模型添加新的语言。通过这一点努力,这个新添加的语言和现有语言之间的zero-shot翻译实现了与所有语言从头开始联合训练的模型相当的结果。
2021-02-12 cs.CL
Two Black Boxes, One Solver: Encoder Probing and Decoder Attribution for Neural Multi-Attribute VRP under Hard-Mask and Recourse Decoders
Univ. Artois, UR 3926, Laboratoire de Génie Informatique et d’Automatique de l’Artois (LGI2A)(阿图瓦大学,UR 3926,阿图瓦信息工程与自动化实验室(LGI2A))
研究神经自回归求解器解决多属性车辆路径规划问题,通过线性探测等方法打开编码器黑箱,用三种归因方法打开解码器黑箱,从多方面对解释进行评分,发现多种影响及特性。
2026-07-07 cs.AI cs.LG math.OC
Encoder-Decoder Neural Architecture Optimization for Keyword Spotting
University of Alberta(阿尔伯塔大学);University of Montreal(蒙特利尔大学)
关键词定位旨在识别特定的关键词音频话语。近年来,深度卷积神经网络已被广泛用于关键词定位系统。然而,它们的模型架构主要基于现成的主干,如VGG-Net或ResNet,而不是专门为任务设计的。在本文中,我们利用神经架构搜索设计卷积神经网络模型,可以提高关键字定位的性能,同时保持可接受的内存占用。具体地说,我们搜索的模型运营商和他们的连接在一个特定的搜索空间与编码器-解码器的神经架构优化。对Google语音命令数据集的广泛评估表明,我们的方法搜索的模型架构达到了97%以上的最先进的准确率。
2021-06-04 cs.LG cs.MM
Block-Based Double Decoders
Brown University(布朗大学)
提出基于块的双解码器架构,利用双重因果块注意力掩码实现全损失监督和静态序列打包,结合解码器训练效率与编码器-解码器推理效率,在缩放定律实验中优于编码器-解码器并接近解码器模型,推理时KV缓存和每token计算减少至少2/3。
2026-05-29 cs.AI cs.LG
Neural Controller Synthesis for Signal Temporal Logic Specifications Using Encoder-Decoder Structured Networks
Osaka University(大阪大学);National Institute of Informatics(国立信息学研究所)
本文提出了一种基于神经网络的信号时序逻辑(STL)规范控制综合方法。大多数以前的作品考虑训练一个控制器,只有一个给定的STL规范。然而,这些方法,需要重新训练的NN控制器,如果一个新的规范出现,需要得到满足,这导致大量的内存消耗和低效的训练。为了解决这个问题,我们建议通过引入编码器-解码器结构的NN与注意力机制来构建NN控制器。编码器将STL公式作为输入,并将其编码为适当的向量,解码器输出满足给定规范的控制信号。作为编码器,我们考虑三种NN结构:顺序,树结构和图形结构的NN。所有的模型参数都是以端到端的方式训练的,以最大限度地提高预期的鲁棒性,这是STL公式的定量语义。我们比较上述NN结构的控制性能,通过数值实验的路径规划问题,所提出的方法的有效性。
2022-12-10 cs.LG cs.SY eess.SY
AdaST: Dynamically Adapting Encoder States in the Decoder for End-to-End Speech-to-Text Translation
College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部)
针对端到端语音翻译中编码器声学表示静态固定的问题,本文提出AdaST模型,在解码器中依据隐藏状态动态调整声学状态,并以语音-文本混合注意替代传统交叉注意,在两个常用数据集上显著超越现有神经语音翻译模型。
2025-03-18 cs.CL cs.SD eess.AS
Exploiting Invertible Decoders for Unsupervised Sentence Representation Learning
UC San Diego(加州大学圣地亚哥分校)
用于无监督句子表示学习的编码器-解码器模型在大型未标记语料库上训练之后倾向于丢弃解码器,因为仅需要编码器将输入句子映射到向量表示。然而,在解码器中学习的参数也包含关于语言的有用信息。为了利用学习后的解码器,我们提出了两种类型的解码功能,其逆可以很容易地得出,而无需昂贵的逆计算。因此,解码函数的逆函数充当产生句子表示的另一个编码器。我们表明,精心设计的解码功能,该模型学习良好的句子表示,和合奏的表示产生的编码器和逆解码器表现出更好的泛化能力和坚实的可转移性。
2019-05-31 cs.CL cs.LG cs.NE
A systematic comparison of grapheme-based vs. phoneme-based label units for encoder-decoder-attention models
RWTH Aachen University(亚琛工业大学);AppTek GmbH(AppTek公司)
遵循端到端建模的基本原理,用于自动语音识别(ASR)的CTC、RNN-T或编码器-解码器-注意力模型使用基于例如字节对编码(BPE)的字素或基于字素的子字单元。从发音到拼写的映射完全是从数据中学习的。与此相反,ASR的经典方法采用音素列表形式的二级知识源来定义语音输出标签和发音词典。在这项工作中,我们做了一个系统的比较字素和音素为基础的输出标签的编码器-解码器-注意力ASR模型。我们调查使用单个音素以及基于BPE的音素组作为我们的模型的输出标签。为了保持一个简化和有效的解码器设计,我们还扩展了音素集的辅助单元,能够区分同音字。在Switchboard 300 h和LibriSpeech基准测试上进行的实验表明,基于音素的建模与基于图素的编码器-解码器-注意力建模相比具有竞争力。
2021-04-15 cs.CL cs.LG cs.NE
Generating Chinese Classical Poems with RNN Encoder-Decoder
Tsinghua University(清华大学)
我们把中国古典诗歌的生成看作是一个序列到序列的学习问题,并建立了一个基于RNN编码器-解码器结构的绝句生成系统,以主题词作为输入。我们的系统可以共同学习一行内的语义,一首诗中的行之间的语义相关性,以及结构,节奏和音调模式的使用,而不利用任何约束模板。实验结果表明,我们的系统优于其他竞争对手的系统。我们还发现,注意力机制可以捕捉到中国古典诗歌中的词汇联想,在训练中颠倒目标行可以提高成绩。
2016-04-06 cs.CL cs.NE
A Reinforcement Learning Based Encoder-Decoder Framework for Learning Stock Trading Rules
最近提出了各种各样的深度强化学习(DRL)模型来学习有利可图的投资策略。特别是在高频交易环境中,这些模型学习的规则优于以前的策略。然而,它表明,从长期序列的原始价格的工具提取的功能的质量极大地影响了这些模型学习的交易规则的性能。事实证明,采用神经编码器-解码器结构从复杂的输入时间序列中提取信息特征在其他流行的任务中非常有效,如神经机器翻译和视频字幕,其中模型面临类似的问题。编码器-解码器框架从一长串价格中提取高度信息化的特征,并学习如何基于提取的特征生成输出。本文提出了一种基于神经编码器-解码器框架结合DRL的端到端模型,用于从一长串的原始价格序列中学习单一工具的交易策略。该模型包括一个编码器,这是一个神经结构,负责学习信息功能的输入序列,和一个解码器,这是一个DRL模型,负责学习有利可图的策略的基础上提取的特征的编码器。编码器和解码器结构的参数是共同学习的,这使得编码器能够提取适合于解码器DRL的任务的特征。此外,不同结构的编码器和各种形式的输入序列的学习策略的性能的影响进行了研究。实验结果表明,该模型优于其他国家的最先进的模型在高度动态的环境。
2021-01-08 cs.AI cs.LG cs.NE