Encoder-decoder with Focus-mechanism for Sequence Labelling Based Spoken Language Understanding
Shanghai Jiao Tong University(上海交通大学)
本文研究了基于序列标记的口语语言理解的编码器-解码器框架。我们引入双向长短期记忆-长短期记忆网络(BLSTM-LSTM)作为编码器-解码器模型,以充分利用深度学习的力量。在序列标记任务中,输入和输出序列是逐字对齐的,而注意力机制不能提供精确的对齐。为了解决这个问题,我们提出了一种新的编码器-解码器框架的焦点机制。在标准ATIS数据集上的实验表明,具有焦点机制的BLSTM-LSTM通过优于标准BLSTM和基于注意力的编码器-解码器来定义新的最新技术水平。进一步的实验也表明,该模型对语音识别错误具有更好的鲁棒性。
2017-03-13 cs.CL
Controlling Output Length in Neural Encoder-Decoders
Tokyo Institute of Technology(东京工业大学);Carnegie Mellon University(卡内基梅隆大学)
神经编码器-解码器模型在许多序列生成任务中表现出巨大的成功。然而,以前的工作没有调查的情况下,我们想控制编码器-解码器输出的长度。这种能力对于文本摘要等应用程序至关重要,在这些应用程序中,我们必须生成具有所需长度的简明摘要。在本文中,我们提出了控制神经编码器-解码器模型的输出序列长度的方法:两种基于解码的方法和两种基于学习的方法。结果表明,我们基于学习的方法有能力控制长度,而不会降低摘要质量的摘要任务。
2016-09-30 cs.CL
An Exploration of Encoder-Decoder Approaches to Multi-Label Classification for Legal and Biomedical Text
University of Copenhagen(哥本哈根大学)
本研究比较了仅编码器与编码器-解码器方法在多标签文本分类中的表现,实验覆盖法律和生物医学领域,发现编码器-解码器方法更优,其中非自回归方式性能最佳。
2023-05-09 cs.CL
Single-Model Encoder-Decoder with Explicit Morphological Representation for Reinflection
Center for Information & Language Processing(信息与语言处理中心);LMU Munich(慕尼黑大学)
形态再反射是在给定源表单、源标签和目标标签的情况下生成目标表单的任务。我们提出了一种新的方法来模拟这个任务的神经编码器-解码器模型。我们的方法减少了这种架构所需的训练数据的量,并实现了最先进的结果,使编码器-解码器模型适用于形态反射,即使是低资源的语言。在此基础上,提出了一种基于编辑树的输出自动校正方法。
2016-06-02 cs.CL
Multilingual Machine Translation: Closing the Gap between Shared and Language-specific Encoder-Decoders
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);University of the Basque Country (UPV/EHU)(巴斯克大学(UPV/EHU))
最先进的多语言机器翻译依赖于通用的编码器-解码器,这需要重新训练整个系统以添加新的语言。在本文中,我们提出了一种替代方法,是基于特定语言的编码器-解码器,因此可以更容易地扩展到新的语言,通过学习其相应的模块。为了鼓励共同的中间语言表示,我们同时训练N种初始语言。我们的实验表明,所提出的方法比通用编码器-解码器平均高出3.28个BLEU点,并且在添加新语言时,不需要重新训练其余模块。总而言之,我们的工作缩小了共享和特定语言编码器-解码器之间的差距,朝着模块化多语言机器翻译系统迈进,可以在终身学习环境中灵活扩展。
2020-04-14 cs.CL
Variational Memory Encoder-Decoder
Applied AI Institute, Deakin University(迪肯大学应用人工智能研究所)
在保持连贯性的同时引入变异性是学习会话中话语生成的核心任务。标准神经编码器-解码器模型及其使用条件变分自编码器的扩展通常导致平凡或偏离响应。为了克服这一点,我们探索了一种新的方法,通过使用外部存储器作为混合模型,即变分记忆编码器-解码器(VMED),将可变性注入神经编码器-解码器。通过在每个时间步将每个内存读取与潜在混合分布中的模式相关联,我们的模型可以捕获在自然对话等顺序数据中观察到的可变性。我们经验比较所提出的模型与其他最近的方法对各种会话数据集。结果表明,VMED一贯取得显着的改善比别人在基于度量和定性评价。
2018-10-20 cs.CL
Encoder vs Decoder: Comparative Analysis of Encoder and Decoder Language Models on Multilingual NLU Tasks
The Alexandra Institute(亚历山德拉研究所);University of Aarhus(奥胡斯大学);University of Southern Denmark(南丹麦大学)
该研究扩展ScandEval基准以纳入解码器模型,对比了日耳曼语族多语NLU任务中编码器与解码器模型的性能,发现参数量少得多的编码器模型性能更优,并通过UMAP分析揭示两类模型的独特能力,为多语场景模型选择提供参考。
2025-01-11 cs.AI cs.CL cs.LG
Decoder-Only or Encoder-Decoder? Interpreting Language Model as a Regularized Encoder-Decoder
University of Cambridge(剑桥大学);The Chinese University of Hong Kong(香港中文大学);Tsinghua University(清华大学)
本文通过正则化编码器-解码器结构对比分析仅解码器与编码器-解码器架构,揭示并理论分析了仅解码器模型中的注意力退化问题,提出部分注意力语言模型加以解决,在多项生成任务上验证了有效性。
2023-04-08 cs.AI cs.CL cs.LG
Rethinking the adaptive relationship between Encoder Layers and Decoder Layers
该研究以德语到英语翻译的SOTA模型为对象,通过在编解码器间加不同初始化的无偏置全连接层,对比微调与重训效果,发现结构微调效果次优但重训下潜力显著。
2024-05-14 cs.CL
A Unified Encoder-Decoder Framework with Entity Memory
University of Notre Dame(圣母大学);Microsoft Cognitive Services Research(微软认知服务研究院)
本文提出EDMem框架,将实体知识作为潜在表示存入记忆并随编解码器在Wikipedia上预训练,辅以三种实体约束解码方法,在实体密集型问答与生成任务上优于两类基线模型。
2023-04-24 cs.CL
Sparsity and Sentence Structure in Encoder-Decoder Attention of Summarization Systems
University of Cambridge(剑桥大学)
Transformer模型在包括摘要在内的各种NLP任务中取得了最先进的结果。使用大型Transformer模型的训练和推理在计算上可能是昂贵的。以前的工作集中在一个重要的瓶颈,二次自我注意力机制的编码器。改进的编码器架构(如LED或LoBART)使用局部注意模式来解决此问题。与此相反,这项工作的重点是Transformer的编码器-解码器的注意力机制。在需要模型生成历史的推理或训练方法中,这种注意力的成本变得更加重要。首先,我们研究编码器-解码器注意力的复杂性。我们的经验表明,有一个稀疏的句子结构,在文档摘要,可以利用约束的注意力机制的输入句子的子集,同时保持系统的性能。其次,我们提出了一种修改后的架构,该架构选择句子子集来约束编码器-解码器的注意力。在抽象摘要任务上进行了实验,包括CNN/DailyMail,XSum,Spotify Podcast和arXiv。
2021-09-08 cs.CL
Machine translation considering context information using Encoder-Decoder model
Kanazawa University(金泽大学)
在机器翻译任务中,上下文信息是一个重要因素。但考虑上下文信息的模型没有提出。本文提出了一种新的模型,可以集成上下文信息进行翻译。在本文中,我们创建了一个新的基于模型的编码器解码器模型。在翻译当前句子时,该模型将前一个编码器的输出与当前编码器的输出相结合。该模型能够考虑上下文信息,其结果得分高于现有模型。
2019-03-30 cs.CL cs.LG
Multilingual Neural Machine Translation with Deep Encoder and Multiple Shallow Decoders
Carnegie Mellon University(卡内基梅隆大学);Facebook AI(脸书人工智能研究院)
最近在多语言翻译方面的工作使用具有更大容量的深度Transformer模型,提高了翻译质量,超过了双语基线。然而,这种方法引入的额外延迟和存储器成本可能使其对于效率受限的应用不可接受。最近有研究表明,双语翻译使用深度编码器和浅层解码器(DESD)可以减少推理延迟,同时保持翻译质量,因此我们研究了多语言翻译的类似速度-准确性权衡。我们发现,对于多对一的翻译,我们确实可以使用这种方法在不牺牲质量的情况下提高解码器速度,但对于一对多的翻译,浅解码器会导致明显的质量下降。为了改善这种下降,我们提出了一个深编码器与多个浅解码器(DEMSD),其中每个浅解码器负责目标语言的不相交子集。具体而言,与标准Transformer模型相比,具有2层解码器的DEMSD模型能够获得平均1.8倍的加速,而不会降低翻译质量。
2022-06-05 cs.CL
Improved Neural Machine Translation with a Syntax-Aware Encoder and Decoder
Nanjing University(南京大学);University of Notre Dame(圣母大学)
大多数神经机器翻译(NMT)模型基于顺序编码器-解码器框架,该框架不使用语法信息。在本文中,我们改进了这个模型,明确纳入源端语法树。更具体地说,我们提出了(1)一个双向树编码器,学习顺序和树结构表示;(2)一个树覆盖模型,让注意力取决于源端语法。汉英翻译实验表明,我们提出的模型优于顺序注意模型,以及一个更强的基线与自底向上的树编码器和单词覆盖率。
2017-07-18 cs.CL
Graph-based Filtering of Out-of-Vocabulary Words for Encoder-Decoder Models
Tokyo Metropolitan University(东京都立大学)
编码器-解码器模型通常只采用训练语料库中经常使用的单词,以减少计算成本并排除噪声。然而,该词汇集可能仍然包括干扰编码器-解码器模型中的学习的单词。本文提出了一种方法,选择更合适的话学习编码器,不仅利用频率,而且共现信息,我们使用HITS算法捕获。我们将我们提出的方法应用于两个任务:机器翻译和语法错误校正。对于日语到英语的翻译,该方法实现了BLEU分数,比基线高出0.56分。它也优于英语语法错误纠正的基线方法,F0.5测量值高出1.48分。
2018-05-28 cs.CL
Semantic Parsing: Syntactic assurance to target sentence using LSTM Encoder CFG-Decoder
University of Sao Paulo - USP(圣保罗大学);Institute of Mathematics and Statistics - IME(数学与统计学院)
语义解析可以定义为将自然语言句子映射成其含义的机器可解释的形式化表示的过程。使用LSTM编码器-解码器神经网络的语义解析已经成为很有前途的方法。然而,自然语言的人工自动翻译并不为生成的句子提供语法性保证,这样的保证对于实际情况是特别重要的,在实际情况中,如果句子不符合语法,则数据库查询可能导致要害差错。在这项工作中,我们提出了一个神经架构称为编码器CFG解码器,其输出符合给定的上下文无关文法。结果表明,任何实现这种架构显示其正确性,并提供基准精度水平优于文献。
2018-07-18 cs.CL
Enforcing Encoder-Decoder Modularity in Sequence-to-Sequence Models
Carnegie Mellon University(卡内基梅隆大学);Facebook AI Research(Facebook人工智能研究院)
受模块化软件的独立性,可扩展性和清晰的接口设计原则的启发,我们引入了一种方法,用于在不牺牲整体模型质量或其完全可微性的情况下,在seq 2seq模型中实施编码器-解码器模块化。我们离散化的编码器输出单元到一个预定义的可解释的词汇空间,使用连接时间分类(CTC)的损失。我们的模块化系统在300 h Switchboard基准测试中实现了接近SOTA的性能,SWB和CH子集的WER分别为8.3%和17.6%,使用具有独立和可互换的编码器和解码器模块的seq 2seq模型。
2019-11-09 cs.CL cs.LG
Joint Encoder-Decoder Self-Supervised Pre-training for ASR
Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
自监督学习(SSL)在各种语音相关的下游任务中取得了巨大的成功,包括自动语音识别(ASR)。SSL模型的输出嵌入被视为语音信号的强有力的短时表示。然而,在ASR任务中,主要目标是获得声学单元、字符或字节对编码(BPE)的正确序列。通常,编码器-解码器架构对于像ASR这样的序列到序列任务工作得非常好。因此,在本文中,我们提出了一种新的范式,利用解码器的权力在自监督学习。我们使用隐藏单元BERT(HuBERT)SSL框架来计算编码器的传统掩码预测损失。此外,我们还介绍了SSL框架中的解码器,并提出了解码器的目标准备策略。最后,我们使用多任务SSL设置,其中我们共同优化编码器和解码器的损失。我们假设SSL模型中解码器的存在有助于它学习基于声学单元的语言模型,这可能会提高ASR下游任务的性能。我们将我们提出的SSL模型与HuBERT进行了比较,并通过对各种LibriSpeech子集进行微调,显示出ASR性能的相对改善高达25%。
2022-06-09 cs.CL
Adapting the Neural Encoder-Decoder Framework from Single to Multi-Document Summarization
University of Central Florida(中佛罗里达大学)
从一组文档中生成文本摘要仍然是一项具有挑战性的任务。神经编码器-解码器框架最近已被用于总结单个文档,但其成功部分归功于从Web自动获取的大型并行数据的可用性。相比之下,多文档摘要的并行数据是稀缺的,获得成本高。迫切需要调整在单文档摘要数据上训练的编码器-解码器模型,以处理多文档输入。在本文中,我们提出了一个新的适应方法的初步调查。它利用最大边缘相关性方法从多文档输入中选择代表性句子,并利用抽象的编码器-解码器模型将不同的句子融合到抽象摘要中。自适应方法是鲁棒的,并且其本身不需要训练数据。我们的系统相媲美的最先进的提取和抽象的方法判断自动指标和人类评估。
2018-08-28 cs.CL
Adapting Decoder-Based Language Models for Diverse Encoder Downstream Tasks
Google Inc(谷歌公司)
本文提出Gemma Encoder,将Gemma解码器模型适配为编码器架构,通过系统分析池化策略、注意力机制与超参数优化适配过程,在GLUE和MS MARCO基准上验证了其在分类、回归和排序等非生成式任务中的有效性与多功能性。
2025-03-04 cs.CL cs.LG
Scheduled Sampling in Vision-Language Pretraining with Decoupled Encoder-Decoder Network
JD AI Research(京东人工智能研究院);Sun Yat-sen University(中山大学)
尽管使用基于BERT的编码器进行视觉语言(VL)预训练以用于VL理解,但用于VL理解和生成的通用编码器-解码器的预训练仍然具有挑战性。困难源于这两个学科固有的不同特点,例如,VL理解任务利用跨模态的不受限制的消息传递,而生成任务仅采用视觉到文本的消息传递。在本文中,我们开始与两个流解耦设计的编码器-解码器结构,其中两个解耦的跨模态编码器和解码器涉及到单独执行每种类型的代理任务,同时VL理解和生成预训练。此外,对于VL预训练,主要方式是用掩码令牌替换一些输入视觉/单词令牌,并强制多模态编码器/解码器重建原始令牌,但在下游任务上进行微调时不涉及掩码令牌。作为替代方案,我们提出了一个主要的预定采样策略,优雅地减轻这种差异,通过预训练编码器-解码器在一个两遍的方式。大量的实验证明了我们的预训练编码器-解码器通过对四个VL理解和生成下游任务进行微调而具有令人信服的普遍性。源代码可从\url{https://github.com/YehLi/TDEN}获得。
2021-01-27 cs.CL cs.CV
Task-agnostic Distillation of Encoder-Decoder Language Models
Beijing Institute of Technology(北京理工大学);Meituan NLP(美团自然语言处理团队)
针对现有任务无关蒸馏方法无法处理编码器-解码器语言模型的问题,提出MiniEnD方法,成功实现任务无关的编码器-解码器模型蒸馏,并在语言理解与摘要任务及3B模型扩展中验证了其有效性与竞争力。
2023-05-21 cs.CL
NASH: A Simple Unified Framework of Structured Pruning for Accelerating Encoder-Decoder Language Models
KAIST AI(韩国科学技术院人工智能研究院);Michigan State University(密歇根州立大学)
本研究提出NASH框架,通过分别剪枝编码器-解码器模型的编码器与解码器,发现解码器层数主导推理速度且编码器低稀疏度提升生成质量,从而窄化编码器、缩短解码器,在多种任务上实现加速并保持输出质量。
2023-10-16 cs.AI cs.CL cs.LG
Probing Word Translations in the Transformer and Trading Decoder for Encoder Layers
Saarland University(萨尔兰大学);German Research Center for Artificial Intelligence(德国人工智能研究中心);China Mobile Online Services(中移在线服务有限公司);Tianjin University(天津大学)
由于其有效性和性能,Transformer翻译模型引起了广泛的关注,最近在基于探测的方法方面。以前的工作集中在使用或探测源语言特征的编码器。到目前为止,单词翻译在Transformer层中的演变方式尚未被研究。人们可能会天真地假设编码器层捕获源信息,而解码器层进行转换。在这项工作中,我们表明情况并非如此:翻译已经在编码器层甚至输入嵌入中逐步发生。更令人惊讶的是,我们发现一些较低的解码器层实际上并没有做那么多解码。我们展示了所有这一切的探测方法,我们项目表示层分析的最终训练和冻结分类器级别的Transformer解码器来衡量单词翻译的准确性。我们的发现激发并解释了Transformer配置的变化:如果翻译已经发生在编码器层中,也许我们可以增加编码器层的数量,同时减少解码器层的数量,提高解码速度,而不会损失翻译质量?我们的实验表明确实如此:我们可以将速度提高到2.3倍,而翻译质量略有提高,而18-4深度编码器配置在1.4的速度提升下将翻译质量提高了+1.42 BLEU(En-De)。
2021-04-20 cs.CL
ED2LM: Encoder-Decoder to Language Model for Faster Document Re-ranking Inference
Google Research(谷歌研究院)
最先进的神经模型通常使用交叉注意对文档查询对进行编码以进行重新排序。为此,模型通常利用仅编码器(如BERT)范例或编码器-解码器(如T5)方法。然而,这些范例并非没有缺陷,即,在推理时对所有查询-文档对运行该模型会导致显著的计算成本。本文提出了一种新的训练和推理范式重新排名。我们建议微调一个预训练的编码器-解码器模型,以文档的形式用于查询生成。随后,我们表明,这种编码器-解码器架构可以分解成一个解码器只语言模型在推理。这导致了显著的推理时间加速,因为仅解码器架构仅需要学习在推理期间解释静态编码器嵌入。我们的实验表明,这种新的范式实现的结果是比较昂贵的交叉注意力排名方法,同时高达6.8倍的速度。我们相信这项工作为利用大型预训练模型的更有效的神经排名铺平了道路。
2022-04-25 cs.CL cs.IR
Bidirectional Attentional Encoder-Decoder Model and Bidirectional Beam Search for Abstractive Summarization
Central South University(中南大学)
具有RNN变体的序列生成模型,如LSTM,GRU,在抽象文档摘要方面表现出良好的性能。然而,它们仍然有一些问题限制了它们的性能,特别是在处理长序列时。其中一个问题是,据我们所知,所有当前模型都采用单向解码器,该解码器仅对过去进行推理,并且在给出预测的同时仍然限于保留未来上下文。这使得这些模型通过产生不平衡的输出而受到影响。此外,单向注意力为基础的文档摘要只能捕捉到部分方面的注意力,由于继承的挑战,在文档摘要。为此,我们提出了一个端到端可训练的双向RNN模型来解决上述问题。该模型具有双向编码器-解码器架构,其中编码器和解码器是双向LSTM。前向解码器用后向编码器的最后隐藏状态初始化,而后向解码器用前向编码器的最后隐藏状态初始化。此外,本文还提出了一种双向束搜索机制作为从双向模型中生成输出摘要的近似推理算法。这使得模型能够对过去和未来进行推理,并最终产生平衡的输出。在CNN / Daily Mail数据集上的实验结果表明,该模型的性能明显优于现有的抽象模型.
2018-09-18 cs.CL
Unbabel's Submission to the WMT2019 APE Shared Task: BERT-based Encoder-Decoder for Automatic Post-Editing
Unbabel(Unbabel公司);Instituto de Telecomunicações(电信研究所)
本文介绍了Unbabel提交给WMT 2019 APE共享任务的英语-德语语言对。随着最近大型、强大的预训练模型的兴起,我们对BERT预训练模型进行了调整,以在编码器-解码器框架中执行自动后期编辑。类似于双编码器架构,我们开发了一个基于BERT的编码器-解码器(BED)模型,其中单个预训练的BERT编码器接收源src和机器翻译tgt字符串。此外,我们探索了一个保守性因素,以限制APE系统执行更少的编辑。正如官方结果所示,当在域内和人工训练数据的加权组合上进行训练时,我们的具有保守性惩罚的BED系统分别在TER和BLEU方面通过$-0.78$和$+1.23$显着提高了强大神经机器翻译系统的翻译。最后,我们的提交达到了一个新的国家的最先进的,前aequo,在英语-德语APE的NMT。
2019-06-29 cs.CL
Machine Translation with Large Language Models: Decoder Only vs. Encoder-Decoder
Calicut University(卡利卡特大学);VIT University(维特大学);National Institute of Technology, Trichy(特里奇国家理工学院)
本项目旨在开发面向印度地区语言的多语言机器翻译模型,通过对比大型语言模型中Decoder-only与Encoder-Decoder架构的有效性,优化翻译质量与效率,推动跨语言交流工具的发展。
2024-09-12 cs.CL cs.ET cs.LG
Length bias in Encoder Decoder Models and a Case for Global Conditioning
Google(谷歌);IIT Bombay(印度理工学院孟买分校)
编码器-解码器网络在许多应用中流行于对序列进行概率建模。这些模型使用长短期记忆(LSTM)架构的功能来捕获变量之间的完全依赖关系,而不像CRF等早期模型通常假设非相邻变量之间的条件独立性。然而,在实践中,编码器-解码器模型表现出对短序列的偏置,这令人惊讶地随着波束尺寸的增加而变得更糟。在本文中,我们表明,这种现象是由于全序列的利润率和每元素的利润率之间的差异所执行的编码器-解码器模型的局部条件训练目标。这种差异对长序列的影响更大,这解释了预测短序列的偏差。对于预测序列来自闭集的情况,我们证明了全局条件模型解决了编码器-解码器模型的上述问题。从实际的角度来看,我们提出的模型还消除了在推理过程中对波束搜索的需要,这减少了在向量空间中基于点积的高效搜索。
2016-09-21 cs.AI cs.CL
Generative Encoder-Decoder Models for Task-Oriented Spoken Dialog Systems with Chatting Capability
Language Technologies Institute(语言技术研究所);Carnegie Mellon University(卡内基梅隆大学)
生成式编码器-解码器模型在开发领域通用对话系统中提供了很好的前景。然而,它们主要应用于开放域对话。本文提出了一个实用的和新颖的框架,用于构建面向任务的对话系统的编码器-解码器模型的基础上。该框架使编码器-解码器模型能够完成与时隙值无关的决策,并与外部数据库进行交互。此外,本文显示了所提出的方法的灵活性,通过交错聊天能力与插槽填充系统更好的域外恢复。这些模型是在来自公共汽车信息系统的真实用户数据和人与人之间的聊天数据上训练的。结果表明,该框架在离线评估指标和人类用户的任务成功率方面都取得了良好的性能。
2017-06-26 cs.AI cs.CL
Encoder-Decoder Gemma: Improving the Quality-Efficiency Trade-Off via Adaptation
Google(谷歌)
本文研究将预训练仅解码器 LLM 适配为编码器-解码器,以继承其能力并降低计算需求,实验表明在相近推理预算下可获得更优的微调性能和灵活模型组合优势。
2025-04-08 cs.CL cs.LG
Causal Reasoning Favors Encoders: On The Limits of Decoder-Only Models
SIRE, IIT Delhi(IIT德里SIRE);Robert Bosch GmbH, India(印度罗伯特博世集团);IIIT Hyderabad(海得拉巴IIIT);IISER Kolkata(科钦IISER);Microsoft and the University of York(微软和约克大学)
本文探讨了因果推理中编码器和编码器-解码器架构相较于仅解码器模型的优势,发现前者在多跳联合推理和分布偏移鲁棒性方面表现更优。
2025-12-11 cs.CL cs.LG
On the Properties of Neural Machine Translation: Encoder-Decoder Approaches
Université de Montréal(蒙特利尔大学);Jacobs University(雅各布大学)
神经机器翻译是纯粹基于神经网络的统计机器翻译的一种相对较新的方法。神经机器翻译模型通常由编码器和解码器组成。编码器从一个可变长度的输入句子中提取一个固定长度的表示,解码器从这个表示中生成一个正确的翻译。在本文中,我们重点分析了两种模型的神经机器翻译的性能:RNN编码器-解码器和一个新提出的门控递归卷积神经网络。我们发现,神经机器翻译在没有未知词的短句上表现相对较好,但随着句子长度和未知词数量的增加,其性能迅速下降。此外,我们发现所提出的门控递归卷积网络可以自动学习句子的语法结构。
2014-10-07 cs.CL stat.ML
Natural Language Generation for Spoken Dialogue System using RNN Encoder-Decoder Networks
Japan Advanced Institute of Science and Technology(日本先进科学技术大学院大学)
自然语言生成(NLG)是口语对话系统中的一个重要组成部分。本文提出了一种基于递归神经网络的编码器-解码器体系结构,其中引入了一个基于LSTM的解码器来选择、聚合由注意力机制在输入元素上产生的语义元素,并产生所需的话语。所提出的生成器可以联合训练两个句子规划和表面实现产生自然语言句子。该模型在四个不同的NLG数据集上进行了广泛的评估。实验结果表明,所提出的生成器不仅在所有NLG域中始终优于以前的方法,而且还显示出从一个新的、看不见的域进行概括的能力,并从多域数据集进行学习。
2017-08-12 cs.CL
Extract-and-Abstract: Unifying Extractive and Abstractive Summarization within Single Encoder-Decoder Framework
提出ExtAbs范式,在单一编码器-解码器模型中联合抽取与生成摘要,通过无参数显著性掩码减少错误累积,在三个数据集上取得优于基线的抽取性能及相当或更优的生成性能。
2025-08-08 cs.CL
Challenging Decoder helps in Masked Auto-Encoder Pre-training for Dense Passage Retrieval
Alibaba Group(阿里巴巴集团)
针对密集段落检索的MAE预训练,提出基于逐点互信息的token重要性感知掩码策略以增加解码器挑战,从而提升编码器表示能力,该方法无需额外开销且在大规模和零样本基准上均有效。
2023-05-22 cs.CL cs.IR
Training Multilingual Machine Translation by Alternately Freezing Language-Specific Encoders-Decoders
TALP Research Center(TALP研究中心);Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);IXA NLP Group(IXA自然语言处理组);University of the Basque Country (UPV/EHU)(巴斯克大学(UPV/EHU))
我们提出了一个模块化的体系结构的语言特定的编码器-解码器,构成一个多语言的机器翻译系统,可以逐步扩展到新的语言,而不需要重新训练现有的系统时,添加新的语言。从以前的作品,我们同时训练$N$语言的所有翻译方向交替冻结编码器或解码器模块,这间接迫使系统训练在一个共同的中间表示所有的语言。多语言机器翻译的实验结果表明,我们可以成功地训练这个模块化的架构,提高了初始语言,而略有落后时,添加新的语言或做zero-shot翻译。另外,在自然语言推理任务中对句子表征质量的比较表明,交替冻结训练也有利于这一方向。
2020-05-29 cs.CL
Stronger Baselines for Grammatical Error Correction Using Pretrained Encoder-Decoder Model
Tokyo Metropolitan University(东京都立大学);Retrieva, Inc.(雷特里瓦公司)
关于语法错误纠正(GEC)的研究已经报道了使用大量伪数据预训练Seq 2Seq模型的有效性。然而,由于伪数据的大小,这种方法需要对GEC进行耗时的预训练。在这项研究中,我们探索了双向和自回归Transformers(BART)作为GEC的通用预训练编码器-解码器模型的实用性。通过使用GEC的通用预训练模型,可以消除耗时的预训练。我们发现,单语和多语言BART模型在GEC中实现了高性能,其中一个结果与英语GEC中目前的强结果相当。我们的实现可在GitHub(https://github.com/Katsumata420/generic-pretrained-GEC)上公开获取。
2020-09-30 cs.CL
Is Encoder-Decoder Redundant for Neural Machine Translation?
RWTH Aachen University(亚琛工业大学)
编码器-解码器体系结构被广泛用于序列到序列建模任务。对于机器翻译,尽管从长短期记忆网络进化到了Transformer网络,再加上注意力机制的引入和发展,编码器-解码器仍然是最先进模型的事实上的神经网络架构。虽然从某些隐藏空间解码信息的动机很简单,但在模型架构中将编码和解码步骤严格分离为编码器和解码器并不一定是必须的。与目标语言中的自回归语言建模任务相比,机器翻译只是具有额外的源句子作为上下文。鉴于神经语言模型现在已经可以处理目标语言中相当长的上下文,很自然地会问,简单地连接源和目标句子并训练语言模型进行翻译是否可行。在这项工作中,我们调查上述概念的机器翻译。具体来说,我们实验双语翻译,翻译与额外的目标单语数据,和多语言翻译。在所有情况下,这种替代方法的性能与基线编码器-解码器Transformer相当,这表明编码器-解码器架构对于神经机器翻译来说可能是冗余的。
2022-10-21 cs.AI cs.CL cs.LG
Improving Zero-shot Neural Machine Translation on Language-specific Encoders-Decoders
University of Electronic Science and Technology of China(电子科技大学);Microsoft(微软)
最近,通用神经机器翻译(NMT)与共享的编码器-解码器上取得了良好的性能zero-shot翻译。与通用NMT不同,联合训练的语言特定编码器-解码器旨在实现跨非共享模块的通用表示,每个模块都用于一种语言或语言家族。非共享架构具有减轻内部语言竞争的优点,特别是当共享词汇表和模型参数的大小受到限制时。然而,在zero-shot翻译上使用多个编码器和解码器的性能仍然落后于通用NMT。在这项工作中,我们研究zero-shot翻译使用特定语言的编码器-解码器。我们建议通过区分特定语言和中间语言之间的Transformer层来推广非共享架构和通用NMT。通过选择性地共享参数和应用交叉注意,我们探索最大限度地提高表示的普遍性,实现语言无关信息的最佳对齐。我们还引入了一个去噪自动编码(DAE)目标,以多任务方式联合训练模型和翻译任务。在两个公开的多语言并行数据集上的实验表明,我们提出的模型取得了竞争力或更好的结果比通用NMT和强枢轴基线。此外,我们通过只更新新的模型参数来逐步向训练模型添加新的语言。通过这一点努力,这个新添加的语言和现有语言之间的zero-shot翻译实现了与所有语言从头开始联合训练的模型相当的结果。
2021-02-12 cs.CL
On the Encoder-Decoder Incompatibility in Variational Text Modeling and Beyond
Tsinghua University(清华大学);University of California, Santa Barbara(加州大学圣塔芭芭拉分校)
变分自编码器(VAE)将隐变量与摊销变分推理相结合,其优化通常收敛到称为后验崩溃的平凡局部最优,特别是在文本建模中。通过跟踪优化动态,我们观察到编码器-解码器的不兼容性,导致数据流形的参数化不佳。我们认为,平凡的局部最优可以避免通过改进的编码器和解码器的参数化,因为后验网络是它们之间的过渡映射的一部分。为此,我们提出了耦合VAE,它耦合VAE模型与具有相同结构的确定性自动编码器,并通过编码器权重共享和解码器信号匹配来改进编码器和解码器参数化。我们将所提出的耦合VAE方法应用于具有不同正则化、后验族、解码器结构和优化策略的各种VAE模型。在基准数据集上的实验(即,PTB、Yelp和Yahoo)在概率估计和潜在空间丰富度方面显示出一致的改进结果。我们还将我们的方法推广到条件语言建模,并提出了耦合CVAE,这在很大程度上提高了Switchboard数据集上对话生成的多样性。
2020-04-20 cs.CL cs.LG stat.ML
DiffuSIA: A Spiral Interaction Architecture for Encoder-Decoder Text Diffusion
National Engineering Research Center of Speech and Language Information Processing(国家语音及语言信息处理工程技术研究中心);University of Science and Technology of China(中国科学技术大学)
针对编码器-解码器文本扩散中条件编码缺乏目标文本理解的问题,提出螺旋交互架构DiffuSIA,通过编码器与解码器间的螺旋式信息流实现深度融合,在四个文本生成任务上取得竞争性能。
2023-05-19 cs.AI cs.CL
Seq vs Seq: An Open Suite of Paired Encoders and Decoders
Johns Hopkins University(约翰霍普金斯大学);LightOn
本文提出SOTA开放数据Ettin模型套件,包含不同规模的编码器和解码器模型,通过统一训练方法在分类、检索和生成任务中取得最佳性能。
2026-03-12 cs.CL cs.IR cs.LG
Jointly Optimizing State Operation Prediction and Value Generation for Dialogue State Tracking
Université de Montréal(蒙特利尔大学)
本文研究了开放词汇表下的多领域对话状态跟踪问题。现有的方法利用BERT编码器和基于复制的RNN解码器,其中编码器预测状态操作,并且解码器生成新的时隙值。然而,在这种堆叠的编码器-解码器结构中,操作预测目标仅影响BERT编码器,而值生成目标主要影响RNN解码器。在本文中,我们提出了一个纯粹的基于transformer的框架,其中一个单一的BERT工程作为编码器和解码器。这样做,操作预测目标和价值生成目标可以联合优化用于DST的该BERT。在解码阶段,我们重新使用编码器的隐藏状态在相应的解码器层的自注意力机制,以构建一个扁平的编码器-解码器架构,有效的参数更新。实验结果表明,我们的方法大大优于现有的国家的最先进的框架,它也取得了非常有竞争力的性能最好的基于本体的方法。
2021-04-08 cs.AI cs.CL
Efficient Encoder-Decoder Transformer Decoding for Decomposable Tasks
University of Washington(华盛顿大学);Microsoft Research(微软研究院);Allen Institute for AI(艾伦人工智能研究所)
本文提出一种名为 PiD 的编码器-解码器模型新配置,通过一次编码输入并并行解码多个输出,显著提升了可分解任务的训练与推理效率,在多项任务中实现高达4.6倍加速且性能相当或更优。
2024-11-16 cs.CL
Closed-Book Training to Improve Summarization Encoder Memory
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
一个好的神经序列到序列摘要模型应该有一个强大的编码器,可以从长输入文本中提取和记忆重要信息,以便解码器可以根据编码器的记忆生成突出的摘要。在本文中,我们的目标是提高记忆能力的指针生成器模型的编码器,通过添加一个额外的“闭卷”解码器没有注意力和指针机制。这样的解码器迫使编码器在其存储器状态中编码的信息中更具选择性,因为解码器不能依赖于由注意和可能的复制模块提供的额外信息,因此改进了整个模型。在CNN/Daily Mail数据集上,我们的2-解码器模型在ROUGE和METEOR指标方面,对于交叉熵和增强设置(以及人类评估),都显着优于基线。此外,我们的模型在仅测试DUC-2002泛化设置中也获得了更高的分数。我们进一步提出了一个记忆能力测试,两个显着性指标,以及几个健全检查消融(基于固定编码器,梯度流切割,和模型容量),以证明我们的2解码器模型的编码器实际上学习更强的内存表示比基线编码器。
2018-09-12 cs.AI cs.CL
DEED: Dynamic Early Exit on Decoder for Accelerating Encoder-Decoder Transformer Models
AWS AI Labs(AWS AI实验室);University of California San Diego(加州大学圣迭戈分校)
提出DEED方法,在编码器-解码器Transformer解码器中实现动态早退,通过多出口和深度监督训练,按步置信度减少解码层数,降低30%-60%推理延迟,保持或提升准确性。
2023-11-15 cs.CL cs.CV cs.LG
Review Networks for Caption Generation
Carnegie Mellon University(卡内基梅隆大学)
我们提出了一种新的扩展的编码器-解码器框架,称为审查网络。审查网络是通用的,可以增强任何现有的编码器-解码器模型:在本文中,我们考虑RNN解码器与CNN和RNN编码器。回顾网络利用注意力机制对编码器隐藏状态执行多个回顾步骤,并且在每个回顾步骤之后输出思想向量;思想向量用作解码器中的注意力机制的输入。我们表明,传统的编码器-解码器是我们的框架的一个特殊情况。从经验上讲,我们表明,我们的框架提高了国家的最先进的编码器-解码器系统上的任务,图像描述和源代码字幕。
2016-10-27 cs.CL cs.CV cs.LG
Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation
Université de Montréal(蒙特利尔大学);Jacobs University(雅各布大学);Université du Maine(曼恩大学)
在本文中,我们提出了一种新的神经网络模型称为RNN编码器-解码器,由两个递归神经网络(RNN)。一个RNN将符号序列编码为固定长度的向量表示,另一个将表示解码为另一个符号序列。所提出的模型的编码器和解码器联合训练,以最大限度地提高给定源序列的目标序列的条件概率。通过使用由RNN编码器-解码器计算的短语对的条件概率作为现有对数线性模型中的附加特征,经验地发现统计机器翻译系统的性能得到改善。定性,我们表明,该模型学习语义和语法有意义的语言短语表示。
2014-09-03 cs.CL cs.LG cs.NE
Clinical Reading Comprehension with Encoder-Decoder Models Enhanced by Direct Preference Optimization
University of Kentucky(肯塔基大学)
本研究将编码器-解码器模型与直接偏好优化结合,在RadQA放射学问答任务上提升12-15个F1点,首次证明DPO方法无需人工输入即可适用于阅读理解。
2024-07-19 cs.CL cs.IR cs.LG
Return of the Encoder: Maximizing Parameter Efficiency for SLMs
Microsoft(微软公司)
本文提出一种知识蒸馏框架,使10亿参数以下的编码器-解码器SLM在保留低延迟和高吞吐优势的同时,吸收大型纯解码器教师模型的能力,在边缘部署中实现更优性能。
2025-01-30 cs.AI cs.CL cs.CV
Generating Chinese Classical Poems with RNN Encoder-Decoder
Tsinghua University(清华大学)
我们把中国古典诗歌的生成看作是一个序列到序列的学习问题,并建立了一个基于RNN编码器-解码器结构的绝句生成系统,以主题词作为输入。我们的系统可以共同学习一行内的语义,一首诗中的行之间的语义相关性,以及结构,节奏和音调模式的使用,而不利用任何约束模板。实验结果表明,我们的系统优于其他竞争对手的系统。我们还发现,注意力机制可以捕捉到中国古典诗歌中的词汇联想,在训练中颠倒目标行可以提高成绩。
2016-04-06 cs.CL cs.NE
Multitask Learning with Low-Level Auxiliary Tasks for Encoder-Decoder Based Speech Recognition
Toyota Technological Institute at Chicago(芝加哥丰田技术研究院)
基于深度学习的模型的端到端训练允许根据最终任务损失对中间表示进行隐式学习。然而,端到端的方法忽略了有用的领域知识编码在显式的中间级监督。我们假设,在深层网络的较低级别使用中间表示作为辅助监督,可能是结合端到端训练和更传统的管道方法优势的好方法。我们目前的实验会话语音识别,我们使用较低级别的任务,如音素识别,在多任务训练方法与编码器-解码器模型直接字符转录。我们比较了多种类型的低层次任务,并分析了辅助任务的效果。我们的研究结果表明,在交换机语料库上,这种方法提高了识别精度,在Eval 2000测试集上的标准编码器-解码器模型。
2017-04-19 cs.AI cs.CL
When and Where Did it Happen? An Encoder-Decoder Model to Identify Scenario Context
The University of Arizona(亚利桑那大学)
本文提出一种微调编码器-解码器模型,用于从文本中识别事件或实体的相关时间与地点,并在流行病学语料上验证其优于大语言模型和语义角色标注方法。
2024-10-20 cs.AI cs.CL