Hard but Robust, Easy but Sensitive: How Encoder and Decoder Perform in Neural Machine Translation
University of Science and Technology of China(中国科学技术大学);Microsoft Research(微软研究院);Microsoft Research Asia(微软亚洲研究院)
神经机器翻译(NMT)通常采用编码器-解码器框架。充分理解编码器和解码器的特点和功能有助于解释框架的优缺点,并为NMT设计更好的模型。本文以Transformer为例,对NMT中的编码器和解码器进行了实证研究。我们发现,1)解码器比NMT中的编码器处理更容易的任务,2)解码器比编码器对输入噪声更敏感,以及3)解码器中的先前单词/令牌提供了强条件信息,这解释了上述两个观察结果。我们希望这些观察结果能够揭示编码器和解码器的特征,并启发未来对NMT的研究。
2019-08-17 cs.CL
Learning Hard Retrieval Decoder Attention for Transformers
DFKI(德国人工智能研究中心);Saarland University(萨尔大学);China Mobile Online Services(中国移动在线服务有限公司);Tianjin University(天津大学);Global Tone Communication Technology Co., Ltd.(全球语通通信技术有限公司)
Transformer翻译模型基于多头注意力机制,易于并行化。多头注意力网络并行执行缩放点积注意力函数,通过联合关注来自不同位置的不同表示子空间的信息来赋予模型能力。在本文中,我们提出了一种方法来学习一个硬提取注意,注意头只参加一个令牌的句子,而不是所有的令牌。因此,注意概率与标准标度点积注意中的值序列之间的矩阵乘法可以由简单且有效的检索操作代替。我们表明,我们的硬检索注意力机制是1.43倍的解码速度,同时保留翻译质量的广泛的机器翻译任务时,使用的解码器的自我和交叉注意力网络。
2021-09-10 cs.CL
Decoder-only Streaming Transformer for Simultaneous Translation
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Key Laboratory of AI Safety, Chinese Academy of Sciences(中国科学院人工智能安全重点实验室)
本文提出首个仅解码器同声机器翻译模型DST,通过分别编码源与目标前缀位置并设计流式自注意力机制,在三个翻译任务上达到最优性能。
2024-06-06 cs.CL
Balancing Cost and Benefit with Tied-Multi Transformers
National Institute of Information and Communications Technology(信息通信技术国家研究所)
我们提出并评估了一种新的程序,用于训练多个Transformers与捆绑参数,压缩多个模型成一个,使动态选择的编码器和解码器层的数量在解码过程中。在序列到序列建模中,通常,N层编码器的最后一层的输出被馈送到M层解码器,并且最后一个解码器层的输出被用于计算损失。相反,我们的方法计算由NXM个损失组成的单个损失,其中每个损失是从连接到N个编码器层之一的M个解码器层之一的输出计算的。这样的模型包含具有不同数量的编码器和解码器层的NXM模型,并且可以用于具有少于最大数量的编码器和解码器层的解码。然后,我们提出了一种机制,选择先验的编码器和解码器层的数量更快的解码,并探讨了经常性的堆栈层和知识蒸馏的模型压缩。我们提出了一个成本效益分析的神经机器翻译,并表明他们降低解码成本,同时保持翻译质量。
2020-02-20 cs.CL cs.LG
Exploiting Pre-trained Encoder-Decoder Transformers for Sequence-to-Sequence Constituent Parsing
Universidade de Vigo, Departamento de Informática(维戈大学计算机系)
本文提出利用预训练的编码器-解码器模型进行短语结构解析,通过微调生成线性解析树并在不同线性化策略下评估,优于传统序列到序列模型并能与任务专用解析器竞争。
2026-05-13 cs.CL
CMLFormer: A Dual Decoder Transformer with Switching Point Learning for Code-Mixed Language Modeling
Courant Institute of Mathematical Sciences(Courant数学科学研究所);Tandon School of Engineering(Tandon工程学院)
针对语码混合语言的结构挑战,提出带共享编码器与同步交叉注意力的双解码器Transformer模型CMLFormer,结合多任务预训练捕捉切换特性,在HASOC-2021基准上性能优于现有方法,且对切换点具备识别敏感性。
2025-05-19 cs.CL cs.LG
Retrieving Sequential Information for Non-Autoregressive Neural Machine Translation
University of Chinese Academy of Sciences(中国科学院大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Tencent Inc(腾讯公司)
非自回归Transformer(NAT)算法通过丢弃自回归机制,独立生成目标词来加速Transformer模型,但不能充分利用目标词的序列信息。由于上述原因,过度翻译和欠翻译错误经常发生,特别是在长句翻译的情况下。在本文中,我们提出了两种方法来检索的目标顺序信息的NAT,以提高其翻译能力,同时保持快速解码属性。首先,我们提出了一种基于一种新的NAT强化算法(Reinforce-NAT)的序列级训练方法,以减少方差并稳定训练过程。其次,我们提出了一个创新的Transformer解码器FS-解码器,融合的目标序列信息到解码器的顶层。三个翻译任务的实验结果表明,增强NAT超过基线NAT系统的BLEU上的显着保证金,而不会降低解码速度和FS解码器实现相当的翻译性能的自回归Transformer具有相当大的加速比。
2019-06-22 cs.AI cs.CL cs.LG
Multilingual Neural Machine Translation with Deep Encoder and Multiple Shallow Decoders
Carnegie Mellon University(卡内基梅隆大学);Facebook AI(脸书人工智能研究院)
最近在多语言翻译方面的工作使用具有更大容量的深度Transformer模型,提高了翻译质量,超过了双语基线。然而,这种方法引入的额外延迟和存储器成本可能使其对于效率受限的应用不可接受。最近有研究表明,双语翻译使用深度编码器和浅层解码器(DESD)可以减少推理延迟,同时保持翻译质量,因此我们研究了多语言翻译的类似速度-准确性权衡。我们发现,对于多对一的翻译,我们确实可以使用这种方法在不牺牲质量的情况下提高解码器速度,但对于一对多的翻译,浅解码器会导致明显的质量下降。为了改善这种下降,我们提出了一个深编码器与多个浅解码器(DEMSD),其中每个浅解码器负责目标语言的不相交子集。具体而言,与标准Transformer模型相比,具有2层解码器的DEMSD模型能够获得平均1.8倍的加速,而不会降低翻译质量。
2022-06-05 cs.CL
GTrans: Grouping and Fusing Transformer Layers for Neural Machine Translation
Beihang University(北京航空航天大学);Microsoft Research Asia(微软亚洲研究院)
Transformer结构由一系列编码器和解码器网络层堆叠而成,在神经机器翻译中取得了重大发展。然而,vanilla Transformer主要利用顶层表示,假设较低层提供琐碎或冗余的信息,因此忽略了潜在有价值的底层功能。在这项工作中,我们提出了组转换器模型(GTrans),灵活地将编码器和解码器的多层表示分为不同的组,然后融合这些组特征来生成目标词。为了验证该方法的有效性,在IWLST-14、IWLST-17、LDC、WMT-14和OPUS-100等三个双语翻译基准和两个多语种翻译任务上进行了大量实验和分析实验。实验和分析结果表明,我们的模型优于它的Transformer同行一致的增益。此外,它可以成功地扩展到60个编码器层和36个解码器层。
2022-11-07 cs.CL cs.LG
Zero-Shot Controlled Generation with Encoder-Decoder Transformers
Amazon Alexa AI(亚马逊Alexa人工智能部门)
控制用于自然语言生成(NLG)的基于神经网络的模型在诸如机器翻译、文档摘要和对话系统的许多领域中具有广泛的应用。以zero-shot方式实现这种控制的方法将是非常重要的,因为除其他原因外,它们消除了对附加注释数据和训练的需要。在这项工作中,我们提出了新的方法来控制编码器-解码器变换为基础的NLG模型在zero-shot。这是通过引入三个控制旋钮,即注意力偏置,解码器混合,上下文增强,这是适用于这些模型在生成时间。这些旋钮通过直接操纵训练的NLG模型(例如,偏置交叉注意层)以在所生成的输出中实现期望的属性。我们表明,这些NLG模型不仅对这种操作具有鲁棒性,而且它们的行为可以在不影响其生成性能的情况下进行控制。据我们所知,这些结果是同类中的第一个。通过这些控制旋钮,我们还调查了Transformer解码器的自我注意模块的作用,并显示出强有力的证据表明,其主要作用是保持这些模型生成的句子的流畅性。基于这一假设,我们表明,替代架构的Transformer解码器可能是可行的选择。我们还研究了这个假设如何导致更有效的方法来训练编码器-解码器Transformer模型。
2022-04-06 cs.AI cs.CL
Input Combination Strategies for Multi-Source Transformer Decoder
Charles University(查理大学);Institute of Formal and Applied Linguistics(形式与应用语言学研究所)
在多源序列到序列任务中,注意力机制可以以多种方式建模。这个主题已经在循环体系结构上进行了深入的研究。在本文中,我们将以前的工作扩展到Transformer架构中的编码器-解码器注意力。我们提出了四种不同的输入组合策略的编码器-解码器的注意力:串行,并行,平面和层次。我们评估我们的方法多模态翻译和翻译任务与多个源语言。实验表明,该模型能够使用多个源,并改善了单源基线。
2018-11-12 cs.CL
Parallel Decoder Transformer: Planner-Conditioned Latent Coordination for Model-Intrinsic Parallel Generation
Independent Researcher(独立研究者)
并行解码器Transformer通过规划引导的潜在协调机制,实现模型内部的同步并行解码,提升多任务生成效率。
2026-07-21 cs.AI cs.CL
Open-Domain Dialogue Generation Based on Pre-trained Language Models
DIRO, Université de Montréal(蒙特利尔大学DIRO)
预训练的语言模型已成功地用于开放域对话的响应生成。本文提出了四种主要框架:(1)分别对源语句和目标语句使用Transformer编码器和解码器的Transformer-ED;(2)对源语句和目标语句使用Transformer解码器的Transformer-Dec;(3)使用Transformer解码器的Transformer-MLM,该解码器在源侧应用双向注意力,在目标侧应用从左到右的注意力,并具有掩蔽的语言模型目标;以及(4)使用自回归目标代替的变换器-AR。在这项研究中,我们在3个数据集上比较了这些框架,我们的比较表明,最好的框架在源端使用双向注意力,并且不分离编码器和解码器。我们还研究了模型的差异,我们的实验证实了模型的性能直接受到潜在差异的影响。然后,我们提出了两种校正方法,以减少差异,都提高了模型的性能。这些结果表明,当我们使用预训练模型时,差异是需要考虑的一个重要因素,减少差异可以提高性能。
2020-10-24 cs.AI cs.CL
Solving Math Word Problems with Double-Decoder Transformer
提出了一种基于Transformer的数学应用题方程生成模型。当不使用复制和对齐机制时,它比RNN模型取得了更好的结果,并且可以胜过复杂的复制和对齐RNN模型。我们还表明,训练一个Transformer共同在一个生成任务与两个解码器,从左到右和从右到左,是有益的。这样的Transformer比仅具有一个解码器的Transformer性能更好,这不仅是因为集成效应,而且还因为它改进了编码器训练过程。我们还尝试将强化学习添加到我们的模型中,与MLE训练相比,表现出更好的性能。
2019-08-28 cs.CL cs.LG
ASTormer: An AST Structure-aware Transformer Decoder for Text-to-SQL
Shanghai Jiao Tong University(上海交通大学)
本文提出ASTormer,一种AST结构感知的Transformer解码器,通过绝对和相对位置嵌入将树结构知识融入文本到SQL解码过程,在五个基准上验证了其相比RNN解码器的有效性和效率。
2023-10-28 cs.CL
StableMask: Refining Causal Masking in Decoder-only Transformer
Zhejiang University(浙江大学);Peking University(北京大学);Tencent AI Lab(腾讯AI实验室);Eastern Institute of Technology(东方理工大学)
针对解码器专用Transformer中因果掩码的局限,提出无参数方法StableMask,通过伪注意力值和递减掩码比率平衡注意力并编码绝对位置,提升71M至1.4B参数模型性能,支持高效外推与集成。
2024-02-07 cs.AI cs.CL
Incremental Transformer with Deliberation Decoder for Document Grounded Conversations
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Northeastern University(东北大学);Huazhong University of Science and Technology(华中科技大学);Tencent Inc(腾讯公司)
文档固定对话是一项在聊天时生成对话响应的任务,内容是给定文档。显然,文档知识在基于文档的对话中起着至关重要的作用,而现有的对话模型并没有充分利用这种知识。在本文中,我们提出了一种新的基于transformer的多轮文档接地对话的架构。特别是,我们设计了一个增量Transformer编码多轮话语以及相关文件中的知识。受人类认知过程的启发,我们设计了一个两遍解码器(审议解码器),以提高上下文一致性和知识的正确性。我们对真实世界文档接地数据集的实证研究证明,我们的模型生成的响应在上下文一致性和知识相关性方面都显着优于竞争基线。
2019-07-31 cs.CL
MMTM: Multi-Tasking Multi-Decoder Transformer for Math Word Problems
Embibe
近年来,许多新的神经网络结构被用来通过预测表达式树来解决数学应用题。这些架构与seq2seq模型不同,包括利用图关系的编码器与树解码器相结合。这些模型在各种MWP数据集上表现良好,但在应用于对抗性挑战数据集SVAMP时表现不佳。我们提出了一种新的模型MMTM,它在预训练期间利用多任务和多解码器。它通过使用表达式树的前序、中序和后序遍历来派生标签来创建变体任务,并在多任务框架中使用特定于任务的解码器。我们利用低维的Transformer架构,并从RoBERTa模型初始化权重。MMTM模型实现了更好的数学推理能力和泛化能力,我们通过超越Seq2Seq,GTS和Graph2Tree的最佳基线模型来证明这一点,在对抗性挑战数据集SVAMP上相对提高了19.4%。
2022-06-02 cs.CL
Probing Word Translations in the Transformer and Trading Decoder for Encoder Layers
Saarland University(萨尔兰大学);German Research Center for Artificial Intelligence(德国人工智能研究中心);China Mobile Online Services(中移在线服务有限公司);Tianjin University(天津大学)
由于其有效性和性能,Transformer翻译模型引起了广泛的关注,最近在基于探测的方法方面。以前的工作集中在使用或探测源语言特征的编码器。到目前为止,单词翻译在Transformer层中的演变方式尚未被研究。人们可能会天真地假设编码器层捕获源信息,而解码器层进行转换。在这项工作中,我们表明情况并非如此:翻译已经在编码器层甚至输入嵌入中逐步发生。更令人惊讶的是,我们发现一些较低的解码器层实际上并没有做那么多解码。我们展示了所有这一切的探测方法,我们项目表示层分析的最终训练和冻结分类器级别的Transformer解码器来衡量单词翻译的准确性。我们的发现激发并解释了Transformer配置的变化:如果翻译已经发生在编码器层中,也许我们可以增加编码器层的数量,同时减少解码器层的数量,提高解码速度,而不会损失翻译质量?我们的实验表明确实如此:我们可以将速度提高到2.3倍,而翻译质量略有提高,而18-4深度编码器配置在1.4的速度提升下将翻译质量提高了+1.42 BLEU(En-De)。
2021-04-20 cs.CL
A One-Layer Decoder-Only Transformer is a Two-Layer RNN: With an Application to Certified Robustness
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文证明单层仅解码器Transformer等价于双层RNN,据此提出ARC-Tran方法,实现任意扰动空间下的精确可扩展鲁棒性验证,训练出更鲁棒且高认证准确率的模型。
2024-05-27 cs.CL
Levi Graph AMR Parser using Heterogeneous Attention
Emory University(埃默里大学)
与biaffine解码器相结合,Transformers已经有效地适应了文本到图形的转换,并在AMR解析上实现了最先进的性能。然而,许多先前的工作依赖于双仿射解码器用于弧和标签预测中的任一个或两者,尽管解码器使用的大多数特征可能已经被Transformer学习。本文提出了一种新的AMR解析方法,通过将异构数据(令牌,概念,标签)作为一个输入到Transformer学习注意力,并仅使用注意力矩阵从Transformer预测AMR图中的所有元素(概念,弧,标签)。尽管我们的模型使用的参数比之前最先进的图解析器少得多,但它们在AMR 2.0和3.0上显示出类似或更好的准确性。
2021-07-09 cs.AI cs.CL
Dual-decoder Transformer for Joint Automatic Speech Recognition and Multilingual Speech Translation
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Facebook AI(Facebook人工智能研究院)
我们介绍了双解码器Transformer,一个新的模型架构,共同执行自动语音识别(ASR)和多语言语音翻译(ST)。我们的模型基于原始的Transformer架构(Vaswani等人,2017),但由两个解码器组成,每个解码器负责一个任务(ASR或ST)。我们的主要贡献在于这些解码器是如何相互作用的:一个解码器可以通过双重注意力机制来关注不同的信息源。我们提出了两个变种,这些架构对应于两个不同级别的解码器之间的依赖关系,称为并行和交叉双解码器Transformers,分别。在MuST-C数据集上进行的大量实验表明,我们的模型在多语言环境中的翻译性能优于先前报道的最高翻译性能,并且优于双语一对一的结果。此外,我们的并行模型表明没有权衡ASR和ST相比,香草多任务架构。我们的代码和预培训模型可在https://github.com/formiel/speech-translation上获得。
2020-11-02 cs.CL cs.SD eess.AS
DEED: Dynamic Early Exit on Decoder for Accelerating Encoder-Decoder Transformer Models
AWS AI Labs(AWS AI实验室);University of California San Diego(加州大学圣迭戈分校)
提出DEED方法,在编码器-解码器Transformer解码器中实现动态早退,通过多出口和深度监督训练,按步置信度减少解码层数,降低30%-60%推理延迟,保持或提升准确性。
2023-11-15 cs.CL cs.CV cs.LG
Where meaning lives: Layer-wise accessibility of psycholinguistic features in encoder and decoder language models
Max Planck Institute for Human Development(马克斯·普朗克人类发展研究所);Technische Universität Berlin(技术大学柏林);University of Basel(巴塞尔大学)
研究揭示了变换器模型中心理语言学特征的分层可访问性,发现意义的定位依赖于方法和架构,并展示了词汇属性与经验性情感维度的深度差异。
2026-01-07 cs.AI cs.CL
Sample Efficient Text Summarization Using a Single Pre-Trained Transformer
Stanford University(斯坦福大学);Google Brain(谷歌大脑)
语言模型(LM)预训练在各种语言理解任务上取得了令人印象深刻的性能和样本效率。然而,目前还不清楚如何最好地使用预训练的LM生成任务,如抽象总结,特别是提高样本效率。在这些序列到序列设置中,先前的工作已经试验了将预训练的权重加载到编码器和/或解码器网络中,但是使用了非预训练的编码器-解码器注意力权重。相反,我们使用一个预先训练的仅解码器网络,其中相同的Transformer LM既编码源又生成摘要。这确保了网络中的所有参数,包括那些控制对源状态的注意力的参数,都在微调步骤之前进行了预训练。在CNN/Daily Mail数据集上的实验表明,我们预先训练的Transformer LM在有限的数据设置中大大改善了预先训练的Transformer编码器-解码器网络。例如,它仅使用1%的训练数据(约3000个示例)就达到了13.1 ROUGE-2,而预训练的编码器-解码器模型得分为2.3 ROUGE-2。
2019-05-21 cs.CL
LayerNorm Induces Recency Bias in Transformer Decoders
KAIST(韩国科学技术院);Microsoft Research(微软研究院)
研究揭示Transformer解码器中层归一化与自注意力机制相互作用导致近期偏差的机制,分析残差连接和输入嵌入分布的影响,提出改进位置编码的新思路。
2026-04-20 cs.CL cs.LG
How Powerful are Decoder-Only Transformer Neural Models?
Department of Computer Science Vanderilt University Nasvhille, TN
该研究首次证明仅解码器架构的通用Transformer神经模型在合理假设下具备图灵完备性,指出词嵌入稀疏性是关键影响因素,并表明Transformer是王浩B机器的变体。
2024-10-10 cs.CL cs.LG
Assessment of Transformer-Based Encoder-Decoder Model for Human-Like Summarization
D.J. Sanghvi College of Engineering(D.J. Sanghvi工程学院);Sardar Patel Institute of Technology(Sardar Patel技术学院)
本文评估基于Transformer的BART编码器-解码器模型在类人摘要中的表现,发现常用指标对事实错误不敏感,并利用WeCheck和SummaC证明人类摘要的事实一致性比微调模型高17%。
2024-10-22 cs.AI cs.CL
Where does Absolute Position come from in decoder-only Transformers?
Sapienza University of Rome(罗马大学萨皮恩扎分校);Intuition Machines(直觉机器)
本文研究了RoPE训练的仅解码器Transformer中绝对位置信息的来源,发现因果掩码和残差流是导致绝对位置泄露的两个关键组件,并提出了通过替换BOS嵌入来减少残差流成分的方法。
2026-06-04 cs.AI cs.CL
Repurposing Decoder-Transformer Language Models for Abstractive Summarization
Twilio AI(Twilio人工智能)
神经网络模型在应用于抽象摘要时表现出了出色的流畅性和性能。许多神经抽象总结的方法都涉及引入显著的归纳偏差,例如使用指针生成器架构,覆盖范围和部分提取程序等组件,旨在模仿人类总结文档的过程。我们表明,它是可能的,而不是直接查看摘要作为一个语言建模问题,并有效地利用迁移学习,以获得有竞争力的性能。我们介绍了一个简单的程序,建立在解码器变压器,以获得高度竞争力的ROUGE分数的摘要性能,单独使用语言建模损失,没有波束搜索或其他解码时间优化,而是依赖于有效的核采样和贪心解码。
2019-09-01 cs.CL cs.LG
Finetuning Pretrained Transformers into Variational Autoencoders
ActionPower
文本变分自编码器(VAE)因后验崩溃而臭名昭著,这是一种模型的解码器学会忽略来自编码器的信号的现象。由于后塌陷被认为是由表达解码器加剧,Transformers已经看到有限的采用作为文本VAE的组成部分。将Transformers并入文本VAE的现有研究(Li等人,2020; Fang等人,2021)使用大规模预训练来减轻后崩溃,这是一种没有广泛计算资源的大多数研究社区无法使用的技术。我们提出了一个简单的两阶段训练方案,将序列到序列的Transformer转换为VAE,只需微调。由此产生的语言模型在一些内部指标上与大规模预训练的基于transformer的VAE竞争,而在其他指标上则有所不足。为了便于培训,我们全面探讨了文献中常见的后塌陷缓解技术的影响。我们发布了可重复性代码。
2021-11-24 cs.AI cs.CL
Efficient Encoder-Decoder Transformer Decoding for Decomposable Tasks
University of Washington(华盛顿大学);Microsoft Research(微软研究院);Allen Institute for AI(艾伦人工智能研究所)
本文提出一种名为 PiD 的编码器-解码器模型新配置,通过一次编码输入并并行解码多个输出,显著提升了可分解任务的训练与推理效率,在多项任务中实现高达4.6倍加速且性能相当或更优。
2024-11-16 cs.CL
Non-Autoregressive Transformer ASR with CTC-Enhanced Decoder Input
Tencent AI Lab(腾讯AI实验室)
非自回归(NAR)Transformer模型在自动语音识别(ASR)中取得了显著的推理加速,但其代价是精度不如自回归(AR)模型。大多数NAR Transformers采用填充有MASK令牌的固定长度序列或从编码器状态复制的冗余序列作为解码器输入,它们不能提供有效的目标侧信息,从而导致精度下降。为了解决这个问题,我们提出了一个CTC增强的NAR Transformer,它通过改进CTC模块的预测来生成目标序列。实验结果表明,我们的方法优于所有以前的NAR同行,实现了50倍的解码速度比强AR基线只有0.0 ~ 0.3绝对CER下降Aishell-1和Aishell-2数据集。
2021-04-16 cs.CL cs.SD eess.AS
Please Make it Sound like Human: Encoder-Decoder vs. Decoder-Only Transformers for AI-to-Human Text Style Transfer
Department of Computer Science, Kathmandu Engineering College(加德满都工程学院计算机科学系)
本文研究了如何将AI生成的文本改写为更接近人类写作的风格,构建了包含25140对AI输入和人类参考文本片段的平行语料库,并通过三种模型的微调验证了BART-large在风格转换中的有效性。
2026-04-13 cs.CL
Non-autoregressive Transformer with Unified Bidirectional Decoder for Automatic Speech Recognition
University of Science and Technology Beijing(北京科技大学);Key Laboratory of Knowledge Automation for Industrial Processes of Ministry of Education(教育部工业过程知识自动化重点实验室);EEasy Technology Company Ltd.(易捷科技有限公司)
非自回归(NAR)Transformer模型在自动语音识别(ASR)中得到了广泛的研究,而NAR Transformer模型的一个重要部分就是使用因果掩码来限制标记依赖。然而,因果掩码是针对非并行自回归(AR)Transformer的从左到右解码过程而设计的,这对于并行NAR Transformer是不合适的,因为它忽略了从右到左的上下文。一些模型被提出来利用具有额外解码器的从右到左上下文,但是这些方法增加了模型复杂度。为了解决上述问题,我们提出了一种新的非自回归Transformer与统一的双向解码器(NAT-UBD),它可以同时利用从左到右和从右到左的上下文。然而,直接使用双向上下文会导致信息泄漏,这意味着解码器的输出会受到来自相同位置输入的字符信息的影响。为了避免信息泄漏,我们提出了一种新的注意力掩码和修改香草查询,键和值矩阵的NAT-UBD。实验结果表明,NAT-UBD可以实现5.0%/5.5%的字符出错率(CER)的Aishell 1开发/测试集,优于所有以前的NAR Transformer模型。此外,当在单步的中解码时,NAT-UBD可以比AR Transformer基线快49.8倍。
2021-09-14 cs.CL cs.SD eess.AS
Abstractive summarization of hospitalisation histories with transformer networks
Sber AI Lab(Sber人工智能实验室)
在本文中,我们提出了一种新的方法来抽象总结病人的住院史。我们应用了一个编码器-解码器框架,Longformer神经网络作为编码器,BERT作为解码器。我们的实验表明,与指针生成器网络相比,某些摘要任务的质量有所提高。我们还与经验丰富的医生进行了一项研究,将我们的模型结果与PGN基线和人类生成的摘要进行了比较,这表明了我们模型的有效性。
2022-04-05 cs.AI cs.CL cs.LG
CTRAN: CNN-Transformer-based Network for Natural Language Understanding
University of Kashan(卡尚大学)
提出CTRAN,一种用于意图检测和槽位填充的CNN-Transformer编码器-解码器架构,通过引入窗口特征序列和对齐Transformer解码器,在ATIS和SNIPS数据集上超越当前最优水平。
2023-03-19 cs.CL
Greedy Ordering of Layer Weight Matrices in Transformers Improves Translation
先前的工作试图理解基于变换器的编码器-解码器架构在多头注意力和前馈子层的级别上的内部结构和功能。解释集中在编码器和解码器上,以及自注意、交叉注意和前馈子层的组合可能性。然而,如果不检查低级结构,人们对子层重新排序背后的动机的了解就有限。我们是否可以深入到子层抽象和置换层权重矩阵,以提高翻译质量?我们提出了AEIUOrder,通过重尾自正则化(HT-SR)度量测量编码器中的良好训练来对层权重矩阵进行重排序,并相应地对解码器矩阵进行排序。我们的研究结果表明,greatness重新排序层权重矩阵,以最大限度地提高总的良好训练,有利于模型学习表示和更有效地生成翻译。
2023-03-17 cs.AI cs.CL cs.NE
Linguistic-Enhanced Transformer with CTC Embedding for Speech Recognition
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司)
最近出现的联合CTC-注意力模型在自动语音识别(ASR)中显示了显著的改进。这种改进很大程度上在于解码器对语言信息的建模。与声学编码器联合优化的解码器在训练期间以自回归方式从地面实况序列呈现语言模型。然而,解码器的训练语料仅限于语音翻译,这远远少于训练可接受的语言模型所需的语料。这导致解码器的鲁棒性差。为了缓解这个问题,我们提出了语言增强的Transformer,它在训练过程中将细化的CTC信息引入到解码器中,从而使解码器具有更强的鲁棒性。我们在AISHELL-1语音库上的实验表明,字符出错率(CER)相对降低了7%。我们还发现,在联合CTC-Attention ASR模型中,解码器对语言信息比声学信息更敏感。
2022-10-25 cs.CL cs.SD eess.AS
A Dual-Decoder Conformer for Multilingual Speech Recognition
Freshworks Inc.(Freshworks公司)
基于转换器的模型最近在序列到序列的应用中变得非常流行,例如机器翻译和语音识别。这项工作提出了一个双解码器Transformer模型的低资源多语种语音识别的印度语言。我们提出的模型包括一个Conformer [1]编码器,两个并行的Transformer解码器和一个语言分类器。我们使用音素解码器(PHN-DEC)的音素识别任务和一个字素解码器(GRP-DEC)预测字素序列以及语言信息。我们认为音素识别和语言识别作为辅助任务的多任务学习框架。我们通过联合CTC-Attention [2]训练联合优化了音素识别,字形识别和语言识别任务的网络。我们的实验表明,我们可以获得一个显着减少WER的基线方法。我们还表明,我们的双解码器的方法比单解码器的方法获得显着的改善。
2021-08-22 cs.CL cs.SD eess.AS
Transformer Based Deliberation for Two-Pass Speech Recognition
Google, Inc.(谷歌公司)
交互式语音识别系统必须在快速生成单词的同时还产生准确的结果。两遍模型通过采用快速发出单词的第一遍解码器和需要更多上下文但更准确的第二遍解码器来满足这些要求。先前的工作已经确定,一个审议网络可以是一个有效的二次通过模型。该模型同时处理两种输入:编码的音频帧和来自第一遍模型的假设文本。在这项工作中,我们探索使用Transformer层而不是长短期记忆(LSTM)层进行审议重新评分。在Transformer层中,我们将“编码器-解码器”的注意力概括为编码音频和第一遍文本假设。输出上下文向量然后由合并层组合。与基于LSTM的审议相比,我们最好的Transformer审议实现了7%的相对字出错率的改善,以及38%的计算减少。我们还比较了非审议Transformer rescoring,并找到了9%的相对改善。
2021-01-27 cs.CL
Auto Completion of User Interface Layout Design Using Transformer-Based Tree Decoders
Google Research(谷歌研究院)
它已在该领域越来越感兴趣的是开发自动机械,以促进设计过程。在本文中,我们专注于辅助图形用户界面(UI)布局设计,在应用程序开发的一个重要任务。给定设计师输入的部分布局,我们的模型通过预测具有正确位置和维度以及层次结构的剩余UI元素来学习完成布局。这种自动化将大大减轻UI设计师和开发人员的工作。虽然我们专注于界面布局预测,我们的模型可以普遍适用于其他布局预测问题,涉及树结构和二维布局。特别地,我们设计了两个版本的基于transformer的树解码器:指针和递归Transformer,并在公共数据集上实验这些模型。我们还提出了几个指标,用于测量树预测的准确性和地面这些指标在领域的用户体验。这为深度学习的研究提供了新的课题和方法。
2020-01-14 cs.CL cs.HC cs.LG
CPT: A Pre-Trained Unbalanced Transformer for Both Chinese Language Understanding and Generation
Fudan University(复旦大学);Zhejiang Lab(之江实验室)
在本文中,我们利用以前的预训练模型(PTM),提出了一种新的中国预训练不平衡Transformer(CPT)。与以往的中文翻译机不同,CPT的设计是利用自然语言理解(NLU)和自然语言生成(NLG)之间的共享知识来提高性能。CPT由三部分组成:共享编码器、理解解码器和生成解码器。具有共享编码器的两个特定解码器分别使用掩码语言建模(MLM)和去噪自动编码(DAE)任务进行预训练。通过部分共享的架构和多任务预训练,CPT可以(1)使用两个解码器学习NLU或NLG任务的特定知识,(2)灵活地进行微调,充分利用模型的潜力。而且不平衡的Transformer节省了计算和存储成本,使CPT具有竞争力,大大加快了文本生成的推理。在汉语自然语言理解和自然语言学习任务上的实验结果表明了CPT的有效性。
2022-07-18 cs.CL
Sparsity and Sentence Structure in Encoder-Decoder Attention of Summarization Systems
University of Cambridge(剑桥大学)
Transformer模型在包括摘要在内的各种NLP任务中取得了最先进的结果。使用大型Transformer模型的训练和推理在计算上可能是昂贵的。以前的工作集中在一个重要的瓶颈,二次自我注意力机制的编码器。改进的编码器架构(如LED或LoBART)使用局部注意模式来解决此问题。与此相反,这项工作的重点是Transformer的编码器-解码器的注意力机制。在需要模型生成历史的推理或训练方法中,这种注意力的成本变得更加重要。首先,我们研究编码器-解码器注意力的复杂性。我们的经验表明,有一个稀疏的句子结构,在文档摘要,可以利用约束的注意力机制的输入句子的子集,同时保持系统的性能。其次,我们提出了一种修改后的架构,该架构选择句子子集来约束编码器-解码器的注意力。在抽象摘要任务上进行了实验,包括CNN/DailyMail,XSum,Spotify Podcast和arXiv。
2021-09-08 cs.CL
Transformer with Bidirectional Decoder for Speech Recognition
Tsinghua University(清华大学);ShanghaiTech University(上海科技大学);Tsingmicro Intelligent Technology Co., Limited(清微智能科技有限公司);Beijing National Research Center For Information Science And Technology(北京国家信息科学与技术研究中心)
近年来,基于注意力的模型在端到端的自动语音识别(ASR)中取得了巨大的进展。然而,传统的基于转换器的方法通常从左到右逐个令牌地生成序列结果,使得从右到左的上下文未被利用。在这项工作中,我们引入了一个双向的语音Transformer,同时利用不同的方向上下文。具体来说,我们提出的Transformer的输出包括从左到右的目标和从右到左的目标。在推理阶段,我们使用了双向波束搜索方法,它不仅可以产生从左到右的候选,也可以产生从右到左的候选,并通过得分来确定最佳假设。为了证明我们提出的语音Transformer与双向解码器(STBD),我们进行了广泛的实验AISHELL-1数据集。实验结果表明,在单向语音Transformer基线上,STBD实现了3.6%的相对CER降低(CERR)。此外,本文提出的最强模型STBD-Big在测试集上可以达到6.64%的CER,无需语言模型重评分和任何额外的数据扩充策略。
2020-08-11 cs.CL cs.LG cs.SD
DxFormer: A Decoupled Automatic Diagnostic System Based on Decoder-Encoder Transformer with Dense Symptom Representations
Fudan University(复旦大学);Northwestern Polytechnical University(西北工业大学)
面向诊断的对话系统通过与患者的持续交互来查询患者的健康状况并对可能的疾病进行预测。少数研究使用强化学习(RL)从症状和疾病的联合作用空间学习最优策略。然而,现有的RL(或非RL)方法不能达到足够好的预测精度,仍然远离其上限。为了解决这个问题,我们提出了一个解耦的自动诊断框架DxFormer,它将诊断过程分为两个步骤:症状查询和疾病诊断,其中从症状查询到疾病诊断的过渡是由停止标准明确确定的。在DxFormer中,我们将每个症状作为一个标记,并将症状查询和疾病诊断分别形式化为语言生成模型和序列分类模型。我们使用Transformer的反转版本,即,解码器-编码器结构,通过联合优化强化奖励和交叉熵损失来学习症状的表示。在三个公开的真实世界数据集上的大量实验证明,我们提出的模型可以有效地学习医生的临床经验,并在症状回忆和诊断准确率方面达到最先进的结果。
2022-12-24 cs.CL
Distillation of encoder-decoder transformers for sequence labelling
Bloomberg(彭博);University of Houston(休斯顿大学)
在一系列令人鼓舞的任务成果的推动下,NLP领域正在经历一场加速的竞赛,以开发更大的语言模型。这种对更大模型的竞争也强调了继续追求实用的蒸馏方法的必要性,这些方法可以以计算效率高的方式利用这些大模型获得的知识。考虑到这一目标,我们在最近的工作基础上提出了一个无幻觉的序列标记框架,特别适合于蒸馏。我们展示了跨多个序列标签数据集的最新性能的实证结果,并验证了该框架在少样本学习场景中提取大型模型的有用性。
2023-02-10 cs.CL cs.IR
On The Adaptation of Unlimiformer for Decoder-Only Transformers
Microsoft(微软)
本文研究将Unlimiformer向量检索增强方法适配到仅解码器Transformer,通过一系列修改克服其不兼容问题,并在摘要生成、自由形式问答和指令微调模型上验证了有效性。
2024-10-02 cs.CL cs.LG
ODE-Based Transformer Decoders for Iterative Sign Language Translation
ASELSAN(阿塞尔桑(土耳其国防工业公司));Hacettepe University(哈杰泰佩大学)
该研究将受常微分方程启发的高阶数值积分格式应用于迭代手语翻译,提出参数高效的解码器,在不增参数下提升性能,在两个基准上优于IPSLT基线。
2026-08-13 cs.CL cs.LG
Accelerating Neural Transformer via an Average Attention Network
Xiamen University(厦门大学);Beijing Advanced Innovation Center for Language Resources(北京语言资源高精尖创新中心);Soochow University(苏州大学)
利用可并行化的注意力网络,神经Transformer的训练速度非常快。然而,由于自回归结构和自注意力在解码器中,解码过程变得缓慢。为了缓解这个问题,我们提出了一个平均注意力网络作为替代的自我注意力网络的神经Transformer的解码器。平均注意力网络由两层组成,平均层对先前位置的依赖性进行建模,门控层堆叠在平均层上,以增强所提出的注意力网络的表现力。我们将此网络应用于神经Transformer的解码器部分,以取代原始的目标侧自我注意模型。通过掩蔽技巧和动态规划,我们的模型使神经Transformer能够以比原始版本快四倍的速度解码句子,而几乎没有损失训练时间和翻译性能。我们对WMT 17翻译任务进行了一系列实验,在6种不同的语言对上,我们获得了鲁棒且一致的解码速度。
2018-05-07 cs.CL
SeqDiffuSeq: Text Diffusion with Encoder-Decoder Transformers
Alibaba DAMO Academy(阿里巴巴达摩院);Alibaba Group(阿里巴巴集团);Tsinghua University(清华大学)
本文提出 SeqDiffuSeq,一种基于编码器-解码器 Transformers 的文本扩散模型,结合自条件与自适应噪声调度技术,有效提升了序列到序列文本生成的质量与推理效率。
2023-05-22 cs.CL
GRET: Global Representation Enhanced Transformer
Nanjing University(南京大学);Alibaba Group(阿里巴巴集团)
Transformer基于编码器-解码器框架,在几个自然语言生成任务上实现了最先进的性能。编码器将输入句子中的单词映射成一系列隐藏状态,然后将其输入解码器以生成输出句子。这些隐藏状态通常对应于输入的单词,并专注于捕获本地信息。然而,全局(句子级)信息很少被探索,为生成质量的提高留下了空间。在本文中,我们提出了一种新的全局表示增强Transformer(GRET)显式建模全局表示的Transformer网络。具体而言,在所提出的模型中,外部状态是从编码器的全局表示生成的。然后在解码过程中将全局表示融合到解码器中,以提高生成质量。我们在两个文本生成任务中进行实验:机器翻译和文本摘要。在四个WMT机器翻译任务和LCSTS文本摘要任务上的实验结果证明了该方法在自然语言生成上的有效性。
2020-02-24 cs.CL
DASpeech: Directed Acyclic Transformer for Fast and High-quality Speech-to-Speech Translation
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
提出DASpeech,一种基于有向无环图和两遍架构的非自回归直接语音到语音翻译模型,实现快速高质量翻译,性能媲美Translatotron 2,速度提升达18.53倍,且无需知识蒸馏。
2023-10-11 cs.AI cs.CL cs.SD
Lipschitz Constrained Parameter Initialization for Deep Transformers
Saarland University(萨尔兰大学);German Research Center for Artificial Intelligence(德国人工智能研究中心);China Mobile Online Services(中移在线服务有限公司);Tianjin University(天津大学)
Transformer翻译模型采用残余连接和层归一化来缓解其多层编解码器结构所带来的优化困难。先前的研究表明,即使使用剩余连接和层归一化,深度Transformers仍然难以训练,特别是具有超过12个编码器/解码器层的Transformer模型无法收敛。在本文中,我们首先通过经验证明,在官方实现中进行简单的修改,改变残余连接和层归一化的计算顺序,可以显着简化深度Transformers的优化。然后,我们比较了计算顺序的细微差异,在相当详细的,并提出了一个参数初始化方法,利用Lipschitz约束的初始化Transformer参数,有效地确保训练收敛。与以前的研究结果相比,我们进一步证明了Lipschitz参数初始化,原始计算顺序的深度Transformers可以收敛,并在多达24层的情况下获得显着的BLEU改进。与之前专注于深度编码器的研究相比,我们的方法还使Transformers也能够从深度解码器中受益。
2020-05-05 cs.CL eess.AS