Enhancing the Transformer Decoder with Transition-based Syntax
Hebrew University of Jerusalem（耶路撒冷希伯来大学）
尽管最近的进展，句法泛化仍然是文本解码器的一个挑战。虽然一些研究表明，将源端的符号句法和语义结构的文本生成Transformers的收益，很少有工作解决这种结构的解码。我们提出了一个通用的方法，树解码使用一个过渡为基础的方法。检查具有挑战性的测试情况下，将通用的重复性语法到机器翻译，我们提出了大量的改进测试集，侧重于语法泛化，同时提出改进或可比的性能标准MT基准。进一步的定性分析解决的情况下，语法概括香草Transformer解码器是不够的，并展示了整合语法信息所提供的优势。
2022-10-31 cs.CL cs.LG
Exploiting Pre-trained Encoder-Decoder Transformers for Sequence-to-Sequence Constituent Parsing
Universidade de Vigo, Departamento de Informática（维戈大学计算机系）
本文提出利用预训练的编码器-解码器模型进行短语结构解析，通过微调生成线性解析树并在不同线性化策略下评估，优于传统序列到序列模型并能与任务专用解析器竞争。
2026-05-13 cs.CL
Merging Feed-Forward Sublayers for Compressed Transformers
Johns Hopkins University（约翰斯·霍普金斯大学）
提出一种通过选择、对齐和合并Transformer中相似前馈子层的新型模型压缩方法，在保持99%性能的同时移除超21%参数，优于层剪枝基线。
2025-03-28 cs.CL cs.LG
Balancing Cost and Benefit with Tied-Multi Transformers
National Institute of Information and Communications Technology（信息通信技术国家研究所）
我们提出并评估了一种新的程序，用于训练多个Transformers与捆绑参数，压缩多个模型成一个，使动态选择的编码器和解码器层的数量在解码过程中。在序列到序列建模中，通常，N层编码器的最后一层的输出被馈送到M层解码器，并且最后一个解码器层的输出被用于计算损失。相反，我们的方法计算由NXM个损失组成的单个损失，其中每个损失是从连接到N个编码器层之一的M个解码器层之一的输出计算的。这样的模型包含具有不同数量的编码器和解码器层的NXM模型，并且可以用于具有少于最大数量的编码器和解码器层的解码。然后，我们提出了一种机制，选择先验的编码器和解码器层的数量更快的解码，并探讨了经常性的堆栈层和知识蒸馏的模型压缩。我们提出了一个成本效益分析的神经机器翻译，并表明他们降低解码成本，同时保持翻译质量。
2020-02-20 cs.CL cs.LG
CMLFormer: A Dual Decoder Transformer with Switching Point Learning for Code-Mixed Language Modeling
Courant Institute of Mathematical Sciences（Courant数学科学研究所）；Tandon School of Engineering（Tandon工程学院）
针对语码混合语言的结构挑战，提出带共享编码器与同步交叉注意力的双解码器Transformer模型CMLFormer，结合多任务预训练捕捉切换特性，在HASOC-2021基准上性能优于现有方法，且对切换点具备识别敏感性。
2025-05-19 cs.CL cs.LG
GTrans: Grouping and Fusing Transformer Layers for Neural Machine Translation
Beihang University（北京航空航天大学）；Microsoft Research Asia（微软亚洲研究院）
Transformer结构由一系列编码器和解码器网络层堆叠而成，在神经机器翻译中取得了重大发展。然而，vanilla Transformer主要利用顶层表示，假设较低层提供琐碎或冗余的信息，因此忽略了潜在有价值的底层功能。在这项工作中，我们提出了组转换器模型（GTrans），灵活地将编码器和解码器的多层表示分为不同的组，然后融合这些组特征来生成目标词。为了验证该方法的有效性，在IWLST-14、IWLST-17、LDC、WMT-14和OPUS-100等三个双语翻译基准和两个多语种翻译任务上进行了大量实验和分析实验。实验和分析结果表明，我们的模型优于它的Transformer同行一致的增益。此外，它可以成功地扩展到60个编码器层和36个解码器层。
2022-11-07 cs.CL cs.LG
Input Combination Strategies for Multi-Source Transformer Decoder
Charles University（查理大学）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）
在多源序列到序列任务中，注意力机制可以以多种方式建模。这个主题已经在循环体系结构上进行了深入的研究。在本文中，我们将以前的工作扩展到Transformer架构中的编码器-解码器注意力。我们提出了四种不同的输入组合策略的编码器-解码器的注意力：串行，并行，平面和层次。我们评估我们的方法多模态翻译和翻译任务与多个源语言。实验表明，该模型能够使用多个源，并改善了单源基线。
2018-11-12 cs.CL
ASTormer: An AST Structure-aware Transformer Decoder for Text-to-SQL
Shanghai Jiao Tong University（上海交通大学）
本文提出ASTormer，一种AST结构感知的Transformer解码器，通过绝对和相对位置嵌入将树结构知识融入文本到SQL解码过程，在五个基准上验证了其相比RNN解码器的有效性和效率。
2023-10-28 cs.CL
Incremental Transformer with Deliberation Decoder for Document Grounded Conversations
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Northeastern University（东北大学）；Huazhong University of Science and Technology（华中科技大学）；Tencent Inc（腾讯公司）
文档固定对话是一项在聊天时生成对话响应的任务，内容是给定文档。显然，文档知识在基于文档的对话中起着至关重要的作用，而现有的对话模型并没有充分利用这种知识。在本文中，我们提出了一种新的基于transformer的多轮文档接地对话的架构。特别是，我们设计了一个增量Transformer编码多轮话语以及相关文件中的知识。受人类认知过程的启发，我们设计了一个两遍解码器（审议解码器），以提高上下文一致性和知识的正确性。我们对真实世界文档接地数据集的实证研究证明，我们的模型生成的响应在上下文一致性和知识相关性方面都显着优于竞争基线。
2019-07-31 cs.CL
MMTM: Multi-Tasking Multi-Decoder Transformer for Math Word Problems
Embibe
近年来，许多新的神经网络结构被用来通过预测表达式树来解决数学应用题。这些架构与seq2seq模型不同，包括利用图关系的编码器与树解码器相结合。这些模型在各种MWP数据集上表现良好，但在应用于对抗性挑战数据集SVAMP时表现不佳。我们提出了一种新的模型MMTM，它在预训练期间利用多任务和多解码器。它通过使用表达式树的前序、中序和后序遍历来派生标签来创建变体任务，并在多任务框架中使用特定于任务的解码器。我们利用低维的Transformer架构，并从RoBERTa模型初始化权重。MMTM模型实现了更好的数学推理能力和泛化能力，我们通过超越Seq2Seq，GTS和Graph2Tree的最佳基线模型来证明这一点，在对抗性挑战数据集SVAMP上相对提高了19.4%。
2022-06-02 cs.CL
Probing Word Translations in the Transformer and Trading Decoder for Encoder Layers
Saarland University（萨尔兰大学）；German Research Center for Artificial Intelligence（德国人工智能研究中心）；China Mobile Online Services（中移在线服务有限公司）；Tianjin University（天津大学）
由于其有效性和性能，Transformer翻译模型引起了广泛的关注，最近在基于探测的方法方面。以前的工作集中在使用或探测源语言特征的编码器。到目前为止，单词翻译在Transformer层中的演变方式尚未被研究。人们可能会天真地假设编码器层捕获源信息，而解码器层进行转换。在这项工作中，我们表明情况并非如此：翻译已经在编码器层甚至输入嵌入中逐步发生。更令人惊讶的是，我们发现一些较低的解码器层实际上并没有做那么多解码。我们展示了所有这一切的探测方法，我们项目表示层分析的最终训练和冻结分类器级别的Transformer解码器来衡量单词翻译的准确性。我们的发现激发并解释了Transformer配置的变化：如果翻译已经发生在编码器层中，也许我们可以增加编码器层的数量，同时减少解码器层的数量，提高解码速度，而不会损失翻译质量？我们的实验表明确实如此：我们可以将速度提高到2.3倍，而翻译质量略有提高，而18-4深度编码器配置在1.4的速度提升下将翻译质量提高了+1.42 BLEU（En-De）。
2021-04-20 cs.CL
Quantization-Aware and Tensor-Compressed Training of Transformers for Natural Language Understanding
University of California, Santa Barbara（加州大学圣巴巴拉分校）；Amazon Alexa AI（亚马逊Alexa人工智能部门）
本文提出量化感知的张量压缩训练方法，将Transformer嵌入层和线性层压缩为低秩张量核心并结合可学习尺度因子的量化训练，在自然语言理解任务中实现最高63倍压缩率且精度损失极小。
2023-07-08 cs.AI cs.CL
A One-Layer Decoder-Only Transformer is a Two-Layer RNN: With an Application to Certified Robustness
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文证明单层仅解码器Transformer等价于双层RNN，据此提出ARC-Tran方法，实现任意扰动空间下的精确可扩展鲁棒性验证，训练出更鲁棒且高认证准确率的模型。
2024-05-27 cs.CL
Sample Efficient Text Summarization Using a Single Pre-Trained Transformer
Stanford University（斯坦福大学）；Google Brain（谷歌大脑）
语言模型（LM）预训练在各种语言理解任务上取得了令人印象深刻的性能和样本效率。然而，目前还不清楚如何最好地使用预训练的LM生成任务，如抽象总结，特别是提高样本效率。在这些序列到序列设置中，先前的工作已经试验了将预训练的权重加载到编码器和/或解码器网络中，但是使用了非预训练的编码器-解码器注意力权重。相反，我们使用一个预先训练的仅解码器网络，其中相同的Transformer LM既编码源又生成摘要。这确保了网络中的所有参数，包括那些控制对源状态的注意力的参数，都在微调步骤之前进行了预训练。在CNN/Daily Mail数据集上的实验表明，我们预先训练的Transformer LM在有限的数据设置中大大改善了预先训练的Transformer编码器-解码器网络。例如，它仅使用1%的训练数据（约3000个示例）就达到了13.1 ROUGE-2，而预训练的编码器-解码器模型得分为2.3 ROUGE-2。
2019-05-21 cs.CL
Efficient Encoder-Decoder Transformer Decoding for Decomposable Tasks
University of Washington（华盛顿大学）；Microsoft Research（微软研究院）；Allen Institute for AI（艾伦人工智能研究所）
本文提出一种名为 PiD 的编码器-解码器模型新配置，通过一次编码输入并并行解码多个输出，显著提升了可分解任务的训练与推理效率，在多项任务中实现高达4.6倍加速且性能相当或更优。
2024-11-16 cs.CL
Please Make it Sound like Human: Encoder-Decoder vs. Decoder-Only Transformers for AI-to-Human Text Style Transfer
Department of Computer Science, Kathmandu Engineering College（加德满都工程学院计算机科学系）
本文研究了如何将AI生成的文本改写为更接近人类写作的风格，构建了包含25140对AI输入和人类参考文本片段的平行语料库，并通过三种模型的微调验证了BART-large在风格转换中的有效性。
2026-04-13 cs.CL
Solving Math Word Problems with Double-Decoder Transformer
提出了一种基于Transformer的数学应用题方程生成模型。当不使用复制和对齐机制时，它比RNN模型取得了更好的结果，并且可以胜过复杂的复制和对齐RNN模型。我们还表明，训练一个Transformer共同在一个生成任务与两个解码器，从左到右和从右到左，是有益的。这样的Transformer比仅具有一个解码器的Transformer性能更好，这不仅是因为集成效应，而且还因为它改进了编码器训练过程。我们还尝试将强化学习添加到我们的模型中，与MLE训练相比，表现出更好的性能。
2019-08-28 cs.CL cs.LG
CTRAN: CNN-Transformer-based Network for Natural Language Understanding
University of Kashan（卡尚大学）
提出CTRAN，一种用于意图检测和槽位填充的CNN-Transformer编码器-解码器架构，通过引入窗口特征序列和对齐Transformer解码器，在ATIS和SNIPS数据集上超越当前最优水平。
2023-03-19 cs.CL
Transformer Based Deliberation for Two-Pass Speech Recognition
Google, Inc.（谷歌公司）
交互式语音识别系统必须在快速生成单词的同时还产生准确的结果。两遍模型通过采用快速发出单词的第一遍解码器和需要更多上下文但更准确的第二遍解码器来满足这些要求。先前的工作已经确定，一个审议网络可以是一个有效的二次通过模型。该模型同时处理两种输入：编码的音频帧和来自第一遍模型的假设文本。在这项工作中，我们探索使用Transformer层而不是长短期记忆（LSTM）层进行审议重新评分。在Transformer层中，我们将“编码器-解码器”的注意力概括为编码音频和第一遍文本假设。输出上下文向量然后由合并层组合。与基于LSTM的审议相比，我们最好的Transformer审议实现了7%的相对字出错率的改善，以及38%的计算减少。我们还比较了非审议Transformer rescoring，并找到了9%的相对改善。
2021-01-27 cs.CL
CPT: A Pre-Trained Unbalanced Transformer for Both Chinese Language Understanding and Generation
Fudan University（复旦大学）；Zhejiang Lab（之江实验室）
在本文中，我们利用以前的预训练模型（PTM），提出了一种新的中国预训练不平衡Transformer（CPT）。与以往的中文翻译机不同，CPT的设计是利用自然语言理解（NLU）和自然语言生成（NLG）之间的共享知识来提高性能。CPT由三部分组成：共享编码器、理解解码器和生成解码器。具有共享编码器的两个特定解码器分别使用掩码语言建模（MLM）和去噪自动编码（DAE）任务进行预训练。通过部分共享的架构和多任务预训练，CPT可以（1）使用两个解码器学习NLU或NLG任务的特定知识，（2）灵活地进行微调，充分利用模型的潜力。而且不平衡的Transformer节省了计算和存储成本，使CPT具有竞争力，大大加快了文本生成的推理。在汉语自然语言理解和自然语言学习任务上的实验结果表明了CPT的有效性。
2022-07-18 cs.CL
Sparsity and Sentence Structure in Encoder-Decoder Attention of Summarization Systems
University of Cambridge（剑桥大学）
Transformer模型在包括摘要在内的各种NLP任务中取得了最先进的结果。使用大型Transformer模型的训练和推理在计算上可能是昂贵的。以前的工作集中在一个重要的瓶颈，二次自我注意力机制的编码器。改进的编码器架构（如LED或LoBART）使用局部注意模式来解决此问题。与此相反，这项工作的重点是Transformer的编码器-解码器的注意力机制。在需要模型生成历史的推理或训练方法中，这种注意力的成本变得更加重要。首先，我们研究编码器-解码器注意力的复杂性。我们的经验表明，有一个稀疏的句子结构，在文档摘要，可以利用约束的注意力机制的输入句子的子集，同时保持系统的性能。其次，我们提出了一种修改后的架构，该架构选择句子子集来约束编码器-解码器的注意力。在抽象摘要任务上进行了实验，包括CNN/DailyMail，XSum，Spotify Podcast和arXiv。
2021-09-08 cs.CL
Zero-Shot Controlled Generation with Encoder-Decoder Transformers
Amazon Alexa AI（亚马逊Alexa人工智能部门）
控制用于自然语言生成（NLG）的基于神经网络的模型在诸如机器翻译、文档摘要和对话系统的许多领域中具有广泛的应用。以zero-shot方式实现这种控制的方法将是非常重要的，因为除其他原因外，它们消除了对附加注释数据和训练的需要。在这项工作中，我们提出了新的方法来控制编码器-解码器变换为基础的NLG模型在zero-shot。这是通过引入三个控制旋钮，即注意力偏置，解码器混合，上下文增强，这是适用于这些模型在生成时间。这些旋钮通过直接操纵训练的NLG模型（例如，偏置交叉注意层）以在所生成的输出中实现期望的属性。我们表明，这些NLG模型不仅对这种操作具有鲁棒性，而且它们的行为可以在不影响其生成性能的情况下进行控制。据我们所知，这些结果是同类中的第一个。通过这些控制旋钮，我们还调查了Transformer解码器的自我注意模块的作用，并显示出强有力的证据表明，其主要作用是保持这些模型生成的句子的流畅性。基于这一假设，我们表明，替代架构的Transformer解码器可能是可行的选择。我们还研究了这个假设如何导致更有效的方法来训练编码器-解码器Transformer模型。
2022-04-06 cs.AI cs.CL
DxFormer: A Decoupled Automatic Diagnostic System Based on Decoder-Encoder Transformer with Dense Symptom Representations
Fudan University（复旦大学）；Northwestern Polytechnical University（西北工业大学）
面向诊断的对话系统通过与患者的持续交互来查询患者的健康状况并对可能的疾病进行预测。少数研究使用强化学习（RL）从症状和疾病的联合作用空间学习最优策略。然而，现有的RL（或非RL）方法不能达到足够好的预测精度，仍然远离其上限。为了解决这个问题，我们提出了一个解耦的自动诊断框架DxFormer，它将诊断过程分为两个步骤：症状查询和疾病诊断，其中从症状查询到疾病诊断的过渡是由停止标准明确确定的。在DxFormer中，我们将每个症状作为一个标记，并将症状查询和疾病诊断分别形式化为语言生成模型和序列分类模型。我们使用Transformer的反转版本，即，解码器-编码器结构，通过联合优化强化奖励和交叉熵损失来学习症状的表示。在三个公开的真实世界数据集上的大量实验证明，我们提出的模型可以有效地学习医生的临床经验，并在症状回忆和诊断准确率方面达到最先进的结果。
2022-12-24 cs.CL
LayerNorm Induces Recency Bias in Transformer Decoders
KAIST（韩国科学技术院）；Microsoft Research（微软研究院）
研究揭示Transformer解码器中层归一化与自注意力机制相互作用导致近期偏差的机制，分析残差连接和输入嵌入分布的影响，提出改进位置编码的新思路。
2026-04-20 cs.CL cs.LG
How Powerful are Decoder-Only Transformer Neural Models?
Department of Computer Science Vanderilt University Nasvhille, TN
该研究首次证明仅解码器架构的通用Transformer神经模型在合理假设下具备图灵完备性，指出词嵌入稀疏性是关键影响因素，并表明Transformer是王浩B机器的变体。
2024-10-10 cs.CL cs.LG
Accelerating Neural Transformer via an Average Attention Network
Xiamen University（厦门大学）；Beijing Advanced Innovation Center for Language Resources（北京语言资源高精尖创新中心）；Soochow University（苏州大学）
利用可并行化的注意力网络，神经Transformer的训练速度非常快。然而，由于自回归结构和自注意力在解码器中，解码过程变得缓慢。为了缓解这个问题，我们提出了一个平均注意力网络作为替代的自我注意力网络的神经Transformer的解码器。平均注意力网络由两层组成，平均层对先前位置的依赖性进行建模，门控层堆叠在平均层上，以增强所提出的注意力网络的表现力。我们将此网络应用于神经Transformer的解码器部分，以取代原始的目标侧自我注意模型。通过掩蔽技巧和动态规划，我们的模型使神经Transformer能够以比原始版本快四倍的速度解码句子，而几乎没有损失训练时间和翻译性能。我们对WMT 17翻译任务进行了一系列实验，在6种不同的语言对上，我们获得了鲁棒且一致的解码速度。
2018-05-07 cs.CL
Dual-decoder Transformer for Joint Automatic Speech Recognition and Multilingual Speech Translation
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Facebook AI（Facebook人工智能研究院）
我们介绍了双解码器Transformer，一个新的模型架构，共同执行自动语音识别（ASR）和多语言语音翻译（ST）。我们的模型基于原始的Transformer架构（Vaswani等人，2017），但由两个解码器组成，每个解码器负责一个任务（ASR或ST）。我们的主要贡献在于这些解码器是如何相互作用的：一个解码器可以通过双重注意力机制来关注不同的信息源。我们提出了两个变种，这些架构对应于两个不同级别的解码器之间的依赖关系，称为并行和交叉双解码器Transformers，分别。在MuST-C数据集上进行的大量实验表明，我们的模型在多语言环境中的翻译性能优于先前报道的最高翻译性能，并且优于双语一对一的结果。此外，我们的并行模型表明没有权衡ASR和ST相比，香草多任务架构。我们的代码和预培训模型可在https://github.com/formiel/speech-translation上获得。
2020-11-02 cs.CL cs.SD eess.AS
SeqDiffuSeq: Text Diffusion with Encoder-Decoder Transformers
Alibaba DAMO Academy（阿里巴巴达摩院）；Alibaba Group（阿里巴巴集团）；Tsinghua University（清华大学）
本文提出 SeqDiffuSeq，一种基于编码器-解码器 Transformers 的文本扩散模型，结合自条件与自适应噪声调度技术，有效提升了序列到序列文本生成的质量与推理效率。
2023-05-22 cs.CL
DEED: Dynamic Early Exit on Decoder for Accelerating Encoder-Decoder Transformer Models
AWS AI Labs（AWS AI实验室）；University of California San Diego（加州大学圣迭戈分校）
提出DEED方法，在编码器-解码器Transformer解码器中实现动态早退，通过多出口和深度监督训练，按步置信度减少解码层数，降低30%-60%推理延迟，保持或提升准确性。
2023-11-15 cs.CL cs.CV cs.LG
Repurposing Decoder-Transformer Language Models for Abstractive Summarization
Twilio AI（Twilio人工智能）
神经网络模型在应用于抽象摘要时表现出了出色的流畅性和性能。许多神经抽象总结的方法都涉及引入显著的归纳偏差，例如使用指针生成器架构，覆盖范围和部分提取程序等组件，旨在模仿人类总结文档的过程。我们表明，它是可能的，而不是直接查看摘要作为一个语言建模问题，并有效地利用迁移学习，以获得有竞争力的性能。我们介绍了一个简单的程序，建立在解码器变压器，以获得高度竞争力的ROUGE分数的摘要性能，单独使用语言建模损失，没有波束搜索或其他解码时间优化，而是依赖于有效的核采样和贪心解码。
2019-09-01 cs.CL cs.LG
GRET: Global Representation Enhanced Transformer
Nanjing University（南京大学）；Alibaba Group（阿里巴巴集团）
Transformer基于编码器-解码器框架，在几个自然语言生成任务上实现了最先进的性能。编码器将输入句子中的单词映射成一系列隐藏状态，然后将其输入解码器以生成输出句子。这些隐藏状态通常对应于输入的单词，并专注于捕获本地信息。然而，全局（句子级）信息很少被探索，为生成质量的提高留下了空间。在本文中，我们提出了一种新的全局表示增强Transformer（GRET）显式建模全局表示的Transformer网络。具体而言，在所提出的模型中，外部状态是从编码器的全局表示生成的。然后在解码过程中将全局表示融合到解码器中，以提高生成质量。我们在两个文本生成任务中进行实验：机器翻译和文本摘要。在四个WMT机器翻译任务和LCSTS文本摘要任务上的实验结果证明了该方法在自然语言生成上的有效性。
2020-02-24 cs.CL
Non-Autoregressive Transformer ASR with CTC-Enhanced Decoder Input
Tencent AI Lab（腾讯AI实验室）
非自回归（NAR）Transformer模型在自动语音识别（ASR）中取得了显著的推理加速，但其代价是精度不如自回归（AR）模型。大多数NAR Transformers采用填充有MASK令牌的固定长度序列或从编码器状态复制的冗余序列作为解码器输入，它们不能提供有效的目标侧信息，从而导致精度下降。为了解决这个问题，我们提出了一个CTC增强的NAR Transformer，它通过改进CTC模块的预测来生成目标序列。实验结果表明，我们的方法优于所有以前的NAR同行，实现了50倍的解码速度比强AR基线只有0.0 ~ 0.3绝对CER下降Aishell-1和Aishell-2数据集。
2021-04-16 cs.CL cs.SD eess.AS
Non-autoregressive Transformer with Unified Bidirectional Decoder for Automatic Speech Recognition
University of Science and Technology Beijing（北京科技大学）；Key Laboratory of Knowledge Automation for Industrial Processes of Ministry of Education（教育部工业过程知识自动化重点实验室）；EEasy Technology Company Ltd.（易捷科技有限公司）
非自回归（NAR）Transformer模型在自动语音识别（ASR）中得到了广泛的研究，而NAR Transformer模型的一个重要部分就是使用因果掩码来限制标记依赖。然而，因果掩码是针对非并行自回归（AR）Transformer的从左到右解码过程而设计的，这对于并行NAR Transformer是不合适的，因为它忽略了从右到左的上下文。一些模型被提出来利用具有额外解码器的从右到左上下文，但是这些方法增加了模型复杂度。为了解决上述问题，我们提出了一种新的非自回归Transformer与统一的双向解码器（NAT-UBD），它可以同时利用从左到右和从右到左的上下文。然而，直接使用双向上下文会导致信息泄漏，这意味着解码器的输出会受到来自相同位置输入的字符信息的影响。为了避免信息泄漏，我们提出了一种新的注意力掩码和修改香草查询，键和值矩阵的NAT-UBD。实验结果表明，NAT-UBD可以实现5.0%/5.5%的字符出错率（CER）的Aishell 1开发/测试集，优于所有以前的NAR Transformer模型。此外，当在单步的中解码时，NAT-UBD可以比AR Transformer基线快49.8倍。
2021-09-14 cs.CL cs.SD eess.AS
Key-Value Means: Transformers with Expandable Block-Recurrent Compressed Memory
Featherless AI；Eleuther AI
KVM提出了一种新的块递归注意力机制，能够处理固定大小或增长状态，通过在强基线变压器中加入KVM注意力层，实现了线性复杂度的RNN，并在长上下文测试中表现出竞争力。
2026-08-04 cs.AI cs.CL cs.LG
Linguistic-Enhanced Transformer with CTC Embedding for Speech Recognition
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
最近出现的联合CTC-注意力模型在自动语音识别（ASR）中显示了显著的改进。这种改进很大程度上在于解码器对语言信息的建模。与声学编码器联合优化的解码器在训练期间以自回归方式从地面实况序列呈现语言模型。然而，解码器的训练语料仅限于语音翻译，这远远少于训练可接受的语言模型所需的语料。这导致解码器的鲁棒性差。为了缓解这个问题，我们提出了语言增强的Transformer，它在训练过程中将细化的CTC信息引入到解码器中，从而使解码器具有更强的鲁棒性。我们在AISHELL-1语音库上的实验表明，字符出错率（CER）相对降低了7%。我们还发现，在联合CTC-Attention ASR模型中，解码器对语言信息比声学信息更敏感。
2022-10-25 cs.CL cs.SD eess.AS
A Dual-Decoder Conformer for Multilingual Speech Recognition
Freshworks Inc.（Freshworks公司）
基于转换器的模型最近在序列到序列的应用中变得非常流行，例如机器翻译和语音识别。这项工作提出了一个双解码器Transformer模型的低资源多语种语音识别的印度语言。我们提出的模型包括一个Conformer [1]编码器，两个并行的Transformer解码器和一个语言分类器。我们使用音素解码器（PHN-DEC）的音素识别任务和一个字素解码器（GRP-DEC）预测字素序列以及语言信息。我们认为音素识别和语言识别作为辅助任务的多任务学习框架。我们通过联合CTC-Attention [2]训练联合优化了音素识别，字形识别和语言识别任务的网络。我们的实验表明，我们可以获得一个显着减少WER的基线方法。我们还表明，我们的双解码器的方法比单解码器的方法获得显着的改善。
2021-08-22 cs.CL cs.SD eess.AS
Distillation of encoder-decoder transformers for sequence labelling
Bloomberg（彭博）；University of Houston（休斯顿大学）
在一系列令人鼓舞的任务成果的推动下，NLP领域正在经历一场加速的竞赛，以开发更大的语言模型。这种对更大模型的竞争也强调了继续追求实用的蒸馏方法的必要性，这些方法可以以计算效率高的方式利用这些大模型获得的知识。考虑到这一目标，我们在最近的工作基础上提出了一个无幻觉的序列标记框架，特别适合于蒸馏。我们展示了跨多个序列标签数据集的最新性能的实证结果，并验证了该框架在少样本学习场景中提取大型模型的有用性。
2023-02-10 cs.CL cs.IR
On The Adaptation of Unlimiformer for Decoder-Only Transformers
Microsoft（微软）
本文研究将Unlimiformer向量检索增强方法适配到仅解码器Transformer，通过一系列修改克服其不兼容问题，并在摘要生成、自由形式问答和指令微调模型上验证了有效性。
2024-10-02 cs.CL cs.LG
ODE-Based Transformer Decoders for Iterative Sign Language Translation
ASELSAN（阿塞尔桑（土耳其国防工业公司））；Hacettepe University（哈杰泰佩大学）
该研究将受常微分方程启发的高阶数值积分格式应用于迭代手语翻译，提出参数高效的解码器，在不增参数下提升性能，在两个基准上优于IPSLT基线。
2026-08-13 cs.CL cs.LG
Parallel Decoder Transformer: Planner-Conditioned Latent Coordination for Model-Intrinsic Parallel Generation
Independent Researcher（独立研究者）
并行解码器Transformer通过规划引导的潜在协调机制，实现模型内部的同步并行解码，提升多任务生成效率。
2026-07-21 cs.AI cs.CL
Open-Domain Dialogue Generation Based on Pre-trained Language Models
DIRO, Université de Montréal（蒙特利尔大学DIRO）
预训练的语言模型已成功地用于开放域对话的响应生成。本文提出了四种主要框架：（1）分别对源语句和目标语句使用Transformer编码器和解码器的Transformer-ED;（2）对源语句和目标语句使用Transformer解码器的Transformer-Dec;（3）使用Transformer解码器的Transformer-MLM，该解码器在源侧应用双向注意力，在目标侧应用从左到右的注意力，并具有掩蔽的语言模型目标;以及（4）使用自回归目标代替的变换器-AR。在这项研究中，我们在3个数据集上比较了这些框架，我们的比较表明，最好的框架在源端使用双向注意力，并且不分离编码器和解码器。我们还研究了模型的差异，我们的实验证实了模型的性能直接受到潜在差异的影响。然后，我们提出了两种校正方法，以减少差异，都提高了模型的性能。这些结果表明，当我们使用预训练模型时，差异是需要考虑的一个重要因素，减少差异可以提高性能。
2020-10-24 cs.AI cs.CL
Auto Completion of User Interface Layout Design Using Transformer-Based Tree Decoders
Google Research（谷歌研究院）
它已在该领域越来越感兴趣的是开发自动机械，以促进设计过程。在本文中，我们专注于辅助图形用户界面（UI）布局设计，在应用程序开发的一个重要任务。给定设计师输入的部分布局，我们的模型通过预测具有正确位置和维度以及层次结构的剩余UI元素来学习完成布局。这种自动化将大大减轻UI设计师和开发人员的工作。虽然我们专注于界面布局预测，我们的模型可以普遍适用于其他布局预测问题，涉及树结构和二维布局。特别地，我们设计了两个版本的基于transformer的树解码器：指针和递归Transformer，并在公共数据集上实验这些模型。我们还提出了几个指标，用于测量树预测的准确性和地面这些指标在领域的用户体验。这为深度学习的研究提供了新的课题和方法。
2020-01-14 cs.CL cs.HC cs.LG
ARC-Encoder: learning compressed text representations for large language models
Kyutai
ARC-Encoder是可将文本压缩为原词元数1/4或1/8的编码器，适配多类LLM解码器，在提升推理效率的同时保持最优性能，为大语言模型提供灵活高效的上下文压缩方案。
2026-07-30 cs.AI cs.CL
Transformer with Bidirectional Decoder for Speech Recognition
Tsinghua University（清华大学）；ShanghaiTech University（上海科技大学）；Tsingmicro Intelligent Technology Co., Limited（清微智能科技有限公司）；Beijing National Research Center For Information Science And Technology（北京国家信息科学与技术研究中心）
近年来，基于注意力的模型在端到端的自动语音识别（ASR）中取得了巨大的进展。然而，传统的基于转换器的方法通常从左到右逐个令牌地生成序列结果，使得从右到左的上下文未被利用。在这项工作中，我们引入了一个双向的语音Transformer，同时利用不同的方向上下文。具体来说，我们提出的Transformer的输出包括从左到右的目标和从右到左的目标。在推理阶段，我们使用了双向波束搜索方法，它不仅可以产生从左到右的候选，也可以产生从右到左的候选，并通过得分来确定最佳假设。为了证明我们提出的语音Transformer与双向解码器（STBD），我们进行了广泛的实验AISHELL-1数据集。实验结果表明，在单向语音Transformer基线上，STBD实现了3.6%的相对CER降低（CERR）。此外，本文提出的最强模型STBD-Big在测试集上可以达到6.64%的CER，无需语言模型重评分和任何额外的数据扩充策略。
2020-08-11 cs.CL cs.LG cs.SD
Lipschitz Constrained Parameter Initialization for Deep Transformers
Saarland University（萨尔兰大学）；German Research Center for Artificial Intelligence（德国人工智能研究中心）；China Mobile Online Services（中移在线服务有限公司）；Tianjin University（天津大学）
Transformer翻译模型采用残余连接和层归一化来缓解其多层编解码器结构所带来的优化困难。先前的研究表明，即使使用剩余连接和层归一化，深度Transformers仍然难以训练，特别是具有超过12个编码器/解码器层的Transformer模型无法收敛。在本文中，我们首先通过经验证明，在官方实现中进行简单的修改，改变残余连接和层归一化的计算顺序，可以显着简化深度Transformers的优化。然后，我们比较了计算顺序的细微差异，在相当详细的，并提出了一个参数初始化方法，利用Lipschitz约束的初始化Transformer参数，有效地确保训练收敛。与以前的研究结果相比，我们进一步证明了Lipschitz参数初始化，原始计算顺序的深度Transformers可以收敛，并在多达24层的情况下获得显着的BLEU改进。与之前专注于深度编码器的研究相比，我们的方法还使Transformers也能够从深度解码器中受益。
2020-05-05 cs.CL eess.AS
ENTP: Encoder-only Next Token Prediction
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Korea University（高丽大学）
本文提出仅编码器下一词元预测（ENTP），通过理论分析与实验证明其在表达能力和多项任务上优于仅解码器 Transformer。
2025-02-04 cs.CL cs.LG
A2SF: Accumulative Attention Scoring with Forgetting Factor for Token Pruning in Transformer Decoder
Sungkyunkwan University（成均馆大学）
本文提出带遗忘因子的累积注意力评分方法A2SF，解决Transformer解码器中因掩码导致令牌注意力累积次数不同而比较不公平的问题，从而更有效地进行KV缓存令牌剪枝，并在LLaMA 2上实现最高7.8%的准确率提升。
2024-07-31 cs.CL cs.LG
Ultra Memory-Efficient On-FPGA Training of Transformers via Tensor-Compressed Optimization
Department of Electrical and Computer Engineering, University of California, Santa Barbara（加州大学圣芭芭拉分校电子与计算机工程系）；Intel Corporation（英特尔公司）；Department of Computer Science, North Carolina State University（北卡罗来纳州立大学计算机科学系）；School of Electrical and Computer Engineering, Georgia Institute of Technology（佐治亚理工学院电气与计算机工程学院）
针对边缘设备Transformer训练的内存瓶颈，提出基于张量压缩的FPGA加速器，通过双向收缩流和片上内存实现端到端训练，内存减少30-51倍，能耗降低3.6倍。
2025-08-06 cs.AR cs.CL cs.LG
StableMask: Refining Causal Masking in Decoder-only Transformer
Zhejiang University（浙江大学）；Peking University（北京大学）；Tencent AI Lab（腾讯AI实验室）；Eastern Institute of Technology（东方理工大学）
针对解码器专用Transformer中因果掩码的局限，提出无参数方法StableMask，通过伪注意力值和递减掩码比率平衡注意力并编码绝对位置，提升71M至1.4B参数模型性能，支持高效外推与集成。
2024-02-07 cs.AI cs.CL
Dynamic layer selection in decoder-only transformers
McGill University（麦吉尔大学）；Amazon Science（亚马逊科学）；Mila Québec AI Institute（魁北克米拉人工智能研究所）
本文比较仅解码器大模型的跳层与提前退出动态推理，发现跳层更鲁棒，并通过 oracle 控制器证明逐序列层选择平均仅用 23.3% 的层即可保持完整模型性能。
2024-10-26 cs.CL cs.LG
Loss Masking Is Not Needed in Decoder-only Transformer for Discrete-token-based ASR
Alibaba Group（阿里巴巴集团）
针对解码器专用Transformer在离散词元ASR中依赖损失掩蔽的问题，提出平滑标签蒸馏（SLD）方法，以自回归方式建模语音词元，实验证明SLD优于损失掩蔽。
2024-02-05 cs.CL cs.SD eess.AS
Multilingual Speech Recognition for Low-Resource Indian Languages using Multi-Task conformer
Freshworks Inc.（Freshworks公司）
Transformers最近在序列到序列的应用中变得非常流行，例如机器翻译和语音识别。在这项工作中，我们提出了一个基于多任务学习的Transformer模型，用于印度语言的低资源多语言语音识别。我们提出的模型包括一个conformer [1]编码器和两个并行的Transformer解码器。我们使用音素解码器（PHN-DEC）的音素识别任务和字素解码器（GRP-DEC）预测字素序列。我们认为音素识别任务作为我们的多任务学习框架的辅助任务。我们使用联合CTC-Attention [2]训练来联合优化音素和字形识别任务的网络。我们使用一个条件解码方案，在预测字素序列之前将语言信息注入模型。我们的实验表明，我们提出的方法可以获得显着的改善比以前的方法[4]。我们还表明，我们的符合者为基础的双解码器的方法优于基于变换的双解码器的方法和单解码器的方法。最后，我们比较了单语ASR模型与我们提出的多语言ASR方法。
2021-09-10 cs.CL cs.SD eess.AS
Towards Online End-to-end Transformer Automatic Speech Recognition
Sony Corporation（索尼公司）；Johns Hopkins University（约翰斯·霍普金斯大学）
Transformer自注意网络最近显示出作为端到端（E2 E）自动语音识别（ASR）系统中的递归神经网络的替代方案的有前途的性能。然而，Transformer有一个缺点，即需要整个输入序列来计算自注意力。我们提出了一个块处理方法的Transformer编码器通过引入上下文感知的继承机制。从先前处理的块移交的附加上下文嵌入向量不仅有助于对局部声学信息进行编码，还有助于对全局语言、通道和扬声器属性进行编码。在本文中，我们将其扩展到一个完整的在线E2 E ASR系统，通过引入一个在线解码过程的启发单调块注意（MoChA）到Transformer解码器。我们的新型MoChA训练和推理算法利用了Transformer的独特属性，其注意力并不总是单调或峰值的，并且具有解码器层的多个头和剩余连接。华尔街日报（WSJ）和AISHELL-1的评估表明，我们提出的在线Transformer解码器优于传统的分块方法。
2019-10-25 cs.CL cs.SD eess.AS
Fretting-Transformer: Encoder-Decoder Model for MIDI to Tablature Transcription
针对吉他MIDI记谱缺少可演奏性信息的问题，研究提出采用T5架构的Fretting-Transformer编码器-解码器模型，将MIDI转六线谱任务转化为符号翻译问题，结合多数据集与新预处理策略，性能优于基线方法与商业软件，为自动吉他转录奠定基础。
2025-06-17 cs.CL cs.MM cs.SD
