Describing Multimedia Content using Attention-based Encoder--Decoder Networks
Université de Montréal（蒙特利尔大学）
虽然深度神经网络最初主要用于分类任务，但它们正在结构化输出问题领域中迅速扩展，其中观察到的目标由多个随机变量组成，这些变量具有丰富的联合分布，给定输入。我们在本文中的重点是输入也有一个丰富的结构和输入和输出的结构是某种程度上相关的情况下。我们描述的系统，学习参加不同的地方在输入，为每个元素的输出，为各种任务：机器翻译，图像字幕生成，视频剪辑描述和语音识别。所有这些系统都基于一组共享的构建模块：门控递归神经网络和卷积神经网络，以及经过训练的注意力机制。我们报告这些系统的实验结果，表现出令人印象深刻的良好性能和优势的注意力机制。
2015-07-04 cs.CL cs.CV cs.LG
Asynchronous Bidirectional Decoding for Neural Machine Translation
Xiamen University（厦门大学）；Tsinghua University（清华大学）
主导神经机器翻译（NMT）模型采用统一的注意力编码器-解码器神经网络进行翻译。传统上，NMT解码器采用递归神经网络（RNN）以左-右方式执行翻译，使得从右到左生成的目标侧上下文在翻译期间未被利用。在本文中，我们配备了传统的注意力编码器-解码器NMT框架与反向解码器，以探索双向解码NMT。注意由编码器产生的隐藏状态序列，我们的反向解码器首先学习从右到左生成目标端隐藏状态序列。然后，前向解码器在前向方向上执行翻译，而在每个翻译预测时间步中，它同时应用两个注意力模型来分别考虑源侧和反向目标侧隐藏状态。通过这种新的架构，我们的模型能够充分利用源端和目标端的上下文，以提高翻译质量。在NIST中文-英文和WMT英文-德文翻译任务上的实验结果表明，与传统的NMT相比，我们的模型分别获得了3.14和1.38 BLEU点的显著改进。这个工作的源代码可以从https://github.com/DeepLearnXMU/ABDNMT获得。
2018-02-03 cs.CL
CMLFormer: A Dual Decoder Transformer with Switching Point Learning for Code-Mixed Language Modeling
Courant Institute of Mathematical Sciences（Courant数学科学研究所）；Tandon School of Engineering（Tandon工程学院）
针对语码混合语言的结构挑战，提出带共享编码器与同步交叉注意力的双解码器Transformer模型CMLFormer，结合多任务预训练捕捉切换特性，在HASOC-2021基准上性能优于现有方法，且对切换点具备识别敏感性。
2025-05-19 cs.CL cs.LG
Neural Syntactic Preordering for Controlled Paraphrase Generation
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
对自然语言句子进行释义是一个多方面的过程：它可能涉及替换单个单词或短语，局部重新排列内容，或高层次的重组，如主题化或被动化。过去的方法很难以一种可解释的方式来覆盖这个释义可能性的空间。我们的工作受到机器翻译中的预排序文献的启发，使用句法转换来柔和地“重新排序”源句子并指导我们的神经释义模型。首先，给定一个输入句子，我们使用编码器-解码器模型推导出一组可行的句法重排。该模型在句子的部分词汇，部分句法视图上操作，并且可以重新排序大块。接下来，我们使用每个建议的重排来产生一个位置嵌入序列，这鼓励我们最终的编码器-解码器释义模型以特定的顺序处理源单词。我们的评估，自动和人类，表明该系统保留了基线方法的质量，同时大大增加了所生成的释义的多样性
2020-05-05 cs.CL
Select and Attend: Towards Controllable Content Selection in Text Generation
Saarland University（萨尔兰大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Tohoku University（东北大学）；RIKEN AIP（理化学研究所AIP）；Tencent Inc（腾讯公司）
许多文本生成任务自然包含两个步骤：内容选择和表面实现。目前的神经编码器-解码器模型将这两个步骤合并到一个黑盒架构中。因此，文本中要描述的内容无法明确控制。本文通过将内容选择与解码器解耦来解决这个问题。解耦的内容选择是人类可解释的，其值可以手动操作以控制生成的文本的内容。该模型可以通过最大化边际似然的下限来进行端到端的训练，而无需人工注释。我们进一步提出了一种有效的方法来权衡性能和可控性与一个单一的可调超参数。在数据到文本和标题生成任务中，我们的模型都取得了令人满意的结果，为文本生成中的可控内容选择铺平了道路。
2019-09-10 cs.CL
Understanding Neural Machine Translation by Simplification: The Case of Encoder-free Models
Uppsala University（乌普萨拉大学）；University of Edinburgh（爱丁堡大学）；University of Zurich（苏黎世大学）
本文通过简化神经机器翻译（NMT）结构和训练无编码器的NMT模型来理解NMT。在无编码器模型中，词嵌入和位置嵌入的总和表示源。解码器是一个标准的Transformer或递归神经网络，通过注意力机制直接处理嵌入。实验结果表明：（1）无编码器模型中的注意力机制是一个强的特征提取器;（2）无编码器模型中的词嵌入与传统模型中的词嵌入相比具有竞争力;（3）非语境化的源表示导致性能大幅下降;（4）无编码器模型对德英和汉英对齐质量的影响不同。
2019-07-18 cs.CL
Look Backward and Forward: Self-Knowledge Distillation with Bidirectional Decoder for Neural Machine Translation
Qiyi（爱奇艺）
神经机器翻译（NMT）模型通常通过单向解码器进行训练，这对应于优化一步预测。然而，这种单向解码框架可能倾向于关注局部结构而不是全局连贯性。为了解决这个问题，我们提出了一种新的方法，自知识蒸馏与双向解码器的神经机器翻译（SBD-NMT）。我们部署了一个后向解码器，它可以作为一个有效的正则化方法的前向解码器。通过利用后向解码器关于长期未来的信息，提取在后向解码器中学习的知识可以鼓励自回归NMT模型提前计划。实验表明，在多个机器翻译数据集上，我们的方法明显优于强Transformer基线。
2022-03-11 cs.CL
Listen, Attend and Spell
Carnegie Mellon University（卡内基梅隆大学）；Google Brain（谷歌大脑）
我们提出了听，注意和拼写（LAS），一个神经网络，学习转录语音话语的字符。与传统的DNN-HMM模型不同，该模型联合学习语音识别器的所有组件。我们的系统有两个组件：一个监听器和一个拼写器。监听器是一个金字塔递归网络编码器，接受滤波器组频谱作为输入。拼写器是一个基于注意力的循环网络解码器，它发出字符作为输出。该网络产生字符序列，而不对字符之间的独立性做出任何假设。这是LAS相对于以前的端到端CTC模型的关键改进。在Google语音搜索任务的一个子集上，LAS在没有词典或语言模型的情况下实现了14.1%的单词出错率（WER），在语言模型重新评分超过前32个波束的情况下实现了10.3%的单词错误率。相比之下，最先进的CLDNN-HMM模型实现了8.0%的WER。
2015-08-20 cs.CL cs.LG cs.NE
Learning When to Concentrate or Divert Attention: Self-Adaptive Attention Temperature for Neural Machine Translation
Peking University（北京大学）
大多数神经机器翻译（NMT）模型都是基于序列到序列（Seq 2Seq）模型，其编码器-解码器框架配备有注意力机制。然而，传统的注意力机制利用相同的矩阵同等地对待每个时间步长处的解码，这是有问题的，因为对于不同类型的词（例如，内容词和功能词）的注意力的柔和度应该不同。因此，我们提出了一个新的模型，称为自适应控制温度（SACT）的机制，以控制注意力的柔软度的注意力温度。在汉英翻译和英越翻译上的实验结果表明，该模型的性能优于基准模型，分析和案例研究表明，该模型能够关注源端语境中最相关的元素，生成高质量的译文。
2018-08-26 cs.AI cs.CL
Listen, Attend, and Walk: Neural Mapping of Navigational Instructions to Action Sequences
Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）
我们提出了一个神经序列到序列模型的方向以下，一项任务，是必不可少的实现有效的自主智能体。我们的基于记忆的编码器-解码器模型与长短期记忆递归神经网络（LSTM-RNN）将自然语言指令转换为动作序列的基础上，可观察的世界状态的表示。我们引入了一个多层次的对齐器，使我们的模型专注于句子“区域”突出的当前世界状态，通过使用多个抽象的输入句子。与现有方法相比，我们的模型不使用专门的语言资源（例如，解析器）或任务专用注释（例如，种子词典）。因此，它是可推广的，但仍然达到了迄今为止在基准单句数据集上报告的最佳结果，以及有限训练多句设置的竞争结果。我们分析我们的模型，通过一系列的烧蚀，阐明我们的模型的主要组成部分的贡献。
2015-12-17 cs.AI cs.CL cs.LG
Dual-decoder Transformer for Joint Automatic Speech Recognition and Multilingual Speech Translation
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Facebook AI（Facebook人工智能研究院）
我们介绍了双解码器Transformer，一个新的模型架构，共同执行自动语音识别（ASR）和多语言语音翻译（ST）。我们的模型基于原始的Transformer架构（Vaswani等人，2017），但由两个解码器组成，每个解码器负责一个任务（ASR或ST）。我们的主要贡献在于这些解码器是如何相互作用的：一个解码器可以通过双重注意力机制来关注不同的信息源。我们提出了两个变种，这些架构对应于两个不同级别的解码器之间的依赖关系，称为并行和交叉双解码器Transformers，分别。在MuST-C数据集上进行的大量实验表明，我们的模型在多语言环境中的翻译性能优于先前报道的最高翻译性能，并且优于双语一对一的结果。此外，我们的并行模型表明没有权衡ASR和ST相比，香草多任务架构。我们的代码和预培训模型可在https://github.com/formiel/speech-translation上获得。
2020-11-02 cs.CL cs.SD eess.AS
Template Controllable keywords-to-text Generation
Apple Inc.（苹果公司）；IBM Research（IBM研究院）
本文提出了一种新的神经模型，用于从关键字生成文本的未充分研究的任务。该模型将一组无序关键字和基于词性（POS）的模板指令作为输入。这使其成为任何NLG设置中曲面实现的理想选择。该框架是基于编码-参加-解码范式，其中关键字和模板被编码的第一，和解码器明智地出席了从编码的关键字和模板产生的上下文，以生成句子。训练利用了弱监督，因为模型使用通过完全自动化的方式准备的关键字和基于POS的模板对大量标记数据进行训练。在各个领域的公开测试数据的定性和定量性能分析揭示了我们的系统的优势，超过基线，使用最先进的神经机器翻译和可控传输技术。我们的方法与输入关键字的顺序无关。
2020-11-07 cs.AI cs.CL cs.LG
Learning to Attend, Copy, and Generate for Session-Based Query Suggestion
University of Amsterdam（阿姆斯特丹大学）；Google Research（谷歌研究院）
在搜索过程中，用户试图通过重新表达他们的查询来表达他们复杂的信息需求。为了使这个过程更有效，搜索引擎提供相关查询，以帮助用户在指定的信息需要在他们的搜索过程。在本文中，我们提出了一个定制的基于会话的查询建议的序列到序列模型。在我们的模型中，我们采用了一个查询感知的注意力机制来捕获会话上下文的结构。它使我们能够控制会话的范围，从中我们推断出建议的下一个查询，这不仅有助于处理噪声数据，还有助于自动检测会话边界。此外，我们观察到，基于用户查询重构行为，在单个会话中，保留了来自先前提交的查询的大部分查询词，并且由通常不包括在词汇表中的大多不常见或看不见的词组成。因此，我们授权我们的模型的解码器在解码过程中通过引入复制机制来访问会话上下文中的源单词。此外，我们提出了评估指标，以评估质量的生成模型的查询建议。我们进行了大量的实验和分析。结果表明，我们的模型在生成查询和为查询建议任务的候选查询评分方面都优于基线。
2017-11-13 cs.AI cs.CL cs.IR
Transformer-Based Neural Text Generation with Syntactic Guidance
Georgia Institute of Technology（佐治亚理工学院）
我们研究的问题，使用（部分）选区解析树的句法指导控制文本生成。现有的方法使用递归结构，这不仅遭受长期依赖问题，而且在建模的语法指导的树结构的不足。我们建议利用Transformer的并行性来更好地结合解析树。我们的方法首先扩展一个部分模板选区解析树到一个完整的解析树为输入源文本量身定制，然后使用扩展的树来指导文本生成。在这个过程中，我们的模型的有效性取决于两个新的注意力机制：1）路径注意力机制，迫使一个节点只关注位于语法树中的路径中的其他节点，以更好地结合语法指导; 2）多编码器注意力机制，允许解码器动态地关注来自多个编码器的信息。我们在受控释义任务中的实验表明，我们的方法在语义和语法上都优于SOTA模型，将最佳基线的BLEU分数从11.83提高到26.27。
2020-10-05 cs.CL
Parallel Decoder Transformer: Planner-Conditioned Latent Coordination for Model-Intrinsic Parallel Generation
Independent Researcher（独立研究者）
并行解码器Transformer通过规划引导的潜在协调机制，实现模型内部的同步并行解码，提升多任务生成效率。
2026-07-21 cs.AI cs.CL
The Plan, Not the Decoder: Diagnosing and Repairing Compositional Failure in Reasoning-Augmented Text-to-Image Generation
Carnegie Mellon University（卡内基梅隆大学）
该研究针对推理增强型文本到图像生成的组合式失败，发现问题源于规划器而非解码器，通过编辑计划（如重写几何结构）可显著提升生成质量，还发布了相关评估协议及数据。
2026-08-25 cs.CL cs.CV cs.LG
Low-Latency Sequence-to-Sequence Speech Recognition and Translation by Partial Hypothesis Selection
Maastricht University（马斯特里赫特大学）
编码器-解码器模型为诸如语音识别和翻译之类的序列到序列任务提供通用架构。虽然离线系统通常根据字出错率（WER）和BLEU等质量指标进行评估，但在许多实际用例中，延迟也是一个关键因素。我们提出了三个延迟减少技术基于块的增量推理和评估其效率的准确性延迟权衡。在300小时的How2数据集上，我们通过牺牲1%的WER（6%的可靠性）将延迟减少了83%，达到0.8秒。与离线转录相比。虽然我们的实验使用了Transformer，但假设选择策略适用于其他编码器-解码器模型。为了避免昂贵的重新计算，我们使用单向参与编码器。在对部分序列的适应过程之后，单向模型与原始模型表现一致。我们进一步表明，我们的方法也适用于低延迟语音翻译。在How2英语-葡萄牙语语音翻译上，我们将延迟减少到0.7秒（-84% rel）。同时损失了2.4个BLEU点（5%相对值）。与离线系统相比。
2020-10-13 cs.CL cs.SD eess.AS
Investigating Linguistic Pattern Ordering in Hierarchical Natural Language Generation
National Taiwan University（国立台湾大学）
自然语言生成是口语对话系统中的一个重要组成部分，它可以分为两个阶段：（1）句子规划：确定句子的整体结构;（2）表层实现：确定特定的词形并将句子结构扁平化为一个字符串。随着深度学习的兴起，大多数现代NLG模型都基于序列到序列（seq 2seq）模型，该模型基本上包含编码器-解码器结构;这些NLG模型通过联合优化句子规划和表面实现从头开始生成句子。然而，这种简单的编码器-解码器架构通常无法生成复杂的长句，因为解码器很难很好地学习所有的语法和措辞知识。本文介绍了一个NLG模型与层次的注意力解码器，其中的层次结构侧重于利用语言知识在一个特定的顺序。实验结果表明，该方法以较小的模型规模显著优于传统的seq 2seq模型，且分层注意力解码器的设计可应用于各种NLG系统。此外，基于语言模式的不同生成策略进行了调查和分析，以指导未来的NLG研究工作。
2018-09-19 cs.CL
Neural-based Natural Language Generation in Dialogue using RNN Encoder-Decoder with Semantic Aggregation
Japan Advanced Institute of Science and Technology（日本北陆先端科学技术大学院大学）；University of Information and Communication Technology（信息与通信技术大学）；Thai Nguyen University（太原大学）
自然语言生成是口语对话系统的重要组成部分。本文提出了一种称为编码器-聚合器-解码器的模型，它是基于递归神经网络的编码器-解码器架构的扩展。建议的语义聚合器由两个组件组成：一个对齐器和一个精炼器。Aligner是在编码的输入信息上计算的常规注意力，而Refiner是堆叠在注意力Aligner上的另一个注意力或门控机制，以便进一步选择和聚合语义元素。所提出的模型可以联合训练两个句子规划和表面实现产生自然语言的话语。在四个不同的NLG域上对该模型进行了广泛的评估，实验结果表明，所提出的生成器在所有NLG域上的性能始终优于以前的方法。
2017-07-11 cs.CL cs.LG
