DecoderLens: Layerwise Interpretation of Encoder-Decoder Transformers
University of Amsterdam（阿姆斯特丹大学）；Tilburg University（蒂尔堡大学）；University of Groningen（格罗宁根大学）
本文提出 DecoderLens，通过让解码器交叉注意编码器中间层表示，逐层分析编码器-解码器 Transformer，并在多任务模型中揭示低层和中间层完成的子任务。
2024-04-03 cs.CL
Describing Multimedia Content using Attention-based Encoder--Decoder Networks
Université de Montréal（蒙特利尔大学）
虽然深度神经网络最初主要用于分类任务，但它们正在结构化输出问题领域中迅速扩展，其中观察到的目标由多个随机变量组成，这些变量具有丰富的联合分布，给定输入。我们在本文中的重点是输入也有一个丰富的结构和输入和输出的结构是某种程度上相关的情况下。我们描述的系统，学习参加不同的地方在输入，为每个元素的输出，为各种任务：机器翻译，图像字幕生成，视频剪辑描述和语音识别。所有这些系统都基于一组共享的构建模块：门控递归神经网络和卷积神经网络，以及经过训练的注意力机制。我们报告这些系统的实验结果，表现出令人印象深刻的良好性能和优势的注意力机制。
2015-07-04 cs.CL cs.CV cs.LG
Controlling Output Length in Neural Encoder-Decoders
Tokyo Institute of Technology（东京工业大学）；Carnegie Mellon University（卡内基梅隆大学）
神经编码器-解码器模型在许多序列生成任务中表现出巨大的成功。然而，以前的工作没有调查的情况下，我们想控制编码器-解码器输出的长度。这种能力对于文本摘要等应用程序至关重要，在这些应用程序中，我们必须生成具有所需长度的简明摘要。在本文中，我们提出了控制神经编码器-解码器模型的输出序列长度的方法：两种基于解码的方法和两种基于学习的方法。结果表明，我们基于学习的方法有能力控制长度，而不会降低摘要质量的摘要任务。
2016-09-30 cs.CL
Calibration of Encoder Decoder Models for Neural Machine Translation
University of California Berkeley（加州大学伯克利分校）；Indian Institute of Technology Bombay（印度理工学院孟买分校）
我们研究了几个国家的最先进的神经机器翻译（NMT）系统的基于注意力的编码器-解码器模型的校准。对于像NMT中的结构化输出，校准不仅对于预测的可靠置信度很重要，而且对于波束搜索推理的正确功能也很重要。我们发现，大多数现代NMT模型是令人惊讶的错误校准，即使在真正的以前的令牌的条件。我们的调查导致两个主要原因-EOS（序列结束标记）的严重误校准和抑制的注意不确定性。我们根据这些信号设计了重新校准方法，并证明了更高的准确性，更好的序列级校准，以及更直观的波束搜索结果。
2019-03-03 cs.CL cs.LG stat.ML
Output-Space Search: Targeting LLM Generations in a Frozen Encoder-Defined Output Space
OS-Search通过在冻结编码器定义的输出空间中进行端点搜索，提升LLM生成的多样性和代码有效性。
2026-01-29 cs.AI cs.CL
Bidirectional Attentional Encoder-Decoder Model and Bidirectional Beam Search for Abstractive Summarization
Central South University（中南大学）
具有RNN变体的序列生成模型，如LSTM，GRU，在抽象文档摘要方面表现出良好的性能。然而，它们仍然有一些问题限制了它们的性能，特别是在处理长序列时。其中一个问题是，据我们所知，所有当前模型都采用单向解码器，该解码器仅对过去进行推理，并且在给出预测的同时仍然限于保留未来上下文。这使得这些模型通过产生不平衡的输出而受到影响。此外，单向注意力为基础的文档摘要只能捕捉到部分方面的注意力，由于继承的挑战，在文档摘要。为此，我们提出了一个端到端可训练的双向RNN模型来解决上述问题。该模型具有双向编码器-解码器架构，其中编码器和解码器是双向LSTM。前向解码器用后向编码器的最后隐藏状态初始化，而后向解码器用前向编码器的最后隐藏状态初始化。此外，本文还提出了一种双向束搜索机制作为从双向模型中生成输出摘要的近似推理算法。这使得模型能够对过去和未来进行推理，并最终产生平衡的输出。在CNN / Daily Mail数据集上的实验结果表明，该模型的性能明显优于现有的抽象模型.
2018-09-18 cs.CL
Learning to Encode Text as Human-Readable Summaries using Generative Adversarial Networks
National Taiwan University（国立台湾大学）
自动编码器将输入数据压缩成潜在空间表示，并从该表示重建原始数据。这种潜在的表征不容易被人类解释。在本文中，我们提出了训练一个自动编码器，将输入文本编码成人类可读的句子，从而实现不成对的抽象摘要。自动编码器由发生器和重建器组成。生成器将输入文本编码为较短的单词序列，重建器从生成器输出中恢复生成器输入。为了使生成器输出人类可读的内容，一个JavaScript将生成器的输出限制为类似于人类书写的句子。通过将生成器的输出作为输入文本的摘要，实现了不需要文档摘要对作为训练数据的抽象摘要。在英汉两种语料库上都取得了令人满意的结果。
2018-10-05 cs.CL
Extreme Encoder Output Frame Rate Reduction: Improving Computational Latencies of Large End-to-End Models
Google LLC（谷歌有限责任公司）
本文研究在端到端ASR编码器中应用多个漏斗降低层以大幅压缩输出帧率，在不显著影响词错误率的同时显著降低编码器和解码器延迟。
2024-02-27 cs.CL cs.SD eess.AS
Efficient Encoder-Decoder Transformer Decoding for Decomposable Tasks
University of Washington（华盛顿大学）；Microsoft Research（微软研究院）；Allen Institute for AI（艾伦人工智能研究所）
本文提出一种名为 PiD 的编码器-解码器模型新配置，通过一次编码输入并并行解码多个输出，显著提升了可分解任务的训练与推理效率，在多项任务中实现高达4.6倍加速且性能相当或更优。
2024-11-16 cs.CL
Single-Model Encoder-Decoder with Explicit Morphological Representation for Reinflection
Center for Information & Language Processing（信息与语言处理中心）；LMU Munich（慕尼黑大学）
形态再反射是在给定源表单、源标签和目标标签的情况下生成目标表单的任务。我们提出了一种新的方法来模拟这个任务的神经编码器-解码器模型。我们的方法减少了这种架构所需的训练数据的量，并实现了最先进的结果，使编码器-解码器模型适用于形态反射，即使是低资源的语言。在此基础上，提出了一种基于编辑树的输出自动校正方法。
2016-06-02 cs.CL
Positional Encoding to Control Output Sequence Length
Tokyo Institute of Technology（东京工业大学）
神经编码器-解码器模型在自然语言生成任务中已经取得了成功。然而，抽象摘要的实际应用必须考虑生成的摘要不应超过期望长度的附加约束。在本文中，我们提出了正弦位置编码的简单但有效的扩展（Vaswani等人，2017），以使神经编码器-解码器模型能够保留长度约束。与以前的研究不同，在以前的研究中，学习嵌入表示每个长度，所提出的方法可以生成任何长度的文本，即使目标长度不存在于训练数据中。实验结果表明，该方法不仅可以控制生成长度，而且提高了ROUGE分数。
2019-04-16 cs.CL
Probing Omissions and Distortions in Transformer-based RDF-to-Text Models
CNRS（法国国家科学研究中心）；LORIA（洛里亚实验室）；Université de Lorraine（洛林大学）；Utrecht University（乌得勒支大学）
针对NLG中信息遗漏问题，本文提出两种探测方法分析BART和T5编码器输出，发现编码器对遗漏和失真实体信号较弱导致信息丢失，证明探测法可检测模型输出错误。
2024-09-25 cs.CL
Multi-task Learning is Not Enough: Representational Entanglement in Dual-output Second Language Speech Recognition
KAIST（韩国科学技术院）
针对双输出第二语言语音识别，研究发现多任务学习导致表面转录性能下降，归因于编码器级别的表示纠缠，尤其在英语中随表面-意义差异增大而加剧。
2026-07-14 cs.CL cs.SD eess.AS
Encoder-decoder with Focus-mechanism for Sequence Labelling Based Spoken Language Understanding
Shanghai Jiao Tong University（上海交通大学）
本文研究了基于序列标记的口语语言理解的编码器-解码器框架。我们引入双向长短期记忆-长短期记忆网络（BLSTM-LSTM）作为编码器-解码器模型，以充分利用深度学习的力量。在序列标记任务中，输入和输出序列是逐字对齐的，而注意力机制不能提供精确的对齐。为了解决这个问题，我们提出了一种新的编码器-解码器框架的焦点机制。在标准ATIS数据集上的实验表明，具有焦点机制的BLSTM-LSTM通过优于标准BLSTM和基于注意力的编码器-解码器来定义新的最新技术水平。进一步的实验也表明，该模型对语音识别错误具有更好的鲁棒性。
2017-03-13 cs.CL
An FNet based Auto Encoder for Long Sequence News Story Generation
University of Texas at Austin（德克萨斯大学奥斯汀分校）；California State University Fullerton（加州州立大学富勒顿分校）
在本文中，我们设计了一个基于Google的FNet架构的自动编码器，以便从Google的C4数据集中包含的新闻故事子集中生成文本。我们讨论以前的尝试和方法，从自动编码器和非LLM模型生成文本。FNET在效率方面比基于BERT的编码器具有多个优势，在GPU上的训练速度快80%，在TPU上快70%。然后，我们比较这个autencoder如何在不同的时期perfroms的输出。最后，我们分析了编码器使用不同种子文本产生的输出。
2022-11-17 cs.AI cs.CL cs.LG
Incremental Processing in the Age of Non-Incremental Encoders: An Empirical Assessment of Bidirectional Models for Incremental NLU
University of Potsdam（波茨坦大学）；Department of Linguistics（语言学系）
本文实证评估了双向LSTM和Transformer在增量自然语言理解任务中的表现，发现双向编码器可在增量模式下保留大部分非增量质量，并提出截断训练、延迟输出和引入GPT-2生成的假设性右侧上下文等方法来缓解BERT等全向模型在增量访问下的性能下降。
2024-03-28 cs.CL
Semantic Parsing: Syntactic assurance to target sentence using LSTM Encoder CFG-Decoder
University of Sao Paulo - USP（圣保罗大学）；Institute of Mathematics and Statistics - IME（数学与统计学院）
语义解析可以定义为将自然语言句子映射成其含义的机器可解释的形式化表示的过程。使用LSTM编码器-解码器神经网络的语义解析已经成为很有前途的方法。然而，自然语言的人工自动翻译并不为生成的句子提供语法性保证，这样的保证对于实际情况是特别重要的，在实际情况中，如果句子不符合语法，则数据库查询可能导致要害差错。在这项工作中，我们提出了一个神经架构称为编码器CFG解码器，其输出符合给定的上下文无关文法。结果表明，任何实现这种架构显示其正确性，并提供基准精度水平优于文献。
2018-07-18 cs.CL
Discourse Embellishment Using a Deep Encoder-Decoder Network
Institute of Cognitive Science（认知科学研究所）；University of Osnabrück（奥斯纳布吕克大学）；Radboud University（拉德堡德大学）
我们提出了一个新的NLG任务的背景下，话语生成管道的计算讲故事系统。这一任务，文本修饰，是通过将文本作为输入，并生成语义上等同的输出，增加词汇和句法复杂性来定义的。理想情况下，这将允许计算说书人的作者实现轻量级的NLG系统，并使用独立于域的修饰模块将其输出转换为更具文学性的文本。我们使用在WikiLarge数据集上训练的LSTM编码器-解码器网络，在这项任务上展示了有希望的第一个结果。此外，我们介绍了“编译的计算机故事”，计算生成的故事语料库，可用于测试的能力，修饰算法。
2018-10-18 cs.CL cs.LG
AIpom at SemEval-2024 Task 8: Detecting AI-produced Outputs in M4
HSE University（高等经济大学）；CAIT；Applied AI Institute（应用人工智能研究所）；University of Oslo（奥斯陆大学）；Toloka AI（托洛卡人工智能公司）
AIpom 系统通过两阶段流水线结合指令微调解码器与编码器序列标注器，用于检测人机混合文本边界，在 SemEval-2024 任务 8 子任务 C 中取得第二名及 15.94 的平均绝对误差。
2024-03-28 cs.CL
Hyperdecoders: Instance-specific decoders for multi-task NLP
Allen Institute for AI（艾伦人工智能研究所）
我们研究了NLP中多任务的输入条件超网络，使用编码器输出条件的超网络为解码器生成参数有效的自适应。这种方法为每个输入实例产生一个唯一的解码器自适应，使网络比以前的工作更大程度的灵活性，每个任务只产生一个解码器自适应。我们将我们的方法应用于序列分类任务，提取QA和总结，并发现它超越了以前的参数高效微调方法，并经常优于完全微调的基础模型。对我们的超网络所使用的嵌入的分析表明，它们对输出标签和类型敏感，这表明我们的方法可以更好地从编码器表示映射到输出标签。我们的代码可在https://github.com/allenai/hyperdecoders上公开获取。
2022-10-18 cs.CL
CTRAN: CNN-Transformer-based Network for Natural Language Understanding
University of Kashan（卡尚大学）
提出CTRAN，一种用于意图检测和槽位填充的CNN-Transformer编码器-解码器架构，通过引入窗口特征序列和对齐Transformer解码器，在ATIS和SNIPS数据集上超越当前最优水平。
2023-03-19 cs.CL
Parallel Refinements for Lexically Constrained Text Generation with BART
The University of Hong Kong（香港大学）；Department of Electrical and Electronic Engineering（电子与电气工程系）
词汇约束文本生成的目的是通过将一些预先指定的关键字合并到输出中来控制生成的文本。以前的工作通过控制解码过程或迭代地细化候选输出来向输出中注入词汇约束，这往往会产生通用或不符合语法的句子，并且具有很高的计算复杂性。为了解决这些挑战，我们提出了约束BART（CBART）词汇约束的文本生成。CBART利用预训练模型BART，通过将该任务分解为两个子任务，将部分生成负担从解码器转移到编码器，从而提高句子质量。具体来说，我们通过在编码器上添加标记级分类器来扩展BART，旨在指导解码器在哪里替换和插入。在编码器的指导下，解码器通过在特定位置之前插入令牌并以低置信度重新预测令牌，在一个步骤中细化输入的多个令牌。为了进一步减少推理延迟，解码器并行预测所有令牌。在One-Billion-Word和Yelp上的实验结果表明，CBART能够生成高质量、多样性的可信文本，同时显著加快推理速度。
2021-09-26 cs.CL
A systematic comparison of grapheme-based vs. phoneme-based label units for encoder-decoder-attention models
RWTH Aachen University（亚琛工业大学）；AppTek GmbH（AppTek公司）
遵循端到端建模的基本原理，用于自动语音识别（ASR）的CTC、RNN-T或编码器-解码器-注意力模型使用基于例如字节对编码（BPE）的字素或基于字素的子字单元。从发音到拼写的映射完全是从数据中学习的。与此相反，ASR的经典方法采用音素列表形式的二级知识源来定义语音输出标签和发音词典。在这项工作中，我们做了一个系统的比较字素和音素为基础的输出标签的编码器-解码器-注意力ASR模型。我们调查使用单个音素以及基于BPE的音素组作为我们的模型的输出标签。为了保持一个简化和有效的解码器设计，我们还扩展了音素集的辅助单元，能够区分同音字。在Switchboard 300 h和LibriSpeech基准测试上进行的实验表明，基于音素的建模与基于图素的编码器-解码器-注意力建模相比具有竞争力。
2021-04-15 cs.CL cs.LG cs.NE
CoDERT: Distilling Encoder Representations with Co-learning for Transducer-based Speech Recognition
Alexa Machine Learning, Amazon.com（亚马逊Alexa机器学习部门）
我们提出了一种简单而有效的方法来压缩RNN-传感器（RNN-T）通过著名的知识蒸馏范例。我们表明，换能器的编码器输出自然有一个高熵，并包含丰富的信息声学相似的词片混淆。当与较低熵解码器输出组合以产生联合网络对数时，该丰富信息被抑制。因此，我们引入了一个辅助损失，从教师换能器的编码器中提取编码器的logits，并探索这种编码器蒸馏有效工作的训练策略。我们发现，教师和学生的编码器与就地编码器蒸馏串联训练优于使用预先训练和静态教师换能器。我们还报告了一个有趣的现象，我们称之为隐式蒸馏，当教师和学生编码器共享相同的解码器时发生。我们的实验表明，5.37-8.4%的相对字出错率减少（WERR）的内部测试集，和5.05-6.18%的相对WERR LibriSpeech测试集。
2021-06-14 cs.CL cs.LG eess.AS
Controllable Length Control Neural Encoder-Decoder via Reinforcement Learning
ShanghaiTech University（上海科技大学）；Chinese Academy of Science（中国科学院）
在神经语言生成中控制输出长度在许多情况下是有价值的，特别是对于具有长度约束的任务。一个具有较强长度控制能力的模型可以产生更具体长度的句子，但它通常会牺牲所生成句子的语义准确性。在这里，我们表示可控长度控制（CLC）的概念之间的权衡长度控制能力和语义准确性的语言生成模型。更具体地说，CLC是改变模型的长度控制能力，以生成相应质量的句子。这在实际应用中，当长度控制能力和输出质量要求具有不同的优先级时，或在模型训练期间克服长度控制的不稳定性时是有意义的。在本文中，我们提出了两个强化学习（RL）的方法来调整长度控制模型的长度控制能力和语义准确性之间的权衡。结果表明，我们的RL方法提高了在广泛的目标长度的分数，并实现了CLC的目标。此外，两个模型LenMC和LenLInit修改以前的长度控制模型，提出了获得更好的性能摘要任务，同时仍然保持控制长度的能力。
2019-09-17 cs.CL
Deepening Hidden Representations from Pre-trained Language Models
SJTU-ParisTech Elite Institute of Technology, Shanghai Jiao Tong University（上海交通大学上海交大-巴黎高科卓越工程师学院）；Shanghai Jiao Tong University（上海交通大学）；Department of Computer Science and Engineering, Shanghai Jiao Tong University（上海交通大学计算机科学与工程系）；MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University（上海交通大学人工智能研究院教育部人工智能重点实验室）
基于transformer的预训练语言模型已被证明是有效的学习语境化的语言表示。然而，当前的方法在微调下游任务时仅利用编码器的最终层的输出。我们认为，只采用单层的输出限制了预训练表示的能力。因此，我们通过将隐藏表示融合到显式隐藏表示提取器（HIRE）中来加深模型学习的表示，该提取器自动吸收与最终层输出相关的互补表示。利用RoBERTa作为骨干编码器，我们提出的对预训练模型的改进在多个自然语言理解任务中表现出有效性，并帮助我们的模型在GLUE基准测试中与最先进的模型竞争。
2020-04-29 cs.CL
Enforcing Encoder-Decoder Modularity in Sequence-to-Sequence Models
Carnegie Mellon University（卡内基梅隆大学）；Facebook AI Research（Facebook人工智能研究院）
受模块化软件的独立性，可扩展性和清晰的接口设计原则的启发，我们引入了一种方法，用于在不牺牲整体模型质量或其完全可微性的情况下，在seq 2seq模型中实施编码器-解码器模块化。我们离散化的编码器输出单元到一个预定义的可解释的词汇空间，使用连接时间分类（CTC）的损失。我们的模块化系统在300 h Switchboard基准测试中实现了接近SOTA的性能，SWB和CH子集的WER分别为8.3%和17.6%，使用具有独立和可互换的编码器和解码器模块的seq 2seq模型。
2019-11-09 cs.CL cs.LG
Understanding and Improving Knowledge Distillation for Quantization-Aware Training of Large Transformer Encoders
Hanyang University（汉阳大学）
知识蒸馏（KD）是模型压缩的一种常用方法，它利用教师传授的知识来增强轻量级模型的能力。特别地，KD已被用于Transformer编码器（如BERT）的量化感知训练（QAT）中，以利用降低精度的权重参数来提高学生模型的准确性。然而，很少有人知道哪种KD方法最适合Transformers的QAT。在这项工作中，我们提供了一个深入的分析机制KD的注意力恢复的量化大Transformers。特别是，我们发现，以前采用的MSE损失的注意力分数是不够的恢复自我注意力的信息。因此，我们提出了两种KD方法：注意力地图和注意力输出损失。此外，我们探讨了这两种损失的统一，以解决注意力地图和输出损失之间的任务依赖性偏好。在各种Transformer编码器模型上的实验结果表明，所提出的KD方法实现了最先进的精度与子2位权重量化的QAT。
2022-11-20 cs.AI cs.CL
Do Encoders Suffice? A Systematic Comparison of Encoder and Decoder Safety Judges for LLM Adversarial Evaluation
PricewaterhouseCoopers（普华永道）
系统比较ModernBERT系列编码器分类器与基于LLM的解码器评判器在识别有害LLM输出上的性能，发现编码器可在保持低延迟和低成本的同时接近LLM评判器的效果。
2026-06-25 cs.AI cs.CL
Word-Level Style Control for Expressive, Non-attentive Speech Synthesis
Innoetics, Samsung Electronics（Innoetics，三星电子）；Samsung Electronics（三星电子）
本文提出了一种表达语音合成架构，用于在单词级别上建模和控制说话风格。它试图学习词级的风格和韵律表示的语音数据，与两个编码器的帮助。第一个模型通过为每个单词找到给定声学特征的风格标记的组合来建模风格，第二个模型输出仅以语音信息为条件的单词级序列，以便将其与风格信息分离。两个编码器输出与音素编码器输出对齐并连接，然后用非注意Tacotron模型解码。一个额外的先验编码器用于自回归地预测风格标记，以便模型能够在没有参考话语的情况下运行。我们发现，由此产生的模型，使两个字的水平和全球控制的风格，以及韵律传输能力。
2021-11-19 cs.CL cs.LG cs.SD
Review Networks for Caption Generation
Carnegie Mellon University（卡内基梅隆大学）
我们提出了一种新的扩展的编码器-解码器框架，称为审查网络。审查网络是通用的，可以增强任何现有的编码器-解码器模型：在本文中，我们考虑RNN解码器与CNN和RNN编码器。回顾网络利用注意力机制对编码器隐藏状态执行多个回顾步骤，并且在每个回顾步骤之后输出思想向量;思想向量用作解码器中的注意力机制的输入。我们表明，传统的编码器-解码器是我们的框架的一个特殊情况。从经验上讲，我们表明，我们的框架提高了国家的最先进的编码器-解码器系统上的任务，图像描述和源代码字幕。
2016-10-27 cs.CL cs.CV cs.LG
SpeechT5: Unified-Modal Encoder-Decoder Pre-Training for Spoken Language Processing
Southern University of Science and Technology（南方科技大学）；The Hong Kong Polytechnic University（香港理工大学）；Tongji University（同济大学）；Microsoft（微软）；Peng Cheng Laboratory（鹏城实验室）
受T5（Text-To-Text Transfer Transformer）在预训练自然语言处理模型中的成功启发，我们提出了一个统一模态SpeechT5框架，该框架探索了用于自监督语音/文本表示学习的编码器-解码器预训练。SpeechT5框架由一个共享的编码器-解码器网络和六个特定于模态（语音/文本）的前/后网络组成。在通过前网络对输入语音/文本进行预处理之后，共享的编码器-解码器网络对序列到序列的变换进行建模，然后后网络基于解码器的输出以语音/文本模态生成输出。利用大规模未标记的语音和文本数据，我们对SpeechT5进行了预训练，以学习统一的模态表示，希望提高语音和文本的建模能力。为了将文本和语音信息对齐到这个统一的语义空间中，我们提出了一种跨模态矢量量化方法，该方法将语音/文本状态与潜在单元随机混合，作为编码器和解码器之间的接口。广泛的评估表明，所提出的SpeechT5框架在各种各样的口头语言处理任务，包括自动语音识别，语音合成，语音翻译，语音转换，语音增强和说话人识别的优越性。我们在www.example.com上发布我们的代码和模型。
2022-05-24 cs.CL cs.LG cs.SD
Exploring the context of recurrent neural network based conversational agents
Maastricht University（马斯特里赫特大学）
会话代理已经开始在学术（研究方面）和商业（应用方面）世界中兴起。本文研究了使用神经网络生成模型构建非目标驱动的会话代理的任务，并分析了如何处理会话上下文。它比较了一个更简单的编码器-解码器与分层递归编码器-解码器架构，该架构包括一个额外的模块来使用先前的话语信息对会话的上下文进行建模。我们发现，分层模型能够提取相关的上下文信息，并将它们包含在输出的生成中。然而，在语法正确的输出和有意义的响应方面，它的表现比简单的编码器-解码器模型差（35-40%）。尽管有这些结果，实验表明，由于特定主题相关词的频率增加，关于类似主题的对话在上下文空间中彼此接近，从而为未来的研究以及如何利用对话的上下文留下了有希望的方向。
2019-01-31 cs.AI cs.CL
Keeping Notes: Conditional Natural Language Generation with a Scratchpad Mechanism
Cornell University（康奈尔大学）；Facebook（脸书）；Sentropy Technologies（Sentropy科技公司）
我们介绍了Slogchpad机制，一种新的除了序列到序列（seq 2seq）神经网络架构，并证明其有效性，提高整体流畅性的seq 2seq模型的自然语言生成任务。通过使解码器在每个时间步长写入所有编码器输出层，Sockchpad可以将编码器用作“暂存器”存储器，以跟踪到目前为止已经生成的内容，从而指导未来的生成。我们在三个经过充分研究的自然语言生成任务-机器翻译，问题生成和文本摘要-的背景下评估Slogchpad，并在每个任务的标准数据集上获得最先进或可比较的性能。以人类判断（问题生成）、注意力可视化（MT）和样本输出（摘要）形式进行的定性评估进一步证明了Soccchpad生成流畅和富有表现力的输出的能力。
2019-06-13 cs.CL cs.LG
Cutting-off Redundant Repeating Generations for Neural Abstractive Summarization
NTT Communication Science Laboratories, NTT Corporation（NTT通信科学实验室，NTT公司）
本文解决了在基于RNN的编码器-解码器模型中经常观察到的冗余重复生成的减少。我们的基本思想是在编码器中联合估计每个目标词汇的上界频率，并在解码器中根据估计控制输出单词。我们的方法在基于RNN的编码器-解码器基线上显示出显着的改进，并在抽象摘要基准上取得了最佳结果。
2017-02-13 cs.AI cs.CL stat.ML
Hybrid Transducer and Attention based Encoder-Decoder Modeling for Speech-to-Text Tasks
Meta AI；Carnegie Mellon University（卡内基梅隆大学）
本研究提出融合Transducer与注意力编码器-解码器的TAED框架，共享语音编码器、用AED解码器替换Transducer预测器，兼顾非单调学习优势与流式特性，在MuST-C数据集上多数任务性能优于纯Transducer模型。
2023-05-04 cs.CL cs.SD eess.AS
NASH: A Simple Unified Framework of Structured Pruning for Accelerating Encoder-Decoder Language Models
KAIST AI（韩国科学技术院人工智能研究院）；Michigan State University（密歇根州立大学）
本研究提出NASH框架，通过分别剪枝编码器-解码器模型的编码器与解码器，发现解码器层数主导推理速度且编码器低稀疏度提升生成质量，从而窄化编码器、缩短解码器，在多种任务上实现加速并保持输出质量。
2023-10-16 cs.AI cs.CL cs.LG
Online Segment to Segment Neural Transduction
University of Oxford（牛津大学）；DeepMind
我们引入了一个在线神经序列到序列模型，该模型学习在读取输入时在编码和解码段之间交替。通过独立地跟踪编码和解码表示，我们的算法允许在训练期间对潜在分割进行精确的多项式边缘化，并且在解码期间采用束搜索来找到最佳对齐路径以及预测的输出序列。我们的模型解决了香草编码器-解码器的瓶颈，即在产生任何输出之前，必须读取和记忆固定长度隐藏状态中的整个输入序列。它是不同于以前的注意力模型，而不是把注意力权重作为一个确定性函数的输出，我们的模型将注意力权重分配给一个连续的潜在变量，可以被边缘化，并允许在线生成。摘要句子摘要和形态变化的实验显示出显着的性能增益的基线编码器-解码器。
2016-09-26 cs.AI cs.CL cs.NE
Multi-Encoder Learning and Stream Fusion for Transformer-Based End-to-End Automatic Speech Recognition
Technische Universit\"at Braunschweig Institute for Communications Technology Schleinitzstr. 22, 38106 Braunschweig, Germany
流融合，也称为系统组合，是传统混合隐马尔可夫模型方法的自动语音识别中的一种常用技术，但对于现代深度神经网络端到端模型架构来说，大多数尚未探索。在这里，我们研究各种融合技术的所有注意力为基础的编码器-解码器架构称为Transformer，努力实现最佳融合，通过研究不同的融合水平，在一个示例单麦克风设置与融合的标准幅度和相位功能。我们引入了一种新的多编码器学习方法，该方法仅在训练期间执行两个编码器-解码器多头注意力输出的加权组合。在推理中只使用幅度特征编码器，我们能够在不增加运行时间或参数的情况下，用语言模型和Libripeech在华尔街日报（WSJ）上显示出一致的改进。通过简单的后期融合推理将两个这样的多编码器训练模型结合起来，我们在WSJ上实现了基于transformer的模型的最新性能，与当前的基准方法相比，WER显著降低了19%。
2021-07-14 cs.CL cs.LG cs.SD
A New Approach to Accent Recognition and Conversion for Mandarin Chinese
Columbia University（哥伦比亚大学）；Recognition Technologies, Inc.（识别技术公司）
提出并探讨了两种新的重音分类和转换方法。第一个主题是汉语口音分类/识别。第二个主题是使用编码器-解码器模型进行端到端汉语口音转换，其中第一个主题中的分类器用于口音转换器编码器-解码器模型的训练。使用不同的特征和模型进行口音识别的实验。这些特征包括MFCC和频谱图。分类器模型是TDNN和1D-CNN。在具有5类口音的MAGICDATA数据集上，在MFCC特征上训练的TDNN分类器实现了54%的测试准确度和0.54的测试F1得分，而在频谱图上训练的1D-CNN分类器实现了62%的测试准确度和0.62的测试F1得分。一个端到端的口音转换器模型的原型。转换器模型包括编码器和解码器。编码器模型将重音输入转换为重音中性形式。解码器模型将重音中性形式转换为带有由输入重音标签指定的重音的重音形式。转换器原型在输出音频中保留音调并放弃细节。编码器-解码器结构展示了成为有效口音转换器的潜力。还提出了未来改进的建议，以解决解码器输出中丢失细节的问题。
2020-08-07 cs.CL cs.LG cs.SD
