Non-Monotonic Attention-based Read/Write Policy Learning for Simultaneous Translation
Meta AI；Meta Inc.（元宇宙公司）
本研究提出一种基于非单调注意力读写策略学习的同声翻译方法，通过增强预训练非流式模型并利用源-目标对齐学习决策边界，以最小延迟实现高质量翻译，优于多个强基线。
2025-03-28 cs.AI cs.CL
Overcoming Non-monotonicity in Transducer-based Streaming Generation
University of Chinese Academy of Sciences（中国科学院大学）
本研究通过引入可学习的单调注意力机制，将Transducer解码与输入流历史结合，利用前向-后向算法推断对齐后验概率以估计上下文表示，有效解决了流式生成中的非单调对齐问题。
2025-05-28 cs.AI cs.CL
Pointer-Guided Pre-Training: Infusing Large Language Models with Paragraph-Level Contextual Awareness
Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）；University of Bonn（波恩大学）
本文提出指针引导的段落排序预训练技术，通过自注意力指针网络恢复打乱文本顺序，增强大型语言模型的段落级上下文理解能力，并在多个下游分类任务中取得最先进性能。
2024-06-06 cs.AI cs.CL cs.LG
On Biasing Transformer Attention Towards Monotonicity
University of Zurich（苏黎世大学）；University of Edinburgh（爱丁堡大学）
自然语言处理中的许多序列到序列任务在源序列和目标序列之间的对齐中是大致单调的，并且先前的工作已经通过专门的注意函数或预训练促进或加强了单调注意行为的学习。在这项工作中，我们引入了一个单调性损失函数，这是兼容的标准注意力机制和测试它的几个序列到序列的任务：字形到音素转换，形态变化，音译，和方言规范化。实验表明，我们可以实现很大程度上单调的行为。性能好坏参半，在RNN基线之上有更大的增益。一般的单调性不利于Transformer多头注意力，然而，当只有一部分头偏向单调行为时，我们看到了孤立的改进。
2021-04-08 cs.CL
Exact Hard Monotonic Attention for Character-Level Transduction
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Cambridge（剑桥大学）
提出一种强制严格单调性并联合学习潜在对齐的硬注意力序列到序列模型，通过动态规划计算所有单调对齐的精确边缘化，在形态屈折变化等字符级转换任务上取得最先进性能。
2024-02-20 cs.CL
Morphological Inflection Generation with Hard Monotonic Attention
Bar-Ilan University（巴伊兰大学）
我们提出了一个神经模型的形态拐点的产生，采用了硬注意力机制，灵感来自于一个词中的字符和字符之间的近单调对齐在其拐点。我们在三个先前研究的形态学变形生成数据集上评估了该模型，并表明与以前的神经和非神经方法相比，它在各种设置中提供了最先进的结果。最后，我们提出了一个分析的连续表示学习的硬和软注意力\cite{bahdanauCB14}模型的任务，这些模型提取的功能上的一些光。
2017-04-11 cs.CL
Hard Non-Monotonic Attention for Character-Level Transduction
Department of Computer Science, Johns Hopkins University（约翰斯·霍普金斯大学计算机科学系）；The Computer Laboratory, University of Cambridge（剑桥大学计算机实验室）
本文提出一种精确的多项式时间算法，用于对字符串间指数级非单调对齐进行边缘化，使硬非单调注意力在字符级转换任务中显著优于随机近似和软注意力。
2024-02-20 cs.CL
Iterative Refinement for Machine Translation
Ecole Polytechnique（巴黎综合理工学院）；Facebook AI Research（Facebook人工智能研究院）
现有的机器翻译解码算法以严格单调的方式生成翻译，并且从不重新访问先前的决策。因此，早期的错误无法在后期纠正。在本文中，我们提出了一个翻译方案，从一个初始的猜测，然后进行迭代改进，可能会重新访问以前的决定。我们将我们的模型参数化为一个卷积神经网络，该网络基于源句子和当前翻译输出的注意力机制预测对现有翻译的离散替换。通过对每个句子进行不到一次修改，我们将基于短语的翻译系统的输出在WMT 15德英翻译上提高了0.4 BLEU。
2018-04-13 cs.CL
Local Monotonic Attention Mechanism for End-to-End Speech and Language Processing
Graduate School of Information Science（信息科学研究科）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
最近，编码器-解码器神经网络在许多序列相关任务上表现出令人印象深刻的性能。该架构通常使用注意力机制，该机制允许模型学习源序列和目标序列之间的比对。今天使用的大多数注意力机制是基于全局注意力属性，其需要计算由编码器状态生成的整个输入序列的加权摘要。然而，它在计算上是昂贵的，并且经常在较长的输入序列上产生不对准。此外，它不适合单调或从左到右的性质，在一些任务，如自动语音识别（ASR），字素到音素（G2P），在本文中，我们提出了一种新的注意力机制，具有本地和单调的属性。还探讨了控制这些属性的各种方法。在ASR、G2P和句子结构相似的两种语言之间的机器翻译上的实验结果表明，与采用标准全局注意结构的编码器-解码器模型相比，采用局部单调注意结构的编码器-解码器模型能够显著提高性能，降低计算复杂性.
2017-11-03 cs.CL
Attention Sinks in Massively Multilingual Neural Machine Translation:Discovery, Analysis, and Mitigation
Harvard University（哈佛大学）
研究发现神经机器翻译中跨注意力模式存在注意力 sinks，非内容token占据大部分注意力质量，影响相似性评估，提出内容过滤方法以恢复语言信号。
2026-05-02 cs.CL cs.LG
Adaptive Sparse and Monotonic Attention for Transformer-based Automatic Speech Recognition
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；Tsinghua University（清华大学）；The Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
基于自注意和多头注意力的Transformer架构模型在离线端到端自动语音识别（ASR）中取得了显著的成功。然而，自我注意力和多头注意力不能容易地应用于流或在线ASR。针对Transformer语音识别中的自注意问题，基于softmax归一化函数的注意力机制使得语音识别中的重要语音信息无法突出。对于Transformer ASR中的多头注意力，不容易对不同头中的单调对齐进行建模。为了克服这两个限制，我们将稀疏注意力和单调注意力集成到基于transformer的ASR中。稀疏机制引入了一个学习的稀疏方案，使每个自注意力结构，以适应相应的头部更好。单调注意部署正则化以修剪用于多头注意力结构的冗余头。实验结果表明，该方法可以有效地改善语音识别中广泛使用的基准测试的注意力机制。
2022-09-30 cs.AI cs.CL
Monotonic Chunkwise Attention
Google Brain（谷歌大脑）；Mountain View, CA, 94043, USA（美国加利福尼亚州山景城，邮编94043（注：此地址为机构所在位置，非机构本身，按提取规则应忽略，原文本中明确机构为Google Brain））
具有软注意力的序列到序列模型已经成功地应用于各种各样的问题，但是它们的解码过程会产生二次的时间和空间代价，并且不适用于实时序列转换。为了解决这些问题，我们提出了单调分块注意力（MoChA），它自适应地将输入序列分割成小块，在小块上计算软注意力。我们表明，利用MoChA的模型可以有效地训练标准的反向传播，同时允许在线和线性时间解码在测试时。当应用于在线语音识别，我们获得了国家的最先进的结果，并匹配使用离线软注意力机制的模型的性能。在文档摘要实验中，我们不期望单调对齐，我们表现出显着改善的性能相比，基线单调注意力为基础的模型。
2018-02-23 cs.CL stat.ML
A study of latent monotonic attention variants
RWTH Aachen University（亚琛工业大学）；AppTek GmbH（AppTek公司）
端到端模型达到了语音识别的最先进性能，但全局软注意力不是单调的，这可能导致收敛问题、不稳定、泛化能力差，不能用于在线流，并且计算效率也很低。单调性可以潜在地解决所有这些问题。有几个特别的解决方案或算法来引入单调性，但到目前为止，在文献中很少找到一个原则性的介绍。在本文中，我们提出了一个数学上干净的解决方案，引入单调性，通过引入一个新的潜在变量，代表音频位置或段边界。我们比较了几个单调的潜在模型，我们的全球软注意力基线，如硬注意力模型，局部窗口软注意力模型和分段软注意力模型。我们可以证明，我们的单调模型表现得和全局软注意力模型一样好。我们在Switchboard 300h上进行了实验。我们仔细概述了我们的培训细节，并发布了我们的代码和代码。
2021-03-30 cs.AI cs.CL cs.CV
Knowledge-Infused Self Attention Transformers
University of Maryland Baltimore County（马里兰大学巴尔的摩县分校）
本文提出一种模块化框架，系统地将外部知识注入变换器的自注意力、编码器层等组件，并在GLUE基准上实验验证，以缓解幻觉和对齐问题。
2023-06-23 cs.CL
Enhancing Monotonic Multihead Attention for Streaming ASR
Graduate School of Informatics, Kyoto University（京都大学信息学研究生院）
我们研究了单调多头注意力（MMA），通过扩展硬单调注意力到基于transformer的自动语音识别（ASR）的在线流媒体应用。对于流式推理，所有单调注意力（MA）头应该学习正确的对齐，因为直到所有头检测到相应的令牌边界才生成下一个令牌。然而，我们发现并不是所有的MA头都能通过简单的实现来学习对齐。为了鼓励每个头部正确学习对齐，我们提出了HeadDrop正则化，在训练过程中屏蔽了一部分头部随机对齐。此外，我们建议修剪冗余的头部，以提高边界检测的头部之间的共识，并防止延迟令牌生成所造成的这种头部。每个MA头上的分块注意力扩展到多头对应物。最后，我们提出了头部同步波束搜索解码，以保证稳定的流推理。
2020-09-30 cs.CL cs.LG cs.SD
CTC-synchronous Training for Monotonic Attention Model
Graduate School of Informatics, Kyoto University（京都大学信息学研究生院）
基于序列到序列框架，研究了用于在线流式自动语音识别（ASR）的单调组块注意（MoChA）。与连接主义时间分类（CTC）相比，由于解码器中的左到右依赖性，在训练期间的对齐边缘化过程中不能利用后向概率。这导致对齐的错误传播到后续的令牌生成。为了解决这个问题，我们提出了CTC同步训练（CTC-ST），其中MoChA使用CTC对齐来学习最佳单调对齐。参考CTC对齐是从与解码器共享相同编码器的CTC分支中提取的。整个模型被联合优化，使得来自MoChA的预期边界与比对同步。TEDLIUM Release-2和Librispeech语料库的实验评估表明，该方法显着提高了识别，特别是对于长的话语。我们还表明，CTC-ST可以发挥SpecAugment对MoChA的全部潜力。
2020-08-06 cs.CL cs.LG
Robust Sequence-to-Sequence Acoustic Modeling with Stepwise Monotonic Attention for Neural TTS
School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机科学与工程学院）；Microsoft China（微软中国）
神经文语转换系统具有很强的生成高质量、高自然度的类人语音的能力，但对于基于注意力的序列到序列声学建模的设计，其对域外文本的泛化仍然是一个具有挑战性的任务。在具有看不见的上下文的那些输入中发生各种错误，包括注意力崩溃、跳过、重复等，这限制了更广泛的应用。在本文中，我们提出了一种新的逐步单调注意方法在序列到序列的声学建模，以提高鲁棒性域外输入。该方法利用文语转换系统的严格单调性，并对单调硬注意力进行约束，即输入输出序列之间的对齐不仅必须是单调的，而且不允许在输入上出现跳跃。软注意可以用来避免训练和推理之间的不匹配。实验结果表明，该方法可以实现显着提高鲁棒性的域外场景的音素为基础的模型，没有任何回归的域内自然测试。
2019-08-06 cs.CL cs.LG cs.SD
Improvement in Sign Language Translation Using Text CTC Alignment
Institute of Science Tokyo（东京科学大学）；NHK Science & Technology Research Laboratories（NHK科学技术研究实验室）
本文提出结合联合CTC/Attention与迁移学习的手语翻译方法，有效处理单调与非单调对齐并弥合视觉与语言模态鸿沟，在主流基准上取得与SOTA相当且优于纯注意力基线的表现，为无gloss SLT研究开辟新方向。
2024-12-24 cs.CL
Monotonic segmental attention for automatic speech recognition
RWTH Aachen University（亚琛工业大学）；AppTek GmbH（AppTek有限公司）
本文提出了一种新的用于自动语音识别的分段注意模型。我们将解码器的注意力限制在片段上，以避免全局注意力的二次运行时间，更好地推广到长序列，并最终启用流。我们直接比较全局注意力和不同的分段注意力建模变体。我们开发和比较两个单独的时间同步解码器，一个专门考虑到段的性质，产生进一步的改进。对分段模型使用时间同步解码是新颖的，并且是朝向流应用的一步。我们的实验表明了长度模型预测段边界的重要性。与文献中的其他单调注意方法相比，使用分段解码的最终最佳分段注意模型的性能优于全局注意。此外，我们观察到，分段模型更好地推广到长达几分钟的长序列。
2022-10-26 cs.CL cs.LG cs.SD
Multi-head Monotonic Chunkwise Attention For Online Speech Recognition
South China University of Technology（华南理工大学）；Tencent（腾讯）
LAS（Listen，Attend and Spell）模型的注意力机制需要整个输入序列来计算注意上下文，因此不适合在线语音识别。为了解决这个问题，我们提出了多头单调块式注意（MTH-MoChA），MoChA的改进版本。MTH-MoChA将输入序列分割成小块，并计算块上的多头注意力。我们还探索了有用的训练策略，如LSTM池化，最小世界出错率训练和SpecAugment，以进一步提高MTH-MoChA的性能。在AISHELL-1数据集上的实验表明，该模型和训练策略使MoChA在测试集上的特征出错率从8.96%提高到7.68%.在另一个18000小时的车内语音数据集，MTH-MoChA获得7.28%的CER，这是显着优于一个国家的最先进的混合系统。
2020-05-01 cs.CL cs.SD eess.AS
StableEmit: Selection Probability Discount for Reducing Emission Latency of Streaming Monotonic Attention ASR
Graduate School of Informatics, Kyoto University（京都大学信息学研究科）
虽然基于注意力的编码器-解码器（AED）模型已经成功地扩展到用于流式传输自动语音识别（ASR）的在线变体，例如单调分块注意力（MoChA），但是由于不受约束的端到端训练目标，模型仍然具有大的标签发射延迟。以前的工作通过利用对齐信息来控制训练期间发出令牌的时间来解决这个问题。在这项工作中，我们提出了一个简单的无约束正则化方法StableEmit，以鼓励MoChA更早地发出令牌。StableEmit通过一个常数因子来折扣硬单调注意中的选择概率，并将其正则化以恢复训练期间的总注意质量。因此，选择概率的规模增加，并且值可以更早地达到令牌发射的阈值，从而减少发射延迟和删除错误。此外，StableEmit可以与约束对齐的方法相结合，以进一步提高准确性和延迟。使用LSTM和Conformer编码器的实验评估表明，StableEmit可以同时显著降低识别错误和发射延迟。我们还表明，使用对齐信息是互补的，在这两个指标。
2021-07-15 cs.CL cs.SD eess.AS
Mutually-Constrained Monotonic Multihead Attention for Online ASR
KAIST（韩国科学技术院）
尽管具有实时解码的特征，但在机器翻译和自动语音识别（ASR）任务中，单调多头注意力（MMA）表现出与最先进的离线方法相当的性能。然而，MMA的延迟仍然是ASR中的一个主要问题，并且应该与可以在推断时间减少测试延迟的技术相结合，例如磁头同步束搜索解码，其强制所有未激活的磁头在从第一磁头激活起的小的固定延迟之后激活。在本文中，我们考虑到，在MMA的训练中，将发生在测试时间的多个头之间的相互作用，消除训练和测试阶段之间的差异。具体来说，我们通过考虑其他头部的边界，并反映在学习过程中，从单调的注意力得到预期的对齐。我们在ASR的两个标准基准数据集上验证了我们提出的方法，并表明我们的方法，MMA与训练阶段的相互约束的头部，提供了比基线更好的性能。
2021-03-26 cs.CL cs.SD eess.AS
PAMA-TTS: Progression-Aware Monotonic Attention for Stable Seq2Seq TTS With Accurate Phoneme Duration Control
Xiaomi Corporation（小米公司）
编解码器之间的序列扩展是序列到序列文语转换中的一个关键挑战。基于注意力的方法实现了很大的自然性，但遭受不稳定的问题，如丢失和重复的音素，更不用说准确的持续时间控制。时长信息法则相反，它似乎很容易调整音素时长，但在语音自然度上却表现出明显的退化。本文提出了PAMA-TTS来解决这个问题。它利用灵活的注意力和显式持续时间模型。基于单调的注意力机制，PAMA-TTS还利用令牌持续时间和帧的相对位置，特别是倒计时信息，即当前音素将在多少个未来帧中结束。它们帮助注意力在一种柔和但可靠的控制下沿着记号序列向前移动。实验结果表明，PAMA-TTS实现了最高的自然度，同时具有与时长通知模型相当甚至更好的时长可控性。
2022-03-18 cs.AI cs.CL cs.LG
Monotonic Location Attention for Length Generalization
University of Illinois Chicago（伊利诺伊大学芝加哥分校）
本文提出结合原始与反转编码插值及相对注意力的方法，并设计新型位置注意力变体，以解决序列到序列模型在算法任务中的长度泛化问题。
2023-05-31 cs.AI cs.CL cs.LG
MFLA: Monotonic Finite Look-ahead Attention for Streaming Speech Recognition
Honor Device Co, Ltd（Honor Device公司）；Auditory Cognition and Computational Acoustics Lab（听觉认知与计算声学实验室）；MoE Key Lab of Artificial Intelligence（人工智能关键实验室）；AI Institute School of Computer Science, Shanghai Jiao Tong University（计算机科学学院人工智能研究所，上海交通大学）
本文提出MFLA框架，通过微调Whisper并结合Continuous Integrate-and-Fire机制、单调有限前瞻注意力及wait-k解码，在流式语音识别中实现延迟与质量的可控权衡。
2025-06-04 cs.CL cs.SD eess.AS
Initial investigation of an encoder-decoder end-to-end TTS framework using marginalization of monotonic hard latent alignments
National Institute of Informatics（国立信息学研究所）；The University of Edinburgh（爱丁堡大学）；SOKENDAI (The Graduate University for Advanced Studies)（综合研究大学院大学（高等研究生院大学））
端到端文本到语音（TTS）合成是一种使用单个网络将输入文本直接转换为输出声学特征的方法。端到端TTS的最新进展是由于一个关键技术称为注意机制，迄今为止提出的所有成功的方法都是基于软注意机制。然而，尽管网络结构变得越来越复杂，但具有软注意力机制的端到端TTS系统仍然可能无法学习和预测输入和输出之间的准确对齐。这可能是因为软注意力机制过于灵活。因此，我们提出了一种方法，具有更明确的，但自然的约束，适合语音信号，使对齐学习和预测的端到端的TTS系统更强大。所提出的系统，与受约束的对齐方案借用段到段神经转导（SSNT），直接计算的联合概率的声学特征和对齐给定的输入文本。通过考虑语音的性质，对齐被设计为硬的和单调增加的，并且在训练期间将其作为潜在变量并被边缘化。在预测期间，可以从概率分布生成对准和声学特征两者。我们的方法的优点是，我们可以简化许多模块的软注意力，我们可以训练使用一个单一的似然函数的端到端的TTS模型。据我们所知，我们的方法是第一个没有软注意机制的端到端TTS。
2019-08-30 cs.CL cs.SD eess.AS
CTC Alignments Improve Autoregressive Translation
Carnegie Mellon University（卡内基梅隆大学）；Waseda University（早稻田大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
连接主义时间分类（CTC）是一种广泛使用的自动语音识别（ASR）方法，它执行条件独立的单调对齐。然而，对于翻译，CTC表现出明显的局限性，由于上下文和非单调的性质的任务，因此落后于注意解码器的翻译质量方面的方法。在这项工作中，我们认为，CTC实际上是有意义的翻译，如果应用在联合CTC/注意力框架，其中CTC的核心属性可以抵消几个关键的弱点，纯注意力模型在训练和解码。为了验证这一猜想，我们修改了最初为ASR提出的混合CTC/Attention模型，以支持文本到文本翻译（MT）和语音到文本翻译（ST）。我们提出的联合CTC/注意力模型在六个基准翻译任务中的表现优于纯注意力基线。
2022-10-11 cs.CL cs.SD eess.AS
Forward Attention in Sequence-to-sequence Acoustic Modelling for Speech Synthesis
University of Science and Technology of China（中国科学技术大学）
本文提出了一种用于语音合成的序列到序列声学建模的前向注意方法.该方法的动机是从音素序列到声学序列的单调对齐的性质。在每个解码器时间步长处仅考虑满足单调条件的对准路径。使用前向算法递归地计算每个时间步的修改的注意概率。进一步提出了一种用于前向注意的转移代理，该转移代理帮助注意力机制做出是向前移动还是停留在每个解码器时步的决策。实验结果表明，与基线注意力方法相比，前向注意力方法具有更快的收敛速度和更高的稳定性。此外，引入过渡代理的前向注意方法还有助于提高合成语音的自然度，有效地控制合成语音的速度。
2018-07-18 cs.CL cs.LG cs.SD
SimulMT to SimulST: Adapting Simultaneous Text Translation to End-to-End Simultaneous Speech Translation
Johns Hopkins University（约翰斯·霍普金斯大学）；Facebook AI（脸书人工智能研究院）
文本同步翻译和端到端语音翻译近年来取得了很大的进展，但很少有人将这些任务结合在一起。我们研究如何适应同步文本翻译方法，如等待k和单调多头注意端到端同步语音翻译通过引入一个预决策模块。详细分析了将固定和灵活的预决策与固定和灵活的策略相结合的延迟质量权衡。我们还设计了一个新的计算感知延迟度量，改编自平均滞后。
2020-11-03 cs.CL
Small-E: Small Language Model with Linear Attention for Efficient Speech Synthesis
IRCAM（法国国立声学与音乐研究和协作学院）；CNRS（法国国家科学研究中心）；Sorbonne Université（索邦大学）
本文提出Small-E模型，用线性注意力的循环架构替代Transformer以降低TTS训练复杂度，并通过专用交叉注意力解决重复和跳读问题，在同等规模下实现最先进的零样本语音克隆。
2024-06-11 cs.CL cs.SD eess.AS
Discovering Non-monotonic Autoregressive Orderings with Variational Inference
University of California, Berkeley（加州大学伯克利分校）；Tsinghua University（清华大学）
语言建模的主要方法是从左到右处理序列，但这消除了一个信息源：序列生成的顺序。恢复此信息的一种策略是解码令牌的内容和排序。现有的方法通过设计问题特定的损失函数和预先选择的排序进行预训练来监督内容和排序。最近的其他工作使用迭代搜索来发现特定于问题的训练顺序，但具有高时间复杂度并且无法高效并行化。我们解决这些限制与无监督的并行学习，发现高质量的生成订单纯粹从训练数据-没有领域知识的要求。学习器包含一个编码器网络和解码器语言模型，它们以自回归阶数（表示为置换矩阵）作为潜在变量执行变分推理。相应的ELBO是不可微的，所以我们开发了一个实用的算法使用策略梯度的端到端优化。我们将编码器实现为具有非因果注意力的Transformer，其在一次向前传递中输出排列。然后，排列用作训练基于插入的Transformer语言模型的目标生成顺序。语言建模任务的实证结果表明，我们的方法是上下文感知的，并发现有竞争力的，甚至比固定的顺序更好的顺序。
2021-10-27 cs.AI cs.CL cs.LG
Transformer with Controlled Attention for Synchronous Motion Captioning
EuroMov DHM；IMT Mines Ales（阿莱斯矿业电信学院）；University of Montpellier（蒙彼利埃大学）；LIPN-University Sorbonne Paris Nord（巴黎北索邦大学LIPN实验室）
针对同步运动字幕生成任务，提出带可控注意力的Transformer，通过掩码策略与结构化损失实现时间对齐文本生成，在KIT-ML、HumanML3D基准上取得优异性能。
2024-09-13 cs.CL cs.CV cs.LG
