Faster Causal Attention Over Large Sequences Through Sparse Flash Attention
EPFL（洛桑联邦理工学院）；University of Geneva（日内瓦大学）
本文扩展 FlashAttention 以支持 key/query dropping、基于哈希等动态稀疏注意力模式，在无复杂度开销且不损失困惑度的情况下，显著提升长序列语言模型训练速度。
2023-06-01 cs.AI cs.CL cs.LG
An FNet based Auto Encoder for Long Sequence News Story Generation
University of Texas at Austin（德克萨斯大学奥斯汀分校）；California State University Fullerton（加州州立大学富勒顿分校）
在本文中，我们设计了一个基于Google的FNet架构的自动编码器，以便从Google的C4数据集中包含的新闻故事子集中生成文本。我们讨论以前的尝试和方法，从自动编码器和非LLM模型生成文本。FNET在效率方面比基于BERT的编码器具有多个优势，在GPU上的训练速度快80%，在TPU上快70%。然后，我们比较这个autencoder如何在不同的时期perfroms的输出。最后，我们分析了编码器使用不同种子文本产生的输出。
2022-11-17 cs.AI cs.CL cs.LG
Efficient Sequence Transduction by Jointly Predicting Tokens and Durations
NVIDIA（英伟达）；Carnegie Mellon University（卡内基梅隆大学）
本文提出令牌-持续时间转换器（TDT），通过联合预测令牌及其覆盖的输入帧数来跳过冗余帧，在语音识别、翻译和意图分类等任务上同时提升准确率与推理速度，最高加速2.82倍。
2023-05-29 cs.CL cs.LG cs.SD
Sequence Level Training with Recurrent Neural Networks
Facebook AI Research（脸书人工智能研究院）
许多自然语言处理应用使用语言模型来生成文本。这些模型通常被训练来预测序列中的下一个单词，给定之前的单词和一些上下文，如图像。但是，在测试时，模型预计将从头开始生成整个序列。这种差异使生成变得脆弱，因为错误可能会在此过程中积累。我们通过提出一种新的序列级训练算法来解决这个问题，该算法直接优化测试时使用的度量，如BLEU或ROUGE。在三个不同的任务中，我们的方法优于几个强大的贪婪生成基线。当这些基线采用束搜索时，该方法也是有竞争力的，同时快了几倍。
2016-05-06 cs.CL cs.LG
Bregman Conditional Random Fields: Sequence Labeling with Parallelizable Inference Algorithms
INSA Rennes, IRISA, Inria, CNRS, Université de Rennes（INSA里昂、IRISA、Inria、CNRS、里昂大学）；Université Sorbonne Paris Nord, CNRS, LIPN（巴黎北大学、CNRS、LIPN）
本文提出Bregman条件随机场（BCRF），通过迭代Bregman投影实现可并行化推理，并利用Fenchel-Young损失支持部分标签学习，在保持与CRF相当性能的同时速度更快，且在高度受限场景下优于mean field。
2025-05-31 cs.CL cs.LG
Text Simplification by Tagging
Grammarly（Grammarly公司）
基于编辑的方法最近在多个单语序列转导任务上显示出有希望的结果。与传统的序列到序列（Seq2Seq）模型相比，这些方法在并行语料库上训练时从头开始学习生成文本，这些方法已被证明更有效，因为它们能够学习进行快速准确的转换，同时利用强大的预训练语言模型。受这些想法的启发，我们提出了TST，一个简单而高效的文本简化系统，基于序列标记，利用预先训练的基于transformer的编码器。我们的系统在现有系统的训练和推理中进行了简单的数据增强和调整，这使得它不太依赖于大量并行训练数据，对输出提供了更多的控制，并实现了更快的推理速度。我们最好的模型在该任务的基准测试数据集上实现了接近最先进的性能。由于它是完全非自回归的，因此它的推理速度比当前最先进的文本简化系统快11倍以上。
2021-03-08 cs.AI cs.CL cs.LG
TurboMamba: Faster Inference, Faster Training, and Better Prediction with Lexical Memory
University of Pittsburgh（匹兹堡大学）
TurboMamba是一种语言模型架构，通过全局Mamba-3与小型Transformer结合三项轻量改进，在参数规模相近的对比中，实现了更低预测损失、更高训练吞吐量与更快推理速度。
2026-10-16 cs.CL cs.LG
Shatter: An Efficient Transformer Encoder with Single-Headed Self-Attention and Relative Sequence Partitioning
Google Research Language（谷歌研究院语言部门）
基于自我注意力的高度流行的Transformer架构是大型预训练模型（如BERT）的基础，这些模型已成为NLP中持久的范式。虽然功能强大，但预训练此类模型所需的计算资源和时间可能令人望而却步。在这项工作中，我们提出了一种替代的自我注意力架构，破碎，更有效地编码序列信息，通过软分区的相对位置的空间和应用不同的值矩阵的序列的不同部分。这种机制进一步允许我们将Transformer中的多头注意简化为单头注意。我们进行了大量的实验，表明Shatter比BERT实现了更好的性能，预训练每步更快（TPU上为15%），收敛步骤更少，并节省了大量内存（>50%）。总之，Shatter可以在7天内在8个V100 GPU上进行预训练，并与BERT_Base的性能相匹配-使预训练的成本更加实惠。
2021-08-30 cs.CL cs.LG
Improving Grammar-based Sequence-to-Sequence Modeling with Decomposition and Constraints
ShanghaiTech University（上海科技大学）；Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉影像工程技术研究中心）
针对Neural QCFG推理昂贵的问题，提出两种低秩变体并引入树层次与源覆盖度软约束，在多数实验设置下提升了性能。
2023-06-05 cs.CL
Faster Re-translation Using Non-Autoregressive Model For Simultaneous Neural Machine Translation
Samsung Research（三星研究院）
最近，同声翻译已经引起了很多关注，因为它可以实现引人注目的应用，例如现场活动的字幕翻译或实时视频通话翻译。这些翻译应用程序中的一些允许编辑部分翻译，从而产生重新翻译方法。目前的重翻译方法是基于自回归序列生成模型（ReTA），它在（部分）翻译中顺序生成目标令牌。ReTAmodels中顺序生成的多次重新翻译导致随着源输入的增长，传入的源输入和相应的目标输出之间的推理时间间隔增加。此外，由于涉及大量的推理操作，ReTA模型对于资源受限的设备是不利的。在这项工作中，我们提出了一个更快的重新翻译系统的基础上的非自回归序列生成模型（FReTNA），以克服上述限制。我们对多个翻译任务进行了评估，与ReTA和流式传输（Wait-k）模型相比，我们的模型将推理时间减少了几个数量级，并实现了具有竞争力的BLEUscore。与ReTA模型相比，该模型通过在翻译质量上的小幅下降，将平均计算时间减少了20倍。它在计算时间（低1.5倍）和翻译质量方面也优于基于流媒体的Wait-k模型。
2021-06-02 cs.AI cs.CL
Memformer: A Memory-Augmented Transformer for Sequence Modeling
University of California, Davis（加州大学戴维斯分校）；Westlake University（西湖大学）；Facebook AI（脸书人工智能研究院）
Transformers在层序建模中取得了显著的成功。然而，这些模型存在效率问题，因为它们需要将所有历史标记级表示存储为内存。我们提出Memformer，一个有效的神经网络序列建模，利用外部动态记忆编码和检索过去的信息。我们的模型在处理长序列时达到了线性时间复杂度和恒定内存空间复杂度。我们还提出了一个新的优化方案，内存重放反向传播（MRBP），促进远程反向传播通过时间与显着降低内存需求。实验结果表明，Memformer与基线相比，通过使用少8.1倍的内存空间和快3.2倍的推理速度，实现了相当的性能。对注意模式的分析表明，我们的外部记忆槽可以通过时间步长编码和保留重要信息。
2022-04-12 cs.CL
A Syntax-Injected Approach for Faster and More Accurate Sentiment Analysis
Universidade da Coruña, CITIC（拉科鲁尼亚大学，CITIC）；Arizona State University（亚利桑那州立大学）
本文提出了一种基于规则的情感分析方法，通过序列标记语法解析器提高情感分析的效率和准确性。
2026-02-03 cs.CL
Non-autoregressive sequence-to-sequence voice conversion
TARVO Inc.（TARVO公司）；Nagoya University（名古屋大学）
提出了一种基于非自回归序列到序列（NAR-S2 S）模型的语音转换方法。受NAR-S2 S模型在文本到语音（TTS）中的巨大成功的启发，我们扩展了FastSpeech 2模型用于VC问题。我们引入了卷积增强的Transformer（Conformer）而不是Transformer，从而可以从输入序列中捕获局部和全局上下文信息。此外，我们将方差预测器扩展到方差转换器，以显式地将源说话人的韵律成分（如音高和能量）转换为目标说话人。与日本说话人数据集，其中包括男性和女性说话人的1,000个话语的实验评估表明，所提出的模型使我们能够执行更稳定，更快，更好的转换比自回归S2 S（AR-S2 S）模型，如Tacotron 2和Transformer。
2021-04-14 cs.CL cs.SD eess.AS
Blank Collapse: Compressing CTC emission for the faster decoding
Channel Corporation（频道公司）；Naver Cloud（Naver云）
本文深入分析了CTC beam search中的blank标签，提出一种简单的计算量缩减方法，在LibriSpeech数据集上实现最高78%的解码加速且精度损失极小，并从实验与理论两方面证明了其有效性。
2023-06-27 cs.CL cs.SD eess.AS
