Data-Efficient Autoregressive Document Retrieval for Fact Verification
KAIST AI（韩国科学技术院人工智能学院）
文档检索是许多知识密集型自然语言处理任务公式化的核心组件，例如事实验证和问答。文本知识的来源，如维基百科的文章，从模型中生成答案的条件。检索的最新进展使用序列到序列模型来递增地预测给定查询的适当维基百科页面的标题。然而，这种方法需要以人工注释的形式进行监督，以标记哪些维基百科页面包含适当的上下文。本文介绍了一种远程监督方法，不需要任何注释，训练自回归检索器，达到竞争力的R-精度和召回在zero-shot设置。此外，我们表明，与特定任务的监督微调，两个基于维基百科的事实验证任务的自回归检索性能可以接近，甚至超过完全监督使用不到$1/4$的注释数据指示可能的方向，数据高效的自回归检索。
2022-11-17 cs.AI cs.CL cs.IR
Autoregressive Large Language Models are Computationally Universal
Google DeepMind（谷歌DeepMind）；University of Alberta（阿尔伯塔大学）
该研究证明基于Transformer的自回归大语言模型无需修改权重，通过扩展自回归解码和系统提示即可模拟通用图灵机，具备计算通用性。
2024-10-04 cs.CL
Mask-Enhanced Autoregressive Prediction: Pay Less Attention to Learn More
本文提出MEAP方法，通过整合MLM与NTP提升上下文检索能力，实验显示其在关键信息检索和长上下文推理任务中表现优异，且在常识推理任务中不逊色。
2026-03-13 cs.CL cs.LG
Causal Autoregressive Diffusion Language Model
Meituan Inc.（美团公司）；School of Computer Science（计算机科学学院）；Engineering, Northeastern University, Shenyang, China（工程学院，东北大学，沈阳，中国）；NiuTrans Research, Shenyang, China（NiuTrans研究，沈阳，中国）
本文提出CARD，一种结合自回归模型训练效率和扩散模型推理效率的新型语言模型，通过因果掩码和动态并行解码实现高效生成与高数据效率。
2026-01-29 cs.CL
AutoTimes: Autoregressive Time Series Forecasters via Large Language Models
Tsinghua University（清华大学）
针对时间序列基础模型发展受限、现有LLM时间序列预测未充分利用其自回归特性的问题，提出AutoTimes框架，将LLM改造为自回归预测器，实现了低参数、高速度的最优预测性能。
2024-10-31 cs.CL cs.LG
Non-autoregressive Machine Translation with Probabilistic Context-free Grammar
University of Chinese Academy of Sciences（中国科学院大学）；Cambricon Technologies（寒武纪科技）
提出PCFG-NAT，利用概率上下文无关文法增强非自回归Transformer捕获词间依赖的能力，缩小与自回归模型的翻译质量差距，并提升可解释性。
2023-11-14 cs.AI cs.CL
Context-Aware Cross-Attention for Non-Autoregressive Translation
The University of Sydney（悉尼大学）；Tencent AI Lab（腾讯人工智能实验室）；Peking University（北京大学）
非自回归翻译（NAT）通过预测整个目标序列来显著加速推理过程。然而，由于在解码器中缺乏目标依赖性建模，条件生成过程严重依赖于交叉注意。在本文中，我们揭示了一个本地感知问题的NAT交叉注意，这是很难充分捕捉源上下文。为了缓解这个问题，我们建议将相邻源令牌的信号增强为传统的交叉注意。在几个有代表性的数据集上的实验结果表明，我们的方法可以在强NAT基线上持续提高翻译质量。大量的分析表明，增强的交叉注意实现了更好地利用源上下文，利用本地和全球信息。
2020-11-02 cs.CL
Nemotron-Labs-TwoTower: Diffusion Language Modeling with Pretrained Autoregressive Context
NVIDIA（英伟达）
提出双塔扩散语言模型TwoTower，解耦上下文表示与迭代去噪，在保持98.7%质量的同时实现2.42倍生成吞吐量提升。
2026-07-01 cs.CL
Document Informed Neural Autoregressive Topic Models with Distributional Prior
Siemens AG（西门子股份公司）；University of Munich (LMU)（慕尼黑大学）
我们解决了主题模型中的两个挑战：（1）单词周围的上下文信息有助于确定它们的实际含义，例如，在“人工神经网络“与“生物神经网络”的上下文中使用的“网络”。生成主题模型推断主题词分布，不考虑或只考虑很少的上下文。在这里，我们扩展了神经自回归主题模型，以语言建模的方式利用文档中单词周围的完整上下文信息。该模型被命名为iDocNADE。(2)由于单词出现的数量很小（即，由于短文本中缺乏上下文）以及少量文档的语料库中数据稀疏，主题模型的应用在此类文本上具有挑战性。因此，我们提出了一种简单有效的方法将外部知识纳入神经自回归主题模型：我们使用嵌入作为分布先验。所提出的变体被命名为DocNADEe和iDocNADEe。我们提出了新的神经自回归主题模型变体，这些变体在来自不同领域的7个长文本和8个短文本数据集的泛化性，可解释性（主题一致性）和适用性（检索和分类）方面始终优于最先进的生成主题模型。
2019-01-14 cs.AI cs.CL cs.IR
Speeding up Context-based Sentence Representation Learning with Non-autoregressive Convolutional Decoding
UC San Diego（加州大学圣地亚哥分校）；Adobe Research（奥多比研究院）
语境在人类语言理解中起着重要的作用，因此它也可以用于机器学习语言的向量表示。在本文中，我们探索了一种非对称的编码器-解码器结构，用于无监督的基于上下文的句子表示学习。我们精心设计的实验表明，既不需要自回归解码器，也不需要RNN解码器。在此之后，我们设计了一个模型，该模型仍然保留RNN作为编码器，同时使用非自回归卷积解码器。我们进一步结合了一套有效的设计，以显着提高模型效率，同时也实现了更好的性能。我们的模型是在两个不同的大型未标记语料库上训练的，在这两种情况下，可移植性都是在一组下游NLP任务上评估的。我们的经验表明，我们的模型是简单和快速的，同时产生丰富的句子表示，擅长下游任务。
2018-06-01 cs.CL cs.LG cs.NE
Non-Autoregressive Machine Translation with Disentangled Context Transformer
University of Washington（华盛顿大学）；Facebook AI（Facebook人工智能）
最先进的神经机器翻译模型生成从左到右的翻译，并且每一步都以先前生成的标记为条件。这个生成过程的顺序性导致了推理的基本延迟，因为我们不能在每个句子中并行生成多个标记。我们提出了一个基于注意力掩蔽的模型，称为解纠缠上下文（DisCo）Transformer，同时生成所有令牌给定不同的上下文。训练DisCo Transformer以在给定其他参考令牌的任意子集的情况下预测每个输出令牌。我们还开发了并行的简单优先推理算法，它迭代地并行细化每个令牌，并减少了所需的迭代次数。我们在7个不同数据大小的翻译方向上进行了大量实验，结果表明，与非自回归机器翻译的最新技术相比，我们的模型即使没有更好的性能，也具有竞争力，同时显著减少了平均解码时间。我们的代码可在https://github.com/facebookresearch/DisCo上获得。
2020-06-30 cs.CL
PALM: Pre-training an Autoencoding&Autoregressive Language Model for Context-conditioned Generation
Alibaba Group（阿里巴巴集团）
自监督预训练，如BERT，MASS和BART，已经成为一种强大的自然语言理解和生成技术。现有的预训练技术采用自编码和/或自回归目标来训练基于transformer的模型，通过从具有一些掩蔽令牌的损坏文本中恢复原始单词令牌。现有技术的训练目标通常与许多语言生成任务的目标不一致，例如生成式问答和会话响应生成，用于产生给定上下文的新文本。这项工作提出了一种新的计划，共同预训练的自编码和自回归语言模型上的大型未标记的语料库，专门设计用于生成新的文本条件下的上下文PALM。新方案消除了现有去噪方案在预训练和微调之间引入的不匹配，其中生成多于重建原始文本。一组广泛的实验表明，PALM在各种语言生成基准测试中取得了新的最先进的结果，包括生成式问答（官方MARCO排行榜上的排名1），CNN/DailyMail以及Gigaword上的抽象摘要，SQuAD上的问题生成以及Cornell Movie Dialogues上的会话响应生成。
2020-09-20 cs.CL
Cascaded Text Generation with Markov Transformers
Harvard University（哈佛大学）；Cornell University（康奈尔大学）
神经文本生成的两种主要方法是使用串行束搜索解码的完全自回归模型和使用没有输出依赖性的并行解码的非自回归模型。本文提出了一个具有次线性并行时间生成的自回归模型。注意到有界上下文的条件随机场可以并行解码，我们提出了一种高效的级联解码方法，用于生成高质量的输出。为了参数化这个级联，我们引入了一个马尔可夫Transformer，一个流行的完全自回归模型的变体，允许我们同时解码特定的自回归上下文截止。这种方法只需要对标准自回归训练进行很小的修改，同时与五个机器翻译数据集上的现有方法相比，显示出具有竞争力的准确性/速度权衡。
2020-12-05 cs.CL cs.LG cs.NE
DiffScore: Text Evaluation Beyond Autoregressive Likelihood
Ant Group（蚂蚁集团）；Tsinghua University（清华大学）；Technical University of Munich（慕尼黑技术大学）
DiffScore通过基于掩码大扩散语言模型的掩码重建方法，消除位置偏差，建立从局部流畅到全局连贯的评估体系，并提供诊断工具提升文本评估效果。
2026-05-12 cs.AI cs.CL
textTOvec: Deep Contextualized Neural Autoregressive Topic Models of Language with Distributed Compositional Prior
Siemens AG（西门子股份公司）；University of Munich (LMU)（慕尼黑大学）
我们解决了概率主题建模的两个挑战，以便更好地估计给定上下文中单词的概率，即，P（单词|上下文）：（1）语境中无语言结构：概率主题模型通过将给定的语境概括为“词袋”而忽略词序，因此语境中的词的语义丢失。LSTM-LM通过考虑局部搭配模式中的词序来学习每个单词的向量空间表示，并对语言的复杂特征（例如，语法和语义），而TM同时从整个文档中学习潜在表示并发现底层主题结构。我们通过结合TM（例如，DocNADE）和统一概率框架中的LM，命名为ctx-DocNADE。(2)有限的上下文和/或较小的文档训练语料库：在具有少量单词出现的设置中（即，缺乏上下文）或在少量文档的语料库中数据稀疏，TM的应用是具有挑战性的。我们通过语言建模方法将外部知识纳入神经自回归主题模型来应对这一挑战：我们使用词嵌入作为LSTM-LM的输入，旨在改善较小和/或短文本语料库上的词主题映射。建议的DocNADE扩展名为ctx-DocNADEe。我们提出了新的神经自回归主题模型变体，加上神经LM和嵌入先验，在泛化（困惑），可解释性（主题一致性）和适用性（检索和分类）方面始终优于最先进的生成TM，超过来自不同领域的6个长文本和8个短文本数据集。
2019-02-23 cs.AI cs.CL cs.IR
Decoupling Token Roles in Autoregressive Pretraining
University of Sydney（悉尼大学）；University of Oxford（牛津大学）；Southeast University（东南大学）
本研究通过受控破坏解耦自回归预训练中令牌的预测目标与上下文角色，发现易预测性降低目标损害却增加上下文损害，并据此解释生成文本机制，提出需解耦角色以理解模型学习。
2026-09-29 cs.AI cs.CL cs.LG
Document Informed Neural Autoregressive Topic Models
Siemens AG（西门子股份公司）；University of Munich (LMU)（慕尼黑大学（LMU））
单词周围的上下文信息有助于确定它们的实际含义，例如在人工神经网络或生物神经网络的上下文中使用的“网络”。生成主题模型推断主题词分布，不考虑或只考虑很少的上下文。在这里，我们扩展了神经自回归主题模型，以语言建模的方式利用文档中单词周围的完整上下文信息。这导致在泛化、可解释性和适用性方面的性能提高。我们将我们的建模方法应用于来自各个领域的七个数据集，并证明我们的方法始终优于最先进的生成主题模型。使用学习的表示，我们在检索分数为0.02和F1的文本分类中平均获得了9.6%（0.57 Vs 0.52）的精度和7.2%（0.582 Vs 0.543）的精度。
2018-08-11 cs.CL cs.IR cs.LG
XLNet: Generalized Autoregressive Pretraining for Language Understanding
Carnegie Mellon University（卡内基梅隆大学）；Google AI Brain Team（谷歌人工智能大脑团队）
由于具有双向上下文建模的能力，基于去噪自编码的预训练（如BERT）比基于自回归语言建模的预训练方法具有更好的性能。然而，依赖于用掩码破坏输入，BERT忽略了掩码位置之间的依赖性，并且遭受预训练微调差异。鉴于这些优点和缺点，我们提出了XLNet，这是一种广义自回归预训练方法，它（1）通过最大化因子分解顺序的所有排列的预期似然来学习双向上下文，（2）克服了BERT的自回归公式的局限性。此外，XLNet将最先进的自回归模型Transformer-XL的思想集成到预训练中。根据经验，在可比的实验设置下，XLNet在20个任务上的表现优于BERT，通常是大幅度的，包括问答、自然语言推理、情感分析和文档排序。
2020-01-02 cs.CL cs.LG
Scene Text Recognition with Permuted Autoregressive Sequence Models
University of the Philippines（菲律宾大学）
上下文感知STR方法通常使用内部自回归（AR）语言模型（LM）。AR模型的固有局限性促使采用外部LM的两阶段方法。外部LM对输入图像的条件独立性可能导致其错误地纠正正确的预测，从而导致显著的低效率。我们的方法PARSeq使用置换语言建模学习具有共享权重的内部AR LM的集合。它统一了上下文无关的非AR和上下文感知的AR推理，以及使用双向上下文的迭代细化。使用合成训练数据，PARSeq在STR基准测试（91.9%的准确率）和更具挑战性的数据集上实现了最先进的（SOTA）结果。当在真实数据上训练时，它建立了新的SOTA结果（96.0%的准确度）。PARSeq在准确性与参数计数、FLOPS和延迟方面都是最优的，因为它简单、统一的结构和并行的令牌处理。由于其广泛使用的注意力，它是鲁棒的任意方向的文本，这是常见的现实世界的图像。代码、预训练权重和数据可在https://github.com/baudm/parseq上获得。
2022-07-14 cs.CL cs.CV
Semi-Autoregressive Streaming ASR With Label Context
Carnegie Mellon University（卡内基梅隆大学）；IBM Research（IBM研究院）
本文提出一种流式半自回归ASR模型，通过语言模型子网络引入历史标签上下文，并设计新贪心解码算法减少块边界错误，在多个数据集上显著提升准确率并降低延迟。
2024-02-20 cs.CL cs.SD eess.AS
Combining Autoregressive and Autoencoder Language Models for Text Classification
提出 CAALM-TC 混合框架，用自回归模型生成上下文并交由自编码器分类，在四个基准上优于现有方法，尤其适合小样本和抽象分类任务。
2024-12-05 cs.CL
Non-autoregressive Transformer with Unified Bidirectional Decoder for Automatic Speech Recognition
University of Science and Technology Beijing（北京科技大学）；Key Laboratory of Knowledge Automation for Industrial Processes of Ministry of Education（教育部工业过程知识自动化重点实验室）；EEasy Technology Company Ltd.（易捷科技有限公司）
非自回归（NAR）Transformer模型在自动语音识别（ASR）中得到了广泛的研究，而NAR Transformer模型的一个重要部分就是使用因果掩码来限制标记依赖。然而，因果掩码是针对非并行自回归（AR）Transformer的从左到右解码过程而设计的，这对于并行NAR Transformer是不合适的，因为它忽略了从右到左的上下文。一些模型被提出来利用具有额外解码器的从右到左上下文，但是这些方法增加了模型复杂度。为了解决上述问题，我们提出了一种新的非自回归Transformer与统一的双向解码器（NAT-UBD），它可以同时利用从左到右和从右到左的上下文。然而，直接使用双向上下文会导致信息泄漏，这意味着解码器的输出会受到来自相同位置输入的字符信息的影响。为了避免信息泄漏，我们提出了一种新的注意力掩码和修改香草查询，键和值矩阵的NAT-UBD。实验结果表明，NAT-UBD可以实现5.0%/5.5%的字符出错率（CER）的Aishell 1开发/测试集，优于所有以前的NAR Transformer模型。此外，当在单步的中解码时，NAT-UBD可以比AR Transformer基线快49.8倍。
2021-09-14 cs.CL cs.SD eess.AS
Lifelong Neural Topic Learning in Contextualized Autoregressive Topic Models of Language via Informative Transfers
Technische Universität München（慕尼黑工业大学）；TUM（慕尼黑工业大学）；Siemens AG（西门子股份公司）；LMU（慕尼黑大学）
LDA、DocNADE、iDocNADEe等主题模型在文档分析中得到了广泛的应用。然而，传统的主题模型有几个局限性，包括：（1）词袋（BoW）假设，其中它们忽略了单词排序，（2）数据稀疏，其中由于有限的单词共现，主题模型的应用具有挑战性，导致不连贯的主题，以及（3）没有用于终身主题学习的持续学习框架，利用历史知识（或潜在主题）和最小化灾难性遗忘。本文的研究重点是在神经主题建模框架下解决上述问题。我们建议：（1）结合主题和语言模型并引入语言结构（如词序、句法和语义特征等）的语境化主题模型在主题建模中，（2）将一种新的终身学习机制引入神经主题建模框架，以证明连续文档集合中的连续学习和最小化灾难性遗忘。此外，我们执行一个选择性的数据增强，以减轻在数据幻觉或重放过程中需要完整的历史语料库。
2019-09-29 cs.CL cs.IR cs.LG
Non-Autoregressive Document-Level Machine Translation
Zhejiang University（浙江大学）；Westlake University（西湖大学）；Nanyang Technological University（南洋理工大学）；Tsinghua University（清华大学）；Westlake Institute for Advanced Study（西湖高等研究院）
本文系统考察文档级机器翻译中的非自回归模型，提出源目标句子对齐设计以提升性能并验证高加速效果，同时揭示其在多模态、错位及语篇上下文建模上的局限。
2023-12-09 cs.CL
PHOTON: Hierarchical Autoregressive Modeling for Lightspeed and Memory-Efficient Language Generation
Fujitsu Limited（富士通株式会社）；RIKEN Center for AIP（理化学研究所先进信息研究中心）；Institute of Science Tokyo（东京科学研究所）；Tokai University（立命馆大学）
PHOTON 提出了一种分层自回归模型，通过垂直多分辨率上下文扫描提高语言生成的吞吐量与内存效率。
2026-01-08 cs.AI cs.CL cs.DC
Non-autoregressive Mandarin-English Code-switching Speech Recognition
National Taiwan University（台湾大学）
汉语-英语语码转换在东亚和东南亚人群中是一种常见现象。然而，两种非常不同的语言的句子内语言切换使得识别CS语音具有挑战性。同时，近年来成功的非自回归（NAR）ASR模型消除了自回归（AR）模型中从左到右波束解码的需要，取得了优异的性能和快速的推理速度，但尚未应用于中英文CS语音识别。本文利用Mask-CTC NAR ASR框架来解决CS语音识别问题。我们进一步建议将编码器的普通话输出目标改为拼音，以加快编码器训练，并引入拼音到普通话解码器来学习上下文信息。此外，我们使用词嵌入标签平滑来正则化解码器与上下文信息和投影矩阵正则化，以弥合编码器和解码器之间的差距。我们在SEAME语料库上对这些方法进行了评估，并取得了令人兴奋的结果。
2021-10-02 cs.CL
Flexible Language Modeling in Continuous Space with Transformer-based Autoregressive Flows
Apple（苹果公司）
本文提出TarFlowLM框架，将语言建模从离散token空间转向连续潜在空间，利用基于Transformer的自回归归一化流实现双向上下文建模、灵活分块生成和分层多遍生成，并在语言建模基准上验证了其灵活性和性能。
2025-07-01 cs.CL cs.LG
Non-autoregressive Transformer-based End-to-end ASR using BERT
National Taiwan University of Science and Technology（台湾科技大学）
基于transformer的模型在经典和实际的学科中带来了重大的创新，如语音处理，自然语言处理和计算机视觉。在Transformer之上，基于注意力的端到端自动语音识别（ASR）模型最近变得流行起来。具体而言，非自回归建模，它拥有快速的推理和性能相媲美的传统自回归方法，是一个新兴的研究课题。在自然语言处理的背景下，来自Transformers（BERT）模型的双向编码器表示受到了广泛关注，部分原因是它能够推断上下文化的单词表示，并为下游任务提供卓越的性能，同时只需简单的微调。受成功的启发，我们打算将语音识别视为BERT的下游任务，因此期望通过执行微调来推导ASR系统。因此，为了不仅继承非自回归ASR模型的优点，而且还享受预先训练的语言模型（例如，BERT），我们提出了一种基于BERT的基于非自回归变换器的端到端ASR模型。我们在AISHELL-1数据集上进行了一系列实验，与最先进的ASR系统相比，这些实验证明了该模型的竞争力或优越性。
2022-05-18 cs.CL cs.SD eess.AS
INarIG: Iterative Non-autoregressive Instruct Generation Model For Word-Level Auto Completion
Huawei Translation Service Center（华为翻译中心）
本文提出 INarIG 模型，将人工键入序列构建为指令单元并结合子词迭代解码，用于词级自动补全，在低频词场景及 WMT22 等基准上取得最优效果，准确率最大提升超 10%。
2023-11-30 cs.CL
Neighbors Are Not Strangers: Improving Non-Autoregressive Translation under Low-Frequency Lexical Constraints
Fudan University（复旦大学）；Huawei Translation Services Center（华为翻译中心）
然而，当前的自回归方法遭受高延迟。在本文中，我们专注于非自回归转换（NAT）的效率优势，这个问题。我们确定，目前的约束NAT模型，这是基于迭代编辑，不能很好地处理低频约束。为此，我们提出了一个插件算法，这条线的工作，即，对齐约束训练（ACT），它通过使模型熟悉约束的源端上下文来解决这个问题。在一般数据集和领域数据集上的实验表明，该模型在约束保持和翻译质量方面都优于骨干网约束NAT模型，尤其是对稀有约束。
2022-04-28 cs.CL
Streaming Align-Refine for Non-autoregressive Deliberation
Google, Inc.（谷歌公司）
我们提出了一种流非自回归（non-AR）解码算法来审议流RNN-T模型的假设对齐。该算法不仅简化了贪心解码过程，而且能够在有限的正确上下文下产生每帧的解码结果，从而具有高效率和低延迟的优点。这些优点是通过将离线Align-Refine算法转换为流媒体兼容来实现的，具有新颖的Transformer解码器架构，该架构对文本和音频执行本地自关注，并且在每一层执行时间对齐的交叉关注。此外，我们执行我们的模型与最小字出错率（MWER）的标准，这还没有做在非AR解码文献的判别训练。在语音搜索数据集和Librispeech上的实验表明，在合理的正确上下文下，我们的流模型表现得和离线模型一样好，当第一遍模型容量较小时，区分性训练会导致WER进一步增益。
2022-04-15 cs.CL cs.LG eess.AS
Listen Attentively, and Spell Once: Whole Sentence Generation via a Non-Autoregressive Architecture for Low-Latency Speech Recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
虽然基于注意力的端到端模型在语音识别中取得了很好的性能，但波束搜索中的多遍前向计算增加了推理时间开销，限制了其实际应用。为了解决这个问题，我们提出了一个非自回归的端到端的语音识别系统称为LASO（认真听，拼写一次）。由于非自回归特性，LASO预测序列中的文本标记，而不依赖于其他标记。由于不需要波束搜索，一次传播大大减少了LASO的推理时间。由于该模型采用了基于注意力的前馈结构，计算可以高效地并行实现。我们在公开的中文数据集AISHELL-1上进行了实验。LASO实现了6.4%的字符错误率，优于最先进的自回归Transformer模型（6.7%）。平均推理延迟为21 ms，是自回归Transformer模型的1/50。
2020-08-06 cs.CL eess.AS
XLM: A Python package for non-autoregressive language models
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
XLM是一个Python包，旨在加速非自回归语言模型的实现，并提供预训练模型供研究社区使用。
2025-12-18 cs.CL
Hybrid Autoregressive Transducer (hat)
Google（谷歌公司）
本文提出并评估了混合自回归换能器（HAT）模型，时间同步encoderdecoder模型，保留了传统的自动语音识别系统的模块化。HAT模型提供了一种衡量内部语言模型质量的方法，可以用来决定使用外部语言模型进行推理是否有益。本文还提出了HAT模型的有限上下文版本，它解决了暴露偏差问题，并显着简化了整体训练和推理。我们评估我们提出的模型上的一个大规模的语音搜索任务。我们的实验表明，WER显着改善相比，国家的最先进的方法。
2020-03-12 cs.CL cs.LG cs.SD
