Neural Attention Search Linear: Towards Adaptive Token-Level Hybrid Attention Models
University of Copenhagen（哥本哈根大学）
提出NAtS-L框架，在同一层内对不同令牌自适应选择线性注意力或softmax注意力，以平衡效率与表达能力。
2026-06-02 cs.CL cs.LG
LayerBoost: Layer-Aware Attention Reduction for Efficient LLMs
Openchip & Software Technologies, S.L（Openchip与软件技术公司）
LayerBoost通过层敏感性分析，选择性地调整Transformer层的注意力机制，减少计算复杂度，提升推理效率并保持模型质量。
2026-05-14 cs.CL cs.LG
Why do small language models underperform? Studying Language Model Saturation via the Softmax Bottleneck
Inria Paris（法国国家信息与自动化研究所巴黎分部）；Sorbonne Université（索邦大学）
该研究揭示小型语言模型的训练饱和现象源于模型隐藏维度与目标分布高秩不匹配引发的softmax瓶颈，实验证实隐藏维度不足1000的模型预训练后期会出现潜在表示退化，导致性能下降。
2024-04-11 cs.CL
Low-Rank Softmax Can Have Unargmaxable Classes in Theory but Rarely in Practice
University of Edinburgh（爱丁堡大学）
自然语言处理（NLP）中的分类器通常具有大量的输出类。例如，神经语言模型（LM）和机器翻译（MT）模型都可以从数千个词汇中预测标记。这些模型的Softmax输出层通常接收密集特征表示作为输入，其维数比输出低得多。从理论上讲，结果是一些单词可能不可能通过argmax预测，无论输入特征如何，并且根据经验，有证据表明这种情况发生在小型语言模型中。在本文中，我们问它是否可以发生在实际的大语言模型和翻译模型。为此，我们开发了算法来检测公共模型中的此类\emph{unargmaxable}令牌。我们发现，150个模型中有13个确实有这样的令牌;但是，它们非常罕见，不太可能影响模型质量。我们发布我们的代码，以便其他人可以检查他们的模型。
2022-03-21 cs.CL cs.LG
Von Mises-Fisher Loss for Training Sequence to Sequence Models with Continuous Outputs
Language Technologies Institute（语言技术研究所）；Carnegie Mellon University（卡内基梅隆大学）
Softmax函数用于几乎所有现有序列到序列模型的最后一层，用于语言生成。然而，它通常是计算速度最慢的一层，这将词汇表大小限制为最常见类型的子集;并且它具有很大的内存占用。我们提出了一种通用的技术，用连续的嵌入层代替softmax层。我们的主要创新是一种新的概率损失，以及一种训练和推理过程，在该过程中，我们在预训练的词嵌入上生成概率分布，而不是通过softmax获得的词汇表上的多项分布。我们评估这类新的序列到序列模型的神经机器翻译任务上的连续输出。我们表明，我们的模型在训练时间上获得了高达2.5倍的速度提升，同时在翻译质量方面与最先进的模型不相上下。这些模型能够处理非常大的词汇量，而不会影响翻译质量。它们还产生比基于softmax的模型更有意义的错误，因为这些错误通常位于参考翻译的向量空间的子空间中。
2019-03-22 cs.CL cs.LG stat.ML
Evaluating Contextual Embeddings and their Extraction Layers for Depression Assessment
Stony Brook University（石溪大学）
最近的工作已经证明了从个人话语评估心理健康方面的能力。与此同时，预先训练的上下文词嵌入模型已经成为NLP的主导，但在如何最好地将其应用于心理健康评估方面，人们知之甚少。使用抑郁程度作为案例研究，我们做了一个实证分析，现成的语言模型，单独的层，层的组合似乎最有前途时，应用于人类水平的NLP任务。值得注意的是，我们发现RoBERTa最有效，尽管过去的标准建议倒数第二层或最后4层的级联，但我们发现第19层（倒数第六层）至少与使用1层时的第23层一样好。此外，当使用多个层时，将它们分布在24层中的第二半（即层12+）而不是最后4层上产生了最准确的结果。
2022-04-28 cs.CL cs.LG
To Softmax, or not to Softmax: that is the question when applying Active Learning for Transformer Models
Technische Universität Dresden（德累斯顿工业大学）；Hochschule für Technik und Wirtschaft Dresden（德累斯顿工程与经济应用科学大学）
本文研究 Transformer 模型主动学习中 softmax 置信度不可靠的问题，在七个数据集上比较八种替代方法，发现只标注离群点会降低性能，并提出系统性忽略离群样本的启发式策略以改进多种主动学习方法。
2022-10-06 cs.AI cs.CL cs.DB
Navigating with Graph Representations for Fast and Scalable Decoding of Neural Language Models
Microsoft（微软）
神经语言模型（NLM）最近获得了新的兴趣，在许多自然语言处理（NLP）任务实现了最先进的性能。然而，NLM在计算上要求很高，主要是由于softmax层在大词汇表上的计算成本。我们观察到，在许多NLP任务的解码中，仅需要精确计算前K个假设的概率，并且K通常远小于词汇量。本文提出了一种新的softmax层近似算法，称为快速图解码器（FGD），它快速识别，对于给定的上下文，一组K字是最有可能出现根据NLM。我们证明了FGD将解码时间减少了一个数量级，同时在神经机器翻译和语言建模任务上达到了接近完整softmax基线的准确性。我们还证明了softmax逼近质量的理论保证。
2018-06-11 cs.AI cs.CL
How Contextual are Contextualized Word Representations? Comparing the Geometry of BERT, ELMo, and GPT-2 Embeddings
Stanford University（斯坦福大学）；University of Toronto（多伦多大学）
用上下文化的词表示代替静态的词嵌入，在许多NLP任务上都有了显著的改进。然而，ELMo和BERT等模型产生的语境化表示究竟有多语境化呢？每个词是否有无限多个上下文特定的表征，或者词本质上被分配了有限数量的词义表征之一？首先，我们发现所有单词的语境化表示在语境化模型的任何一层都不是各向同性的。虽然相同单词在不同上下文中的表示仍然比两个不同单词的表示具有更大的余弦相似性，但这种自相似性在上层中要低得多。这表明上下文化模型的上层产生更多的上下文特定的表示，就像LSTM的上层产生更多的任务特定的表示一样。在ELMo、BERT和GPT-2的所有层中，平均而言，一个词的上下文表示中只有不到5%的方差可以通过该词的静态嵌入来解释，这为上下文表示的成功提供了一些理由。
2019-09-02 cs.CL
GroupReduce: Block-Wise Low-Rank Approximation for Neural Language Model Shrinking
University of California, Davis（加州大学戴维斯分校）；Google Research（谷歌研究院）
模型压缩对于在资源有限的设备或需要实时响应的应用程序上服务大型深度神经网络至关重要。作为一个案例研究，最先进的神经语言模型通常由一个或多个递归层组成，这些递归层夹在用于表示输入令牌的嵌入层和用于生成输出令牌的softmax层之间。对于词汇量非常大的问题，嵌入和softmax矩阵可以占模型大小的一半以上。例如，bigLSTM模型在拥有约80万词汇的十亿字（OBW）数据集上实现了最先进的性能，其词嵌入和softmax矩阵使用超过6Gbit空间，并负责超过90%的模型参数。在本文中，我们提出了GroupReduce，神经语言模型的一种新的压缩方法，基于词汇分区（块）的低秩矩阵近似和令牌的固有频率分布（词的幂律分布）。实验结果表明，该方法的压缩性能明显优于传统的压缩方法，如低秩近似和修剪。在OBW数据集上，我们的方法对嵌入和softmax矩阵实现了6.6倍的压缩率，当与量化相结合时，我们的方法可以实现26倍的压缩率，这意味着整个模型的压缩系数为12.8倍，并且在困惑度方面几乎没有退化。
2018-06-18 cs.AI cs.CL cs.LG
Jam or Cream First? Modeling Ambiguity in Neural Machine Translation with SCONES
Google Research（谷歌研究院）
神经机器翻译中的softmax层旨在对互斥令牌的分布进行建模。然而，机器翻译本质上是不确定的：同一个源语句可以有多个语义等价的翻译。因此，我们建议用多标签分类层代替softmax激活，这样可以更有效地对模糊性进行建模。我们称我们的损失函数为非排他性序列的单标签对比目标（SCONES）。我们表明，多标签输出层仍然可以使用SCONES损失函数在单个参考训练数据上进行训练。SCONES在六个翻译方向上产生一致的BLEU分数增益，特别是对于中等资源语言对和小波束大小。通过使用更小的光束尺寸，我们可以将推理速度提高3.9倍，并且仍然匹配或提高使用softmax获得的BLEU分数。此外，我们证明了SCONES可以用于训练NMT模型，该模型将最高概率分配给适当的翻译，从而减轻“束搜索诅咒”。对具有不同不确定性水平的合成语言对的额外实验表明，SCONES的改进可以归因于更好地处理歧义。
2022-05-02 cs.CL
WEST: Word Encoded Sequence Transducers
Google Inc.（谷歌公司）
大词汇表模型中的大多数参数都用于嵌入层，将分类特征映射到向量，并用于softmax层的分类权重。这是存储器约束设备上训练应用（如联邦学习）和设备上推理应用（如自动语音识别（ASR））中的瓶颈。压缩嵌入层和softmax层的一种方法是用较小的子单元（如字符）替换较大的单元（如单词）。然而，与较大的单元模型相比，子单元模型的性能通常较差。我们提出了WEST，一种算法，用于编码分类功能和输出类的随机或域相关的子单元的序列，并证明这种转导可以导致显着的压缩，而不影响性能。WEST弥合了较大单元和子单元模型之间的差距，可以被解释为子单元特征上的MaxEnt模型，这可以是独立的兴趣。
2018-11-20 cs.CL cs.LG stat.ML
Revisiting the Architectures like Pointer Networks to Efficiently Improve the Next Word Distribution, Summarization Factuality, and Beyond
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）；Amazon Alexa AI（亚马逊Alexa人工智能部门）
本研究发现 Pointer Networks 能高效打破语言模型中的 softmax 瓶颈，据此提出多种 softmax 替代方案，在提升下一个词预测分布与摘要事实性的同时保持了计算效率。
2023-05-20 cs.CL
Exploiting Contextual Knowledge in LLMs through V-usable Information based Layer Enhancement
The Key Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences（认知与决策智能复杂系统重点实验室，自动化研究所，中国科学院）；School of Artificial Intelligence, University of Chinese Academy of Sciences（人工智能学院，中国科学院大学）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）；Meituan（美团）；University of Electronic Science and Technology of China（电子科技大学）
本文提出CaLE方法，通过V-可用信息分析在最优层增强上下文信息，提升LLMs在问答任务中的上下文忠实生成能力，尤其应对未知或冲突知识场景。
2025-04-22 cs.CL
Quantifying the Contextualization of Word Representations with Semantic Class Probing
LMU Munich（慕尼黑大学）；Microsoft Turing（微软图灵）
预训练的语言模型在许多NLP任务上已经达到了新的艺术水平，但关于它们如何以及为什么工作得这么好，仍然有许多悬而未决的问题。我们研究了BERT中词语的语境化。我们量化了情境化的数量，即，通过研究一个词的语义类别在多大程度上可以从它的语境化嵌入中推断出来，来研究词在语境中的解释情况。量化语境化有助于理解和利用预训练的语言模型。我们发现，顶层表示实现高精度推断语义类;最强的语境化效应发生在较低的层;本地上下文大多是足够的语义类推理;和顶层表示更具体的任务后微调，而较低层表示更可转移。微调揭示了任务相关的特征，但预训练的知识仍然在很大程度上被保留下来。
2020-10-11 cs.CL
Mechanistic Interpretability of GPT-2: Lexical and Contextual Layers in Sentiment Analysis
AI Center of Excellence Fidelity Investments（福达投资人工智能卓越中心）
GPT-2情感分析中，早期层负责词汇检测，晚期层通过统一机制整合上下文现象，推翻了中层专业化假设。
2025-12-07 cs.AI cs.CL
A Factorized Recurrent Neural Network based architecture for medium to large vocabulary Language Modelling
JNResearch
统计语言模型是许多使用语义的应用程序的核心。众所周知，递归神经网络（RNN）可以为语言建模产生最先进的结果，在许多情况下优于传统的n-gram。为了生成词汇表的概率分布，这些模型需要一个softmax输出层，其大小随词汇表的大小线性增加。大型词汇表需要非常大的softmax层，在典型的笔记本电脑/PC上训练它们需要大量的时间和机器资源。在本文中，我们提出了一种新的技术，用于实现基于RNN的大词汇量语言模型，大大加快计算，同时最佳地使用有限的内存资源。我们的技术，同时建立在通过具有多个输出层来分解输出层的概念上，通过大幅优化单个输出层大小并消除对多步预测过程的需要来改进早期工作。
2016-02-04 cs.AI cs.CL
Probing Context Localization of Polysemous Words in Pre-trained Language Model Sub-Layers
Saarland Informatics Campus（萨尔兰信息学园区）
本研究使用线性探针分析预训练语言模型子层对多义词的上下文化强度，发现BERT在特定短上下文位置的顶部子层表现高度上下文化，但无法系统推广至所有位置和上下文大小。
2024-09-21 cs.CL
Neural Machine Translation via Binary Code Prediction
Carnegie Mellon University（卡内基梅隆大学）
在本文中，我们提出了一种新的方法来计算神经机器翻译系统的输出层。该方法基于预测每个单词的二进制代码，并且可以将输出层的计算时间/存储器要求减少到在最好的情况下词汇量的对数。此外，我们还介绍了两种先进的方法来提高所提出的模型的鲁棒性：使用纠错码和结合softmax和二进制码。在两个英日双向翻译任务上的实验表明，所提出的模型实现了接近softmax的BLEU分数，同时将内存使用量减少到不到1/10的数量级，并将CPU上的解码速度提高了x5到x10。
2017-04-23 cs.CL
Distilling to Hybrid Attention Models via KL-Guided Layer Selection
Allen Institute for AI（艾伦人工智能研究所）；MIT（麻省理工学院）；MIT-IBM Watson AI Lab（麻省理工-IBM沃森人工智能实验室）；Stony Brook University（石溪大学）
本文提出通过KL引导的层选择方法，将预训练的softmax注意力Transformer distilling 到混合架构中，以提高LLM推理效率。
2025-12-23 cs.AI cs.CL
Contextual Memory Reweaving in Large Language Models Using Layered Latent State Reconstruction
本文提出上下文记忆重织框架，通过分层潜状态重构整合历史嵌入，在不增加外部记忆模块的情况下提升大语言模型长序列回忆准确率与推理一致性。
2025-03-25 cs.CL
Measuring the Mixing of Contextual Information in the Transformer
TALP Research Center（TALP研究中心）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
Transformer架构通过自我注意力机制聚合输入信息，但是对于这些信息如何在整个模型中混合并没有清晰的理解。此外，最近的研究表明，注意力权重本身不足以描述信息流。在本文中，我们考虑了整个注意力块--多头注意力、剩余连接和层归一化--并定义了一个度量来测量每层内的令牌到令牌的交互。然后，我们汇总逐层解释，为模型预测提供输入归因得分。在实验中，我们表明，我们的方法，ALTI（聚合的逐层令牌到令牌的相互作用），提供了更忠实的解释和增强的鲁棒性比基于梯度的方法。
2022-10-22 cs.CL
'Layer su Layer': Identifying and Disambiguating the Italian NPN Construction in BERT's family
Alma Mater Studiorum - University of Bologna（博洛尼亚大学）
本研究通过BERT的层间探针分类器，评估上下文嵌入对意大利NPN结构的编码情况，揭示构造形式与意义在神经语言模型中的体现程度。
2026-04-04 cs.CL
Dissecting Contextual Word Embeddings: Architecture and Representation
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；University of Washington（华盛顿大学）
从预训练的双向语言模型（biLM）中导出的上下文单词表示最近已被证明为广泛的NLP任务提供了对现有技术的显着改进。然而，许多问题仍然是如何以及为什么这些模型是如此有效。在本文中，我们提出了一个详细的实证研究，研究神经架构的选择（例如LSTM，CNN或自我注意力）如何影响最终任务的准确性和学习到的表征的定性属性。我们表明，速度和准确性之间存在权衡，但所有架构都能学习高质量的上下文表示，在四个具有挑战性的NLP任务中表现优于词嵌入。此外，所有架构都学习随网络深度而变化的表示，从基于词嵌入层的专有形态，到基于较低上下文层的局部语法，再到更长范围的语义，如上层的共指。总之，这些结果表明，独立于架构的无监督biLM正在学习比以前更多的语言结构。
2018-09-27 cs.CL
When can isotropy help adapt LLMs' next word prediction to numerical domains?
Department of Electrical and Computer Engineering & Department of Computer Science（电气与计算机工程系与计算机科学系）；Department of Computer Science（计算机科学系）；Department of Electrical and Computer Engineering（电气与计算机工程系）
本文通过各向同性分析，从理论上阐明了大语言模型在数值领域实现下一词预测适配的条件，并提出性能保证机制，实验验证了数据与架构的影响。
2025-06-20 cs.CL
Linguistic Knowledge and Transferability of Contextual Representations
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；Harvard John A. Paulson School of Engineering and Applied Sciences（哈佛大学约翰·A·保尔森工程与应用科学学院）；MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）；University of Washington（华盛顿大学）
来自大规模神经语言模型的上下文单词表征在各种NLP任务中都是成功的，这表明它们编码了有用的和可转移的语言特征。为了揭示它们捕获的语言知识，我们研究了几个最近预训练的上下文化器（ELMo的变体，OpenAI Transformer语言模型和BERT）产生的表示，以及一套17个不同的探测任务。我们发现，在冻结的上下文表示之上训练的线性模型在许多情况下与最先进的任务特定模型竞争，但在需要细粒度语言知识的任务上失败（例如，联合识别）。为了研究上下文单词表示的可转移性，我们量化了上下文化器中各个层的可转移性差异，特别是递归神经网络（RNN）和Transformers之间的差异。例如，RNN的更高层更具有任务特定性，而Transformer层不表现出相同的单调趋势。此外，为了更好地理解是什么使上下文单词表示可转移，我们将语言模型预训练与11个监督预训练任务进行了比较。对于任何给定的任务，当预训练数据集固定时，对密切相关的任务进行预训练会产生比语言模型预训练更好的性能（平均而言更好）。然而，在更多数据上进行语言模型预训练会得到最好的结果。
2019-04-25 cs.CL
Layer-wise Minimal Pair Probing Reveals Contextual Grammatical-Conceptual Hierarchy in Speech Representations
Department of Electrical Engineering, Columbia University（哥伦比亚大学电气工程系）
本文首次系统评估多种语音语言模型中的上下文句法与语义特征，通过71个任务的最小对探测发现语音编码器普遍更稳健地编码语法特征而非概念特征。
2025-09-19 cs.CL eess.AS
Contextual Compression Encoding for Large Language Models: A Novel Framework for Multi-Layered Parameter Space Pruning
针对大语言模型部署的计算瓶颈，提出上下文压缩编码（CCE）框架，通过多阶段编码机制动态重构参数分布，在保留表示保真度的同时实现多层参数剪枝，在多任务中保持准确性且提升部署效率。
2025-02-12 cs.CL
VQ-Logits: Compressing the Output Bottleneck of Large Language Models via Vector Quantized Logits
Southern University of Science and Technology（南方科技大学）；Fudan University（复旦大学）；Tsinghua University（清华大学）；SenseTime Research（商汤科技研究院）
本文提出VQ-Logits方法，利用向量量化将大语言模型输出层的大嵌入矩阵替换为小型共享码本，实现高达99%参数减少和6倍计算加速，仅增加4%困惑度。
2026-09-21 cs.CL
VAST: The Valence-Assessing Semantics Test for Contextualizing Language Models
University of Washington（华盛顿大学）
VAST是一种新颖的上下文化词嵌入的内在评价任务。VAST使用效价，一个词与愉悦的关联，来衡量词级LM语义与广泛使用的人类判断的对应关系，并检查上下文化，标记化和LM特定几何的影响。由于先前的研究发现，来自GPT-2的CWE在其他内在评估上表现不佳，因此我们选择GPT-2作为我们的主要对象，并包括表明VAST对其他7种LM有用的结果，并且可以在7种语言中使用。GPT-2的结果表明，一个词的语义包含了更接近模型输出的层中上下文的语义，使得VAST分数在我们的上下文设置之间存在差异，范围从第11层的Pearson's rho的0.55到0.77。我们还表明，多重标记化的话没有语义编码，直到层8，在那里他们实现皮尔逊的ρ.46，表示存在的编码过程中的多重标记化的话，不同于单标记化的话，其中ρ是最高的层0。我们发现，一些神经元的值具有更大的幅度比其余的掩模在GPT-2的顶层的词级语义，但词级语义可以通过取消非语义主成分恢复：皮尔森的rho在顶层从0.32提高到0.76。在隔离语义后，我们通过对四个单词相似性任务的相关工作进行改进，展示了VAST在理解LM语义方面的实用性，SimLex-999的得分为.50，优于GPT-2的.45。最后，我们发现，10个WEAT偏见测试，比较各组之间的词嵌入协会的差异，表现出更多的刻板印象一致的偏见后，隔离语义，表明非语义结构在LM也掩盖偏见。
2022-03-14 cs.AI cs.CL cs.CY
Utilizing Multilingual Encoders to Improve Large Language Models for Low-Resource Languages
School of Mathematical and Computational Sciences, Massey University, Auckland, New Zealand（数学与计算科学学院，梅西大学，奥克兰，新西兰）；Department of Computer Science, The Open University, Milton Keynes, United Kingdom（计算机科学系，开放大学，米利顿凯斯，英国）
本文提出一种融合多语言编码器所有中间层的新架构，通过全局Softmax加权和Transformer Softmax学习词元权重，仅用英语数据训练即显著提升低资源语言上的LLM性能。
2025-11-08 cs.CL
Consistency and Coherence from Points of Contextual Similarity
Primer Technologies Inc.（Primer Technologies 公司）
事实的一致性是摘要评价的一个重要方面，特别是在编写摘要变得更加流畅和连贯的情况下。最近专门针对事实一致性提出的ESTIME度量，在一致性和流畅性方面都与人类专家得分具有高度相关性，而原则上仅限于评估具有高词典重叠的文本摘要对。这对当前的摘要风格来说不是问题，但它可能会成为未来摘要系统的障碍，或者对文本的任意声明进行评估。在这项工作中，我们推广的方法，并使一个变种的措施适用于任何文本摘要对。由于ESTIME使用上下文相似性点，因此它可以深入了解从不同BERT层获取的信息的有用性。我们观察到，有用的信息存在于几乎所有的层，除了几个最低的。对于一致性和流畅性-专注于本地文本细节的质量-最有用的层接近顶部（但不是顶部）;对于连贯性和相关性，我们发现了一个更复杂和有趣的画面。
2022-01-07 cs.CL
Semantic Layered Embedding Diffusion in Large Language Models for Multi-Contextual Consistency
SLED机制通过基于谱分析的多层扩散过程，在Transformer中实现全局与局部语义平衡，提升多领域文本生成的连贯性与效率，优于基线方法。
2025-03-25 cs.AI cs.CL
CoViPAL: Layer-wise Contextualized Visual Token Pruning for Large Vision-Language Models
School of Artificial Intelligence, Wuhan University（武汉大学人工智能学院）；School of Computer Science, Wuhan University（武汉大学计算机学院）；School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机学院）；Cognitive AI Lab, Shanghai Huawei Technologies, China（上海华为技术有限公司认知人工智能实验室）
针对大视觉语言模型视觉令牌过多导致的计算与内存开销问题，提出即插即用的层级上下文化剪枝方法CoViPAL，在浅层即可有效剪枝冗余令牌，在多基准上性能优于同类免训练及同监督水平的训练型剪枝方法，兼顾推理效率与精度。
2025-08-30 cs.AI cs.CL cs.CV
ROT: Rotating Hidden States towards Contextual Vectors for Hallucination Mitigation in LVLMs
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
针对LVLM物体幻觉，提出免训练的ROT框架，通过检测中间层隐藏状态的语义偏差并施加保范旋转，将其引导回多模态上下文平面，在多个基准上显著降低幻觉。
2026-10-06 cs.AI cs.CL cs.CV
High-Accuracy and Low-Latency Speech Recognition with Two-Head Contextual Layer Trajectory LSTM Model
Microsoft（微软）
虽然社区一直在推广端到端模型，而传统的混合模型通常是用交叉熵标准训练的长短期记忆（LSTM）模型，然后是序列判别训练标准，但我们认为这种传统的混合模型仍然可以显着改进。在本文中，我们详细介绍了我们最近为改进传统的混合LSTM声学模型以实现高精度和低延迟的自动语音识别所做的努力。为了实现高精度，我们使用了上下文层轨迹LSTM（cltLSTM），它将时间建模和目标分类任务合并，并结合未来的上下文帧以获得更多信息，从而实现准确的声学建模。进一步完善了序列级师生学习的培训策略。为了获得低延迟，我们设计了一个双头cltLSTM，与LSTM相比，其中一个头具有零延迟，另一个头具有较小的延迟。当使用微软6.5万小时的匿名训练数据进行训练并使用180万个单词的测试集进行评估时，采用所提出的训练策略的双头cltLSTM模型与传统的LSTM声学模型相比，相对WER减少了28.2%，并且具有类似的感知延迟。
2020-03-17 cs.CL cs.SD eess.AS
WCTC-Biasing: Retraining-free Contextual Biasing ASR with Wildcard CTC-based Keyword Spotting and Inter-layer Biasing
LINE WORKS Corporation（LINE WORKS公司）；NAVER Cloud Corporation（NAVER Cloud公司）
本文提出WCTC-Biasing方法，通过通配符CTC在中间层进行关键词检测并对后续层施加偏置，在不重训练的情况下提升CTC模型对稀有词的识别准确率，日语实验中未知词F1分数提升29%。
2025-06-02 cs.CL cs.SD eess.AS
Contextualized End-to-end Automatic Speech Recognition with Intermediate Biasing Loss
Honda Research Institute Japan Co., Ltd.（日本本田研究所）；Carnegie Mellon University（卡内基梅隆大学）
针对现有上下文化端到端语音识别忽略中间层上下文知识的问题，提出在编码器中间层加入显式偏置损失的方法，在LibriSpeech语料库上显著降低词错误率，提升模型鲁棒性。
2024-06-23 cs.CL cs.SD eess.AS
