Linear Complexity Self-Supervised Learning for Music Understanding with Random Quantizer
Orfium Research（奥菲姆研究）
本文提出了一种结合Branchformer和SummaryMixing的自监督学习方法，通过随机量化减少模型规模，实现音乐理解任务中的高效性能。
2026-01-14 cs.AI cs.CL cs.LG
ASPIRin: Action Space Projection for Interactivity-Optimized Reinforcement Learning in Full-Duplex Speech Language Models
National Taiwan University（国立台湾大学）；ASUS Open Cloud Infrastructure Software Center（华硕开放云端基础设施软件中心）；NVIDIA AI Technology Center（英伟达人工智能技术中心）
ASPIRin通过动作空间投影和GRPO方法优化全双工语音语言模型的交互性能，提升语义连贯性并减少重复生成。
2026-04-11 cs.AI cs.CL cs.SD
Enhancing BEST-RQ Pseudo-Label Quality through Online Refinement for Automatic Speech Recognition
Machine Learning and Human Language Technology Group, RWTH Aachen University（亚琛工业大学机器学习与人类语言技术组）；Apptek GmbH（Apptek 有限公司）
提出三种在线精炼方法改进BEST-RQ的伪标签生成，在LibriSpeech上实现12%的词错误率相对降低。
2026-07-01 cs.SD eess.AS
4-bit Quantization of LSTM-based Speech Recognition Models
IBM Research（IBM研究院）
我们研究了两类基于LSTM的大型自动语音识别架构（ASR）中权重和激活的积极低精度表示的影响：混合深度双向LSTM -隐马尔可夫模型（DBLSTM-Hacking）和递归神经网络-传感器（RNN-Ts）。使用4位整数表示，应用于这些模型的LSTM部分的简单量化方法会导致显着的字出错率（WER）下降。另一方面，我们表明，最小的精度损失是可以实现的量化器和初始化的适当选择。特别是，我们根据网络的局部属性定制量化方案，在限制计算时间的同时提高识别性能。我们证明了我们的解决方案的交换机（SWB）和呼叫中心（CH）测试集的NIST集线器5 -2000的评估。用300或2000小时的SWB数据训练的DBLSTM-Hashion分别实现了$<$ 0.5%和$<$ 1%的平均WER降级。在更具挑战性的RNN-T模型上，我们的量化策略将4位推理的退化限制在1.3%。
2021-08-27 cs.CL cs.LG cs.SD
Learning De-identified Representations of Prosody from Raw Audio
Novoic
我们提出了一种使用对比自监督信号从原始音频学习去识别韵律表示的方法。鉴于以前的工作依赖于瓶颈条件模型，我们引入了一组归纳偏见，利用韵律的自然结构，以尽量减少音色信息和解耦韵律从扬声器表示。尽管对输入进行了积极的下采样并且无法访问语言信息，但我们的模型在DAMMP上执行了最先进的语音表示，DAMMP是我们为口语语言理解引入的新基准。我们使用最小描述长度探测表明，我们的表示有选择地学习了非音色韵律的子成分，并且产品量化器自然地解开它们而不使用瓶颈。我们推导出一个信息理论的定义，语音可识别性，并使用它来证明我们的韵律表示比其他语音表示识别。
2021-07-17 cs.CL cs.LG cs.SD
Sub-8-bit quantization for on-device speech recognition: a regularization-free approach
Amazon Alexa AI（亚马逊Alexa人工智能部门）
对于设备上自动语音识别（ASR），量化感知训练（QAT）是普遍存在的，以实现模型预测性能和效率之间的权衡。在现有的QAT方法中，一个主要的缺点是量化质心必须是预定的和固定的。为了克服这一限制，我们引入了一个正则化的自由，“软到硬”的压缩机制与自我可调的质心在μ律约束的空间，从而在一个更简单，但更通用的量化方案，称为通用量化器（GQ）。我们在LibriSpeech和去识别远场数据集上使用递归神经网络转换器（RNN-T）和Conformer架构将GQ应用于ASR任务。在不降低精度的情况下，GQ可以将RNN-T和Conformer压缩到8位以下，对于某些RNN-T层，可以压缩到1位，以实现快速准确的推理。通过物理设备基准测试，我们观察到与8位QAT相比，内存占用节省了30.73%，用户感知的延迟减少了31.75%。
2022-11-01 cs.LG cs.SD eess.AS
NEST-RQ: Next Token Prediction for Speech Self-Supervised Pre-Training
Seed Team, ByteDance（字节跳动Seed团队）
针对现有语音自监督预训练方法对流式模型支持不足的问题，提出基于因果编码器和下一词元预测的NEST-RQ方法，在流式ASR任务上性能优于BEST-RQ，验证了该预训练范式的可行性。
2024-09-13 cs.AI cs.CL eess.AS
LM-SPT: LM-Aligned Semantic Distillation for Speech Tokenization
Department of Artificial Intelligence, Korea University（韩国大学人工智能系）；Multi-modal Model Training, Kakao Corp（Kakao公司多模态模型训练部）
提出LM-SPT方法，通过语义语音重合成蒸馏，在不降低帧率的情况下生成与语言模型更对齐的离散语音标记，在ASR和TTS任务中优于现有方法。
2026-06-16 cs.AI cs.CL cs.SD
UFO2: A unified pre-training framework for online and offline speech recognition
JD AI Research（京东人工智能研究院）
提出UFO2统一预训练框架，将在线与离线语音识别训练合并为单一流程，通过全上下文与动态分块输入、停止梯度解耦及联合损失训练，在有限标注下显著降低WER。
2023-04-03 cs.SD eess.AS
BiRQ: Bi-Level Self-Labeling Random Quantization for Self-Supervised Speech Recognition
University of Rochester（罗切斯特大学）；IBM Research（IBM研究院）；Cornell University（康奈尔大学）
BiRQ 提出一种双层自监督语音识别框架，复用模型自身中间表征经随机投影量化生成增强伪标签，并以原始输入锚定标签稳定训练，通过一阶双层优化端到端求解，在多个数据集上以低复杂度持续优于 BEST-RQ。
2025-09-18 cs.CL cs.SD eess.AS
AzeroS: Extending LLM to Speech with Self-Generated Instruction-Free Tuning
AZeroS通过自生成指令-free微调方法，无需任务特定数据即可实现语音领域LLM的高效扩展，取得最佳泛化性能。
2026-10-28 cs.CL cs.SD eess.AS
DM-Codec: Distilling Multimodal Representations for Speech Tokenization
Center for Computational & Data Sciences, Independent University, Bangladesh（计算与数据科学中心，独立大学，孟加拉国）；Amazon GenAI（亚马逊生成人工智能）；Qatar Computing Research Institute（卡塔尔计算研究所）；University of Virginia（弗吉尼亚大学）
针对语音离散令牌缺少上下文表示的问题，提出DM-Codec，通过LM与SM引导蒸馏融合声学、语义和上下文信息，显著降低转写错误并提升语音质量。
2025-09-29 cs.AI cs.CL cs.SD
Optimized Self-supervised Training with BEST-RQ for Speech Recognition
Technische Hochschule Nürnberg（纽伦堡技术大学）
本研究通过引入Kullback-Leibler散度正则化损失和源自低级特征聚类的多码本扩展，优化了BEST-RQ语音识别自监督训练方法，在LibriSpeech上显著降低了词错误率并加速了收敛。
2025-01-27 cs.SD
End-To-End Speech Recognition Using A High Rank LSTM-CTC Based Model
Mobvoi AI Lab（出门问问人工智能实验室）
基于长短期记忆联结时态分类（LSTM-CTC）的端到端模型由于其训练简单、解码效率高而被广泛应用于语音识别中。在传统的基于LSTM-CTC的模型中，瓶颈投影矩阵将从LSTM获得的隐藏特征向量映射到softmax输出层。在本文中，我们提出使用高秩投影层来代替投影矩阵。来自高秩投影层的输出是经由不同投影矩阵和非线性激活函数从隐藏特征向量投影的向量的加权组合。高秩投影层能够提高LSTM-CTC模型的表达能力。在华尔街日报（WSJ）语料库和LibriSpeech数据集上的实验结果表明，该方法比基准CTC系统的相对词出错率降低了4%-6%.在没有外部数据或数据增强的情况下，它们的性能优于其他已发布的基于CTC的端到端（E2 E）模型。代码已在https://github.com/mobvoi/lstm_ctc上提供。
2019-03-12 cs.CL
Google USM: Scaling Automatic Speech Recognition Beyond 100 Languages
Google Inc.（谷歌公司）
论文提出USM单一大型语音模型，通过1200万小时多语言无监督预训练、随机投影量化与模态匹配，在百余种语言ASR及语音翻译上达到先进水平，并以Whisper七分之一标注数据取得相当或更优效果。
2023-09-25 cs.CL cs.SD eess.AS
Spatial Attention for Far-field Speech Recognition with Deep Beamforming Neural Networks
Facebook
在本文中，我们引入了空间注意力的多方向神经波束形成器的信息细化远场自动语音识别。具有多个观看方向的神经波束形成器的先前方法，例如因子化复线性投影，已经显示出有希望的结果。然而，这些方法提取的特征包含冗余信息，因为只有目标语音的方向是相关的。我们建议使用一个空间注意子网来衡量来自不同方向的特征，以便后续的声学模型可以集中在最相关的语音识别的功能。我们的实验结果表明，空间注意力实现了9%的相对字错误率的改善方法没有注意。
2020-03-09 cs.SD eess.AS
Simplified Self-Attention for Transformer-based End-to-End Speech Recognition
Northwestern Polytechnical University（西北工业大学）；School of Computer Science（计算机学院）；Alibaba DAMO Academy（阿里巴巴达摩院）
Transformer模型由于其在建模长期依赖关系方面的优势，已被引入到端到端语音识别中，在各种任务上具有最先进的性能。然而，这种改进通常是通过使用非常大的神经网络来获得的。Transformer模型主要包括位置前馈层和自注意（SAN）层两个子模块。在本文中，为了降低模型的复杂性，同时保持良好的性能，我们提出了一个简化的自我注意（SSAN）层，使用FSMN内存块，而不是投影层，以形成查询和关键向量的转换为基础的端到端语音识别。我们评估了基于SSAN和传统的基于SAN的Transformers器上的公共AISHELL-1，内部1000小时和20,000小时的大规模普通话任务。结果表明，我们提出的基于SSAN的Transformer模型可以实现超过20%的相对减少模型参数和6.7%的相对CER减少AISHELL-1任务。令人印象深刻的是，我们的模型在20，000小时的大规模任务中没有表现出识别性能的损失。
2020-11-17 cs.CL cs.SD eess.AS
Robust Audiovisual Speech Recognition Models with Mixture-of-Experts
Carnegie Mellon University（卡内基梅隆大学）；Renmin University of China（中国人民大学）
本文提出EVA模型，利用混合专家架构将视觉信息注入预训练语音识别模型，实现对野外视频的鲁棒视听语音识别，并在三个基准上取得最优结果。
2024-09-19 cs.CL cs.CV cs.SD
Optimizing Alignment of Speech and Language Latent Spaces for End-to-End Speech Recognition and Understanding
Microsoft（微软）
基于注意力的编码器-解码器（AED）网络的发展为端到端（E2 E）自动语音识别（ASR）带来了巨大的进步。进一步提高基于AED的E2 E ASR性能的一种方法是引入额外的文本编码器，以利用大量的文本数据，从而捕获更多的上下文感知语言信息。然而，由于用于建模的不同单元，这种方法带来了语音编码器和文本编码器之间的失配问题。在本文中，我们提出了一种嵌入对齐器和模态切换训练，以更好地对齐语音和文本潜在空间。嵌入对齐器是文本编码器和语音编码器之间的共享线性投影，分别由掩蔽语言建模（MLM）损失和连接主义时间分类（CTC）训练。模态切换训练基于强制对齐结果随机交换语音和文本嵌入，以学习联合表示空间。实验结果表明，我们提出的方法实现了相对14%至19%的字出错率（WER）减少Librispeech ASR任务。我们进一步验证了它对口语语言理解（SLU）的有效性，即，SNIPS插槽填充任务的F1分数绝对提高了2.5%至2.8%。
2021-10-23 cs.SD eess.AS
Reducing the Output-Mode Gap in Speech Language Models via Joint-Output On-Policy Distillation
Leibniz Research Center, Huawei（华为莱布尼茨研究中心）；The Chinese University of Hong Kong（香港中文大学）；City University of Hong Kong（香港城市大学）
针对语音语言模型中S2TS模式与S2T模式间的输出模式差距，提出联合输出在策略蒸馏方法，利用教师软目标显著降低准确率差距，实验验证其有效性。
2026-09-15 cs.CL cs.SD eess.AS
Inductive biases, pretraining and fine-tuning jointly account for brain responses to speech
Facebook AI Research（Facebook AI研究院）；Université de Paris（巴黎大学）；CoML, ENS/CNRS/EHESS/INRIA/PSL University（计算语言学实验室，巴黎高等师范学院/法国国家科学研究中心/法国社会科学高等研究院/法国国家信息与自动化研究所/巴黎文理研究大学）；CRI, Département Frontières du Vivant et de l’Apprendre, IIFR, Université de Paris（认知研究所，生命与学习前沿系，法国医学研究院，巴黎大学）；École normale supérieure, PSL University, CNRS（巴黎高等师范学院，巴黎文理研究大学，法国国家科学研究中心）
到目前为止，我们理解语音的能力仍然是深度学习模型无法比拟的。这一壮举可能是由于大脑的能力，微调通用的声音表示为语音特定的过程。为了验证这一假设，我们比较了i）五种类型的深层神经网络和ii）由口语句子引起的人脑反应，并使用功能性磁共振成像（fMRI）记录了102名荷兰受试者。每个网络要么接受声学场景分类、语音转文本任务（基于孟加拉语、英语或荷兰语）的训练，要么未接受训练。每个模型和大脑之间的相似性通过在最佳线性投影后将它们各自的激活相关联来评估。网络之间大脑相似性的差异揭示了三个主要结果。首先，大脑中的语音表征可以由随机深度网络来解释。其次，学习对声学场景进行分类会导致深度网络增加它们的大脑相似性。第三，学习处理语音相关的语音输入（即，荷兰语vs英语）导致深度网络达到比学习处理语音距离较远的语音输入（即荷兰语vs孟加拉语）更高的大脑相似性水平。总之，这些结果表明，人类大脑微调其经过严格训练的听觉层次来学习处理语音。
2021-02-25 cs.CL cs.SD eess.AS
Multi-scale Octave Convolutions for Robust Speech Recognition
University of Edinburgh（爱丁堡大学）
我们提出了一个多尺度倍频程卷积层，以有效地学习鲁棒的语音表示。八度卷积由Chen等人[1]在计算机视觉领域引入，通过将卷积层的输出分解为两个不同空间分辨率的特征图来减少特征图的空间冗余，相隔一个八度。这种方法提高了CNN模型的效率和准确性。准确度的提高归因于原始输入空间中感受野的扩大。我们认为，倍频程卷积同样提高了学习表示的鲁棒性，因为在较低分辨率组中使用了平均池，充当低通滤波器。我们测试这一假设，通过评估两个嘈杂的语音语料库-极光-4和AMI。我们将八度卷积概念扩展到多分辨率组和多个八度。为了评估推断表示的鲁棒性，我们使用仿射投影损失作为代理鲁棒性度量来报告清洁和噪声编码之间的相似性。结果表明，所提出的方法相对于Aurora-4和AMI分别降低了6.6%和3.6%的WER，同时提高了CNN声学模型的计算效率。
2019-10-31 cs.CL cs.LG cs.SD
Unsupervised and Efficient Vocabulary Expansion for Recurrent Neural Network Language Models in ASR
Nanyang Technological University（南洋理工大学）
在自动语音识别（ASR）系统中，循环神经网络语言模型（RNNLM）被用来对词格或N-最佳假设列表进行重新核。由于昂贵的训练，RNNLM的词汇集只容纳最频繁单词的小短列表。如果输入语音包含许多候选列表外（OOS）单词，则这会导致次优性能。一个有效的解决方案是增加入围名单的大小并重新训练整个网络，这是非常低效的。因此，我们提出了一种有效的方法来扩展预训练的RNNLM的候选列表集，而不会产生昂贵的再训练和使用额外的训练数据。我们的方法利用了RNNLM的结构，可以将其解耦为三个部分：输入投影层，中间层和输出投影层。具体来说，我们的方法扩展了投影层中的词嵌入矩阵，并保持中间层不变。在这种方法中，只要OOS单词在两个嵌入空间中正确建模，预训练的RNNLM的功能就可以正确保持。我们建议通过借用适当的候选词的语言知识来建模OOS词。此外，我们建议生成OOS单词列表，通过自动从ASR输出中提取它们来以无监督的方式扩展词汇。
2018-06-27 cs.CL eess.AS
Feature Normalisation for Robust Speech Recognition
语音识别系统的性能在噪声环境中会降低。如果声学模型是使用干净话语的特征来构建的，则有噪声的测试话语的特征将与训练的模型在声学上不匹配。这给出了差的似然性和差的识别准确性。模型自适应和特征标准化是解决这个问题的两个广泛领域。虽然前者通常提供更好的性能，但后者涉及较少数量的参数的估计，使得系统对于实际实现是可行的。本研究的重点是各种子空间，统计和立体的特征归一化技术的功效。一个子空间投影为基础的方法已被调查作为一个独立的和附属的技术，涉及重建的嘈杂的语音功能从一个预先计算的一组干净的语音积木。使用对数梅尔滤波器组系数上的非负矩阵分解（NMF）来学习构建块，所述对数梅尔滤波器组系数形成干净语音子空间的基础。该工作提供了一个详细的研究如何将该方法可以纳入梅尔频率倒谱系数的提取过程。实验结果表明，新特征对噪声具有较强的鲁棒性，与现有技术相结合，取得了较好的效果。本文还对噪声鲁棒语音识别的SPLICE算法的训练过程提出了改进。它基于特征相关性，并使这种基于立体声的算法能够在所有噪声条件下提高性能，特别是在看不见的情况下。此外，修改后的框架被扩展到非立体声数据集，其中需要干净和嘈杂的训练话语，但不是立体声对应物。在SPLICE框架下，提出了一种基于MLLR的计算效率高的运行时噪声自适应方法。
2015-07-14 cs.CL cs.SD
LLM can Read Spectrogram: Encoder-free Speech-Language Modeling
Microsoft, USA（微软公司，美国）
提出 Mel-LLM，一种无需专用语音编码器、直接将梅尔频谱图补丁通过线性投影输入 LLM 的架构，在 ASR 和 TTS 任务上验证了其可行性，ASR 性能与有编码器方案相当，TTS 初步可行。
2026-09-22 cs.SD eess.AS
Multi-Discriminator Sobolev Defense-GAN Against Adversarial Attacks for End-to-End Speech Systems
École de Technologie Supérieure (ÉTS), Université du Québec（魁北克大学高等技术学院）
本文介绍了一种针对尖端语音转文本系统开发的端到端对抗攻击的防御方法。提出的防御算法有四个主要步骤。首先，我们使用短时傅立叶变换用二维频谱图表示语音信号。其次，我们迭代地找到一个安全的向量使用频谱子空间投影操作。该操作使用附加的正则化项来最小化谱图之间的弦距离调整。第三，我们使用一个新的GAN架构训练Sobolev积分概率度量合成这样一个安全向量的频谱图。为了提高模型的性能方面的稳定性和学习模式的总数，我们施加了额外的约束的发电机网络。最后，我们从合成的频谱图和Griffin-Lim相位近似技术重建信号。我们评估了针对DeepSpeech，Kaldi和Lingvo模型的六种强大的白盒和黑盒对抗攻击的防御方法。我们的实验结果表明，我们的算法优于其他国家的最先进的防御算法的准确性和信号质量。
2021-03-15 cs.LG cs.SD eess.AS
SepRQ : Self-Supervised Speech Mixture Representation Learning via Mask-Free, Multi-Scale Source Separation
Univ Toulon（土伦大学）；Aix Marseille Univ（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）；pyannoteAI；ILLS（拉瓦尔国际学习实验室）
SepRQ通过无掩码多尺度源分离目标替代掩码预测，在SUPERB基准上实现说话人日志和语音分离最先进性能，仅需85.68M参数，并开源。
2026-10-06 cs.CL cs.LG eess.AS
Non-autoregressive Mandarin-English Code-switching Speech Recognition
National Taiwan University（台湾大学）
汉语-英语语码转换在东亚和东南亚人群中是一种常见现象。然而，两种非常不同的语言的句子内语言切换使得识别CS语音具有挑战性。同时，近年来成功的非自回归（NAR）ASR模型消除了自回归（AR）模型中从左到右波束解码的需要，取得了优异的性能和快速的推理速度，但尚未应用于中英文CS语音识别。本文利用Mask-CTC NAR ASR框架来解决CS语音识别问题。我们进一步建议将编码器的普通话输出目标改为拼音，以加快编码器训练，并引入拼音到普通话解码器来学习上下文信息。此外，我们使用词嵌入标签平滑来正则化解码器与上下文信息和投影矩阵正则化，以弥合编码器和解码器之间的差距。我们在SEAME语料库上对这些方法进行了评估，并取得了令人兴奋的结果。
2021-10-02 cs.CL
BrainWhisperer: Leveraging Large-Scale ASR Models for Neural Speech Decoding
本文提出BrainWhisperer，结合高分辨率MEA记录与预训练ASR模型，通过改进的CTC和交叉熵损失实现跨受试者语音解码，展示出前所未有的泛化能力。
2026-03-04 cs.SD eess.AS
Realisation d'un systeme de reconnaissance automatique de la parole arabe base sur CMU Sphinx
本文介绍了Satori和所有人完成的工作的继续。[SCH 07]通过SPHINX 4系统实现了一个针对阿拉伯语的自动语音识别系统（ASR）。以前的工作仅限于识别的前十位数字，而目前的工作是一个显着的投影，包括在连续的阿拉伯语语音识别与周围环境的识别率96%。
2012-02-28 cs.CL
Folding Attention: Memory and Power Optimization for On-Device Transformer-based Streaming Speech Recognition
Meta AI
针对端侧流式语音识别中线性投影层导致的内存与功耗瓶颈，提出 folding attention，在不损失准确率且不增加计算开销的前提下最高减少 24% 模型大小和 23% 功耗。
2024-01-19 cs.AR cs.LG cs.SD
A Study of ASR Adaptation and Representation Dimensionality Reduction in Persian Speech Emotion Recognition Using Whisper
本研究针对低资源语言波斯语的语音情感识别问题，提出基于PCA降维的SER框架，实验表明该方法可提升性能并降低资源消耗，而ASR微调仅带来小幅增益。
2026-11-03 cs.AI cs.CL cs.LG
Speak in Context: Multilingual ASR with Speech Context Alignment via Contrastive Learning
Institute for Analytics and Data Science, University of Essex（数据分析与科学研究所，埃塞克斯大学）；School of Computer Science and Electronic Engineering, University of Essex（计算机科学与电子工程学院，埃塞克斯大学）
本文提出一种基于对比学习的多语言语音识别框架，通过语境对齐提升识别性能，支持多种语言和口音，实现语音与上下文的高效交互。
2026-08-19 cs.CL
Decoder-Side Semantic Conditioning for Low-Bitrate Neural Speech Compression
Department of Computer Science and Data Science, NYU Shanghai（纽约大学上海校区计算机科学与数据科学系）；Department of Computer Science（计算机科学系）
SemDAC通过语义代码本提升神经语音压缩效率，实现更高效且适合识别的音频表示。
2026-09-09 cs.CL cs.LG cs.SD
Boosting keyword spotting through on-device learnable user speech characteristics
Integrated Systems Laboratory (IIS), ETH Zurich（苏黎世联邦理工学院集成系统实验室）；Zurich Research Center, Huawei Technologies（华为技术有限公司苏黎世研究中心）；DEI, University of Bologna（博洛尼亚大学电子、计算机与工程系）
针对TinyML场景下关键词识别适配未见用户难、端侧学习资源不足的问题，提出含预训练骨干与用户感知嵌入的轻量端侧学习架构，可低成本适配用户语音，显著降低错误率，适配少样本场景且满足微控制器资源约束。
2024-03-12 cs.LG cs.SD eess.AS
Understanding the Modality Gap: An Empirical Study on the Speech-Text Alignment Mechanism of Large Speech Language Models
Beike Inc.（贝克公司）；Bairong Inc.（柏睿公司）
本研究通过实证分析揭示大型语音语言模型中语音与文本输入间的模态差距，提出对齐路径分数量化词元级对齐，并设计干预策略以提升语音输入正确性。
2025-10-14 cs.AI cs.CL
Exploiting Low-dimensional Structures to Enhance DNN Based Acoustic Modeling in Speech Recognition
Idiap Research Institute（伊迪亚普研究所）；University of Fribourg（弗里堡大学）
我们建议将深度神经网络（DNN）类条件后验概率的声学空间建模为低维子空间的联合。为此，训练后验用于字典学习和稀疏编码。使用该字典的测试后验的稀疏表示使得能够投影到训练数据的空间。依赖于这样的事实，即后验子空间的内在尺寸确实是非常小的，属于一类的所有后验的矩阵具有非常低的秩，我们演示了如何低维结构，使进一步增强后验和纠正虚假的错误，由于失配条件。增强的声学建模方法导致使用混合DNN-HMM（隐马尔可夫模型）框架在干净和噪声条件下的连续语音识别任务的改进，其中实现了高达15.4%的字出错率（WER）的相对降低。
2016-01-22 cs.CL cs.LG stat.ML
SyncVSR: Data-Efficient Visual Speech Recognition with End-to-End Crossmodal Audio Token Synchronization
KAIST（韩国科学技术院）；Kwangwoon University（光云大学）；Ajou University（亚洲大学）；Seoul National University（首尔大学）
针对视觉语音识别中同形异音位难区分、跨模态对齐不完全的问题，提出端到端框架SyncVSR，通过量化音频帧级监督和投影层同步，非自回归生成离散音频令牌，实现SOTA效果且数据用量最多减9倍。
2024-06-18 cs.AI cs.CL cs.CV
Residual LSTM: Design of a Deep Recurrent Architecture for Distant Speech Recognition
Samsung Semiconductor, Inc.（三星半导体有限公司）
本文介绍了一种新的深度递归神经网络架构，残差LSTM。普通LSTM具有内部存储单元，可以学习顺序数据的长期依赖性。它还提供了一个时间捷径路径，以避免消失或爆炸的梯度在时间域。剩余的LSTM提供了一个额外的空间捷径路径，用于有效训练具有多个LSTM层的深度网络。与以前的工作相比，高速公路LSTM，剩余LSTM通过使用输出层将空间捷径路径与时间捷径路径分开，这有助于避免空间和时间域梯度流之间的冲突。此外，残差LSTM重用LSTM的输出投影矩阵和输出门来控制空间信息流，而不是额外的门网络，这有效地减少了10%以上的网络参数。在AMI SDM语料库上进行的远程语音识别实验表明，10层平原和公路LSTM网络的WER分别比3层基线增加了13.7%和6.2%。相反，10层剩余LSTM网络提供了最低的WER 41.0%，分别对应于平原和公路LSTM网络的3.3%和2.8% WER减少。
2017-06-05 cs.AI cs.LG cs.SD
Mitigating Accent-Language Confusion in Self-Supervised Speech Representations for Language Identification
University of Southern California（南加州大学）；Carnegie Mellon University（卡内基梅隆大学）
针对自监督语音表征中口音与语言混淆问题，提出基于几何投影的L1偏差去除方法，仅用母语语音估计偏差方向，在五个MMS-LID模型上显著提升L2口音语音识别，且无需L2数据或模型适配。
2026-10-08 cs.CL cs.SD eess.AS
Reducing Prompt Sensitivity in LLM-based Speech Recognition Through Learnable Projection
Idiap Research Institute（Idiap研究 institute）；EPFL（苏黎世联邦理工学院）；Uniphore（Uniphore公司）；University of Zurich（苏黎世大学）；Brno University of Technology（布拉格技术大学）
本文提出一种可学习的提示投影模块，通过优化LLM输入空间提升语音识别性能，减少提示设计的不稳定性。
2026-01-28 cs.CL cs.LG eess.AS
Cross-Register Projection for Headline Part of Speech Tagging
Bloomberg（彭博有限合伙企业）
词性标注是一项常见的NLP任务。最先进的标记器通常在新闻正文上达到超过97%的标记级准确率，这表明这个问题已经得到了很好的理解。然而，英语新闻标题的语域（headlinese）与长文本的语域有很大的不同，导致词性标注模型在标题上表现不佳。在这项工作中，我们自动标注新闻标题与POS标签投影预测标签从相应的句子中的新闻机构。我们训练一个多领域的POS标签的长形式和标题文本，并表明，联合训练两个寄存器提高了训练，只是一个或天真地连接训练集。我们对来自Google句子压缩语料库的超过5，248个英语新闻标题的新注释语料库进行了评估，并表明我们的模型每个标记的相对错误减少了23%，每个标题减少了19%。此外，我们证明了更好的标题POS标签可以提高基于语法的开放式信息抽取系统的性能。我们提供POSH，即POS标记的标题语料库，以鼓励研究改进的新闻标题NLP模型。
2021-09-15 cs.AI cs.CL
Unsupervised Cross-Lingual Part-of-Speech Tagging with Monolingual Corpora Only
School of Foreign Languages, University of Electronic Science and Technology of China（电子科技大学外国语言学院）；School of Computer Science and Engineering, University of Electronic Science and Technology of China（电子科技大学计算机科学与工程学院）
本文提出了一种仅使用单语语料的无监督跨语言词性标注框架，通过无监督神经机器翻译构建伪平行句子对，并利用多源投影技术提升词性标注性能。
2026-02-10 cs.CL
CCC-wav2vec 2.0: Clustering aided Cross Contrastive Self-supervised learning of speech representations
Indian Institute of Technology, Madras（印度理工学院马德拉斯分校）；University of Maryland, College Park（马里兰大学帕克分校）
提出ccc-wav2vec 2.0预训练策略，通过聚类降低相似负样本影响并结合跨对比损失，在LibriSpeech和Switchboard上分别实现最高15.6%和14.9%的相对WER改进。
2023-05-13 cs.CL
Low-Resource Domain Adaptation for Speech LLMs via Text-Only Fine-Tuning
Huazhong University of Science and Technology, School of Electronic Information and Communications（华中科技大学电子信息与通信学院）；MoE Key Lab of Artificial Intelligence, AI Institute, X-LANCE Lab, Shanghai Jiao Tong University, Shanghai, China（人工智能MoE重点实验室、AI研究院、X-LANCE实验室、上海交通大学、上海，中国）；Jiangsu Key Lab of Language Computing, Suzhou, China（江苏省语言计算重点实验室、苏州，中国）；AISpeech Co., Ltd., Suzhou, China（AISpeech公司、苏州，中国）
本文提出通过文本仅微调实现语音大模型在低资源环境下的领域适应，有效提升识别性能并减少领域迁移中的性能下降。
2025-12-23 cs.CL eess.AS
Beyond Acoustic Emotion Recognition: Multimodal Pathos Analysis in Political Speech Using LLM-Based and Acoustic Emotion Models
Democracy Intelligence gGmbH（民主智能有限责任公司）
本文研究了语音情感识别模型是否能作为政治演讲分析中Pathos维度的代理，通过TRUST多智能体大语言模型（LLM）管道进行操作。使用德国议会全体会议中Felix Banaszak的演讲作为案例研究，比较了三种分析模式：(1) emotion2vec_plus_large，一个通过后验Russell Circumplex投影得到连续唤醒度和估值的语音情感识别（SER）模型；(2) Gemini 2.5 Flash，一个分析完整演讲音频及其转录文本的LLM，以开放和上下文感知的方式进行；(3) TRUST-Pathos分数，来自三个倡导者LLM监督集合。斯皮尔曼等级相关性显示，Gemini估值与TRUST-Pathos高度相关（rho = +0.664，p < 0.001），而emotion2vec估值不相关（rho = +0.097，p = 0.499）。我们进一步通过系统评估柏林情感语音数据库（EMO-DB）使用Gemini在开放注释范式下，证明标准SER基准语料库存在表演性演讲、文化偏见和类别不兼容性。我们的结果表明，基于LLM的多模态分析在捕捉语义定义的政治情感方面比单独的语音模型更有效，而语音特征仍对低层次唤醒度估计有帮助。未来的工作将扩展这种方法到视频分析中，结合面部表情和眼神。
2026-05-21 cs.AI cs.CL cs.HC
The Role of Prosodic and Lexical Cues in Turn-Taking with Self-Supervised Speech Representations
School of Engineering, Trinity College Dublin, Ireland（都柏林信任学院工程学院）
本文研究了基于自监督语音表示的轮替机制，发现语调和词汇线索均支持轮替，且可单独使用，为未来模型设计提供了新方向。
2026-01-20 cs.CL
MoDAl: Self-Supervised Neural Modality Discovery via Decorrelation for Speech Neuroprosthesis
Dartmouth College（达特茅斯学院）
提出MoDAl框架，通过对比学习和对齐损失与去相关损失之间的协同作用，从多脑区发现互补神经模态，在Brain-to-Text Benchmark '24上将词错误率从26.3%降至21.6%。
2026-08-07 cs.CL cs.HC cs.LG
Adaptive Fisher-Whitened Cross-Covariance for Low-Resource Speech Recognition
University of Cambridge（剑桥大学）
针对低资源语音识别，提出基于Fisher白化互协方差的任务信息感知适配方法，通过自适应秩分配在固定参数预算下提升Whisper和Qwen3-ASR的性能，优于LoRA。
2026-09-25 cs.CL
