MOSS-Audio-Tokenizer: Scaling Audio Tokenizers for Future Audio Foundation Models
MOSS-Audio-Tokenizer通过同质Transformer架构实现端到端音频分词，支持高保真重建并提升语音合成和语音识别性能。
2026-02-12 cs.SD eess.AS
SALSA: Speedy ASR-LLM Synchronous Aggregation
IBM Research（IBM研究院）；IIT Bombay（印度理工学院孟买分校）
本文提出 SALSA 方法，通过简单投影将 ASR 解码器与 LLM 解码器同步耦合，并采用级联分词解决词表不匹配问题，在 8 种低资源语言上实现最高 38% 的 WER 降低。
2024-08-29 cs.CL cs.LG cs.SD
Error-driven Fixed-Budget ASR Personalization for Accented Speakers
IIT Bombay（印度理工学院孟买分校）
我们认为个性化的ASR模型的任务，而被限制在一个固定的预算上记录扬声器特定的话语。给定一个扬声器和一个ASR模型，我们提出了一种方法来识别句子的扬声器的话语很可能是困难的给定的ASR模型来识别。我们假设少量的特定于说话人的数据来学习音素级错误模型，帮助我们选择这样的句子。我们表明，扬声器的话语选择使用我们的错误模型的句子确实有较大的出错率相比，扬声器的话语随机选择的句子。我们发现，微调的ASR模型的帮助下选择的句子话语产生更高的WER的改善相比，微调的随机选择的句子话语的数量相等。因此，我们的方法提供了一个有效的方式收集扬声器的话语下的预算限制个性化的ASR模型。
2021-06-02 cs.CL cs.SD eess.AS
DSA-Tokenizer: Disentangled Semantic-Acoustic Tokenization via Flow Matching-based Hierarchical Fusion
Department of Computer Science, City University of Hong Kong（香港城市大学计算机科学系）；AI Lab, Leibniz Research Center, Huawei（华为利比全中心人工智能实验室）
提出DSA-Tokenizer，通过ASR监督语义令牌和mel谱重建监督声学令牌实现解耦，并引入层次化流匹配解码器和联合重构-上下文修补训练策略，实现高保真重构和跨语句语音克隆。
2026-06-07 cs.AI cs.SD eess.AS
Deep Transformer based Data Augmentation with Subword Units for Morphologically Rich Online ASR
Budapest University of Technology and Economics（布达佩斯技术与经济大学）；SpeechTex Ltd.（SpeechTex有限公司）；THINKTech Research Center（THINKTech研究中心）
最近，Deep Transformer模型已经被证明在ASR的语言建模任务中特别强大。然而，它们的高度复杂性使得它们很难在在线系统的第一（单）遍中应用。最近的研究表明，神经网络语言模型（LM）的相当一部分知识可以通过使用基于神经文本生成的数据增强转移到传统的n-gram。在我们的论文中，我们在一般文本语料库上预训练GPT-2 Transformer LM，并在匈牙利会话呼叫中心ASR任务上对其进行微调。我们表明，虽然使用Transformer生成的文本进行数据增强对于隔离语言效果很好，但它会导致形态丰富的语言中的词汇爆炸。因此，我们提出了一种新的方法，称为基于子词的神经文本增强，我们将生成的文本重新标记为统计派生的子词。我们比较了Morfessor和BPE统计子词标记器，并表明这两种方法可以显着提高WER，同时大大减少词汇量和内存需求。最后，我们还证明了基于子词的神经文本增强优于基于词的方法，不仅在整体WER方面，而且在识别OOV词方面。
2020-11-04 cs.CL eess.AS
StreamAlign: Streaming Text-Aligned Speech Tokenization
Seoul National University（首尔大学）；University of California, Berkeley（加州大学伯克利分校）；KRAFTON；Georgia Institute of Technology（佐治亚理工学院）
StreamAlign提出流式文本对齐语音分词框架，结合字符级RNN-T与词级ASR指导，降低延迟并缓解词汇不匹配，在LibriSpeech上取得最优WER和UTMOS，其SLM模型在语音续接与一致性上表现最佳。
2026-09-10 cs.CL cs.SD eess.AS
Adapting Whisper for Streaming Speech Recognition via Two-Pass Decoding
BloombergUSA（布莱尔集团美国分公司）；WeNet Open Source CommunityChina（WeNet开源社区中国）
针对Whisper模型原生不支持流式语音识别的问题，研究基于WeNet工具包采用U2两遍结构微调Whisper，新增因果注意力掩码训练的CTC解码器生成流式部分转录、原Whisper解码器重排序，还提出混合分词器方法，经实验验证可实现高性能流式ASR并提升数据效率与泛化性。
2025-06-13 cs.SD eess.AS
BuzzASR: A Swarm of 100+ Monolingual Speech Recognition Models
UC San Diego（加州大学圣迭戈分校）；EleutherAI
BuzzASR通过大规模单语微调Whisper模型，覆盖102种语言，在多数语言上降低字符错误率，并提升分词压缩率，优于Whisper-large-v3。
2026-10-06 cs.CL
Black-box Adaptation of ASR for Accented Speech
Indian Institute of Technology Bombay（印度理工学院孟买分校）
我们介绍了一个黑盒子，基于云的ASR系统，从目标口音语音适应的问题。虽然领先的在线ASR服务在主流口音上获得了令人印象深刻的性能，但它们在子人群上的表现很差-我们观察到Google的ASR API在印度口音上实现的单词错误率（WER）几乎是美国口音WER的两倍。现有的适应方法要么需要访问模型参数，要么在输出成绩单上覆盖纠错模块。我们强调需要将输出与原始语音相关联以修复口音错误。因此，我们提出了一种新的耦合的开源口音调整的本地模型与黑盒服务，从服务的输出指导帧级推理的本地模型。我们的细粒度合并算法是更好地在固定重音错误比现有的单词级组合策略。印度和澳大利亚的口音与三个领先的ASR模型作为服务的实验表明，我们实现了高达28%的相对减少WER在本地和服务模式。
2020-06-24 cs.CL cs.SD eess.AS
DARTS-ASR: Differentiable Architecture Search for Multilingual Speech Recognition and Adaptation
National Taiwan University（台湾大学）；NVIDIA（英伟达）
在以往的工作中，只有参数权重的ASR模型的优化下固定的拓扑结构。然而，成功的模型架构的设计一直依赖于人类的经验和直觉。此外，许多与模型架构相关的超参数需要手动调整。因此，在本文中，我们提出了一个ASR的方法，有效的梯度为基础的架构搜索，DARTS-ASR。为了研究DARTS-ASR的通用性，我们不仅将我们的方法应用于许多语言来执行单语ASR，而且还应用于多语言ASR设置。在以前的工作之后，我们在多语言数据集IARPA BABEL上进行了实验。实验结果表明，我们的方法优于基线固定拓扑结构的字符错误率分别减少10.2%和10.0%，在单语和多语种ASR设置。此外，我们进行了一些分析的搜索架构的DARTS-ASR。
2020-07-26 cs.CL cs.LG cs.SD
Effects of Speaker Count, Duration, and Accent Diversity on Zero-Shot Accent Robustness in Low-Resource ASR
Brown University（布朗大学）；Meta FAIR
本文研究低资源ASR训练中说话人数量、单说话人时长和口音多样性对未见口音鲁棒性的影响，发现增加说话人数量比增加单说话人时长更有效，且口音多样性在控制说话人数量时收益有限。
2025-06-04 cs.CL cs.SD eess.AS
Mutually-Constrained Monotonic Multihead Attention for Online ASR
KAIST（韩国科学技术院）
尽管具有实时解码的特征，但在机器翻译和自动语音识别（ASR）任务中，单调多头注意力（MMA）表现出与最先进的离线方法相当的性能。然而，MMA的延迟仍然是ASR中的一个主要问题，并且应该与可以在推断时间减少测试延迟的技术相结合，例如磁头同步束搜索解码，其强制所有未激活的磁头在从第一磁头激活起的小的固定延迟之后激活。在本文中，我们考虑到，在MMA的训练中，将发生在测试时间的多个头之间的相互作用，消除训练和测试阶段之间的差异。具体来说，我们通过考虑其他头部的边界，并反映在学习过程中，从单调的注意力得到预期的对齐。我们在ASR的两个标准基准数据集上验证了我们提出的方法，并表明我们的方法，MMA与训练阶段的相互约束的头部，提供了比基线更好的性能。
2021-03-26 cs.CL cs.SD eess.AS
Non-Autoregressive Transformer ASR with CTC-Enhanced Decoder Input
Tencent AI Lab（腾讯AI实验室）
非自回归（NAR）Transformer模型在自动语音识别（ASR）中取得了显著的推理加速，但其代价是精度不如自回归（AR）模型。大多数NAR Transformers采用填充有MASK令牌的固定长度序列或从编码器状态复制的冗余序列作为解码器输入，它们不能提供有效的目标侧信息，从而导致精度下降。为了解决这个问题，我们提出了一个CTC增强的NAR Transformer，它通过改进CTC模块的预测来生成目标序列。实验结果表明，我们的方法优于所有以前的NAR同行，实现了50倍的解码速度比强AR基线只有0.0 ~ 0.3绝对CER下降Aishell-1和Aishell-2数据集。
2021-04-16 cs.CL cs.SD eess.AS
Decoding Strategies for Diffusion-Based ASR: A Systematic Evaluation of Confidence-Based Thresholding
KAIST（韩国科学技术院）；Google DeepMind（谷歌DeepMind）
本文系统评估了基于扩散语言模型的ASR中三种解码策略，提出使用基于负对数似然的不确定性度量来监控解码进度，发现基于阈值的策略在准确率和速度上均优于固定步数策略，其中静态阈值策略在匹配自回归解码准确率的同时具有更高效率。
2026-09-02 cs.SD eess.AS
On the Difficulty of Token-Level Modeling of Dysfluency and Fluency Shaping Artifacts
Technische Hochschule Nürnberg Georg Simon Ohm（纽伦堡技术大学乔治·西蒙·奥姆学院）；Technische Hochschule Rosenheim（罗森海姆技术大学）；KST Institut GmbH（KST研究所）
本文提出一种轻量级适应方法，用于提升ASR对语流和流畅性修改的识别能力，同时揭示多语言端到端系统在处理德语数据时的局限性。
2025-11-18 cs.AI cs.CL cs.LG
Phonologically Informed Tokenization for German Speech Recognition: A Cross-Domain Study
Technische Hochschule Nürnberg Georg Simon Ohm（纽伦堡乔治·西蒙·欧姆应用技术大学）
本研究对比三类分词器在wav2vec 2.0-CTC模型上的德语跨域语音识别表现，发现分词器性能随词汇量和分布偏移变化，无单一通用最优解。
2026-10-09 cs.CL cs.LG
Echotune: A Modular Extractor Leveraging the Variable-Length Nature of Speech in ASR Tasks
Blockchain Industry School, Chengdu University of Information Technology（成都信息工程大学区块链产业学院）；School of Computer Science and Technology, Fudan University（复旦大学计算机科学技术学院）；Department of Computer Science, Victoria University（维多利亚大学计算机科学系）
本文提出Echo-MSA模块，通过可变长度注意力机制解决ASR中固定长度注意力窗口的局限，结合动态门控并行注意力架构，在保持模型稳定性的同时显著提升词错误率性能。
2024-04-08 cs.CL cs.SD eess.AS
CLEAR: Online Speech Content Leakage Estimation through Cross-ASR Disagreement
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
CLEAR提出一种无参考的在线语音内容泄露估计方法，利用异构ASR系统的不一致性在运行时评估隐私保护效果，实现动态调整隐私强度并保留声学效用。
2026-09-28 cs.SD eess.AS
Asymmetric Classifier-Free Guidance for Target-Speaker ASR
Worcester Polytechnic Institute（伍斯特理工学院）
针对目标说话人ASR在域偏移下性能下降的问题，提出基于Whisper的非对称分类器无关引导，通过单一引导尺度调整说话人条件贡献，并训练轻量级预测器逐句优化尺度，实现最高21.8%的相对词错误率降低。
2026-09-28 cs.CL cs.SD eess.AS
BBPE16: UTF-16-based byte-level byte-pair encoding for improved multilingual speech recognition
BBPE16是一种基于UTF-16的字节级字节对编码方法，通过统一的2字节代码单元提高多语言语音识别的token共享效率和计算性能。
2026-02-02 cs.AI cs.CL
Dolphin-CN-Dialect: Where Chinese Dialects Matter
Dataocean AI；Speech and Audio Technology Lab, Dept. EE, Tsinghua University（语音与音频技术实验室，电子工程系，清华大学）
本文提出Dolphin-CN-Dialect模型，专注于中文及方言丰富的场景，通过改进数据处理、分词、训练稳定性及数据采样策略，提升方言识别性能，并实现流式与非流式推理，提供灵活定制和高效部署。
2026-05-09 cs.CL eess.AS
Say More with Less: Variable-Frame-Rate Speech Tokenization via Adaptive Clustering and Implicit Duration Coding
针对固定帧率语音分词与语音信息非均匀分布不匹配的问题，本文提出VARSTok可变帧率分词器，通过自适应聚类与隐式时长编码实现动态词元分配，在更少词元下取得更优性能，可无缝集成下游语音语言模型。
2025-11-13 cs.SD eess.AS
Long-Tail Rebalancing for Non-Verbal Vocalization-Aware ASR: A Track 1 System for the NVVSpeech Challenge
Nanjing University（南京大学）；Jilin University（吉林大学）；Beijing Institute of Technology（北京理工大学）；National Taiwan University（国立台湾大学）；Shenzhen Pimei Technology Co., Ltd.（深圳匹美科技有限公司）；Northwestern Polytechnical University（西北工业大学）
针对NVVSpeech挑战赛中非语言发声识别任务，提出基于标签协调与两阶段采样（平方根类别采样+均匀微调）的数据中心ASR流水线，缓解长尾分布，获官方评分63.86并排名第四。
2026-09-24 cs.CL cs.SD eess.AS
Joint Beamforming and Speaker-Attributed ASR for Real Distant-Microphone Meeting Transcription
iFLYTEK Co., Ltd.（iFLYTEK公司）
本文提出联合波束成形与说话人属性ASR的方法，在真实AMI语料库上通过微调SA-ASR与神经波束成形器，将词错误率相对降低8%和9%。
2025-07-08 cs.CL
Dynamic ASR Pathways: An Adaptive Masking Approach Towards Efficient Pruning of A Multilingual ASR Model
Center for Robust Speech Systems (CRSS), University of Texas at Dallas, USA（稳健语音系统中心（CRSS），德克萨斯大学达拉斯分校）；Meta AI, USA（Meta AI）
本文提出自适应掩码剪枝方法，用于高效压缩多语言ASR模型，动态调整子网络以生成稀疏单语或双语模型，优于现有方法并减少语言特定剪枝需求。
2024-01-11 cs.AI cs.CL cs.LG
dLLM-ASR: A Faster Diffusion LLM-based Framework for Speech Recognition
Northwestern Polytechnical University（西北工业大学）
dLLM-ASR通过将扩散大语言模型的解码过程转化为先验引导的去噪流程，实现高效的语音识别，达到与自回归模型相当的准确率并提升4.44倍推理速度。
2026-01-25 cs.SD eess.AS
Q-SPT: Learnable Query-Based Compression for Low-Frame-Rate Speech Tokenization
Korea University（高丽大学）
Q-SPT提出可学习查询式双流压缩器，分别处理语义和声学流，并辅以文本损失监督，在低帧率下实现最优重建、识别与合成质量。
2026-10-02 cs.CL cs.SD eess.AS
Scaling End-to-End Models for Large-Scale Multilingual ASR
Google（谷歌）
跨多种语言构建ASR模型是一个具有挑战性的多任务学习问题，因为数据差异很大，而且严重不平衡。现有的工作已经显示出从高资源语言到低资源语言的积极转移。然而，由于异构多语言数据的干扰和每种语言容量的减少，通常会观察到高资源语言的退化。我们对15种语言的任务进行了容量研究，每种语言的数据量从7.6K到53.5K小时不等。我们采用GShard [1]来有效地扩展到10 B参数。从经验上讲，我们发现（1）扩展模型参数的数量是解决容量瓶颈的有效方法-我们的500 M-param模型已经优于单语基线，并将其扩展到1B和10 B带来了进一步的质量提升;（2）更大的模型不仅更有效地利用数据，而且在训练成本方面也更有效，以TPU天为单位衡量-1B-param模型在34%的训练时间内达到了与500 M-param模型相同的精度;（3）给定固定的容量预算，增加深度比增加宽度效果更好，并且大的编码器比大的解码器效果更好;（4）通过持续的训练，它们可以适应新的语言和领域。
2021-09-11 cs.CL cs.SD eess.AS
Multi-channel Opus compression for far-field automatic speech recognition with a fixed bitrate budget
与设备上的处理相比，云中的自动语音识别（ASR）允许使用更大的模型和更强大的多通道信号处理前端。然而，由于音频信号的传输，特别是当传输麦克风阵列的多个通道时，它也增加了固有的延迟。降低网络带宽要求的单向式方法之一是使用有损编解码器（如Opus）进行客户端压缩。然而，由于编解码器引入的空间信息的失真和丢失，这种压缩可能具有不利影响，特别是在多通道ASR前端上。在这篇文章中，我们提出了一种改进的方法，用于基于Opus的麦克风阵列信号的压缩，使用修改的联合信道编码方法，并另外引入多信道空间解相关变换，以减少传输中的冗余。我们说明了所提出的方法对压缩后多通道信号中保留的空间信息的影响，并评估了多通道波束成形前端对远场ASR的性能。我们证明，我们的方法可以导致37.5%的比特率减少或5.1%的相对字错误率减少固定的比特率预算在七通道设置。
2021-06-15 cs.SD eess.AS
A Policy-based Approach to the SpecAugment Method for Low Resource E2E ASR
Xinjiang University（新疆大学）；China Telecom Beijing Research Institute（中国电信北京研究院）；Xinjiang Provincial Key Laboratory of Multi-lingual Information Technology（新疆多语种信息技术重点实验室）
SpecAugment是一种非常有效的数据增强方法，适用于HMM和基于E2E的自动语音识别（ASR）系统。特别是，它也适用于低资源场景。然而，SpecAugment在固定的增强策略中掩盖了时域或频域的频谱，这可能给低资源ASR带来相对较少的数据多样性。在本文中，我们提出了一个基于策略的SpecAugment（Policy-SpecAugment）方法来缓解上述问题。其思想是采用增广选择策略和增广参数变化策略来解决固定路径问题。这些策略是基于验证集的丢失来学习的，该验证集被应用于相应的增强策略。它旨在鼓励模型学习更多样化的数据，这是模型相对需要的。在实验中，我们评估了我们的方法在低资源场景中的有效性，即，100小时的自由演讲任务。根据结果和分析，我们可以看到，上述问题可以明显缓解使用我们的建议。实验结果表明，与现有的SpecAugment算法相比，本文提出的策略SpecAugment算法在Test/Dev-clean测试集上的相对WER降低超过10%，在Test/Dev-other测试集上的相对WER降低超过5%，在所有测试集上的绝对WER降低超过1%.
2022-10-16 cs.SD eess.AS
A Persian ASR-based SER: Modification of Sharif Emotional Speech Database and Investigation of Persian Text Corpora
语音情感识别（SER）是人类理解环境和如何与他人交互的基本感知方法之一，因此，近年来，人们一直试图将情感识别能力添加到人机通信系统中。由于SER过程依赖于标记数据，数据库是必不可少的。不完整，低质量或有缺陷的数据可能会导致不准确的预测。在本文中，我们固定谢里夫情感语音数据库（ShEMO），作为一个波斯语数据库，通过使用自动语音识别（ASR）系统和调查的效果，波斯语语言模型获得可访问的波斯语文本语料库。我们还介绍了一个基于波斯语/波斯语ASR的SER系统，该系统使用ASR输出的语言特征和基于深度学习的模型。
2022-11-18 cs.AI cs.SD eess.AS
Self-Attention Channel Combinator Frontend for End-to-End Multichannel Far-field Speech Recognition
Nuance Communications GmbH（Nuance通讯有限公司）；Nuance Communications Inc.（Nuance通讯公司）；Nuance Communications S.A.（Nuance通讯股份公司）
当提供足够大的远场训练数据时，联合优化多通道前端和端到端（E2E）自动语音识别（ASR）后端显示出有希望的结果。最近的文献表明，传统的波束形成器设计，如MVDR（最小方差无失真响应）或固定波束形成器可以成功地集成为前端到E2E ASR系统与可学习的参数。在这项工作中，我们提出了自注意通道组合器（SACC）ASR前端，它利用自注意力机制在幅度谱域中组合多通道音频信号。对多通道回放测试数据进行的实验表明，与最先进的基于固定波束形成器的前端相比，SACC实现了9.3%的WERR，两者都与基于ContextNet的ASR后端进行了联合优化。我们还展示了SACC和传统波束形成器之间的连接，并分析了SACC的中间输出。
2021-09-10 cs.AI cs.CL cs.LG
X2-Turn: Frame-Synchronous Dual-Head Modeling for Joint Streaming ASR and Turn State Prediction
本研究提出X2-Turn方法，基于预训练Voxtral Realtime模型构建帧同步双头结构，联合预测ASR token与细粒度轮次状态，在中英双语Easy-Turn测试集上验证了其轮次转换检测的准确性与低延迟优势。
2026-09-09 cs.CL eess.AS
Speaker Adapted Beamforming for Multi-Channel Automatic Speech Recognition
RWTH Aachen University（亚琛工业大学）
本文提出了，在多通道ASR的背景下，一种方法来适应基于掩模的，统计上最优的波束形成方法的感兴趣的扬声器。统计最优波束形成器的波束形成向量通过利用语音和噪声掩模来计算，所述掩模由神经网络估计。所提出的自适应方法是基于集成的波束形成器，其中包括掩模估计网络，和声学模型的ASR系统。这允许训练误差从声学建模成本函数一直传播通过波束成形操作并通过掩模估计网络。通过使用第一遍识别的结果并且通过保持所有其他参数固定，掩模估计网络因此可以通过再训练来微调。因此，感兴趣的说话者的话语可以在两遍方法中使用，以针对该特定说话者的语音特性优化波束成形。结果表明，这种方法提高了一个国家的最先进的多通道ASR系统的CHiME-4数据的ASR性能。此外，估计的语音掩模上的自适应的效果进行了讨论。
2018-06-19 cs.CL cs.SD eess.AS
Mixture-of-Expert Conformer for Streaming Multilingual ASR
Google LLC（谷歌有限责任公司）
本文提出一种融合专家混合层的流式多语言 Conformer，在推理时仅激活固定数量参数，在 12 种语言上相比基线平均相对降低 11.9% 的词错误率，且无需语言信息即可达到与适配器模型相当的性能。
2023-05-25 cs.CL cs.SD eess.AS
Diagnostic-Driven Layer-Wise Compensation for Post-Training Quantization of Encoder-Decoder ASR Models
McGill University（麦吉尔大学）；University of Manitoba（曼尼托巴大学）；Mila - Quebec AI Institute（魁北克AI研究院）
本文提出FADE框架，通过结合内在脆弱性评分和校准可靠性评分，为编码器-解码器ASR模型的各层分配适应性补偿系数，以平衡局部量化保真度与跨层误差校正，从而提升在3-4位精度下的词错误率性能。
2026-08-11 cs.CL cs.SD eess.AS
MultiMed: Multilingual Medical Speech Recognition via Attention Encoder Decoder
University of Toronto（多伦多大学）；University Health Network（大学健康网络）；Knovel Engineering Lab（Knovel工程实验室）；FPT University（佛邦大学）；Florida Institute of Technology（佛罗里达技术学院）；KU Leuven（鲁文大学）；VNU University of Engineering and Technology（越南工程与技术大学）；Johns Hopkins University（约翰霍普金斯大学）；University of Alabama at Birmingham（阿拉巴马大学伯明翰分校）
本研究推出首个覆盖5种语言的多语种医疗ASR数据集MultiMed及配套端到端模型，开展多维度对比研究并提出工业场景优化的训练方案，所有资源均已开源。
2025-05-15 cs.CL cs.SD eess.AS
DITTO: Data-efficient and Fair Targeted Subset Selection for ASR Accent Adaptation
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；Indian Institute of Technology Bombay（印度理工学院孟买分校）
提出DITTO方法，利用子模互信息在固定预算内选择最具代表性的口音语音子集，支持多口音公平目标选择，标签效率提升3-5倍。
2023-06-05 cs.SD eess.AS
STAM-ASR: Speaker-Temporal Anchoring with Memory for Multi-Speaker ASR
Qatar Computing Research Institute (QCRI)（卡塔尔计算研究所）
STAM-ASR通过说话人-时间锚定与记忆机制，在不依赖外部日志和语音分离的情况下扩展预训练AudioLLM，实现多说话人ASR，并在多个基准上验证了其有效性。
2026-09-25 cs.SD
Leveraging Large Language Models for Exploiting ASR Uncertainty
Apple（苹果公司）
针对ASR词错率限制LLM口语理解的问题，提出向LLM输入n-best假设列表并结合提示工程与LoRA微调，有效利用ASR不确定性提升语音意图分类性能。
2023-09-12 cs.CL cs.HC cs.SD
The second multi-channel multi-party meeting transcription challenge (M2MeT) 2.0): A benchmark for speaker-attributed ASR
Northwestern Polytechnical University（西北工业大学）；Alibaba Group（阿里巴巴集团）；University of Science and Technology of China（中国科学技术大学）；Shanghai Jiao Tong University（上海交通大学）；Singapore Institute of Technology（新加坡理工学院）；Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）；Beijing Shell Shell Technology Co., Ltd.（北京贝壳科技有限公司）
ASRU2023举办的M2MeT 2.0挑战赛聚焦SA-ASR任务，设固定与开放训练两个子赛道，发布10小时新测试集，本文概述相关数据、设置、结果与系统分析，形成该领域现状基准。
2023-10-05 cs.SD eess.AS
A Calculus-Based Framework for Determining Vocabulary Size in End-to-End ASR
TCS Research（TCS研究）
本文提出基于微积分的词汇量确定方法，通过曲线拟合和导数测试优化端到端ASR的词汇量参数，提升识别性能。
2026-05-14 cs.CL cs.SD
Towards Unsupervised Speech Recognition Without Pronunciation Models
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Massachusetts Institute of Technology (MIT)（麻省理工学院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
本文提出词级无监督 ASR 方向，通过联合语音与文本掩码 token 填充去除发音词典依赖，迭代优化分词并取得 20%–23% WER。
2025-01-08 cs.CL cs.SD eess.AS
Efficient ASR Training with Conversations that Never Happened
Dept. of Telecommunications and Artificial Intelligence, Budapest University of Technology and Economics（电信与人工智能系，布达佩斯技术与经济大学）；SpeechTex Ltd.（SpeechTex公司）；ELTE Research Centre for Linguistics（ELTE语言研究所）
针对低资源语言和特定领域，提出通过LLM生成对话场景、映射说话人属性到TTS语音配置文件并组装合成话语的增强流水线，实验表明合成对话能有效提升ASR性能，在匈牙利语基准上仅用67小时真实对话和636小时模拟数据即超越2700小时零样本模型。
2026-06-02 cs.AI cs.CL cs.SD
Improvements to Embedding-Matching Acoustic-to-Word ASR Using Multiple-Hypothesis Pronunciation-Based Embeddings
Georgia Institute of Technology（佐治亚理工学院）；Apple（苹果公司）
在嵌入匹配声学到词（A2W）ASR中，词汇表中的每个词都由固定维度的嵌入向量表示，该嵌入向量可以独立于系统的其余部分添加或删除。该方法可能是一个优雅的解决方案的动态词汇表（OOV）的话的问题，其中扬声器和上下文相关的命名实体，如联系人姓名必须纳入ASR的飞行在测试时的每一个语音话语。然而，在提高嵌入匹配A2W的整体精度方面仍然存在挑战。在本文中，我们贡献了两种方法，提高嵌入匹配A2W的准确性。首先，我们建议在每个时刻内部产生多个嵌入，而不是单个嵌入，这允许A2W模型在音频中的多个时间段上提出更丰富的假设集。其次，我们建议使用单词发音嵌入，而不是单词拼写嵌入，以减少歧义的话，有一个以上的声音。我们表明，在动态OOV词起关键作用的情况下，上述想法在相同的训练数据和几乎相同的模型大小下，可以显着提高准确性。在一个基于语音的数字助理的查询数据集上，其中包括许多依赖于用户的联系人姓名，我们观察到使用所提出的改进，单词错误率降低了18%。
2023-02-19 cs.SD eess.AS
X2Streaming-ASR: wait when uncertain, emit when ready for streaming ASR
X Square Robot（X Square机器人公司）
X2Streaming-ASR通过三阶段训练将流式识别分解为提交时机与内容，在AISHELL和WenetSpeech上以27-84毫秒延迟实现最佳流式CER。
2026-10-14 cs.AI cs.SD
SpatialEmb: Extract and Encode Spatial Information for 1-Stage Multi-channel Multi-speaker ASR on Arbitrary Microphone Arrays
Center for Language and Speech Processing, Johns Hopkins University（语言与语音处理中心，约翰霍普金斯大学）；Tencent AI Lab（腾讯AI实验室）
本文提出轻量级模块SpatialEmb，直接为ASR模型提取和编码空间信息，支持任意麦克风拓扑，提升多通道多说话人ASR性能。
2026-01-25 cs.AI cs.SD eess.AS
Unadapted Multilingual ASR on a Garrusi Kurdish Evaluation Set: A Common-Reference Staged Normalization Analysis
本文针对未适配的多语种ASR模型在加鲁西库尔德语评估集上的问题，采用通用参考分阶段归一化方法，发现书写系统差异会影响评分，且微调系统表现更差，将发布修正结果供独立核查。
2026-09-11 cs.CL cs.SD
Better Retrieval, Worse Robustness: How Multi-hop RAG Amplifies Upstream ASR Errors
Continuum AI
该研究探究多跳RAG的实体图链接、迭代重述两种扩展方式对上游ASR错误的影响，发现二者会放大错误，其组合使F1差距增大36%-67%，实体损坏是主要失效模式，轻量缓解措施效果有限。
2026-08-26 cs.CL cs.IR eess.AS
PP-MeT: a Real-world Personalized Prompt based Meeting Transcription System
Ximalaya Inc.（喜马拉雅公司）
提出融合聚类、TS-VAD 与 TS-ASR 的个性化提示会议转录系统 PP-MeT，利用说话人嵌入和预训练初始化提升鲁棒性，在 M2MeT2.0 两项训练条件下均获第一。
2023-09-28 cs.SD eess.AS
CN-NewsTTS Bench: a target-level automatic benchmark for raw-input Chinese news TTS pronunciation
NetEase Cloud Music（网易云音乐）
针对中文新闻TTS对密集书面形式（如分数、连字符型号等）发音不准的问题，提出CN-NewsTTS Bench v0.1基准，包含自动评估集和评分器，测试七个商业系统，最佳准确率0.879。
2026-06-24 cs.CL cs.SD eess.AS
MLP-ASR: Sequence-length agnostic all-MLP architectures for speech recognition
LINE corporation（LINE公司）
我们提出了多层感知器（MLP）为基础的架构，适用于可变长度的输入。最近提出的用于图像分类的基于MLP的架构只能用于固定的预定义大小的输入。然而，许多类型的数据在长度上是自然可变的，例如，声学信号。我们提出了三种方法来扩展基于MLP的架构，用于任意长度的序列。第一个使用在傅立叶域中应用的循环卷积，第二个应用去卷积，最后一个依赖于移位运算。我们使用Librisepeech和Tedlium 2语料库在自动语音识别任务上评估了所提出的架构。最好的基于MLP的架构将WER提高了1.0 /0.9%，在Librispeech dev-clean/dev-other，test-clean/test-other集上提高了0.9 / 0.5%，在Tedlium 2 dev/test集上提高了0.8 / 1.1%，使用了86.4%的基于自我注意力的架构的大小。
2022-02-17 cs.LG cs.SD eess.AS
Phoneme-guided TTS augmentation for ASR: A unified pipeline and multilingual evaluation
Shanghai Qi Zhi Institute（上海期智研究院）；Megatronix (Beijing) Technology Co., Ltd.（美格创芯（北京）科技有限公司）
该研究提出基于音素的TTS到ASR增强统一流水线及PFGS方法，经多语言ASR实验验证，PFGS可显著降低词错误率，明确了合成规模等关键控制变量。
2026-09-18 cs.CL
Semi-Supervised Learning with Data Augmentation for End-to-End ASR
Nuance Communications, Inc.（Nuance通讯公司）
在本文中，我们将半监督学习（SSL）与数据增强（DA）一起应用于提高端到端ASR的准确性。我们专注于一致性正则化原则，它已成功地应用于图像分类任务，并提出序列到序列（seq2seq）版本的FixMatch和Noisy Student算法。具体来说，我们生成的伪标签的未标记的数据上的飞行与seq2seq模型后，扰动的输入功能与DA。我们还提出了软标签的变体，这两种算法，以应付伪标签错误，表现出进一步的性能改进。我们进行SSL实验的会话语音数据集与1.9kh手动转录的训练数据，仅使用25%的原始标签（475h标记的数据）。在结果中，具有软标签和一致性正则化的Noisy Student算法在添加475h未标记数据时实现了10.4%的字错误率（WER）降低，对应于92%的恢复率。此外，当迭代添加950h以上的未标记数据时，与使用完整标记训练集相比，我们的最佳SSL性能在5%的WER增加范围内（恢复率：78%）。
2020-07-27 cs.LG cs.SD eess.AS
