SeACo-Paraformer: A Non-Autoregressive ASR System with Flexible and Effective Hotword Customization Ability
Speech Lab of DAMO Academy, Alibaba Group(阿里巴巴集团达摩院语音实验室)
本文提出SeACo-Paraformer,一种基于非自回归的语音识别系统,结合AED准确性、NAR效率和显式热词定制能力,在5万小时工业数据上优于强基线,并开源模型、代码和测试集。
2023-12-25 cs.CL cs.SD eess.AS
A Language Agnostic Multilingual Streaming On-Device ASR System
Google(谷歌)
设备端到端(E2E)模型在英语语音搜索任务的质量和延迟方面都比传统模型有所改进。E2 E模型在多语言自动语音识别(ASR)方面也显示出了有希望的结果。在本文中,我们扩展了我们以前的容量解决方案,流媒体应用程序,并提出了一个流媒体多语言E2E ASR系统,完全运行在设备上,具有可比的质量和延迟个别单语模型。为了实现这一目标,我们提出了一个编码器端指针模型和一个结束的话语(EOU)联合层,以更好的质量和延迟权衡。我们的系统是建立在一个语言不可知的方式,使它能够在本地实时支持intermittial代码切换。为了解决大型模型的可行性问题,我们进行了设备上的分析,并将耗时的LSTM解码器替换为最近开发的嵌入解码器。通过这些更改,我们设法在移动终端上以低于实时的速度运行这样一个系统。
2022-08-29 cs.CL cs.SD eess.AS
Adversarial Audio: A New Information Hiding Method and Backdoor for DNN-based Speech Recognition Models
Hunan University(湖南大学)
音频是人们日常生活中的重要媒介,隐藏信息可以嵌入到音频中进行隐蔽通信。目前的音频信息隐藏技术可以大致分为基于时域的技术和基于变换域的技术。基于时域的隐藏技术具有较大的隐藏容量,但不可感知性较低。基于变换域的技术具有较好的不可感知性,但隐藏容量较差。本文提出了一种新的音频信息隐藏技术,该技术具有高隐藏容量和良好的不可感知性。提出的音频信息隐藏方法以原始音频信号为输入,通过训练我们的私人自动语音识别(ASR)模型,得到嵌入隐藏信息的音频信号(称为隐写音频)。在不知道私有模型的内部参数和结构的情况下,私有模型可以提取隐藏信息,而公共模型不能提取隐藏信息。我们使用其他四个ASR模型来提取隐藏音频的隐藏信息,以评估私有模型的安全性。实验结果表明,该音频信息隐藏技术具有48 cps的隐藏容量,同时具有良好的不可感知性和较高的安全性。此外,我们提出的对抗性音频可用于激活基于DNN的ASR模型的内在后门,这给智能扬声器带来了严重威胁。
2019-04-08 cs.CR cs.SD eess.AS
End-to-End Speech Recognition: A review for the French Language
Airudit(艾鲁迪特);ENSEIRB-MATMECA(ENSEIRB-MATMECA工程学院);Univ. de Bordeaux(波尔多大学);INP(波尔多国立综合理工学院);CNRS(法国国家科学研究中心);LaBRI(波尔多计算机科学研究所)
最近,基于序列到序列网络或CTC目标函数的端到端ASR引起了社区的极大兴趣,与使用强大但复杂的管道的传统系统相比,取得了有竞争力的结果。端到端系统的主要特征之一,除了能够将自身从诸如词典或语言模型之类的额外语言资源中解放出来之外,还能够对诸如字符、子词或直接词之类的声学单元进行建模;开启了根据目标语言直接翻译具有不同表示或知识水平的语音的能力。在本文中,我们提出了一个审查现有的端到端的ASR方法的法语。我们将结果与传统的最先进的ASR系统进行比较,并讨论哪些单位更适合于模拟法语。
2019-10-23 cs.CL eess.AS
Itgan at NADI 2026 shared task: Parameter-Efficient Whisper Adaptation for Robust, Mixed-Dialect and Code-Switched Arabic ASR
Itgan系统利用LoRA适配Whisper,在NADI 2026三个阿拉伯语ASR子任务中分别通过方言专用模型、基础模型选择和权重平均等策略,取得57.1%、46.7%和14.49%的WER,并报告了无效方向。
2026-10-08 cs.AI cs.CL cs.SD
U2++ MoE: Scaling 4.7x parameters with minimal impact on RTF
GuaSemi Inc.(瓜半半导体公司);WeNet Open Source Community(WeNet开源社区)
本文提出U2++ MoE,通过将ASR模型中的FFN层简单替换为MoE层,以Dense-225M级RTF实现Dense-1B级WER,并支持流式与非流式统一解码。
2024-08-08 cs.CL eess.AS
Revisiting the Relation Between Language Model Perplexity and ASR Word Error Rate for Modern End-to-End Speech Recognition
AppTek.ai GmbH;Machine Learning and Human Language Technology Group, Faculty of Computer Science, RWTH Aachen University(机器学习与人类语言技术小组,计算机科学学院,亚琛工业大学)
本文重新审视现代端到端ASR系统中语言模型困惑度与ASR单词错误率的关系,研究外部语言模型对系统的作用、PPL-WER关系及相关影响因素,还探讨内部语言建模,发现ILM减法改变关系,强调解释外部LM质量影响时要考虑解码器内部LM。
2026-10-20 cs.CL eess.AS
Efficient Dialect-Aware Modeling and Conditioning for Low-Resource Taiwanese Hakka Speech Processing
Dept. Computer Science and Information Engineering, National Taiwan Normal University, Taiwan(计算机科学与信息工程系,国立台湾师范大学,台湾);Institute of Computer Science, Academia Sinica, Taiwan(学术院计算机科学研究所,台湾);United Link Co., Ltd., Taiwan(联合链接公司,台湾)
本文提出一种基于RNN-T的统一框架,通过方言意识建模策略和参数高效预测网络,实现低资源台语客家语的高效ASR处理,取得显著的错误率降低效果。
2026-02-26 cs.AI cs.CL cs.SD
Investigating Methods to Improve Language Model Integration for Attention-based Encoder-Decoder ASR Models
RWTH Aachen University(亚琛工业大学);AppTek GmbH(AppTek公司)
基于注意力的编码器-解码器(AED)模型从训练transmits学习隐式内部语言模型(ILM)。与在更多未配对文本上训练的外部LM集成通常会带来更好的性能。混合自回归换能器(HAT)中的贝叶斯解释建议除以判别声学模型的先验,其对应于该隐式LM,类似于混合隐马尔可夫模型方法。隐式LM不能有效地计算在一般情况下,目前还不清楚什么是最好的方法来估计it.In这项工作中,我们比较不同的方法从文献中,并提出了几种新的方法来估计ILM直接从AED模型。我们提出的方法优于所有以前的方法。我们还研究了其他抑制ILM的方法,主要是通过降低AED模型的容量,限制标签上下文,以及通过训练AED模型和预先存在的LM。
2021-06-17 cs.CL cs.SD eess.AS
Edge-ASR: Towards Low-Bit Quantization of Automatic Speech Recognition Models
Qualcomm AI Research(高通人工智能研究)
本文提出Edge-ASR基准,系统评估八种训练后量化方法在Whisper和Moonshine模型上的效果,发现3位量化结合先进技术可兼顾效率与精度,为边缘设备部署提供指导。
2025-08-01 cs.LG cs.SD eess.AS
BaltiVoice: A Speech Corpus and Fine-tuned Whisper ASR System for the Balti Language
Independent Researcher(独立研究员);The Islamia University of Bahawalpur(伊斯兰巴哈瓦尔普尔大学)
针对无公开ASR资源的巴尔蒂语,构建16.8小时朗读语音语料库并微调Whisper-small模型,在验证集上词错误率从182.18%降至30.07%。
2026-09-10 cs.AI cs.CL
Leveraging Text Data Using Hybrid Transformer-LSTM Based End-to-End ASR in Transfer Learning
Nanyang Technological University(南洋理工大学);Huya AI(虎牙人工智能);Nazarbayev University(纳扎尔巴耶夫大学);Alibaba Group(阿里巴巴集团)
在这项工作中,我们研究利用额外的文本数据来改善跨语言迁移学习设置下的低资源端到端ASR。为此,我们扩展了我们之前的工作[1],并提出了一个基于混合Transformer-LSTM的架构。这种架构不仅利用了Transformer网络的高效编码能力,而且由于基于LSTM的独立语言模型网络而受益于额外的文本数据。我们进行实验,我们内部的马来语语料库,其中包含有限的标记数据和大量的额外的文本。结果表明,当两者都使用有限的标记数据进行训练时,所提出的架构比以前基于LSTM的架构[1]的相对字错误率(WER)高出24.2%。从这一点出发,我们通过从另一种资源丰富的语言迁移学习,进一步获得了25.4%的相对WER降低。此外,我们通过使用额外的文本数据提升传输模型的LSTM解码器,获得了额外的13.6%的相对WER降低。总的来说,我们的最佳模型比普通Transformer ASR的相对WER高出11.9%。最后但并非最不重要的是,与LSTM和Transformer架构相比,所提出的混合架构提供了更快的推理。
2020-05-28 cs.LG cs.SD eess.AS
Mixture-of-Expert Conformer for Streaming Multilingual ASR
Google LLC(谷歌有限责任公司)
本文提出一种融合专家混合层的流式多语言 Conformer,在推理时仅激活固定数量参数,在 12 种语言上相比基线平均相对降低 11.9% 的词错误率,且无需语言信息即可达到与适配器模型相当的性能。
2023-05-25 cs.CL cs.SD eess.AS
3M: Multi-loss, Multi-path and Multi-level Neural Networks for speech recognition
Tencent AI Lab(腾讯人工智能实验室)
目前,基于Conformer的CTC/AED模型已成为ASR的主流架构。在本文中,我们以前的工作的基础上,我们确定和集成的方法,以实现进一步的改善ASR任务,我们表示为多损耗,多路径和多层次,概括为“3 M”模型。具体地,多损耗是指联合CTC/AED损耗,多路径表示专家混合(MoE)架构,其可以有效地增加模型容量而不显著增加计算成本。多层次意味着我们在深度模型的多个层次上引入辅助损失来帮助训练。我们在公共WenetSpeech数据集上对所提出的方法进行了评估,实验结果表明,与Wenet工具包训练的基线模型相比,所提出的方法提供了12.2%-17.6%的相对CER改进。在我们的15万小时语料的大规模数据集上,3 M模型也表现出了明显的优越性。代码可在https://github.com/tencent-ailab/3m-asr上公开获取。
2022-04-14 cs.CL cs.SD eess.AS
Large-Scale Streaming End-to-End Speech Translation with Neural Transducers
Microsoft(微软)
神经传感器在自动语音识别(ASR)中得到了广泛的应用。在本文中,我们将其引入流端到端语音翻译(ST),其目的是将音频信号直接转换为其他语言的文本。与执行ASR然后执行基于文本的机器翻译(MT)的级联ST相比,所提出的基于Transformer transducer(TT)的ST模型大大减少了推理延迟,利用了语音信息,并避免了从ASR到MT的错误传播。为了提高建模能力,我们提出了注意力池的联合网络在TT。此外,我们扩展了基于TT的ST多语言ST,它产生的文本在同一时间的多种语言。在大规模5万(K)小时伪标记训练集上的实验结果表明,基于TT的ST不仅显著减少了推理时间,而且在英-德翻译中的性能优于非流式级联ST。
2022-07-01 cs.CL eess.AS
An Empirical Study of Efficient ASR Rescoring with Transformers
Facebook AI(脸书人工智能研究院)
神经语言模型在语言建模中的表现明显优于经典的n-gram语言模型,因为它具有对文本中的长距离依赖关系建模和处理数据稀疏性问题的能力。最近,配置良好的深度Transformers在语言建模方面表现出了优于递归神经网络层的浅层堆栈的性能。然而,这些最先进的深度Transformer模型大多被设计为具有高模型容量的深度,这使得部署到大规模现实世界应用中的计算效率低下且具有挑战性。因此,重要的是开发具有相对小的模型尺寸的Transformer LM,同时仍然保持那些大得多的模型的良好性能。在本文中,我们的目的是进行实证研究的背景下,培训小参数大小的Transformers的ASR再评分。通过结合技术,包括子字单元,自适应softmax,大规模模型预训练,和知识蒸馏,我们表明,我们能够成功地训练小Transformer LM显着的相对字出错率减少(WERR)通过n-最好的重新评分。特别是,我们在视频语音识别数据集上的实验表明,我们能够实现从6.46%到7.17%的WERR,而著名的大GPT模型[1]的参数大小仅为5.5%到11.9%,其WERR在相同数据集上的重新评分为7.58%。
2019-10-24 cs.CL eess.AS
Anchoring Speech with Semantics: A Multimodal Adapter Mechanism for Automatic Speech Recognition in Low-Resource Languages
National Taiwan Normal University(台湾师范大学);EZAI;Academia Sinica(中央研究院)
针对低资源语言ASR的监督证据不足问题,提出轻量级多模态适配器机制SAMA-ASR,结合语义与声学锚,在台湾闽南语和客家话数据集上优于多种基线,且紧凑ST模型可生成有效语义锚。
2026-09-01 cs.CL cs.SD eess.AS
Robust Data2vec: Noise-robust Speech Representation Learning for ASR by Combining Regression and Improved Contrastive Learning
University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院);Nanyang Technological University(南洋理工大学)
基于对比学习或回归任务的自监督预训练方法可以利用更多的未标记数据来提高自动语音识别(ASR)的性能。然而,结合两个预训练任务和构建不同的负样本进行对比学习的鲁棒性影响仍然不清楚。在本文中,我们提出了一种用于自监督语音表示学习的噪声鲁棒data 2 vec,通过在预训练阶段联合优化对比学习和回归任务。此外,我们提出了两种改进的方法,以促进对比学习。更具体地说,我们首先提出构建基于块的非语义负样本来提高预训练模型的噪声鲁棒性,这是通过将特征划分为不同大小的块来实现的(即,所谓的负样本)。其次,通过分析正样本和负样本的分布,我们提出了去除容易区分的负样本,以提高预训练模型的区分能力。在CHiME-4数据集上的实验结果表明,我们的方法能够提高噪声场景中预训练模型的性能。我们发现,对比学习和回归任务的联合训练可以在一定程度上避免模型崩溃相比,只训练回归任务。
2022-10-27 cs.SD eess.AS
Rethink the Evaluation for Attack Strength of Backdoor Attacks in Natural Language Processing
Tencent AI Lab(腾讯人工智能实验室)
已经表明,自然语言处理(NLP)模型容易受到一种称为后门攻击的安全威胁,这种攻击利用“后门触发器”范式来误导模型。最具威胁的后门攻击是隐形后门,它将触发器定义为文本样式或语法。虽然他们已经取得了令人难以置信的高攻击成功率(ASR),我们发现,其ASR的主要因素是不是“后门触发器”的范例。因此,当将这些秘密后门攻击归类为后门攻击时,高估了其能力。因此,为了评估后门攻击的实际攻击能力,我们提出了一个新的度量称为攻击成功率差(ASRD),它衡量的ASR之间的差异清洁状态和中毒状态模型。此外,针对目前对隐蔽式后门攻击的防御手段缺乏的情况,本文提出了一种触发器断路器,它由两个简单的技巧组成,可以有效地防御隐蔽式后门攻击。实验表明,我们的方法实现了显着更好的性能比国家的最先进的防御方法对隐形后门攻击。
2022-02-16 cs.CL cs.CR cs.LG
Boundary and Context Aware Training for CIF-based Non-Autoregressive End-to-end ASR
Northwestern Polytechnical University(西北工业大学);China Mobile Research Institute(中国移动研究院)
基于连续积分激发(CIF)模型的非自回归(NAR)语音识别方法采用了一种软的、单调的对齐机制,与其他NAR方法相比,具有很好的性能。然而,这样的对准学习策略可能遭受错误的声学边界估计,严重阻碍收敛速度以及系统性能。在本文中,我们提出了一个边界和上下文感知的训练方法CIF基于NAR模型。首先,利用连接主义时间分类(CTC)锋电位信息指导CIF中的声学边界学习。此外,在CIF解码器之后引入了额外的上下文解码器,旨在捕获句子内的语言依赖。最后,我们采用了最近提出的Conformer架构,以提高声学建模的能力。在开源汉语AISHELL-1语料库上的实验表明,该方法与现有的AR模型相比,在只有1/24延迟的情况下,字符出错率达到了4.9%.然而,当评估内部7500小时的汉语语料库,我们的模型仍然优于其他NAR方法,甚至达到AR Conformer模型在一个具有挑战性的现实世界的噪音测试集。
2021-09-26 cs.SD eess.AS
MTLM: Incorporating Bidirectional Text Information to Enhance Language Model Training in Speech Recognition Systems
Princeton University, Princeton NJ 08544, USA, , WWW home page: http://users/ iekeland/web/welcome.html Universit\' e de Paris-Sud, Laboratoire d'Analyse Num\' e rique, B\ a timent 425, F-91405 Orsay Cedex, France;Megatronix, Beijing, China Baidu, Inc., Beijing, China Shumei AI Research Institute, Beijing China Newcastle University, Newcastle Upon Tyne, United Kingdom
针对传统ASR语言模型单向训练无法利用右侧上下文、表征能力受限的问题,提出融合单双向训练的MTLM范式,通过三个训练目标增强语言模型能力,兼容自回归解码,在LibriSpeech数据集上多解码策略下均优于单向训练。
2025-06-14 cs.CL eess.AS
Neural Transducer Training: Reduced Memory Consumption with Sample-wise Computation
Apple(苹果公司)
神经换能器是用于自动语音识别(ASR)的端到端模型。虽然该模型非常适合流式ASR,但训练过程仍然具有挑战性。在训练过程中,内存需求可能会很快超过最先进的GPU的容量,从而限制批量大小和序列长度。在这项工作中,我们分析了一个典型的传感器训练设置的时间和空间复杂度。我们提出了一种记忆高效的训练方法,计算换能器损耗和梯度样本的样本。我们提出了优化,以提高效率和并行性的样本明智的方法。在一组彻底的基准测试中,我们表明,我们的样本明智的方法显着减少内存使用,并在竞争力的速度相比,默认的批处理计算。作为一个亮点,我们设法计算换能器损失和梯度的批量大小为1024,音频长度为40秒,仅使用6 GB的内存。
2023-03-13 cs.CL cs.SD eess.AS
Building a great multi-lingual teacher with sparsely-gated mixture of experts for speech recognition
Microsoft(微软)
稀疏门混合专家模型(MoE)能够以较小的计算复杂性放大网络容量。在这项工作中,我们研究如何多语言的自动语音识别(ASR)网络可以扩展一个简单的路由算法,以达到更好的准确性。更具体地说,我们将稀疏门控MoE技术应用于两种类型的网络:序列到序列Transformer(S2 S-T)和Transformer换能器(T-T)。我们通过一组多语言数据的ASR实验证明,MoE网络可以减少相对字出错率的16.3%和4.6%,分别与S2 S-T和T-T。此外,我们深入研究了MoE对T-T架构在各种条件下的效果:流模式,非流模式,使用语言ID和标签解码器与MoE。
2022-01-04 cs.AI cs.CL cs.LG
Speech Retrieval-Augmented Generation without Automatic Speech Recognition
University of Michigan(密歇根大学);AWS AI Labs(AWS AI实验室)
本文提出SpeechRAG框架,通过微调语音编码器对齐文本与语音嵌入空间,实现无需ASR的直接语音检索,并利用语音语言模型以音频片段为条件进行生成,在ASR错误较高时优于传统级联文本方法。
2025-01-03 cs.AI cs.CL eess.AS
Curriculum-based transfer learning for an effective end-to-end spoken language understanding and domain portability
Le Mans University(勒芒大学);Avignon University(阿维尼翁大学);University of Nantes(南特大学);CNRS(法国国家科学研究中心)
我们提出了一个端到端的方法来提取语义概念直接从语音音频信号。为了克服这种口语语言理解方法缺乏数据的问题,我们研究了基于课程学习原则的迁移学习策略的使用。这种方法使我们能够利用域外数据来帮助准备一个完整的神经架构。实验进行了法国媒体和PORTMEDIA语料库,并表明,这种端到端的SLU方法达到了最好的结果发表在这项任务。我们将我们的方法与使用ASR,POS标记,lemmatizer,chunker......的经典管道方法进行比较。和其他NLP工具,旨在丰富ASR输出,将SLU文本馈送到概念系统。最后,我们探讨了我们的端到端SLU方法来解决域可移植性问题的潜力。
2019-06-18 cs.CL cs.SD eess.AS
JEP-KD: Joint-Embedding Predictive Architecture Based Knowledge Distillation for Visual Speech Recognition
First Research Institute of the Ministry of Public Security of PRC(中华人民共和国公安部第一研究所);Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出JEP-KD方法,通过在嵌入层引入生成网络并利用预训练ASR音频特征进行知识蒸馏,配合多模态多阶段训练,有效缩小视觉语音识别与自动语音识别的性能差距,并验证了其跨平台通用性。
2024-03-04 cs.CL cs.CV cs.LG
MS-HuBERT: Mitigating Pre-training and Inference Mismatch in Masked Language Modelling methods for learning Speech Representations
IIIT Delhi(德里印度信息技术学院);Microsoft Research Banglore(微软研究院班加罗尔分院)
针对HuBERT因预训练与推理不匹配及策略差异导致性能落后于data2vec的问题,提出含Swap方法和多簇掩码预测损失的MS-HuBERT,其在Librispeech基准上平均优于原始HuBERT5%,且预训练嵌入可提升ASR等任务性能。
2025-02-18 cs.CL
Extending Recurrent Neural Aligner for Streaming End-to-End Speech Recognition in Mandarin
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
端到端模型在自动语音识别(ASR)中已显示出优越性。与此同时,流识别的能力已经成为端到端模型的日益增长的需求。遵循这些趋势,一种称为Recurrent Neural Aligner(RNA)的编码器-解码器递归神经网络被新提出,并在两个英语ASR任务上显示出其竞争力。然而,目前还不清楚RNA是否可以进一步改进并应用于其他口语。在这项工作中,我们探索了RNA在普通话中的适用性,并提出了四个有效的扩展:在编码器中,我们重新设计了时间下采样,并引入了一个强大的卷积结构。在解码器中,我们利用正则化器来平滑输出分布,并与语言模型进行联合训练。在两个普通话电话语音识别(MTS)数据集上,我们的扩展RNA获得了良好的性能。特别是,它达到了27.7%的字符出错率(CER),这是优于目前的最先进的结果流行的香港科技大学的任务。
2019-02-26 cs.CL cs.SD eess.AS
Semantic Mask for Transformer based End-to-End Speech Recognition
Microsoft(微软公司)
基于注意力的编码器-解码器模型在自动语音识别(ASR)和文本到语音(TTS)任务中都取得了令人印象深刻的结果。该方法利用神经网络的记忆能力,从零开始学习从输入序列到输出序列的映射,而不需要假设诸如比对之类的先验知识。然而,这种模型容易过拟合,特别是当训练数据的量是有限的。受SpecAugment和BERT的启发,本文提出了一种基于语义掩码的正则化方法来训练这种端到端(E2 E)模型。其思想是屏蔽对应于特定输出令牌的输入特征,例如,单词或单词片段,以便鼓励模型基于上下文信息来填充标记。虽然这种方法适用于任何类型的神经网络架构的编码器-解码器框架,我们在这项工作中研究了基于变换器的ASR模型。我们在Librispeech 960 h和TedLium 2数据集上进行了实验,在E2 E模型范围内,在测试集上达到了最先进的性能。
2020-03-16 cs.CL cs.SD eess.AS
MoLGE: Mixture of Language Group Experts for Efficient Scaling of Massively Multilingual Speech Recognition
Dept. of Electronics and Electrical Engineering, Yonsei University(延世大学电子与电气工程系)
研究多语言ASR模型面临的多语言诅咒问题,提出MoLGE模型,基于S3Ms为相似语言簇分配专家模块并集成LoRA策略,研究语言分组策略影响,实验表明该模型以最少参数提升性能,为扩展语言覆盖提供有效途径。
2026-07-28 cs.CL cs.SD
FinAudio: A Benchmark for Audio Large Language Models in Financial Applications
Stevens Institute of Technology(史蒂文斯理工学院);Columbia University(哥伦比亚大学);The Fin AI(Fin AI公司);Domyn(Domyn公司);Augusta University(奥古斯塔大学);The University of Manchester(曼彻斯特大学);University of Montreal(蒙特利尔大学)
FinAudio是一个用于评估音频大语言模型在金融领域应用的基准,通过三个任务和两个数据集评估七种模型,揭示了现有模型的局限性并提供改进方向。
2025-12-18 cs.AI cs.CE cs.MM
Measuring the Redundancy of Decoder Layers in SpeechLLMs
研究语音大语言模型解码器层的冗余性,发现7-8B模型仅需60%的解码器层即可保持良好ASR性能,且冗余结构跨语音编码器、任务和语言一致。
2026-06-29 cs.AI cs.CL
Stride-k Subsampling: Train-Free Audio Token Reduction for Whisper
Chung-Ang University(中央大学)
该研究提出无需训练的步长k子采样方法,可减少Whisper音频令牌,降低计算量与延迟,在多数ASR基准上仅产生小的WER损失,适用于Whisper及基于其的语音语言模型。
2026-09-01 cs.AI cs.SD
Fine-tuning Whisper for Pashto ASR: strategies and scale
Independent Researcher(独立研究员)
本文探讨了在普什图语语音识别中对Whisper进行微调的四种策略,发现基础模型微调在CV20上取得21.22%的WER,优于其他方法,且在CV24上whisper-small和whisper-large-v3-turbo分别达到24.89%和23.37%的WER。
2026-04-07 cs.CL
Which Data Matter? Embedding-Based Data Selection for Speech Recognition
Apple(苹果公司);Carnegie Mellon University(卡内基梅隆大学)
本文研究了针对特定领域语音识别的嵌入式数据选择策略,通过选择相关子集提升目标领域性能,实验表明精选5%数据可使WER减少36.8%。
2026-03-12 cs.SD
Mu$^{2}$SLAM: Multitask, Multilingual Speech and Language Models
Google Research(谷歌研究院);Google LLC(谷歌有限责任公司)
提出多任务多语言模型Mu$^{2}$SLAM,联合预训练语音与文本并利用监督任务对齐跨模态表示,在多语言语音翻译、识别及文本理解任务上取得显著提升。
2023-06-27 cs.CL cs.SD eess.AS
Adapting Whisper for Code-Switching through Encoding Refining and Language-Aware Decoding
Tianjin University(天津大学);Nanyang Technological University(南洋理工大学);Kyoto University(京都大学);Meta;Institute of Acoustics(声学研究所);Huiyan Technology (Tianjin) Co., Ltd(汇研科技(天津)有限公司)
本文针对语码转换语音识别中的语言混淆问题,从编码器优化和语言感知适配器解码两方面适配 Whisper,并在 SEAME 上显著降低 MER。
2025-01-05 cs.CL cs.SD eess.AS
Amortized Neural Networks for Low-Latency Speech Recognition
Alexa Machine Learning, Amazon(亚马逊Alexa机器学习部门)
我们介绍了摊销神经网络(AmNets),一个计算成本和延迟感知的网络架构,特别适合于序列建模任务。我们将AmNets应用于递归神经网络转换器(RNN-T),以降低自动语音识别(ASR)任务的计算成本和延迟。AmNets RNN-T架构使网络能够逐帧地在编码器分支之间动态切换。分支的构造具有可变的计算成本和模型容量级别。在这里,我们实现了两个著名的候选技术变量计算:一个使用稀疏修剪,另一个使用矩阵分解。逐帧交换由仲裁器网络决定,其需要的计算开销可以忽略不计。我们目前的结果使用这两种架构的LibriSpeech数据,并表明,我们提出的架构可以减少推理成本高达45%和延迟到近实时,而不会导致损失的准确性。
2021-08-03 cs.SD eess.AS
ASKD-Whisper: Adaptive Self-knowledge Distillation for Efficient and Low-Latency Automatic Speech Recognition
OKESTRO Co., Ltd(OKESTRO公司);Sejong University(世宗大学)
提出自适应自知识蒸馏(ASKD)动态课程框架,通过逐步减少对教师模型的依赖并引入自知识蒸馏阶段,在压缩Whisper模型时实现5倍推理加速和1.07%词错误率降低。
2026-06-01 cs.AI cs.CL cs.SD
The Affective Bridge: Preserving Speech Representations while Enhancing Deepfake Detection via emotional Constraints
University of Bristol(布里斯托大学);University of Edinburgh(爱丁堡大学);University of Technology Sydney(新南威尔士大学)
提出仅用情感识别微调语音编码器,再训练轻量SVM进行深度伪造检测,既保留下游任务表征能力又提升检测性能,发现情感是独特的桥梁任务。
2026-10-27 cs.SD
CAFE: Confining Feature Distillation to Language-Routed Adapters for Compact Multilingual Automatic Speech Recognition
Tether AI Research(泰瑟人工智能研究院)
该研究针对紧凑多语种ASR中特征蒸馏的问题,提出CAFE方法将CKA梯度限制在英语绕过的适配器中,在Open ASR排行榜上将平均WER降至8.02%,性能优于仅适配器容量控制方法,且在多语言测试中具竞争力。
2026-10-15 cs.AI cs.CL
Self-Supervised Learning for speech recognition with Intermediate layer supervision
Microsoft(微软)
最近,先驱工作发现语音预训练模型可以解决全栈语音处理任务,因为该模型利用底层来学习说话者相关信息,并利用顶层来编码内容相关信息。由于网络容量有限,我们相信,语音识别的性能可以进一步提高,如果该模型是专门用于音频内容信息学习。为此,我们提出了中间层监督的自我监督学习(ILS-SSL),这迫使模型集中在内容信息尽可能多地通过添加额外的SSL损失的中间层。在LibriSpeech test-other集上的实验表明,该方法的性能明显优于HuBERT,在w/o语言模型设置下,对于基本/大模型,相对误词率分别降低了23.5%/11.6%。详细的分析表明,我们的模型的底层与语音单元有更好的相关性,这与我们的直觉一致,并解释了我们的方法对ASR的成功。
2021-12-16 cs.CL eess.AS
Very Deep Self-Attention Networks for End-to-End Speech Recognition
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Carnegie Mellon University(卡内基梅隆大学)
最近,用于语音识别的端到端序列到序列模型在研究界引起了极大的兴趣。虽然以前的架构选择围绕着时延神经网络(TDNN)和长短期记忆(LSTM)递归神经网络,但我们建议通过Transformer架构使用自我注意力作为替代方案。我们的分析表明,具有高学习能力的深度Transformer网络能够超越以前的端到端方法,甚至与传统的混合系统相匹配。此外,我们为编码器和解码器训练了多达48个Transformer层的非常深的模型,并结合了随机残差连接,这大大提高了泛化能力和训练效率。由此产生的模型在Switchboard基准测试中优于所有以前的端到端ASR方法。这些模型的集成实现9.9%和17.7%的WER开关板和CallHome测试集分别。这一发现使我们的端到端模型与以前的混合动力系统竞争的水平。此外,通过模型集成,Transformers可以优于某些混合系统,这些混合系统在结构和训练过程方面都更复杂。
2019-05-03 cs.CL cs.LG cs.SD
Stable Autoregressive Speech Generation with Low-Frame-Rate High-Dimensional Continuous Tokens
ByteDance Seed(字节跳动 Seed)
针对自回归语音生成的序列长度、表征容量与长时稳定性平衡难题,本文提出Locodec编解码器与MP-ELD流匹配框架,实现高保真、高可预测性且稳定的长时语音合成。
2026-08-03 cs.AI cs.LG cs.SD
Federated Multilingual Speech-LLMs: Architecture and Aggregation Strategy Benchmarking
Telefónica Innovación Digital, Scientific Research(西班牙电信数字创新研究院);Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);Universidad Autónoma de Madrid(马德里自治大学)
针对多语言语音识别,提出联邦学习基准,评估四种语音-大语言模型架构,发现独立调整学习率和三组件适配可获最佳效果,FedProx有效性依赖架构,为隐私敏感分布式部署提供设计指导。
2026-09-22 cs.AI cs.CL
Modality Adaption or Regularization? A Case Study on End-to-End Speech Translation
Northeastern University(东北大学);NiuTrans Research(小牛翻译研究院)
该研究针对端到端语音翻译的预训练微调范式,发现模态鸿沟对最终性能影响不大,而高资源任务预训练的大模型用于低资源任务时存在容量鸿沟,实验表明正则化比模态适配更有效,在MuST-C数据集上取得了不错的成绩。
2023-06-13 cs.CL cs.SD eess.AS
Exploring Effective Distillation of Self-Supervised Speech Models for Automatic Speech Recognition
Department of Electronic Engineering, Tsinghua University(清华大学电子工程系);MoE Key Lab of Artificial Intelligence, AI Institute(人工智能联合实验室);X-LANCE Lab, Department of Computer Science and Engineering(X-LANCE实验室,计算机科学与工程系);Shanghai Jiao Tong University(上海交通大学);Peng Cheng Laboratory(鹏城实验室)
本文研究基于HuBERT的自监督语音模型在ASR中的蒸馏方法,通过引入判别性损失和前端特征蒸馏,在低资源场景下提升性能,并实现17%参数减少与推理速度翻倍。
2023-10-22 cs.CL cs.SD eess.AS
Scaling HuBERT for African Languages: From Base to Large and XL
Orange Research, France(法国奥兰杰研究)
本研究提出SSA-HuBERT-Large和SSA-HuBERT-XL两种大模型,专注于非洲语音,通过实验验证了更大模型在语音识别和语言识别任务中的性能提升。
2025-11-28 cs.CL
Agentic Moderation: Multi-Agent Design for Safer Vision-Language Models
School of Computing, Macquarie University, Australia(计算机学院,麦考瑞大学,澳大利亚)
该研究提出模型无关的Agentic Moderation多智能体安全对齐框架,通过四类动态协作智能体实现上下文感知的可解释内容审核,在多数据集与多视觉语言模型上显著降低攻击成功率、提升拒绝率,为自动化安全治理提供了新的可行路径。
2025-10-29 cs.AI
Staged Depth-Pruning Distillation of a Flow-Matching Text-to-Speech Teacher: A Compact Hindi Speech Synthesizer
研究在数据量严重不足时构建紧凑印地语TTS模型的方法,通过分层深度剪枝蒸馏大型流匹配教师模型热启动学生模型,经多步剪枝与微调,得到不同参数的模型,在特定参数下效果良好,还解决了一些模型问题并进行了基准测试。
2026-07-22 cs.CL cs.SD eess.AS
VITA-1.5: Towards GPT-4o Level Real-Time Vision and Speech Interaction
State Key Laboratory for Novel Software Technology, Nanjing University(南京大学新型软件技术国家重点实验室);School of Intelligence Science and Technology, Nanjing University(南京大学智能科学与技术学院);Tencent Youtu Lab(腾讯优图实验室);XMU(厦门大学);CASIA(中国科学院自动化研究所)
本文提出多阶段训练方法VITA-1.5,使LLM同时理解视觉与语音,无需ASR/TTS模块即可实现近乎实时的视觉语音交互,性能达到GPT-4o级别。
2025-10-24 cs.CV cs.SD eess.AS
SLAM: A Unified Encoder for Speech and Language Modeling via Speech-Text Joint Pre-Training
MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室);Google Research(谷歌研究院);New York University(纽约大学)
无监督预训练现在是文本和语音理解的主要方法。在大量未注释数据上预先训练的自我注意模型在对来自各种领域和语言的下游任务进行微调时取得了巨大的成功。本文通过在单个模型中统一语音和文本预训练,进一步提高了无监督语言预训练的通用性。我们建立了一个单一的编码器与BERT目标上的未标记的文本与w2 v-BERT目标上的未标记的语音。为了进一步调整我们的模型表示跨模态,我们利用对齐损失,特别是翻译语言建模(TLM)和语音文本匹配(STM),它们利用了有监督的语音文本识别数据。我们证明,在预训练期间合并语音和文本数据可以显着提高CoVoST~2语音翻译的下游质量,与单模态预训练模型相比,提高了约1 BLEU,同时在LibriSpeech和SpeechStew ASR任务上保持接近SotA的性能。在四个GLUE任务和文本规范化,我们观察到两种模式之间的容量限制和干扰的证据,导致性能下降相比,一个等效的纯文本模型,同时仍然具有竞争力的BERT。通过大量的实证分析,我们还证明了选择目标函数的语音预训练的重要性,以及添加额外的监督信号对学习表示的质量的有益影响。
2021-10-20 cs.CL cs.LG
Adapting Where It Matters: Depth-Aware Adaptation for Efficient Multilingual Speech Recognition in Low-Resource Languages
The University of Melbourne(墨尔本大学)
DAMA通过深度感知适应框架,针对不同层的适应需求优化参数,实现低资源语言高效多语言语音识别。
2026-02-01 cs.CL cs.SD eess.AS
DirectSpeech2LLM: A Simple End-to-End Framework to Mitigate Prompt Overfitting in Speech-LLMs
IIIT Delhi(德里印度理工学院);Microsoft Research(微软研究院);National University of Singapore(新加坡国立大学)
DirectSpeech2LLM提出一种简单端到端框架,通过基于距离的CTC损失对齐语音嵌入,缓解语音LLM的提示过拟合,实现零样本泛化至语音翻译和情感识别。
2026-10-07 cs.CL