Boosting Noise Robustness of Acoustic Model via Deep Adversarial Training
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Beijing Forestry University(北京林业大学)
在实际环境中,语音常常受到各种噪声和混响的干扰,严重影响了自动语音识别(ASR)系统的性能。为了缓解这个问题,最常见的方法是使用设计良好的语音增强方法作为ASR的前端。然而,对于这种方法,额外地消耗更复杂的流水线、更多的计算和甚至更高的硬件成本(麦克风阵列)。此外,语音增强会导致语音失真和训练不匹配。在本文中,我们提出了一种对抗性训练方法,以直接提高声学模型的噪声鲁棒性。具体而言,在训练阶段使用生成对抗网络(GAN)和基于神经网络的声学模型(AM)的联合组合方案。GAN用于通过尝试区分真实干净信号和生成信号的干扰器的引导,从噪声特征生成干净特征表示。生成器、自适应神经网络和自适应模型的联合优化集中了GAN和AM在语音识别中的优势。在CHiME-4上的系统实验表明,该方法显著提高了AM的噪声鲁棒性,在开发集和测试集上的平均相对出错率分别降低了23.38%和11.54%。
2018-05-02 cs.LG cs.SD eess.AS
PM-MMUT: Boosted Phone-Mask Data Augmentation using Multi-Modeling Unit Training for Phonetic-Reduction-Robust E2E Speech Recognition
Xinjiang University(新疆大学);Tencent Minority-Mandarin Translation(腾讯民族语言-普通话翻译团队);Xinjiang Key Laboratory of Multi-lingual Information Technology(新疆多语种信息技术重点实验室)
在自动语音识别(ASR)中,辅音和元音的减少会导致识别性能下降。我们最近提出的基于掩蔽的学习策略,电话掩蔽训练(PMT),阐明了这种现象在维吾尔语ASR中的影响。虽然PMT取得了显着的改进,仍然存在进一步的增益空间,由于PMT的掩蔽单元(音素)和建模单元(词片)之间的粒度不匹配。为了提高PMT的性能,我们提出了多建模单元训练(MMUT)架构融合PMT(PM-MMUT)。MMUT框架的思想是将编码器分成两部分,包括声学特征序列到音素级表示(AF-to-PLR)和音素级表示到词段级表示(PLR-to-WPLR)。它允许AF-到-PLR通过基于中间音素的CTC损失来优化,以学习PMT带来的丰富的音素级上下文信息。在维吾尔语语音识别系统上的实验结果表明,该方法的识别性能明显优于纯PMT。我们还使用ESPnet 1在960小时的Libripeech基准上进行了实验,与最新的官方ESPnet 1预训练模型相比,在没有LM融合的情况下,所有测试集的相对WER降低了约10%。
2022-07-03 cs.CL cs.SD eess.AS
Contextualized Automatic Speech Recognition with Attention-Based Bias Phrase Boosted Beam Search
Honda Research Institute Japan Co., Ltd.(本田日本研究所株式会社);Carnegie Mellon University(卡内基梅隆大学)
针对端到端ASR难以适配未见上下文的问题,提出基于注意力的可编辑短语偏置方法及BPB束搜索算法,在英语和日语数据集上降低目标短语错误率。
2024-01-19 cs.CL cs.SD eess.AS
Boosting keyword spotting through on-device learnable user speech characteristics
Integrated Systems Laboratory (IIS), ETH Zurich(苏黎世联邦理工学院集成系统实验室);Zurich Research Center, Huawei Technologies(华为技术有限公司苏黎世研究中心);DEI, University of Bologna(博洛尼亚大学电子、计算机与工程系)
针对TinyML场景下关键词识别适配未见用户难、端侧学习资源不足的问题,提出含预训练骨干与用户感知嵌入的轻量端侧学习架构,可低成本适配用户语音,显著降低错误率,适配少样本场景且满足微控制器资源约束。
2024-03-12 cs.LG cs.SD eess.AS
SALM: Speech-augmented Language Model with In-context Learning for Speech Recognition and Translation
NVIDIA(英伟达)
提出SALM模型,结合冻结文本LLM、音频编码器和LoRA层,实现多任务和上下文学习,在ASR和AST上性能与Conformer相当,并通过语音监督上下文训练增强零样本学习能力,已开源。
2023-10-13 cs.CL cs.HC cs.SD
Boosting Code-Switching ASR with Mixture of Experts Enhanced Speech-Conditioned LLM
Kuaishou Technology(快手科技)
针对语码转换自动语音识别难题,提出带MoE连接器的语音条件LLM及IDIT机制与两阶段训练策略,性能显著优于现有最优模型。
2024-10-31 cs.AI cs.SD eess.AS
Recent Developments on ESPnet Toolkit Boosted by Conformer
Northwestern Polytechnical University(西北工业大学);LaBRI, University of Bordeaux(波尔多大学LaBRI实验室);Airudit(Airudit公司);Johns Hopkins University(约翰斯·霍普金斯大学);Human Dataware Lab. Co., Ltd.(人类数据仓库实验室有限公司);Waseda University(早稻田大学);Kyoto University(京都大学);NTT Corporation(日本电报电话公司);Shanghai Jiao Tong University(上海交通大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
在这项研究中,我们提出了最近的发展ESPnet:端到端语音处理工具包,其中主要涉及最近提出的架构称为Conformer,卷积增强Transformer。本文展示了广泛的端到端语音处理应用程序的结果,如自动语音识别(ASR),语音翻译(ST),语音分离(SS)和文本到语音(TTS)。我们的实验揭示了各种训练技巧和显着的性能优势,获得了不同的任务与一致性。这些结果具有竞争力,甚至优于当前最先进的Transformer模型。我们正准备使用开源和公开可用的语料库发布所有功能于一身的食谱,用于所有上述任务和预先训练的模型。我们这项工作的目的是通过减少准备通常需要高资源的最先进的研究环境的负担,为我们的研究社区做出贡献。
2020-10-29 cs.SD eess.AS
In-Context Learning Boosts Speech Recognition via Human-like Adaptation to Speakers and Language Varieties
Stanford University(斯坦福大学);University of Cambridge(剑桥大学)
本研究提出可扩展的上下文学习框架,使Phi-4 Multimodal模型可通过少量示例适应不同说话者和语言变体,显著降低语音识别词错误率,展现类人适应模式,同时指出当前模型仍存在的灵活性差距。
2025-05-20 cs.CL cs.SD eess.AS
Boosting End-to-End Multilingual Phoneme Recognition through Exploiting Universal Speech Attributes Constraints
Georgia Institute of Technology(佐治亚理工学院);Kore University of Enna(恩纳科雷大学);Norwegian University of Science and Technology(挪威科技大学)
本文提出利用通用发音方式和发音部位属性构建属性到音素映射约束,联合属性和音素信息进行多语言端到端音素识别,在6种语言上平均相对提升6.85%。
2023-09-16 cs.SD eess.AS
Boosting Norwegian Automatic Speech Recognition
National Library of Norway(挪威国家图书馆)
本文通过构建多种规模和预训练方式的ASR基线模型,将挪威议会语音语料库的词错误率从17.10%降至7.60%,显著提升了挪威两种官方书面语言的语音识别性能。
2023-07-04 cs.CL
Boosting Cross-Domain Speech Recognition with Self-Supervision
Institute of Acoustics, Chinese Academy of Sciences(中国科学院声学研究所);University of Chinese Academy of Sciences(中国科学院大学);Microsoft Research Asia(微软亚洲研究院);Microsoft STCA(微软(亚洲)互联网工程院)
本文提出一个系统的无监督域适应框架,通过持续预训练缓解域不匹配,并设计双分支伪标签、不确定性感知过滤和两步伪标签方法提升跨域ASR性能。
2023-07-30 cs.CL cs.SD eess.AS
Enriching Under-Represented Named-Entities To Improve Speech Recognition Performance
SCSE MICL Lab, NTU(南洋理工大学工学院媒体创新与计算实验室)
针对未充分表示的命名实体(UR-NE)的自动语音识别(ASR)是具有挑战性的,这是由于这样的命名实体(NE)在训练数据中具有不足的实例和差的上下文覆盖以学习可靠的估计和表示。在本文中,我们提出的方法来丰富UR-NE,以提高语音识别性能。具体地说,我们的首要任务是确保那些UR-NE出现在词格中,如果有的话。为此,我们根据UR-NE的类别(例如,位置,人,组织等)为这些UR-NE制作范例话语,最后得到一个改进的语言模型(LM),它提高了词格中UR-NE的出现率。随着格中UR-NE的出现,我们通过格重评分方法来提高识别性能。我们首先通过借用丰富表示的NE(RR-NE)的嵌入表示来丰富预训练的递归神经网络LM(RNNLM)中UR-NE的表示,从而产生在统计上有利于UR-NE的格。最后,我们直接提高包含UR-NE的话语的可能性分数,并获得进一步的性能改进。
2020-10-23 cs.SD eess.AS
Multilingual DistilWhisper: Efficient Distillation of Multi-task Speech Models via Language-Specific Experts
NAVER LABS Europe(NAVER欧洲实验室);Télécom Paris(巴黎电信学院)
DistilWhisper通过语言特定专家和知识蒸馏提升欠代表语言的ASR性能,同时保持多任务和多语言能力。
2025-11-29 cs.CL cs.SD eess.AS
Refining Automatic Speech Recognition System for older adults
Center for Spoken Language Understanding, Oregon Health \& Science University, Portland, Oregon, USA
利用有限的训练数据构建高质量的自动语音识别(ASR)系统一直是一项具有挑战性的任务,特别是对于狭窄的目标人群。开源的ASR系统,从成年人的足够的数据进行训练,容易受到老年人的讲话,由于成人和老年人之间的声学失配。通过12小时的训练数据,我们试图为可能有认知障碍的社交孤立老年人(80岁以上)开发一个ASR系统。我们通过实验发现,成人人群的ASR在我们的目标人群中表现不佳,而迁移学习(TL)可以提高系统的性能。基于TL的基本思想,调整模型参数,通过利用注意机制来利用模型的中间信息,进一步改进了系统。我们的方法比TL模型实现了1.58%的绝对改进。
2020-11-17 cs.CL cs.LG cs.SD
A two-step approach to leverage contextual data: speech recognition in air-traffic communications
自动语音识别(ASR)作为飞行员和空中交通管制员之间语音通信的辅助手段,可以大大降低任务的复杂性,提高传输信息的可靠性。自动识别系统的应用可以减少误解引起的事故,提高空中交通管理(ATM)效率。显然,高精度预测,特别是关键信息的预测,即,呼号和命令,以尽量减少错误的风险。我们证明,结合ASR和自然语言处理(NLP)方法的优点,利用监视数据(即额外的模态),有助于大大提高呼号(命名实体)的识别。本文研究了一种两步呼号提升方法:(1)在第一步(ASR)中,在G.fst和/或解码FST(lattices)中减少可能的呼号n-gram的权重;(2)在第二步(NLP)中,将从命名实体识别(NER)的改进识别输出中提取的呼号与监视数据进行相关,以选择最合适的呼号。结合ASR和NLP方法提升呼号n-gram,最终导致呼号识别的绝对改善率达到53.7%,相对改善率达到60.4%。
2022-02-08 cs.CL cs.LG cs.SD
Pitch Accent Detection improves Pretrained Automatic Speech Recognition
IT University of Copenhagen(丹麦技术大学);AppleDenmark(苹果丹麦)
本文提出联合ASR与音高重音检测模型,音高重音检测F1差距缩小41%,ASR在LibriSpeech上WER降低28.3%,凸显预训练模型保留韵律线索的重要性。
2025-08-06 cs.CL cs.SD eess.AS
Similarity-and-Independence-Aware Beamformer with Iterative Casting and Boost Start for Target Source Extraction Using Reference
目标源提取对于提高人的语音可懂度和计算机的语音识别性能具有重要意义。本文提出了一种基于相似性和独立性感知的目标源提取方法。SIBF使用粗略的幅度谱图作为参考信号来提取目标源。SIBF的优势在于,与基于深度神经网络的语音增强等目标增强方法生成的频谱图相比,它可以获得更准确的信号。对于提取,我们扩展了通货紧缩的独立成分分析(ICA)的框架,通过考虑参考和提取的目标源之间的相似性,除了所有的潜在源的相互独立性。为了解决最大似然估计的提取问题,我们引入了三种能够反映相似性的源模型。本研究的主要贡献如下。首先,使用两种方法提高提取性能,即加速启动以实现更快的收敛和迭代铸造以生成更准确的参考。通过CHiME3数据集的实验验证了这些方法的有效性。第二,一个固定点的概念有关的准确性。这一概念有助于理解基准电压源和SIBF输出在精度方面的关系。第三,实现了SIBF和基于掩模的波束形成器的统一制定,以将传统BF的专业知识应用于SIBF。本文的研究结果也可以提高SIBF的性能,促进ICA和传统波束形成器的研究。索引词:波束形成器,独立分量分析,源分离,语音增强,目标源提取
2021-10-18 cs.SD eess.AS
Lightweight and Efficient End-to-End Speech Recognition Using Low-Rank Transformer
HKUST(香港科技大学)
高性能的深度神经网络以计算复杂性为代价,这限制了它们在便携式设备上部署的实用性。我们提出了低秩Transformer(LRT),这是一种内存高效且快速的神经架构,可显着减少参数并提高端到端语音识别的训练和推理速度。与基线Transformer模型相比,我们的方法将网络的参数数量减少了50%以上,并将推理时间加快了约1.35倍。实验表明,我们的LRT模型更好地推广,并产生较低的出错率验证和测试集相比,未压缩的Transformer模型。LRT模型在端到端环境中优于现有的几个数据集上的工作,而不使用外部语言模型或声学数据。
2020-02-14 cs.CL cs.LG cs.SD
Towards Selection of Text-to-speech Data to Augment ASR Training
Meta AI;University of Augsburg(奥格斯堡大学)
本文通过可使用交叉熵或 Arcface 损失训练的相似度网络筛选 TTS 合成语音,发现保留与真实语音差异较大的样本可增强 ASR,并将数据需求降至 30% 以下。
2023-05-30 cs.CL cs.SD eess.AS
Investigating Generative Adversarial Networks based Speech Dereverberation for Robust Speech Recognition
Northwestern Polytechnical University(西北工业大学);Xiaomi(小米)
我们研究了生成对抗网络(GANs)在语音去混响中的使用,以实现鲁棒的语音识别。最近已经研究了GANs用于语音增强以去除加性噪声,但是仍然缺乏研究它们在语音去混响中的能力的工作,并且使用GANs的优点还没有完全建立。在本文中,我们对ASR中基于GAN的去混响前端的使用进行了深入的研究。首先,我们研究了不同去混响网络(GAN中的生成器)的有效性,并发现LSTM在我们的数据集中与前馈DNN和CNN相比有显著的改进。其次,在深层LSTM中进一步添加剩余连接也可以提高性能。最后,我们发现,对于GAN的成功,重要的是在训练期间使用相同的小批量数据更新生成器和训练器。此外,使用混响声谱图作为一个条件,在以前的研究中建议,可能会降低性能。总之,当在强多条件训练声学模型上进行测试时,与基线DNN去混响网络相比,我们基于GAN的去混响前端实现了14%-19%的相对CER减少。
2018-10-25 cs.CL cs.SD eess.AS
LongFNT: Long-form Speech Recognition with Factorized Neural Transducer
Shanghai Jiao Tong University(上海交通大学);Microsoft(微软)
传统的自动语音识别(ASR)系统通常只关注单个语音,而没有考虑到具有有用历史信息的长语音,这在实际应用中更加实用。在我们的初步实验中,简单地关注香草神经转换器模型的更长转录历史没有显示出太大的增益,因为预测网络不是纯语言模型。这促使我们利用因子化的神经转换器结构,包含一个真正的语言模型,词汇预测。我们提出了{LongFNT-Text}架构,该架构将词汇级别的长形式特征直接与词汇预测器的输出融合,然后将标记级别的长形式特征嵌入词汇预测器中,并使用预训练的上下文编码器RoBERTa进一步提高性能。此外,我们提出了{LongFNT}架构,通过扩展的长形式的语音到原始的语音输入,并取得了最佳的性能。在LibriSpeech和GigaSpeech语料库上验证了LongFNT方法的有效性,相对单词出错率~(WER)分别降低了19%和12%。
2022-11-17 cs.CL cs.SD eess.AS
Don't Be So Sure! Boosting ASR Decoding via Confidence Relaxation
OriginAI
自动语音识别(ASR)系统经常使用基于搜索的解码策略,旨在通过考虑多个候选来找到最佳可达到的转录本。一个突出的语音识别解码启发是束搜索,其寻找具有使用预测分布计算的最大似然的转录本。虽然在各种任务中显示出实质性的性能增益,但是当预测的概率是高度可信的时,即,针对单个或非常少的类聚集预测的分布。我们表明,最近提出的基于自监督学习(SSL)的ASR模型往往会产生非常自信的预测,可能会妨碍束搜索真正考虑一组不同的候选人。我们进行了一个层分析,揭示和可视化预测如何演变,并提出了一个解码过程,提高了微调ASR模型的性能。我们提出的方法不需要在原始微调之外进行进一步的训练,也不需要额外的模型参数。事实上,我们发现,我们提出的方法需要显着减少推理计算比目前的方法。我们建议聚合顶部M层,潜在地利用中间层中编码的有用信息,并放松模型置信度。我们通过对不同数量的标记资源和不同模型大小进行实证研究来证明我们方法的有效性,特别是当应用于低资源场景时,表现出一致的改进。
2022-12-27 cs.CL cs.SD eess.AS
SNDCNN: Self-normalizing deep CNNs with scaled exponential linear units for speech recognition
Apple Inc.(苹果公司)
非常深的CNN在计算机视觉和语音识别方面都取得了最先进的结果,但很难训练。训练非常深的CNN最流行的方法是使用快捷连接(SC)和批量归一化(BN)。受自规范化神经网络的启发,我们提出了基于自规范化深度CNN(SND CNN)的声学模型拓扑,通过移除SC/BN并用ResNet-50中的缩放指数线性单元(SELU)替换典型的CNOU激活。SELU激活使网络自我规范化,并消除了对快捷连接和批量归一化的需要。与ResNet- 50相比,我们可以实现相同或更低(相对高达4.5%)的字出错率(WER),同时将训练和推理速度提高60%-80%。我们还探索了其他模型推理优化方案,以进一步减少生产使用的延迟。
2020-03-23 cs.CL cs.LG cs.SD
Back from the future: bidirectional CTC decoding using future information in speech recognition
Naver Corporation(Naver公司)
在本文中,我们提出了一个简单而有效的方法来解码的连接时间分类器(CTC)模型的输出使用双向神经语言模型。双向语言模型使用未来以及过去的信息,以便预测序列中的下一个输出。基于双向束搜索的方法利用CTC贪心解码的输出来表示噪声的未来信息。Librispeechdataset上的实验证明了我们所提出的方法相比使用单向解码的基线的优越性。特别地,提升不准确性在序列的开始处最明显,该序列是基于单向解码的现有系统的最错误的部分。
2021-10-07 cs.CL cs.SD eess.AS
Hybridized Feature Extraction and Acoustic Modelling Approach for Dysarthric Speech Recognition
Marwadi Education Foundation’s Group of Institution(马尔瓦迪教育基金会集团机构)
构音障碍是由人类神经系统模糊引起的运动言语功能障碍。其特点是说话含糊不清,加上身体受损,限制了他们的沟通,造成缺乏信心,影响了生活方式。本文试图提高自动语音识别(ASR)系统对未受损语音信号的识别效率。介绍了通过整合构音障碍者的言语产生知识来改善构音障碍者的ASR的研究现状。为了提高整个系统的效率,提出了特征提取和声学建模技术与进化算法的混合方法。这里的特征向量的数量是不同的,并测试了系统的性能。实验结果表明,采用遗传算法可以提高系统的性能。系统采用遗传算法对16个声学特征进行优化,在训练时间为5:30:17时,识别率最高达到98.28%。
2015-06-06 cs.CL cs.SD
SpeechComposer: Unifying Multiple Speech Tasks with Prompt Composition
Carnegie Mellon University(卡内基梅隆大学);Renmin University of China(中国人民大学);Shanghai Jiao Tong University(上海交通大学)
本研究提出仅解码器语音语言模型SpeechComposer,通过组合固定提示令牌统一多种语音任务,实现任务间结构化知识共享,在核心与组合任务上均取得优于或媲美单任务专家模型的性能。
2024-01-31 cs.AI cs.CL cs.SD
InterBiasing: Boost Unseen Word Recognition through Biasing Intermediate Predictions
LINE WORKS Corporation(LINE WORKS公司);NAVER Cloud Corporation(NAVER云公司)
针对端到端语音识别对未登录词识别不准的问题,提出基于Self-conditioned CTC的无参数方法InterBiasing,通过替换中间CTC预测为校正标签提升识别准确率,日语实验验证了未知词F1值的提升效果。
2024-06-21 cs.CL eess.AS
Almost Unsupervised Text to Speech and Automatic Speech Recognition
Zhejiang University(浙江大学);Microsoft Research(微软研究院);Microsoft STC Asia(微软亚洲技术中心)
文本到语音(TTS)和自动语音识别(ASR)是语音处理中的两个双重任务,由于深度学习的最新进展和大量对齐的语音和文本数据,它们都取得了令人印象深刻的性能。然而,缺乏对齐的数据对低资源语言的TTS和ASR提出了一个主要的实际问题。在本文中,通过利用这两个任务的双重性质,我们提出了一种几乎无监督的学习方法,该方法只利用了数百个配对数据和额外的未配对数据用于TTS和ASR。该方法包括以下几个部分:(1)一个去噪自动编码器,它分别对语音和文本序列进行重构,以开发语音和文本域的语言建模能力;(2)双重转换,其中TTS模型将文本$y$转换为语音$\hat{x}$,并且ASR模型利用转换后的对$(\hat{x},y)$进行训练,反之亦然,(3)双向序列建模,其解决了在使用少量配对数据进行训练时特别是在长语音和文本序列中的错误传播;(4)统一的模型结构,其基于Transformer模型将TTS和ASR的所有上述组件组合在一起。我们的方法在LJSpeech数据集上实现了99.84%的词级可理解率和2.68 MOS的TTS,以及11.7%的PER的ASR,通过利用仅200对语音和文本数据(约20分钟的音频),以及额外的未配对的语音和文本数据。
2020-07-26 cs.CL cs.SD eess.AS
UnitY: Two-pass Direct Speech-to-speech Translation with Discrete Units
FAIR(脸书人工智能研究);Meta AI;Carnegie Mellon University(卡内基梅隆大学)
本文提出两遍直接语音到语音翻译架构UnitY,先预测文本再预测离散声学单元,并通过子词预测、解码器设计与预训练提升性能,在ASR-BLEU和解码速度上显著优于单遍模型。
2023-05-26 cs.CL cs.SD eess.AS
Efficient Compression of Multitask Multilingual Speech Models
PSL(巴黎文理研究大学);Meta AI;NAVER LABS Europe(NAVER欧洲实验室)
本文提出 DistilWhisper,通过语言特定专家的轻量级模块化微调与 whisper-large-v2 知识蒸馏相结合,在保持多任务多语言能力的同时,高效提升低资源语言的 ASR 性能。
2024-05-02 cs.AI cs.CL cs.SD
Typhoon ASR Streaming: Steerable Low-Latency Thai Speech Recognition with Real-Time Shallow Fusion
Typhoon Team, SCB DataX(Typhoon团队,SCB DataX)
提出可部署的流式泰语ASR系统,通过缓存感知编码器和浅融合实现低延迟,在基准上降低字符错误率4.3-4.5倍,解码时控制提升关键词召回率。
2026-09-15 cs.CL cs.SD eess.AS
Bridging Speech and Text: Enhancing ASR with Pinyin-to-Character Pre-training in LLMs
Hunan University(湖南大学);Nanyang Technological University(南洋理工大学)
本文提出在LLM中通过拼音到字符预训练增强ASR性能,在AISHELL-1上实现19.0%的相对提升。
2024-09-24 cs.CL cs.SD eess.AS
Unsupervised Fine-Tuning Data Selection for ASR Using Self-Supervised Speech Models
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
自监督学习(SSL)已经能够利用未标记的数据来提高自动语音识别(ASR)模型的性能,当我们只能访问少量的转录语音数据时。然而,这提出了一个问题,即应该选择可用的未标记数据的哪个子集进行转录。我们的工作研究了不同的无监督数据选择技术,用于在有限的转录预算下微调HuBERT模型。我们研究了说话人多样性、性别偏见和话题多样性对下游ASR性能的影响。我们还设计了两种新的无监督数据选择技术:基于预训练损失的数据选择和字节对编码聚类单元(PBPE)的困惑,我们展示了这些技术与纯随机数据选择的比较。最后,我们分析了所选微调子集的固有特性之间的相关性,以及这些特性如何与所得的字错误率相关。我们证明了令牌的多样性,扬声器的多样性和主题的多样性,在WER方面实现最佳性能的重要性。
2022-12-03 cs.CL cs.SD eess.AS
Exploring Effective Fusion Algorithms for Speech Based Self-Supervised Learning Models
Tsinghua University(清华大学);Shanghai Jiao Tong University(上海交通大学)
自监督学习(Self-supervised learning,SSL)在包括语音处理在内的各个领域都取得了巨大的成功。最近,在SUPERB基准测试中,基于语音的SSL模型与传统手工特征(例如FBank,MFCC)相比,能够在一系列下游任务上提取卓越的通用表示。然而,不同类型的SSL模型可能在不同的下游任务上表现出不同的优势。为了更好地发挥SSL模型的潜力,在这项工作中,我们探索了多个SSL模型的有效融合。针对SUPERB测试中的两个典型任务:说话人辨识(SID)和自动语音识别(ASR),结合Hubert和Data 2 vec两种SSL模型,研究和比较了一系列模型融合算法。实验结果表明,我们提出的融合算法可以进一步提高个人模型显着。
2022-12-20 cs.SD eess.AS
Detecting Dysfluencies in Stuttering Therapy Using wav2vec 2.0
本文利用wav2vec 2.0和多任务学习,通过微调检测口吃治疗中的言语不流畅性,提升分类性能达27%
2022-06-16 cs.CL cs.SD eess.AS
Code-Switching Text Generation and Injection in Mandarin-English ASR
Microsoft(微软)
语码转换是指在同一话语中混合使用两种或两种以上语言的一种表达方式。由于缺乏数据,具有针对这种语音的端到端(E2 E)建模的自动语音识别(ASR)可能是具有挑战性的任务。在本研究中,我们研究了文本生成和注入,以提高行业常用流模型Transformer-Transducer(T-T)在普通话-英语码切换语音识别中的性能。本文首先提出了一种生成语码转换文本数据的策略,然后研究了将生成的文本通过TTS(Text-to-Speech)转换显式地注入到T-T模型中,或者通过绑定语音和文本的潜在空间隐式地注入到T-T模型中。在使用包含1,800小时真实中英文代码转换语音的数据集训练的T-T模型上的实验结果表明,我们注入生成的代码转换文本的方法显着提高了T-T模型的性能,即,在3个评价集上,平均降低了16%的基于令牌的错误率(TER);在评价集上,由于评价集与训练集数据的同质性更高,所以将语音和文本潜在空间捆绑的方法优于TTS转换方法。
2023-03-20 cs.CL cs.SD eess.AS
Smart Speech Segmentation using Acousto-Linguistic Features with look-ahead
Microsoft Corporation(微软公司)
连续自动语音识别(ASR)的分割传统上使用静音超时或语音活动检测器(VAD),这两者都限于声学特征。这种分割往往过于激进,因为人们在说话时会自然地停下来思考。因此,分割发生在句子中间,阻碍了标点符号和下游任务,如机器翻译,高质量的分割是至关重要的。利用声学特征的基于模型的分割方法是强大的,但如果不了解语言本身,这些方法是有限的。我们提出了一种混合的方法,利用声学和语言信息,以提高分割。此外,我们表明,包括一个字作为前瞻提高分割质量。平均而言,我们的模型将分割F0.5分数提高了9.8%。我们表明,这种方法适用于多种语言。对于机器翻译的下游任务,它将翻译BLEU评分平均提高了1. 05分。
2022-10-27 cs.CL cs.SD eess.AS
Boosting the Transferability of Audio Adversarial Examples with Acoustic Representation Optimization
National Engineering Research Center of Disaster Backup and Recovery(国家防灾备份与恢复工程研究中心);School of Cyberspace Security, Beijing University of Posts and Telecommunications(北京邮电大学网络空间安全学院)
提出声学表示优化技术,通过对齐低层声学特征提升音频对抗样本跨模型可迁移性,且不损害音频质量,可即插即用。实验验证了其有效性。
2025-03-25 cs.CR cs.LG cs.SD
Dialect-Robust Speech Language Models with Synthetic Pseudo-Dialect Augmentation
SB Intuitions;Waseda University(早稻田大学)
针对方言数据稀缺导致SLM性能下降的问题,提出用标准TTS合成伪方言语音并引入中间标准文本预测,在日德汉方言翻译上显著提升性能,且无需方言语音资源。
2026-10-08 cs.CL eess.AS
Towards Dog Bark Decoding: Leveraging Human Speech Processing for Automated Bark Classification
University of Michigan(密歇根大学);National Institute of Astrophysics, Optics and Electronics (INAOE)(国家天体物理、光学和电子研究所(INAOE))
本文提出利用在人类语音上预训练的自监督语音表示模型进行狗吠分类,在狗识别、品种、性别和上下文四个任务上显著优于基线方法。
2024-04-29 cs.CL
SpeechLM: Enhanced Speech Pre-Training with Unpaired Textual Data
University of Science and Technology of China(中国科学技术大学);Harbin Institute of Technology(哈尔滨工业大学);Microsoft(微软)
针对语音与文本模态差异大、难用文本提升语音预训练的问题,提出SpeechLM模型,通过两种离散分词器和统一Transformer对齐两类数据的离散语义空间,在多项口语处理任务上实现显著性能提升。
2023-06-15 cs.AI cs.CL eess.AS
The Microsoft 2016 Conversational Speech Recognition System
Microsoft(微软)
我们描述了微软的会话语音识别系统,在该系统中,我们结合了最近的发展,基于神经网络的声学和语言建模,以推进最先进的开关识别任务。受机器学习集成技术的启发,该系统使用了一系列卷积和递归神经网络。I矢量建模和无网格MMI训练为所有声学模型架构提供了显著的增益。语言模型重新评分与多个向前和向后运行的RNNLM,和基于词后验的系统组合提供了20%的提升。最好的单个系统使用带有RNNLM重新评分的ResNet架构声学模型,并在NIST 2000 Switchboard任务中实现了6.9%的字出错率。该组合系统的出错率为6.2%,比以前报告的基准任务的结果有所改善。
2017-01-25 cs.CL eess.AS
Statistical Beamformer Exploiting Non-stationarity and Sparsity with Spatially Constrained ICA for Robust Speech Recognition
Sogang University(西江大学)
提出一种基于非平稳拉普拉斯分布和空间约束ICA的统计波束形成算法,通过结合掩模方差与松弛零点约束提升导向矢量估计,在CHiME-4和LibriCSS数据集上验证了其在批处理和在线处理下对鲁棒语音识别的有效性。
2024-01-05 cs.SD eess.AS
Automatic context window composition for distant speech recognition
Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
远程语音识别正在通过深度学习进行革命性的变革,这有助于显着优于以前的HMM-GMM系统。DNN快速崛起和成功背后的一个关键方面是它们能够更好地管理大时间上下文。关于这一点,嵌入过去帧多于未来帧的非对称上下文窗口最近已与前馈神经网络一起使用。事实证明,这种上下文配置不仅有助于解决低延迟语音识别问题,还有助于提高混响条件下的识别性能。本文研究了DNN内部的机制,这些机制导致了非对称上下文的有效应用,特别是,我们提出了一种基于梯度分析的上下文窗口自动组合的新方法。在不同的声学环境、特征、DNN架构、麦克风设置和识别任务下进行的实验表明,我们简单有效的策略可以减少冗余帧配置,从而使DNN训练在混响场景中更有效。
2018-05-26 cs.LG cs.NE cs.SD
Contextual Earnings-22: A Speech Recognition Benchmark with Custom Vocabulary in the Wild
Argmax, Inc.(Argmax公司);University of California, Los Angeles(加州大学洛杉矶分校)
本文提出Contextual Earnings-22基准测试,通过真实自定义词汇场景推动研究,揭示潜在进展。关键词提示和增强方法在扩展到大规模系统时表现出色。
2026-03-28 cs.AI cs.CL cs.SD
Memory Augmented Lookup Dictionary based Language Modeling for Automatic Speech Recognition
ByteDance(字节跳动)
最近的研究表明,使用外部语言模型(LM)有利于端到端的自动语音识别(ASR)。然而,预测在训练集中出现频率较低的标记仍然具有相当大的挑战性。长尾预测问题在许多应用中得到了广泛的研究,但只有少数研究涉及ASR和LM。在本文中,我们提出了一个新的内存增强的查找字典为LM的Transformer架构。新引入的查找字典在训练集中包含了丰富的上下文信息,这对于正确预测长尾令牌至关重要。在中文和英文数据集上的实验表明,该方法在字/字符出错率和尾标记出错率上均优于基线Transformer LM。这在不影响解码效率的情况下实现。总的来说,我们证明了我们提出的方法在提高ASR解码性能方面的有效性,特别是对于长尾令牌。
2022-12-30 cs.CL eess.AS
Wav-BERT: Cooperative Acoustic and Linguistic Representation Learning for Low-Resource Speech Recognition
Sun Yat-sen University(中山大学);Dark Matter AI Research(暗物质人工智能研究院);Sea AI Lab(冬海人工智能实验室)
统一声学和语言表示学习对于将在丰富的高资源语言数据上学到的知识转移到低资源语音识别变得越来越重要。现有的方法简单地级联预训练的声学和语言模型来学习从语音到文本的转换。然而,如何解决语音和文本的表征差异还没有被探索,这阻碍了声学和语言信息的利用。此外,以前的工作简单地用声学特征替换预训练语言模型的嵌入层,这可能会导致灾难性遗忘问题。在这项工作中,我们介绍了Wav-BERT,一个合作的声学和语言表示学习方法融合和利用语音和文本的上下文信息。具体来说,我们将预先训练的声学模型(wav 2 vec 2.0)和语言模型(BERT)统一到端到端的可训练框架中。设计了一个表示聚合模块来聚合声学和语言表示,并引入了一个嵌入注意模块来将声学信息融入到BERT中,这可以有效地促进两个预训练模型的合作,从而促进表示学习。大量的实验表明,我们的Wav-BERT显着优于现有的方法,并达到国家的最先进的低资源语音识别的性能。
2021-10-09 cs.CL eess.AS
An Ensemble Teacher-Student Learning Approach with Poisson Sub-sampling to Differential Privacy Preserving Speech Recognition
Georgia Institute of Technology(佐治亚理工学院);Kore University of Enna(恩纳科雷大学);NTNU(挪威科技大学)
我们提出了一个集成学习框架与泊松子采样,有效地训练一组教师模型,发出一些差分隐私(DP)的训练数据的保证。通过DP下的提升,从训练数据中导出的学生模型几乎没有受到没有隐私保护的训练模型的模型退化。我们提出的解决方案利用了两种机制,即:(i)经由泊松子采样的隐私预算放大,以训练需要较少噪声来实现相同水平的隐私预算的目标预测模型,以及(ii)子采样技术和总体师生学习框架的组合,该总体师生学习框架在教师模型的输出处引入DP保留噪声并且将DP-通过噪声标签保持属性。保护隐私的学生模型然后用噪声标签进行训练,以从教师模型集合中学习具有DP保护的知识。语音命令识别和汉语连续语音识别的实验证据表明,我们提出的框架大大优于现有的DP保持算法在这两个语音处理任务。
2022-10-12 cs.AI cs.LG cs.SD
The Marchex 2018 English Conversational Telephone Speech Recognition System
Marchex Inc.(Marchex公司)
在本文中,我们描述了最近的性能改进的生产Marchex语音识别系统,我们的自发客户对企业的电话交谈。在我们之前的工作中,我们专注于域内语言和声学模型训练。在这项工作中,我们采用了最先进的半监督无格最大互信息(LF-MMI)训练过程,可以监督来自未标记音频的完整格。在Marchex English(ME)(北美英语会话的现代评估集)上,我们观察到绝对单词出错率(WER)降低了3.3%(座席3.2%,呼叫者3.6%),解码速度比2017年生产系统的性能快3倍。我们希望这一改进能够提高Marchex Call Analytics系统的性能,特别是在自然语言处理管道方面。
2019-05-01 cs.CL
Zero-Shot Cross-lingual Aphasia Detection using Automatic Speech Recognition
Athena Research Center(雅典研究中心);Behavioral Signal Technologies(行为信号技术公司);National and Kapodistrian University of Athens(雅典国立卡波季斯特里亚大学)
失语症是一种常见的言语和语言障碍,通常由脑损伤或中风引起,影响全球数百万人。检测和评估患者的失语症是一个困难、耗时的过程,已经进行了许多尝试来自动化它,最成功的是使用在失语症语音数据上训练的机器学习模型。像在许多医疗应用中一样,失语症语音数据是稀缺的,并且在所谓的“低资源”语言中,这个问题更加严重,对于这项任务来说,大多数语言都不包括英语。我们试图利用现有的数据在英语和实现zero-shot失语症检测在低资源的语言,如希腊语和法语,通过使用语言不可知的语言特征。目前的跨语言失语症检测方法依赖于手动提取的成绩单。我们提出了一个端到端的管道使用预训练的自动语音识别(ASR)模型,共享跨语言的语音表示,并微调为我们所需的低资源语言。为了进一步提高ASR模型的性能,我们还将其与语言模型相结合。我们表明,我们基于ASR的端到端管道提供了与以前使用人类注释的转录本的设置相当的结果。
2022-04-01 cs.AI cs.CL cs.LG
Incorporating Contextual Paralinguistic Understanding in Large Speech-Language Models
Institute for Infocomm Research (I 2 R), Agency for Science, Technology
针对Speech-LLMs共情推理受限于缺乏整合语境与副语言线索数据集的问题,提出显式与隐式两种结合语境副语言信息的训练方法,在人工标注QA基准上性能显著提升,并验证了LLM评判的可靠性。
2025-08-10 cs.AI cs.CL eess.AS
SpeechLLM: Unified Speech and Language Model for Enhanced Multi-Task Understanding in Low Resource Settings
JPMorganChaseUSA(摩根大通公司);Columbia UniversityUSA(哥伦比亚大学)
针对语音编码器与LLM整合的数据资源受限问题,提出带参数高效适配器的SpeechLLM,结合LLM合成标注等技术,在低资源下多类语音理解任务性能显著提升。
2025-08-29 cs.AI cs.CL
Bridging the Gap: Integrating Pre-trained Speech Enhancement and Recognition Models for Robust Speech Recognition
National Taiwan University(台湾大学);Academia Sinica(中央研究院);Columbia University(哥伦比亚大学);Chunghwa Telecom Co., Ltd.(中华电信股份有限公司);Tsinghua University(清华大学)
针对独立训练的预训练语音增强模型作为自动语音识别前端时易引入伪影损害性能的问题,提出含轻量桥接模块和观测相加技术的后处理方法,无需先验知识与微调即可整合多类模型,提升鲁棒性与泛化性。
2024-06-18 cs.SD eess.AS eess.SP
Scaling Properties of Speech Language Models
Université de Toulon(土伦大学);Aix Marseille Université(艾克斯-马赛大学);CNRS(法国国家科学研究中心);LIS(信息与系统科学实验室)
该研究探讨语音语言模型的缩放特性,证实预训练损失与下游语言性能强相关,发现其缩放速度比文本大语言模型慢至多三个数量级,还研究了合成数据和粗粒度分词的影响。
2024-04-16 cs.AI cs.CL cs.NE