Discrete Tokens Exhibit Interlanguage Speech Intelligibility Benefit: an Analytical Study Towards Accent-robust ASR Only with Native Speech Data
The University of Tokyo(东京大学);Japan National Institute of Advanced Industrial Science and Technology (AIST)(日本国家工业科学与技术研究院);Japan Kyoto University(京都大学)
本研究通过分析离散词元ASR,验证了中介语语音可懂度优势,提出仅用母语数据即可实现口音鲁棒识别,适用于数据稀缺口音。
2025-05-22 cs.SD eess.AS
Resource-Efficient Adaptation of Speech Foundation Models for Multi-Speaker ASR
NVIDIA(英伟达)
本文研究语音基础模型在数据稀缺条件下的多说话人 ASR 适配问题,仅用电话数据进行适配并通过消融实验验证其泛化性与参数影响。
2024-12-03 cs.SD eess.AS
Cascaded encoders for fine-tuning ASR models on overlapped speech
Google Inc.(谷歌公司)
本文提出一种级联RNN-T编码器配置的MT-ASR模型,通过结合基础模型与多说话人掩码模型,在不牺牲非重叠语音性能的前提下,显著提升了重叠语音的识别准确率。
2023-06-28 cs.SD eess.AS
Dual Application of Speech Enhancement for Automatic Speech Recognition
Facebook(脸书)
在这项工作中,我们利用语音增强来改善基于递归神经网络换能器(RNN-T)的ASR系统。我们采用了一个密集的卷积递归网络(DCRN)复杂的频谱映射为基础的语音增强,并发现它有助于ASR在两个方面:一个数据增强技术,和预处理前端。在使用它的ASR数据增强,我们利用KL分歧的一致性损失之间的原始和增强的话语的ASR输出计算。在使用语音增强作为一个有效的ASR前端,我们提出了一个三步训练计划的基础上模型预训练和特征选择。我们评估了我们提出的技术在一个具有挑战性的社交媒体英语视频数据集,并实现了11.2%的平均相对改善与语音增强为基础的数据增强,8.3%与增强为基础的预处理,和13.4%时,结合两者。
2020-11-07 cs.SD eess.AS
ASR and Emotional Speech: A Word-Level Investigation of the Mutual Impact of Speech and Emotion Recognition
University of Edinburgh(爱丁堡大学)
本文通过四个ASR系统和三个情感语料库,从词级层面研究ASR与SER的相互影响,揭示情感语音对ASR性能的作用及ASR转录错误对SER的影响,以推动ASR适应情感语音和SER的实际应用。
2023-05-28 cs.CL cs.SD eess.AS
Time-Domain Speech Enhancement for Robust Automatic Speech Recognition
The Ohio State University(俄亥俄州立大学)
本文提出基于ARN时间域增强模型,将语音增强与仅在干净语音上训练的声学模型解耦,在CHiME-2上实现6.28%词错误率,相对提升19.3%。
2023-06-21 cs.SD eess.AS
Selective Invocation for Multilingual ASR: A Cost-effective Approach Adapting to Speech Recognition Difficulty
Northwestern Polytechnical University(西北工业大学);ByteDance(字节跳动)
提出SIMA,一种基于口语大语言模型的选择性调用方法,根据语音难度决定直接转录或调用SOTA模型,词错误率降低18.7%,调用成本减半,在三个数据集上验证了可扩展性和经济高效性。
2025-05-22 cs.SD eess.AS
Training-Free Contextual ASR via SpeechLLM-Based Error-Aware Selective Retrieval
Hitachi, Ltd., Research & Development Group(株式会社日立制作所研发集团);Hitachi Advanced Systems Corporation(日立先进系统株式会社)
提出无训练上下文ASR框架,利用SpeechLLM定位错误跨度并选择性检索术语,减少词典查询并提升多领域识别性能。
2026-09-28 cs.SD eess.AS
Elevating Robust Multi-Talker ASR by Decoupling Speaker Separation and Speech Recognition
The Ohio State University(俄亥俄州立大学);Center for Cognitive and Brain Sciences, The Ohio State University(俄亥俄州立大学认知与脑科学中心)
针对多说话人场景下ASR前端分离引入伪影导致性能下降的问题,提出分离前端与ASR后端训练解耦、后端仅用干净语音训练的方法,在多个基准数据集上取得了最优词错误率,为鲁棒多说话人ASR提供了有效方案。
2025-03-23 cs.SD eess.AS
CLEAR: Online Speech Content Leakage Estimation through Cross-ASR Disagreement
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
CLEAR提出一种无参考的在线语音内容泄露估计方法,利用异构ASR系统的不一致性在运行时评估隐私保护效果,实现动态调整隐私强度并保留声学效用。
2026-09-28 cs.SD eess.AS
An Investigation on Applying Acoustic Feature Conversion to ASR of Adult and Child Speech
The Chinese University of Hong Kong(香港中文大学)
由于训练数据量有限,儿童语音识别的性能通常不如成人语音令人满意。当将在成人语音上训练的自动语音识别(ASR)系统直接应用于儿童语音时,由于域失配,预期性能显著下降。本研究的重点是成人到儿童的声学特征转换,以减轻这种不匹配。不同的声学特征转换方法,包括基于深度神经网络和基于信号处理,在公平的实验设置下进行了研究和比较,其中从相同数量的标记成人语音转换的声学特征用于从头开始训练ASR模型。实验结果表明,并不是所有的转换方法导致ASR性能增益。具体地说,作为经典的无监督域自适应方法,统计匹配没有表现出有效性。基于解纠缠的自动编码器(DAE)转换框架被发现是有用的,并且F0归一化的方法实现了最佳性能。值得注意的是,转换特征的F0分布是反映转换质量的重要属性,而利用成人-儿童深度分类模型进行判断是不合适的。
2022-05-25 cs.SD eess.AS
Seed-ASR: Understanding Diverse Speech and Contexts with LLM-based Speech Recognition
ByteDance(字节跳动)
针对传统端到端ASR模型场景适配性有限、趋近性能瓶颈的问题,本研究提出基于AcLLM框架的Seed-ASR模型,结合语音表征与上下文信息利用LLM能力,经分阶段训练后在多场景评测及中英文公开测试集上取得显著优于现有模型的表现。
2024-07-10 cs.SD eess.AS
An approach to measuring the performance of Automatic Speech Recognition (ASR) models in the context of Large Language Model (LLM) powered applications
Department of Mathematics(数学系);Department of Electrical Engineering(电气工程系)
本文针对LLM驱动应用中传统WER评估ASR性能的不足,分析LLM纠正ASR错误的能力,并提出一种新的ASR性能度量方法。
2025-07-22 cs.SD eess.AS
Fundamental Frequency Feature Normalization and Data Augmentation for Child Speech Recognition
University of California, Los Angeles(加州大学洛杉矶分校)
由于适合年龄的教育技术的重要性,需要用于幼儿的自动语音识别(ASR)系统。由于缺乏公开的幼儿语音数据,特征提取策略,如特征归一化和数据增强,必须考虑成功训练儿童ASR系统。本研究提出了一种新的技术,儿童ASR使用的特征归一化和数据增强方法的基础上共振峰和基频之间的关系($f_o$)。$f_o$特征归一化和数据增强技术都被实现为Mel域中的频移。这些技术在儿童阅读语音ASR任务上进行评估。儿童ASR系统是通过调整基于成人语音训练的BLSTM声学模型来训练的。使用$f_o$规范化和数据增强的结果在一个相对的词错误率(WER)改善19.3%的基线时,测试的OGI儿童的语音语料库,和由此产生的儿童ASR系统实现了最好的WER目前在此语料库上报告。
2021-02-18 cs.SD eess.AS
META-CAT: Speaker-Informed Speech Embeddings via Meta Information Concatenation for Multi-talker ASR
NVIDIA(英伟达)
提出端到端多说话人ASR框架Meta-Cat,通过拼接说话人监督信息掩蔽编码器激活,同时支持多说话人和目标说话人识别,性能优异且架构精简。
2024-09-18 cs.SD eess.AS
Multitask-Based Joint Learning Approach To Robust ASR For Radio Communication Speech
National University of Singapore(新加坡国立大学);Nanyang Technological University(南洋理工大学);Temasek Laboratories, Nanyang Technological University(南洋理工大学淡马锡实验室)
为了实现无线电通信条件下的端到端自动语音识别(E2E ASR),提出了一种基于多任务的方法,将语音增强(SE)模块作为前端,E2E ASR模型作为后端,联合进行训练。所提出的方法的优点之一是,整个系统可以从头开始训练。与以前的作品不同,这里的任何一个组件都不需要单独执行预训练和微调过程。通过分析,我们发现,所提出的方法的成功在于以下几个方面。首先,多任务学习是必不可少的,即SE网络不仅要学习以产生更智能的语音,而且还要产生有利于识别的语音。其次,我们还发现,语音相位保留从噪声的语音是至关重要的,以提高ASR性能。第三,提出了一种双通道数据增强训练方法,将纯净语音和增强语音结合起来对整个系统进行训练。我们评估所提出的方法对大鼠英语数据集,实现了相对WER减少4.6%的联合训练方法,并高达相对WER减少11.2%的建议的数据增强方法。
2021-07-22 cs.SD eess.AS
A Cycle-GAN Approach to Model Natural Perturbations in Speech for ASR Applications
TCS Research(塔塔咨询服务公司研究院)
由说话人的情绪和身体状态引起的音频信号中自然引入的扰动会显著降低自动语音识别(ASR)系统的性能。在本文中,我们提出了一个基于循环一致生成对抗网络(CycleGAN)的前端,它将自然扰动语音转换为正常语音,从而提高了ASR系统的鲁棒性。CycleGAN模型在扰动和正常语音的非平行示例上进行训练。在自发笑声语音和吱吱声语音数据集上的实验表明,与直接使用原始扰动语音相比,使用从基于CycleGAN的前端获得的语音,四种不同的ASR系统的性能得到改善。可视化的笑声扰动语音的功能和所提出的前端产生的进一步证明了我们的方法的有效性。
2019-12-18 cs.CL cs.SD eess.AS
Acoustics-guided evaluation (AGE): a new measure for estimating performance of speech enhancement algorithms for robust ASR
University of Science and Technology of China(中国科学技术大学);Georgia Institute of Technology(佐治亚理工学院)
鲁棒自动语音识别(ASR)的一个挑战性问题是如何在不计算误词率(WER)的情况下衡量语音增强算法(SEA)的优劣,因为人工翻译、语言建模和解码过程的成本很高。传统的评价语音质量和可懂度的指标如PESQ和STOI与WER的相关性较低。在这项研究中,提出了一种新的声学引导评估(AGE)措施估计性能的稳健ASR的SEAs。AGE由三个连续的步骤组成,即通过特征提取的低级别表示,通过声学模型(AM)的非线性映射的高级别表示,以及干净语音和退化语音的表示之间的最终AGE计算。具体地说,状态后验概率从神经网络的AM采用的高级表示和交叉熵准则用于计算AGE。实验表明,AGE可以产生一致的最高相关性与WER,并给出最准确的估计ASR性能相比,PESQ,STOI,声学置信度测量熵。潜在地,AGE可以用于指导基于深度学习的SEA的参数优化,以进一步提高识别性能。
2018-11-28 cs.SD eess.AS
Fast Development of ASR in African Languages using Self Supervised Speech Representation Learning
African Masters of Machine Intelligence(非洲机器学习硕士项目);Naver Labs, Europe(欧洲 Naver 实验室)
本文描述了2020年6月非洲机器智能硕士(AMMI)期间启动的非正式合作的结果。在一系列关于使用移动应用程序收集语音数据和从语音中进行自我监督表示学习的讲座和实验之后,一小群学生和讲师继续研究三种语言的自动语音识别(ASR)项目:沃洛夫语,Ga和索马里语。本文介绍了如何收集数据和ASR系统开发与少量(1小时)的转录语音作为训练数据。在这些低资源条件下,在大量原始语音上预训练模型对于所开发的ASR系统的效率至关重要。
2021-03-16 cs.CL cs.SD eess.AS
Maestro-U: Leveraging joint speech-text representation learning for zero supervised speech ASR
Google, Inc.(谷歌公司)
训练最先进的自动语音识别(ASR)模型通常需要大量的转录语音。在这项工作中,我们证明了一个模态匹配的联合语音和文本模型,可以利用训练一个大规模的多语言ASR模型,没有任何监督(手动转录)的语音为某些语言。本文探讨了使用联合学习的语音和文本表示在一个大规模的多语言,零监督语音,现实世界的设置,以扩大一套语言覆盖的ASR与目标语言中只有未标记的语音和文本。使用FLEURS数据集,我们定义了覆盖$102$语言的任务,其中转录的语音在这些语言的$52$中可用,并且可以用于提高其余$50$上的端到端ASR质量。首先,我们表明,通过将语音表示与字节级文本表示相结合,并使用语言嵌入,我们可以显着降低字符出错率(CER)的语言没有监督语音从64.8%到30.8%,相对减少53%。其次,使用南亚语言的一个子集,我们表明,Maestro-U可以促进知识转移的语言与监督语音,即使有限制,没有字形重叠。总体而言,Maestro-U相对于Oracle的性能差距缩小了68.5%,并将19种语言的CER降低到15%以下。
2022-10-21 cs.CL cs.SD eess.AS
Bridging ASR and LLMs for Dysarthric Speech Recognition: Benchmarking Self-Supervised and Generative Approaches
NLP Department(自然语言处理部门)
本研究系统基准测试了Wav2Vec等自监督模型及CTC、seq2seq和LLM增强解码策略在构音障碍语音识别中的表现,发现LLM增强解码能利用语言约束恢复音素和纠正语法,有效提升识别可懂度。
2025-08-11 cs.AI cs.SD eess.AS
Simulating realistic speech overlaps improves multi-talker ASR
Microsoft(微软)
研究了多说话人自动语音识别(ASR),以生成包含多个说话人重叠语音的自然会话的译文。由于难以获得具有高质量人类transmittance的真实会话数据,因此通过随机混合多个话语来对多说话者语音进行朴素模拟通常用于模型训练。在这项工作中,我们提出了一种改进的技术来模拟多说话者重叠语音与现实的语音重叠,其中语音重叠的任意模式表示的离散令牌的序列。通过这种表示,可以基于统计语言模型(例如N-gram)从真实对话中学习语音重叠模式,然后可以使用该模型来生成用于训练的多说话者语音。在我们的实验中,使用所提出的方法训练的多说话者ASR模型在多个数据集上显示出一致的单词错误率改善。
2022-11-17 cs.CL cs.SD eess.AS
Automatic Speech Recognition (ASR) for the Diagnosis of pronunciation of Speech Sound Disorders in Korean children
Korea University(高丽大学);MediaZen;The Catholic University of Korea(韩国天主教大学);Dankook University(檀国大学)
本研究微调wav2vec 2.0 XLS-R模型识别儿童实际发音,用于诊断韩语语音障碍,准确率约90%,可简化临床发音错误诊断流程。
2024-03-13 cs.CL cs.SD eess.AS
Speech Diarization and ASR with GMM
BMS College of Engineering(BMS工程学院)
本文研究语音分离与自动语音识别,提出利用高斯混合模型表示语音片段并基于簇间距离阈值进行分离,同时通过同步算法分析语音信号以降低词错误率。
2023-07-11 cs.LG cs.SD eess.AS
A Persian ASR-based SER: Modification of Sharif Emotional Speech Database and Investigation of Persian Text Corpora
语音情感识别(SER)是人类理解环境和如何与他人交互的基本感知方法之一,因此,近年来,人们一直试图将情感识别能力添加到人机通信系统中。由于SER过程依赖于标记数据,数据库是必不可少的。不完整,低质量或有缺陷的数据可能会导致不准确的预测。在本文中,我们固定谢里夫情感语音数据库(ShEMO),作为一个波斯语数据库,通过使用自动语音识别(ASR)系统和调查的效果,波斯语语言模型获得可访问的波斯语文本语料库。我们还介绍了一个基于波斯语/波斯语ASR的SER系统,该系统使用ASR输出的语言特征和基于深度学习的模型。
2022-11-18 cs.AI cs.SD eess.AS
Improving Distinction between ASR Errors and Speech Disfluencies with Feature Space Interpolation
ActionPower
微调预训练语言模型(LM)是自动语音识别(ASR)错误检测的一种流行方法。虽然错误检测系统通常利用LM捕获的统计语言原型,但有时预训练的知识可能会阻碍错误检测性能。例如,语音不流利的存在可能会使后处理系统混淆,从而将不流利但准确的翻译标记为ASR错误。这种混淆的发生是因为错误检测和不流利检测任务都试图在统计上不太可能的位置识别标记。本文提出了一种方案,以改善现有的LM为基础的ASR错误检测系统,无论是在检测分数和弹性,这样分散辅助任务。我们的方法采用了流行的混合方法在文本特征空间,可以用于任何黑盒ASR输出。为了证明我们的方法的有效性,我们进行后处理实验与传统的和端到端的ASR系统(英语和韩语)与5个不同的语音语料库。我们发现,我们的方法提高了ASR错误检测F1分数,并减少了错误地检测为ASR错误的正确转录的不流利的数量。最后,我们提出了在半监督ASR训练中直接利用所得LM的方法。
2021-08-04 cs.CL cs.SD eess.AS
Factual Consistency Oriented Speech Recognition
Microsoft(微软)
本文提出了一种新的优化框架,自动语音识别(ASR)的目的是减少幻觉产生的ASR模型。所提出的框架优化了ASR模型,以最大限度地提高ASR假设和地面实况之间的预期事实一致性得分,其中事实一致性得分由单独训练的估计器计算。使用AMI会议语料库和VoxPopuli语料库的实验结果表明,使用所提出的框架训练的ASR模型生成的ASR假设具有显着更高的一致性分数与地面实况transmittance,同时保持接近交叉熵训练的ASR模型的单词错误率。此外,它表明,训练的ASR模型与所提出的框架,提高了语音摘要的质量,由一个大型语言模型生成的会议会话摘要的事实一致性来衡量。
2023-02-24 cs.CL cs.SD eess.AS
ASRPU: A Programmable Accelerator for Low-Power Automatic Speech Recognition
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
现代自动语音识别(ASR)系统所实现的出色准确性使其能够迅速成为主流技术。ASR对于许多应用程序都是必不可少的,例如基于语音的助理,听写系统和实时语言翻译。然而,高度精确的ASR系统在计算上是昂贵的,需要数十亿的算术运算来解码每秒的音频,这与在边缘设备上部署ASR的兴趣日益增长相冲突。在这些设备上,硬件加速是实现可接受性能的关键。然而,ASR是一个丰富且快速变化的领域,因此,任何过于专业化的硬件加速器都可能很快过时。在本文中,我们通过提出ASRPU来应对这些挑战,ASRPU是一种用于边缘ASR的可编程加速器。ASRPU包含一个通用核心池,用于执行小块并行代码。这些程序中的每一个计算整个解码器的一部分(例如,神经网络中的层)。加速器自动化解码器的一些精心选择的部分,以简化编程,而不牺牲通用性。我们提供了一个现代的ASR系统上实现ASRPU的分析,并表明,这种架构可以实现实时解码与一个非常低的功耗预算。
2022-02-10 cs.AR cs.SD eess.AS
An analysis of degenerating speech due to progressive dysarthria on ASR performance
Google LLC(谷歌有限责任公司);MGH Institute of Health Professions(麻省总医院健康职业学院)
虽然个性化的自动语音识别(ASR)模型最近已经被设计为识别甚至严重受损的语音,但是对于具有退化语音的人,模型性能可能随着时间而降低。本研究的目的是(1)分析语音退化个体的ASR表现随时间的变化,以及(2)探索缓解策略,以优化整个疾病进展过程中的识别。由四个人记录的语音退化由于肌萎缩侧索硬化症(ALS)。针对三种ASR模型计算了记录会话的单词错误率(WER):非适应性说话者独立(U-SI),适应性说话者独立(A-SI)和适应性说话者依赖(A-SD或个性化)。随着时间的推移,所有三种模型的性能都显着下降,因为语音变得更加受损,但A-SD模型的性能显着改善时,它与语音进展的严重阶段的录音更新。在疾病早期记录额外的话语,在语音明显退化之前,并没有改善A-SD模型的性能。总的来说,我们的研究结果强调了连续记录(和模型再训练)在为患有渐进性言语障碍的个体提供个性化模型时的重要性。
2022-10-31 cs.CL cs.SD eess.AS
Articulatory and bottleneck features for speaker-independent ASR of dysarthric speech
National University of Singapore(新加坡国立大学);Radboud University(拉德堡德大学);University of Maryland, College Park(马里兰大学帕克分校);Pindrop;SRI International(SRI国际)
人口快速老龄化刺激了辅助设备的发展,为患有各种病因的需要者提供个性化的医疗支持。一个突出的临床应用是计算机辅助的语音训练系统,其使得能够对在患者的家庭环境中因交流障碍而受损的患者进行个性化的语音治疗。这样的系统依赖于鲁棒的自动语音识别(ASR)技术以能够提供准确的发音反馈。与长期的目标,开发现成的ASR系统,可以纳入临床背景下,没有事先的扬声器信息,我们比较了ASR性能的扬声器独立的瓶颈和发音功能的构音障碍的语音与专用的神经网络为基础的声学模型,已被证明是强大的对spectrotemporal偏差。我们报告的ASR性能,这些系统上的两个构音障碍的语音数据集的不同特征,以量化所取得的性能增益。尽管构音障碍和正常语音之间的剩余性能差距,显着的改善已被报告在这两个数据集上使用说话者独立的ASR架构。
2019-05-21 cs.CL cs.SD eess.AS
Interventional Speech Noise Injection for ASR Generalizable Spoken Language Understanding
Seoul National University(首尔大学);Yanolja(雅诺佳(韩国生活服务平台))
本文提出一种干预式语音噪声注入方法,通过切断噪声的非因果效应引入对任意ASR系统都合理的噪声,以增强SLU模型对未见ASR系统的鲁棒性和泛化能力。
2024-10-21 cs.CL cs.SD eess.AS
Accurate synthesis of Dysarthric Speech for ASR data augmentation
University of Kentucky(肯塔基大学);University of Connecticut(康涅狄格大学);Marquette University(马凯特大学)
本文提出带严重程度系数和停顿插入模型的改进神经多说话人TTS,用于合成构音障碍语音以增强ASR训练数据,并在TORGO上显著降低WER。
2023-08-16 cs.LG cs.SD eess.AS
Transfer Learning for Robust Low-Resource Children's Speech ASR with Transformers and Source-Filter Warping
Ghent University(根特大学);imec(比利时微电子研究中心)
已知自动语音识别(ASR)系统在转录儿童的语音时表现出困难。这可以主要归因于缺乏大型儿童语音语料库来训练鲁棒的ASR模型,以及当用在成人数据上训练的系统解码儿童语音时产生的域失配。在本文中,我们提出了多项增强功能来缓解这些问题。首先,我们提出了一种基于语音源过滤器模型的数据增强技术,以缩小成人和儿童语音之间的领域差距。这使我们能够利用成人语音语料库的数据可用性,使这些样本在感知上类似于儿童的语音。其次,使用这种增强策略,我们将迁移学习应用于在成人数据上预训练的Transformer模型。该模型遵循最近推出的XLS-R架构,这是一个在几个跨语言成人语音语料库上进行预训练的wav 2 vec 2.0模型,用于学习通用和鲁棒的声学帧级表示。采用此模型的ASR任务,使用成人数据增强与建议的源过滤器翘曲策略和有限数量的域中儿童的语音显着优于以前的国家的最先进的结果PF-STAR英国英语儿童语音语料库的官方测试集上的4.86% WER。
2022-06-19 cs.CL cs.SD eess.AS
Incorporating VAD into ASR System by Multi-task Learning
Megatronix(Beijing) Technology Co., Ltd.(兆芯(北京)科技有限公司)
在端到端自动语音识别(E2 E-ASR)系统的实际应用中,通常需要一个语音活动检测(VAD)系统来提高系统的性能,并通过丢弃音频中的非语音部分来降低计算开销。通常,ASR和VAD系统彼此独立地训练和使用。在本文中,我们提出了一种新的多任务学习(MTL)框架,将VAD到ASR系统。该系统在训练阶段学习ASR和VAD。在VAD的帮助下,ASR性能得到改善,因为其连接主义时间分类(CTC)损失函数可以利用VAD对齐信息。在推理阶段,该系统以较低的计算成本去除非语音部分,并具有较高的鲁棒性识别语音部分。实验结果表明,通过利用VAD信息,该方法优于基线ASR系统在英语和汉语数据集上的分割语音数据。在未分段的语音数据上,我们发现该系统的性能优于构建额外的基于GMM或基于DNN的语音活动检测器的ASR系统。
2022-09-30 cs.CL cs.SD eess.AS
Speech Recognition on TV Series with Video-guided Post-ASR Correction
本文提出视频引导后ASR校正框架,利用视频大模态模型捕捉视频上下文以提升ASR在电视剧等复杂环境中的转录准确性。
2026-03-15 cs.AI cs.SD eess.AS
LA-RAG:Enhancing LLM-based ASR Accuracy with Retrieval-Augmented Generation
Huawei TSC(华为技术服务中心)
针对现有基于大语言模型的自动语音识别方法在口音等声学条件下性能受限的问题,提出新型检索增强生成范式LA-RAG,通过细粒度token级语音数据存储与语对语检索结合上下文学习提升准确率,在普通话及方言数据集上验证了有效性。
2024-09-13 cs.CL cs.SD eess.AS
Fusing ASR Outputs in Joint Training for Speech Emotion Recognition
University of Edinburgh(爱丁堡大学)
除了声学信息之外,基于语音转录本的语言特征已经被证明在语音情感识别(SER)中是有用的。然而,由于情感标注数据的缺乏和情感语音识别的困难,在这一研究领域很难获得可靠的语言特征和模型。本文提出将自动语音识别(ASR)输出融合到流水线中进行联合训练SER。ASR和SER之间的关系尚未得到充分研究,ASR特征是什么以及如何有益于SER还不清楚。通过对各种ASR输出和融合方法的研究,我们的实验表明,在联合ASR-SER训练中,使用分层共同注意力融合方法合并ASR隐藏和文本输出两者最大程度地提高了SER性能。在IEMOCAP语料库上,我们的方法实现了63.4%的加权准确率,这接近于通过结合地面实况成绩单实现的基线结果。此外,我们还提出了新的IEMOCAP的字错误率分析和Wav 2 vec 2.0模型的层差分析,以更好地理解ASR和SER之间的关系。
2022-03-17 cs.CL cs.MM cs.SD
Improving Spoken Language Understanding By Exploiting ASR N-best Hypotheses
Amazon(亚马逊)
在现代口语语言理解(SLU)系统中,自然语言理解(NLU)模块将来自自动语音识别(ASR)模块的语音的解释作为输入。NLU模块通常在下游任务(如域和意图分类)中使用给定语音的第一个最佳解释。然而,ASR模块可能会错误地识别一些语音,并且第一最佳解释可能是错误的和有噪声的。仅仅依赖第一个最佳解释可能会使下游任务的性能非最佳。为了解决这个问题,我们引入了一系列简单而有效的模型,通过集体利用ASR模块的n-最好的语音解释来提高对输入语音的语义的理解。
2020-01-11 cs.CL cs.SD eess.AS
ASR-FAIRBENCH: Measuring and Benchmarking Equity Across Speech Recognition Systems
Indian Institute of Technology, Kharagpur India(印度理工学院,克哈格布尔分校)
本文提出 ASR-FAIRBENCH 排行榜,利用 Fair-Speech 数据集、混合效应 Poisson 回归和 FAAS 综合评估 ASR 模型的准确性与群体公平性。
2025-05-16 cs.CL cs.SD eess.AS
CleanMel: Mel-Spectrogram Enhancement for Improving Both Speech Quality and ASR
Zhejiang University(浙江大学);Westlake University(西湖大学);School of Engineering(工程学院);Institute of Advanced Technology(先进技术研究院);Westlake Institute for Advanced Study(西湖研究学院)
本研究提出基于梅尔频域交错跨带与窄带处理的CleanMel网络,通过梅尔频谱图去噪去混响,同时提升语音质量与ASR性能,在多语种数据集上验证了显著效果且代码已开源。
2025-07-30 cs.AI cs.SD eess.AS
BR-ASR: Efficient and Scalable Bias Retrieval Framework for Contextual Biasing ASR in Speech LLM
AI Institute School of Computer Science, Shanghai Jiao Tong University(人工智能研究院计算机学院,上海交通大学);MoE Key Lab of AI AntGroup(AI人工智能混合专家实验室,蚂蚁集团)
针对语音大模型在命名实体和罕见词上下文偏置中的挑战,提出BR-ASR框架,通过语音-偏置对比学习和动态课程学习实现大规模高效偏置检索,在LibriSpeech上取得SOTA B-WER并显著提升可扩展性。
2025-05-25 cs.SD eess.AS eess.SP
Deep Speech Based End-to-End Automated Speech Recognition (ASR) for Indian-English Accents
Indian Institute of Science Education and Research (IISER) Berhampur(贝兰布尔印度科学教育与研究院(IISER))
自动语音识别是计算机科学和语言学的交叉学科应用,它使我们能够从发出的语音波形中获得转录。它在军事上有几个应用,如高性能战斗机,直升机,空中交通管制员。除了军事领域,语音识别还用于医疗保健、残疾人等领域。ASR一直是一个活跃的研究领域。语音到文本(STT)的几个模型和算法已经提出。最近的一个是Mozilla Deep Speech,它基于百度的Deep Speech研究论文。Deep Speech是使用端到端深度学习开发的最先进的语音识别系统,它使用利用多个图形处理单元(GPU)的优化的递归神经网络(RNN)训练系统进行训练。这种训练主要是使用美国英语口音数据集完成的,这导致对其他英语口音的概括性很差。印度是一个多元化的国家。这甚至可以在演讲中看到,有几种英语口音因州而异。在这项工作中,我们使用了迁移学习方法,使用最新的深度语音模型,即,deepspeech-0.9.3,用于开发针对印度英语口音的端到端语音识别系统。这项工作利用微调和数据论证来进一步优化和改进深度语音ASR系统。印度英语口音的印度语TTS数据用于迁移学习和微调预训练的深度语音模型。一个一般的比较之间的未经训练的模型,我们的训练模型和其他可用的语音识别服务的印度英语口音。
2022-04-03 cs.CL cs.SD eess.AS
Quantifying Bias in Automatic Speech Recognition
Delft University of Technology(代尔夫特理工大学);Netherlands Cancer Institute(荷兰癌症研究所);University of Amsterdam(阿姆斯特丹大学)
自动语音识别(ASR)系统承诺提供对人类语音的客观解释。实践和最近的证据表明,最先进的(SotA)ASR与语音中的大变化作斗争,性别年龄语言障碍种族和口音许多因素会导致ASR系统的偏差。我们的首要目标是发现ASR系统中的偏见,以积极主动地减轻ASR中的偏见。本文是实现这一目标的第一步,系统地量化了荷兰SotA ASR系统对性别,年龄,地区口音和非母语口音的偏见。单词错误率进行比较,并进行深入的音素级错误分析,以了解偏见发生的地方。我们主要关注由于数据集中的清晰度差异而导致的偏倚。根据我们的研究结果,我们建议偏见缓解策略ASR的发展。
2021-04-01 cs.CL cs.SD eess.AS
Challenges and Opportunities of Speech Recognition for Bengali Language
Bangladesh University of Business & Technology(孟加拉国商业与技术大学);King Abdulaziz University(阿卜杜勒阿齐兹国王大学)
语音识别是一个迷人的过程,它提供了在人机交互领域中与机器进行交互和命令的机会。语音识别是一个依赖于语言的系统,它直接基于任何语言的语言和文本属性构建。自动语音识别(ASR)系统目前被用于将语音无障碍地翻译成文本。虽然ASR系统在国际语言中得到了有力的执行,但ASR系统在孟加拉语中的执行还没有达到可接受的状态。在这项研究工作中,我们刻意披露孟加拉ASR系统的研究工作的现状。在下文中,我们将了解在构建孟加拉语ASR系统时遇到的挑战。我们将这些挑战分为依赖语言和独立语言的挑战,并指导如何对特定的并发症进行彻底检查。经过严格的调查和突出的挑战,我们的结论是,孟加拉语ASR系统需要特定的ASR架构的基础上,孟加拉语的语法和语音结构的建设。
2021-09-27 cs.CL cs.SD eess.AS
Crossmodal ASR Error Correction with Discrete Speech Units
University of Edinburgh(爱丁堡大学)
针对低资源跨域场景下ASR转录错误问题,提出结合离散语音单元增强词嵌入的跨模态AEC方法,验证了其在不同规模数据上的有效性与下游适用性。
2024-09-13 cs.CL cs.SD eess.AS
End-to-End Joint Target and Non-Target Speakers ASR
NTT Computer and Data Science Laboratories, NTT Corporation(NTT公司NTT计算机与数据科学实验室)
针对多说话人重叠语音需同时转写目标与非目标说话人的问题,提出利用目标说话人注册语音并递归生成文本及说话人身份标记的端到端自回归ASR方法,实验验证了其有效性。
2023-06-04 cs.CL cs.SD eess.AS
Bridging Speech and Text: Enhancing ASR with Pinyin-to-Character Pre-training in LLMs
Hunan University(湖南大学);Nanyang Technological University(南洋理工大学)
本文提出在LLM中通过拼音到字符预训练增强ASR性能,在AISHELL-1上实现19.0%的相对提升。
2024-09-24 cs.CL cs.SD eess.AS
WER We Stand: Benchmarking Urdu ASR Models
Lahore University of Management Sciences(拉瓦尔大学管理科学学院);University of Michigan - Ann Arbor(密歇根大学安娜堡分校);EMBL European Bioinformatics Institute(欧洲生物信息学研究所)
本文通过WER评测Whisper、MMS和Seamless-M4T三类乌尔都语ASR模型,并发布首个乌尔都语对话语音基准数据集,揭示不同模型在朗读与对话场景下的性能差异及文本规范化需求。
2025-06-06 cs.CL cs.SD eess.AS
Personalizing ASR for Dysarthric and Accented Speech with Limited Data
Google(谷歌);ALS Therapy Development Institute(肌萎缩侧索硬化症治疗发展研究所)
自动语音识别(ASR)系统在过去几年中有了显著的改进。ASR系统通常是从“典型”语音中训练出来的,这意味着代表性不足的群体不会经历同样程度的改善。在本文中,我们提出并评估微调技术,以提高非标准语音用户的ASR。我们专注于两种类型的非标准语音:从肌萎缩侧索硬化症(ALS)和口音语音的人讲话。我们训练个性化模型,在这两组中实现62%和35%的相对WER改善,在消息库短语测试集上,ALS说话者的绝对WER对于轻度构音障碍下降到10%,对于更严重的构音障碍下降到20%。我们表明,71%的改善来自于只有5分钟的训练数据。微调一个特定的层子集(使用更少的参数)通常比微调整个模型提供更好的结果。这是建立构音障碍语音的最新ASR模型的第一步。
2019-07-31 cs.CL cs.LG cs.SD
Listening while Speaking and Visualizing: Improving ASR through Multimodal Chain
Nara Institute of Science and Technology(奈良先端科学技术大学院大学);RIKEN(理化学研究所)
之前,提出了一种基于序列到序列深度学习的机器语音链来模仿语音感知和产生行为。这些链通过自动语音识别(ASR)和文本到语音合成(TTS)分别处理听力和口语,并同时使它们能够在收到未配对数据时在半监督学习中相互教导。遗憾的是,这种言语链研究仅限于言语和语篇模态。事实上,自然交流实际上是多模态的,涉及听觉和视觉感官系统。虽然所述语音链降低了具有全部配对数据的要求,但是在这种情况下,我们仍然需要大量的未配对数据。在这项研究中,我们采取更进一步的步骤,构建一个多模态链和设计一个紧密结合的链架构,结合ASR,TTS,图像描述,图像生产模型到一个单一的框架。该框架允许每个组件的训练,而不需要大量的并行多模态数据。我们的实验结果还表明,ASR可以进一步训练没有语音和文本数据和跨模态数据增强仍然是可能的,通过我们提出的链,这提高了ASR的性能。
2019-11-14 cs.CL cs.SD eess.AS
Unsupervised Rhythm and Voice Conversion to Improve ASR on Dysarthric Speech
Idiap Research Institute(Idiap研究机构)
本文提出一种基于音节节奏建模的无监督构音障碍到健康语音转换方法,扩展RnV框架,在Torgo语料库上显著降低LF-MMI模型的词错误率,尤其对严重构音障碍病例效果更佳。
2025-06-02 cs.AI cs.LG cs.SD
Bridging the Gap: Integrating Pre-trained Speech Enhancement and Recognition Models for Robust Speech Recognition
National Taiwan University(台湾大学);Academia Sinica(中央研究院);Columbia University(哥伦比亚大学);Chunghwa Telecom Co., Ltd.(中华电信股份有限公司);Tsinghua University(清华大学)
针对独立训练的预训练语音增强模型作为自动语音识别前端时易引入伪影损害性能的问题,提出含轻量桥接模块和观测相加技术的后处理方法,无需先验知识与微调即可整合多类模型,提升鲁棒性与泛化性。
2024-06-18 cs.SD eess.AS eess.SP
On the Efficacy and Noise-Robustness of Jointly Learned Speech Emotion and Automatic Speech Recognition
Uniphore Software Systems(Uniphore软件系统公司);Robert Bosch Centre for Cyber-Physical Systems, Indian Institute of Science(印度科学学院罗伯特·博世信息物理系统中心)
本文提出低资源下ASR与SER联合多任务学习方法,在IEMOCAP和MUSAN数据上验证其能同时提升识别性能与噪声鲁棒性,优于独立建模方法。
2023-05-25 cs.AI cs.SD eess.AS
SW-ASR: A Context-Aware Hybrid ASR Pipeline for Robust Single Word Speech Recognition
Tetranetics Private Limited(特兰尼克斯私人有限公司)
SW-ASR通过结合上下文感知和轻量验证机制,提升单字语音识别在噪声和压缩信道中的鲁棒性,适用于实时通信场景。
2026-01-28 cs.CL cs.SD eess.AS