Maestro-U: Leveraging joint speech-text representation learning for zero supervised speech ASR
Google, Inc.(谷歌公司)
训练最先进的自动语音识别(ASR)模型通常需要大量的转录语音。在这项工作中,我们证明了一个模态匹配的联合语音和文本模型,可以利用训练一个大规模的多语言ASR模型,没有任何监督(手动转录)的语音为某些语言。本文探讨了使用联合学习的语音和文本表示在一个大规模的多语言,零监督语音,现实世界的设置,以扩大一套语言覆盖的ASR与目标语言中只有未标记的语音和文本。使用FLEURS数据集,我们定义了覆盖$102$语言的任务,其中转录的语音在这些语言的$52$中可用,并且可以用于提高其余$50$上的端到端ASR质量。首先,我们表明,通过将语音表示与字节级文本表示相结合,并使用语言嵌入,我们可以显着降低字符出错率(CER)的语言没有监督语音从64.8%到30.8%,相对减少53%。其次,使用南亚语言的一个子集,我们表明,Maestro-U可以促进知识转移的语言与监督语音,即使有限制,没有字形重叠。总体而言,Maestro-U相对于Oracle的性能差距缩小了68.5%,并将19种语言的CER降低到15%以下。
2022-10-21 cs.CL cs.SD eess.AS
Residual Adapters for Parameter-Efficient ASR Adaptation to Atypical and Accented Speech
Google(谷歌)
自动语音识别(ASR)系统通常被优化以最好地为具有规范语音模式的说话者工作。不幸的是,这些系统在测试非典型语音和重口音语音时表现不佳。以前已经表明,通过模型微调的个性化大大提高了性能。然而,为每个扬声器维护如此大的模型是昂贵的并且难以扩展。我们表明,通过所谓的残差适配器向编码器层添加相对少量的额外参数,与模型微调相比,我们可以实现类似的自适应增益,同时只更新一小部分(小于0.5%)模型参数。我们证明了这两个语音适应任务(非典型和重音语音)和两个国家的最先进的ASR架构。
2021-09-14 cs.CL cs.SD eess.AS
Bridging ASR and LLMs for Dysarthric Speech Recognition: Benchmarking Self-Supervised and Generative Approaches
NLP Department(自然语言处理部门)
本研究系统基准测试了Wav2Vec等自监督模型及CTC、seq2seq和LLM增强解码策略在构音障碍语音识别中的表现,发现LLM增强解码能利用语言约束恢复音素和纠正语法,有效提升识别可懂度。
2025-08-11 cs.AI cs.SD eess.AS
Simulating realistic speech overlaps improves multi-talker ASR
Microsoft(微软)
研究了多说话人自动语音识别(ASR),以生成包含多个说话人重叠语音的自然会话的译文。由于难以获得具有高质量人类transmittance的真实会话数据,因此通过随机混合多个话语来对多说话者语音进行朴素模拟通常用于模型训练。在这项工作中,我们提出了一种改进的技术来模拟多说话者重叠语音与现实的语音重叠,其中语音重叠的任意模式表示的离散令牌的序列。通过这种表示,可以基于统计语言模型(例如N-gram)从真实对话中学习语音重叠模式,然后可以使用该模型来生成用于训练的多说话者语音。在我们的实验中,使用所提出的方法训练的多说话者ASR模型在多个数据集上显示出一致的单词错误率改善。
2022-11-17 cs.CL cs.SD eess.AS
Dyn-ASR: Compact, Multilingual Speech Recognition via Spoken Language and Accent Identification
Intel Corporation(英特尔公司);SIL International(SIL国际)
由于资源限制,在边缘设备上运行自动语音识别(ASR)并非易事,特别是在需要支持多种语言的场景中。我们提出了一种在边缘设备上实现多语言语音识别的新方法。这种方法同时使用语言识别和口音识别来动态选择多个单语ASR模型之一,每个模型都针对特定口音进行了微调。识别性能和资源使用的初步结果是有希望的,我们的方法使用的内存不到其他解决方案的1/12。
2021-08-04 cs.CL cs.SD eess.AS
Automatic Speech Recognition (ASR) for the Diagnosis of pronunciation of Speech Sound Disorders in Korean children
Korea University(高丽大学);MediaZen;The Catholic University of Korea(韩国天主教大学);Dankook University(檀国大学)
本研究微调wav2vec 2.0 XLS-R模型识别儿童实际发音,用于诊断韩语语音障碍,准确率约90%,可简化临床发音错误诊断流程。
2024-03-13 cs.CL cs.SD eess.AS
A Persian ASR-based SER: Modification of Sharif Emotional Speech Database and Investigation of Persian Text Corpora
语音情感识别(SER)是人类理解环境和如何与他人交互的基本感知方法之一,因此,近年来,人们一直试图将情感识别能力添加到人机通信系统中。由于SER过程依赖于标记数据,数据库是必不可少的。不完整,低质量或有缺陷的数据可能会导致不准确的预测。在本文中,我们固定谢里夫情感语音数据库(ShEMO),作为一个波斯语数据库,通过使用自动语音识别(ASR)系统和调查的效果,波斯语语言模型获得可访问的波斯语文本语料库。我们还介绍了一个基于波斯语/波斯语ASR的SER系统,该系统使用ASR输出的语言特征和基于深度学习的模型。
2022-11-18 cs.AI cs.SD eess.AS
Improving Distinction between ASR Errors and Speech Disfluencies with Feature Space Interpolation
ActionPower
微调预训练语言模型(LM)是自动语音识别(ASR)错误检测的一种流行方法。虽然错误检测系统通常利用LM捕获的统计语言原型,但有时预训练的知识可能会阻碍错误检测性能。例如,语音不流利的存在可能会使后处理系统混淆,从而将不流利但准确的翻译标记为ASR错误。这种混淆的发生是因为错误检测和不流利检测任务都试图在统计上不太可能的位置识别标记。本文提出了一种方案,以改善现有的LM为基础的ASR错误检测系统,无论是在检测分数和弹性,这样分散辅助任务。我们的方法采用了流行的混合方法在文本特征空间,可以用于任何黑盒ASR输出。为了证明我们的方法的有效性,我们进行后处理实验与传统的和端到端的ASR系统(英语和韩语)与5个不同的语音语料库。我们发现,我们的方法提高了ASR错误检测F1分数,并减少了错误地检测为ASR错误的正确转录的不流利的数量。最后,我们提出了在半监督ASR训练中直接利用所得LM的方法。
2021-08-04 cs.CL cs.SD eess.AS
Factual Consistency Oriented Speech Recognition
Microsoft(微软)
本文提出了一种新的优化框架,自动语音识别(ASR)的目的是减少幻觉产生的ASR模型。所提出的框架优化了ASR模型,以最大限度地提高ASR假设和地面实况之间的预期事实一致性得分,其中事实一致性得分由单独训练的估计器计算。使用AMI会议语料库和VoxPopuli语料库的实验结果表明,使用所提出的框架训练的ASR模型生成的ASR假设具有显着更高的一致性分数与地面实况transmittance,同时保持接近交叉熵训练的ASR模型的单词错误率。此外,它表明,训练的ASR模型与所提出的框架,提高了语音摘要的质量,由一个大型语言模型生成的会议会话摘要的事实一致性来衡量。
2023-02-24 cs.CL cs.SD eess.AS
An analysis of degenerating speech due to progressive dysarthria on ASR performance
Google LLC(谷歌有限责任公司);MGH Institute of Health Professions(麻省总医院健康职业学院)
虽然个性化的自动语音识别(ASR)模型最近已经被设计为识别甚至严重受损的语音,但是对于具有退化语音的人,模型性能可能随着时间而降低。本研究的目的是(1)分析语音退化个体的ASR表现随时间的变化,以及(2)探索缓解策略,以优化整个疾病进展过程中的识别。由四个人记录的语音退化由于肌萎缩侧索硬化症(ALS)。针对三种ASR模型计算了记录会话的单词错误率(WER):非适应性说话者独立(U-SI),适应性说话者独立(A-SI)和适应性说话者依赖(A-SD或个性化)。随着时间的推移,所有三种模型的性能都显着下降,因为语音变得更加受损,但A-SD模型的性能显着改善时,它与语音进展的严重阶段的录音更新。在疾病早期记录额外的话语,在语音明显退化之前,并没有改善A-SD模型的性能。总的来说,我们的研究结果强调了连续记录(和模型再训练)在为患有渐进性言语障碍的个体提供个性化模型时的重要性。
2022-10-31 cs.CL cs.SD eess.AS
Articulatory and bottleneck features for speaker-independent ASR of dysarthric speech
National University of Singapore(新加坡国立大学);Radboud University(拉德堡德大学);University of Maryland, College Park(马里兰大学帕克分校);Pindrop;SRI International(SRI国际)
人口快速老龄化刺激了辅助设备的发展,为患有各种病因的需要者提供个性化的医疗支持。一个突出的临床应用是计算机辅助的语音训练系统,其使得能够对在患者的家庭环境中因交流障碍而受损的患者进行个性化的语音治疗。这样的系统依赖于鲁棒的自动语音识别(ASR)技术以能够提供准确的发音反馈。与长期的目标,开发现成的ASR系统,可以纳入临床背景下,没有事先的扬声器信息,我们比较了ASR性能的扬声器独立的瓶颈和发音功能的构音障碍的语音与专用的神经网络为基础的声学模型,已被证明是强大的对spectrotemporal偏差。我们报告的ASR性能,这些系统上的两个构音障碍的语音数据集的不同特征,以量化所取得的性能增益。尽管构音障碍和正常语音之间的剩余性能差距,显着的改善已被报告在这两个数据集上使用说话者独立的ASR架构。
2019-05-21 cs.CL cs.SD eess.AS
Utterance-Level Methods for Identifying Reliable ASR-Output for Child Speech
Centre for Language Studies, Radboud University, Netherlands(语言研究所以及鲁文大学,荷兰);Department of Language and Communication, Radboud University, Netherlands(语言与交流系,鲁文大学,荷兰)
本文提出两种新型方法,用于在语句层面选择可靠的ASR输出,用于阅读语音和对话材料,通过英荷语数据集验证,结果显示最佳策略的精度超过97.4%,有效降低错误率。
2026-04-10 cs.AI cs.CL eess.AS
Interventional Speech Noise Injection for ASR Generalizable Spoken Language Understanding
Seoul National University(首尔大学);Yanolja(雅诺佳(韩国生活服务平台))
本文提出一种干预式语音噪声注入方法,通过切断噪声的非因果效应引入对任意ASR系统都合理的噪声,以增强SLU模型对未见ASR系统的鲁棒性和泛化能力。
2024-10-21 cs.CL cs.SD eess.AS
Transfer Learning for Robust Low-Resource Children's Speech ASR with Transformers and Source-Filter Warping
Ghent University(根特大学);imec(比利时微电子研究中心)
已知自动语音识别(ASR)系统在转录儿童的语音时表现出困难。这可以主要归因于缺乏大型儿童语音语料库来训练鲁棒的ASR模型,以及当用在成人数据上训练的系统解码儿童语音时产生的域失配。在本文中,我们提出了多项增强功能来缓解这些问题。首先,我们提出了一种基于语音源过滤器模型的数据增强技术,以缩小成人和儿童语音之间的领域差距。这使我们能够利用成人语音语料库的数据可用性,使这些样本在感知上类似于儿童的语音。其次,使用这种增强策略,我们将迁移学习应用于在成人数据上预训练的Transformer模型。该模型遵循最近推出的XLS-R架构,这是一个在几个跨语言成人语音语料库上进行预训练的wav 2 vec 2.0模型,用于学习通用和鲁棒的声学帧级表示。采用此模型的ASR任务,使用成人数据增强与建议的源过滤器翘曲策略和有限数量的域中儿童的语音显着优于以前的国家的最先进的结果PF-STAR英国英语儿童语音语料库的官方测试集上的4.86% WER。
2022-06-19 cs.CL cs.SD eess.AS
Speech Synthesis as Augmentation for Low-Resource ASR
Raytheon BBN(雷神BBN公司)
语音合成可能是低资源语音识别的关键。数据增强技术已成为现代语音识别训练的重要组成部分。然而,它们是简单的,天真的,很少反映现实世界的条件。与此同时,语音合成技术已经快速地接近实现类人语音的目标。在本文中,我们研究了使用合成语音作为数据增强的一种形式,以降低构建语音识别器所需的资源的可能性。我们使用三种不同的合成器进行实验:统计参数合成器、神经合成器和对抗合成器。我们的发现很有趣,并为未来指明了新的研究方向。
2020-12-23 cs.CL cs.SD eess.AS
Incorporating VAD into ASR System by Multi-task Learning
Megatronix(Beijing) Technology Co., Ltd.(兆芯(北京)科技有限公司)
在端到端自动语音识别(E2 E-ASR)系统的实际应用中,通常需要一个语音活动检测(VAD)系统来提高系统的性能,并通过丢弃音频中的非语音部分来降低计算开销。通常,ASR和VAD系统彼此独立地训练和使用。在本文中,我们提出了一种新的多任务学习(MTL)框架,将VAD到ASR系统。该系统在训练阶段学习ASR和VAD。在VAD的帮助下,ASR性能得到改善,因为其连接主义时间分类(CTC)损失函数可以利用VAD对齐信息。在推理阶段,该系统以较低的计算成本去除非语音部分,并具有较高的鲁棒性识别语音部分。实验结果表明,通过利用VAD信息,该方法优于基线ASR系统在英语和汉语数据集上的分割语音数据。在未分段的语音数据上,我们发现该系统的性能优于构建额外的基于GMM或基于DNN的语音活动检测器的ASR系统。
2022-09-30 cs.CL cs.SD eess.AS
The IWSLT 2021 BUT Speech Translation Systems
Brno University of Technology(布尔诺理工大学)
本文介绍了BUT为IWSLT 2021开发的英语到德语离线语音翻译(ST)系统。它们基于联合训练的自动语音识别-机器翻译模型。它们的性能在MustC-Common测试集上进行了评估。在这项工作中,我们从具有大量单独的ASR训练数据和MT训练数据以及少量的语音翻译训练数据的角度来研究它们的效率。大量的ASR和MT训练数据被用于预训练ASR和MT模型。语音翻译数据用于通过定义从语音到翻译的端到端可区分路径来联合优化ASR-MT模型。为此,我们使用ASR解码器的内部连续表示作为MT模块的输入。我们表明,语音翻译可以进一步提高训练ASR解码器联合MT模块使用大量的纯文本MT训练数据。我们还通过训练能够生成标点文本的ASR模块,而不是将标点任务留给MT模块来显示显着的改进。
2021-07-13 cs.CL cs.SD eess.AS
Fusing ASR Outputs in Joint Training for Speech Emotion Recognition
University of Edinburgh(爱丁堡大学)
除了声学信息之外,基于语音转录本的语言特征已经被证明在语音情感识别(SER)中是有用的。然而,由于情感标注数据的缺乏和情感语音识别的困难,在这一研究领域很难获得可靠的语言特征和模型。本文提出将自动语音识别(ASR)输出融合到流水线中进行联合训练SER。ASR和SER之间的关系尚未得到充分研究,ASR特征是什么以及如何有益于SER还不清楚。通过对各种ASR输出和融合方法的研究,我们的实验表明,在联合ASR-SER训练中,使用分层共同注意力融合方法合并ASR隐藏和文本输出两者最大程度地提高了SER性能。在IEMOCAP语料库上,我们的方法实现了63.4%的加权准确率,这接近于通过结合地面实况成绩单实现的基线结果。此外,我们还提出了新的IEMOCAP的字错误率分析和Wav 2 vec 2.0模型的层差分析,以更好地理解ASR和SER之间的关系。
2022-03-17 cs.CL cs.MM cs.SD
Better Pseudo-labeling with Multi-ASR Fusion and Error Correction by SpeechLLM
Uniphore Systems India & USA(Uniphore系统印度与美国)
针对多ASR伪标注流水线误差传播等问题,提出基于提示的多ASR融合框架,用文本或语音大语言模型后处理替代传统仲裁逻辑,实验验证其在转录准确率及半监督ASR训练性能上均优于基线方法。
2025-06-05 cs.AI cs.CL eess.AS
Speech Recognition on TV Series with Video-guided Post-ASR Correction
本文提出视频引导后ASR校正框架,利用视频大模态模型捕捉视频上下文以提升ASR在电视剧等复杂环境中的转录准确性。
2026-03-15 cs.AI cs.SD eess.AS
The ASRU 2019 Mandarin-English Code-Switching Speech Recognition Challenge: Open Datasets, Tracks, Methods and Results
Northwestern Polytechnical University(西北工业大学);School of Computer Science(计算机学院);Datatang (Beijing) Technology Co., LTD(数据堂(北京)科技有限公司)
语码转换(CS)是一种常见的现象,CS语音识别具有挑战性。但是,CS语音数据很少,相关研究中也没有通用的测试平台。本文介绍了ASRU 2019年普通话-英语码转换语音识别挑战赛的设计和主要成果,该挑战赛旨在提高普通话-英语码转换情况下的ASR性能。500小时的普通话语音数据和240小时的普通话-英语会话数据被发布给参与者。为了改进传统DNN-HMM ASR系统中的AM和LM部分,以及探索E2 E模型的性能,设置了三个轨道。然后,本文概述了三个轨道的结果和系统性能。结果表明,传统的自动语音识别系统主要得益于语音词库、CS文本生成和数据扩充。而在E2 E领域,研究结果强调了使用语言识别、建立合理的建模单元集和规范增强的重要性。讨论了模型训练和方法比较中的其他细节。
2020-07-12 cs.CL cs.SD eess.AS
LA-RAG:Enhancing LLM-based ASR Accuracy with Retrieval-Augmented Generation
Huawei TSC(华为技术服务中心)
针对现有基于大语言模型的自动语音识别方法在口音等声学条件下性能受限的问题,提出新型检索增强生成范式LA-RAG,通过细粒度token级语音数据存储与语对语检索结合上下文学习提升准确率,在普通话及方言数据集上验证了有效性。
2024-09-13 cs.CL cs.SD eess.AS
Rethinking Speech-LLM Integration for ASR: Effective Joint Speech-Text Training by Interleaving
Microsoft(微软)
提出JSTIP,一种面向ASR的预训练策略,通过构建词级和段级交错语音-文本序列,在38k小时数据上相比基线提升了实体识别准确率,并缩小了模态差距。
2026-09-22 cs.CL eess.AS
Improving Spoken Language Understanding By Exploiting ASR N-best Hypotheses
Amazon(亚马逊)
在现代口语语言理解(SLU)系统中,自然语言理解(NLU)模块将来自自动语音识别(ASR)模块的语音的解释作为输入。NLU模块通常在下游任务(如域和意图分类)中使用给定语音的第一个最佳解释。然而,ASR模块可能会错误地识别一些语音,并且第一最佳解释可能是错误的和有噪声的。仅仅依赖第一个最佳解释可能会使下游任务的性能非最佳。为了解决这个问题,我们引入了一系列简单而有效的模型,通过集体利用ASR模块的n-最好的语音解释来提高对输入语音的语义的理解。
2020-01-11 cs.CL cs.SD eess.AS
ASR-FAIRBENCH: Measuring and Benchmarking Equity Across Speech Recognition Systems
Indian Institute of Technology, Kharagpur India(印度理工学院,克哈格布尔分校)
本文提出 ASR-FAIRBENCH 排行榜,利用 Fair-Speech 数据集、混合效应 Poisson 回归和 FAAS 综合评估 ASR 模型的准确性与群体公平性。
2025-05-16 cs.CL cs.SD eess.AS
CleanMel: Mel-Spectrogram Enhancement for Improving Both Speech Quality and ASR
Zhejiang University(浙江大学);Westlake University(西湖大学);School of Engineering(工程学院);Institute of Advanced Technology(先进技术研究院);Westlake Institute for Advanced Study(西湖研究学院)
本研究提出基于梅尔频域交错跨带与窄带处理的CleanMel网络,通过梅尔频谱图去噪去混响,同时提升语音质量与ASR性能,在多语种数据集上验证了显著效果且代码已开源。
2025-07-30 cs.AI cs.SD eess.AS
Deep Speech Based End-to-End Automated Speech Recognition (ASR) for Indian-English Accents
Indian Institute of Science Education and Research (IISER) Berhampur(贝兰布尔印度科学教育与研究院(IISER))
自动语音识别是计算机科学和语言学的交叉学科应用,它使我们能够从发出的语音波形中获得转录。它在军事上有几个应用,如高性能战斗机,直升机,空中交通管制员。除了军事领域,语音识别还用于医疗保健、残疾人等领域。ASR一直是一个活跃的研究领域。语音到文本(STT)的几个模型和算法已经提出。最近的一个是Mozilla Deep Speech,它基于百度的Deep Speech研究论文。Deep Speech是使用端到端深度学习开发的最先进的语音识别系统,它使用利用多个图形处理单元(GPU)的优化的递归神经网络(RNN)训练系统进行训练。这种训练主要是使用美国英语口音数据集完成的,这导致对其他英语口音的概括性很差。印度是一个多元化的国家。这甚至可以在演讲中看到,有几种英语口音因州而异。在这项工作中,我们使用了迁移学习方法,使用最新的深度语音模型,即,deepspeech-0.9.3,用于开发针对印度英语口音的端到端语音识别系统。这项工作利用微调和数据论证来进一步优化和改进深度语音ASR系统。印度英语口音的印度语TTS数据用于迁移学习和微调预训练的深度语音模型。一个一般的比较之间的未经训练的模型,我们的训练模型和其他可用的语音识别服务的印度英语口音。
2022-04-03 cs.CL cs.SD eess.AS
Quantifying Bias in Automatic Speech Recognition
Delft University of Technology(代尔夫特理工大学);Netherlands Cancer Institute(荷兰癌症研究所);University of Amsterdam(阿姆斯特丹大学)
自动语音识别(ASR)系统承诺提供对人类语音的客观解释。实践和最近的证据表明,最先进的(SotA)ASR与语音中的大变化作斗争,性别年龄语言障碍种族和口音许多因素会导致ASR系统的偏差。我们的首要目标是发现ASR系统中的偏见,以积极主动地减轻ASR中的偏见。本文是实现这一目标的第一步,系统地量化了荷兰SotA ASR系统对性别,年龄,地区口音和非母语口音的偏见。单词错误率进行比较,并进行深入的音素级错误分析,以了解偏见发生的地方。我们主要关注由于数据集中的清晰度差异而导致的偏倚。根据我们的研究结果,我们建议偏见缓解策略ASR的发展。
2021-04-01 cs.CL cs.SD eess.AS
Personalizing ASR for Dysarthric and Accented Speech with Limited Data
Google(谷歌);ALS Therapy Development Institute(肌萎缩侧索硬化症治疗发展研究所)
自动语音识别(ASR)系统在过去几年中有了显著的改进。ASR系统通常是从“典型”语音中训练出来的,这意味着代表性不足的群体不会经历同样程度的改善。在本文中,我们提出并评估微调技术,以提高非标准语音用户的ASR。我们专注于两种类型的非标准语音:从肌萎缩侧索硬化症(ALS)和口音语音的人讲话。我们训练个性化模型,在这两组中实现62%和35%的相对WER改善,在消息库短语测试集上,ALS说话者的绝对WER对于轻度构音障碍下降到10%,对于更严重的构音障碍下降到20%。我们表明,71%的改善来自于只有5分钟的训练数据。微调一个特定的层子集(使用更少的参数)通常比微调整个模型提供更好的结果。这是建立构音障碍语音的最新ASR模型的第一步。
2019-07-31 cs.CL cs.LG cs.SD
Challenges and Opportunities of Speech Recognition for Bengali Language
Bangladesh University of Business & Technology(孟加拉国商业与技术大学);King Abdulaziz University(阿卜杜勒阿齐兹国王大学)
语音识别是一个迷人的过程,它提供了在人机交互领域中与机器进行交互和命令的机会。语音识别是一个依赖于语言的系统,它直接基于任何语言的语言和文本属性构建。自动语音识别(ASR)系统目前被用于将语音无障碍地翻译成文本。虽然ASR系统在国际语言中得到了有力的执行,但ASR系统在孟加拉语中的执行还没有达到可接受的状态。在这项研究工作中,我们刻意披露孟加拉ASR系统的研究工作的现状。在下文中,我们将了解在构建孟加拉语ASR系统时遇到的挑战。我们将这些挑战分为依赖语言和独立语言的挑战,并指导如何对特定的并发症进行彻底检查。经过严格的调查和突出的挑战,我们的结论是,孟加拉语ASR系统需要特定的ASR架构的基础上,孟加拉语的语法和语音结构的建设。
2021-09-27 cs.CL cs.SD eess.AS
Unsupervised Rhythm and Voice Conversion to Improve ASR on Dysarthric Speech
Idiap Research Institute(Idiap研究机构)
本文提出一种基于音节节奏建模的无监督构音障碍到健康语音转换方法,扩展RnV框架,在Torgo语料库上显著降低LF-MMI模型的词错误率,尤其对严重构音障碍病例效果更佳。
2025-06-02 cs.AI cs.LG cs.SD
Crossmodal ASR Error Correction with Discrete Speech Units
University of Edinburgh(爱丁堡大学)
针对低资源跨域场景下ASR转录错误问题,提出结合离散语音单元增强词嵌入的跨模态AEC方法,验证了其在不同规模数据上的有效性与下游适用性。
2024-09-13 cs.CL cs.SD eess.AS
End-to-End Joint Target and Non-Target Speakers ASR
NTT Computer and Data Science Laboratories, NTT Corporation(NTT公司NTT计算机与数据科学实验室)
针对多说话人重叠语音需同时转写目标与非目标说话人的问题,提出利用目标说话人注册语音并递归生成文本及说话人身份标记的端到端自回归ASR方法,实验验证了其有效性。
2023-06-04 cs.CL cs.SD eess.AS
Bridging Speech and Text: Enhancing ASR with Pinyin-to-Character Pre-training in LLMs
Hunan University(湖南大学);Nanyang Technological University(南洋理工大学)
本文提出在LLM中通过拼音到字符预训练增强ASR性能,在AISHELL-1上实现19.0%的相对提升。
2024-09-24 cs.CL cs.SD eess.AS
WER We Stand: Benchmarking Urdu ASR Models
Lahore University of Management Sciences(拉瓦尔大学管理科学学院);University of Michigan - Ann Arbor(密歇根大学安娜堡分校);EMBL European Bioinformatics Institute(欧洲生物信息学研究所)
本文通过WER评测Whisper、MMS和Seamless-M4T三类乌尔都语ASR模型,并发布首个乌尔都语对话语音基准数据集,揭示不同模型在朗读与对话场景下的性能差异及文本规范化需求。
2025-06-06 cs.CL cs.SD eess.AS
EAT: Enhanced ASR-TTS for Self-supervised Speech Recognition
Brno University of Technology(布尔诺理工大学)
自监督ASR-TTS模型在域外数据条件下受到影响。在这里,我们提出了一个增强的ASR-TTS(EAT)模型,它包括两个主要特征:1)ASR $\rightarrow$ TTS方向配备了一个语言模型奖励,以惩罚ASR假设,然后将其转发到TTS。2)在TTS $\rightarrow$ ASR方向上,引入超参数以在将合成语音发送到ASR以处理域外数据之前缩放来自合成语音的注意力上下文。训练策略和EAT模型的有效性进行了探讨域外数据条件下。结果表明,EAT在Librispeech和BABEL上分别将监督训练和自监督训练的性能差距缩小了2.6%和2.7%。
2021-04-13 cs.AI cs.LG cs.SD
Listening while Speaking and Visualizing: Improving ASR through Multimodal Chain
Nara Institute of Science and Technology(奈良先端科学技术大学院大学);RIKEN(理化学研究所)
之前,提出了一种基于序列到序列深度学习的机器语音链来模仿语音感知和产生行为。这些链通过自动语音识别(ASR)和文本到语音合成(TTS)分别处理听力和口语,并同时使它们能够在收到未配对数据时在半监督学习中相互教导。遗憾的是,这种言语链研究仅限于言语和语篇模态。事实上,自然交流实际上是多模态的,涉及听觉和视觉感官系统。虽然所述语音链降低了具有全部配对数据的要求,但是在这种情况下,我们仍然需要大量的未配对数据。在这项研究中,我们采取更进一步的步骤,构建一个多模态链和设计一个紧密结合的链架构,结合ASR,TTS,图像描述,图像生产模型到一个单一的框架。该框架允许每个组件的训练,而不需要大量的并行多模态数据。我们的实验结果还表明,ASR可以进一步训练没有语音和文本数据和跨模态数据增强仍然是可能的,通过我们提出的链,这提高了ASR的性能。
2019-11-14 cs.CL cs.SD eess.AS
Towards Selection of Text-to-speech Data to Augment ASR Training
Meta AI;University of Augsburg(奥格斯堡大学)
本文通过可使用交叉熵或 Arcface 损失训练的相似度网络筛选 TTS 合成语音,发现保留与真实语音差异较大的样本可增强 ASR,并将数据需求降至 30% 以下。
2023-05-30 cs.CL cs.SD eess.AS
On the Efficacy and Noise-Robustness of Jointly Learned Speech Emotion and Automatic Speech Recognition
Uniphore Software Systems(Uniphore软件系统公司);Robert Bosch Centre for Cyber-Physical Systems, Indian Institute of Science(印度科学学院罗伯特·博世信息物理系统中心)
本文提出低资源下ASR与SER联合多任务学习方法,在IEMOCAP和MUSAN数据上验证其能同时提升识别性能与噪声鲁棒性,优于独立建模方法。
2023-05-25 cs.AI cs.SD eess.AS
SW-ASR: A Context-Aware Hybrid ASR Pipeline for Robust Single Word Speech Recognition
Tetranetics Private Limited(特兰尼克斯私人有限公司)
SW-ASR通过结合上下文感知和轻量验证机制,提升单字语音识别在噪声和压缩信道中的鲁棒性,适用于实时通信场景。
2026-01-28 cs.CL cs.SD eess.AS
What does a network layer hear? Analyzing hidden representations of end-to-end ASR through speech synthesis
College of Electrical Engineering and Computer Science, National Taiwan University(台湾大学电机资讯学院)
与传统系统相比,端到端语音识别系统已经取得了有竞争力的结果。然而,在给定高度可变的声学信号的情况下,层之间涉及的复杂变换很难分析。在本文中,我们提出了我们的ASR探测模型,该模型从端到端ASR的隐藏表示中合成语音,以检查每层计算后的信息维护。听合成的语音,我们观察到随着层的深入,说话者的变化和噪声逐渐被去除,这与之前关于深度网络在语音识别中的作用的研究一致。本文是第一个研究分析端到端的语音识别模型,通过演示每一层听到什么。合成语音的说话人确认和语音增强测试也进一步证实了我们的观察。
2019-11-04 cs.CL cs.NE cs.SD
Conversational Speech Recognition By Learning Conversation-level Characteristics
Northwestern Polytechnical University(西北工业大学);Tencent(腾讯)
会话自动语音识别(ASR)是识别包括多个说话者的会话语音的任务。与会话层面的自动会话识别不同,会话自动会话识别可以自然地利用会话的特定特征,例如角色偏好和主题连贯性。本文提出了一种会话ASR模型,该模型在流行的端到端神经框架下显式学习会话级特征。拟议模式的亮点有两个。首先,一个潜在的变分模块(LVM)附加到一个符合者为基础的编码器-解码器ASR骨干学习角色偏好和主题一致性。第二,专门采用主题模型,使解码器的输出偏向于预测主题中的单词。在两个普通话会话ASR任务上的实验表明,该模型实现了最大12%的相对字符出错率(CER)减少。
2022-02-17 cs.CL cs.SD eess.AS
Should We Always Separate?: Switching Between Enhanced and Observed Signals for Overlapping Speech Recognition
NTT Corporation(日本电报电话公司)
尽管深度学习技术的最新进展改善了自动语音识别(ASR),但当语音与其他人的声音重叠时,仍然很难识别语音。语音分离或提取通常用作ASR的前端以处理这种重叠语音。然而,基于深度神经网络的语音增强会产生“处理伪像”,这是增强的副作用,会降低ASR性能。例如,众所周知,针对非语音噪声(非重叠语音)的单通道降噪通常不会改善ASR。同样地,当用分离/提取方法处理重叠语音时,处理伪像在某些条件下也可能对ASR有害,尽管通常认为分离/提取改善了ASR。为了回答这个问题,我们总是必须从混合物中分离/提取语音吗?“,我们分析了在各种噪声和干扰条件下观察到的和增强的语音的ASR性能,并且表明语音增强在某些条件下甚至对于重叠语音也会降低ASR。基于这些发现,我们提出了一个简单的切换算法之间的观察和增强语音的基础上估计的信号干扰比和信噪比。我们的实验表明,这样一个简单的切换机制可以提高识别性能时,处理文物是有害的ASR。
2021-06-02 cs.SD eess.AS
Experiments on Turkish ASR with Self-Supervised Speech Representation Learning
Computer Engineering Department, Koç University(科奇大学计算机工程系)
虽然土耳其语被列为低资源语言,但关于土耳其语自动语音识别(ASR)的文献相对较旧。在这份报告中,我们提出了我们的研究结果土耳其ASR与语音表示学习使用HUBERT。我们使用从在线资源中收集的大规模数据调查土耳其语的HUBERT预培训。我们使用来自YouTube的6,500小时的语音数据对模型进行预训练。结果表明,这些模型还没有准备好用于商业用途,因为它们对通常发生在现实世界中的干扰(如口音,俚语,背景噪声和干扰的变化)不鲁棒。我们分析了在商业环境中使用的模型的典型错误和局限性。
2022-12-23 cs.CL cs.LG cs.SD
Augmenting Images for ASR and TTS through Single-loop and Dual-loop Multimodal Chain Framework
Nara Institute of Science and Technology(奈良科学技术研究所);RIKEN(理化学研究所)
先前的研究已经提出了一种机器语音链,以使自动语音识别(ASR)和文本到语音合成(TTS),以协助对方的半监督学习,并避免需要大量的成对的语音和文本数据。然而,该框架仍然需要大量的未配对(语音或文本)数据。然后探索了一个原型多模态机器链,以进一步减少对大量未配对数据的需求,即使在没有更多语音或文本数据可用的情况下,也可以改善ASR或TTS。不幸的是,这个框架依赖于图像检索(IR)模型,因此它仅限于处理那些在训练过程中已经知道的图像。此外,该框架的性能只与单说话人的人工语音数据进行了研究。在这项研究中,我们修改了多模态机器链框架与图像生成(IG)和调查的可能性,增加图像数据的ASR和TTS使用单循环和双循环架构的多扬声器自然语音数据。实验结果表明,单循环和双循环多模态链框架使ASR和TTS使用仅图像数据集提高其性能。
2020-11-04 cs.CL cs.SD eess.AS
Improved Consistency Training for Semi-Supervised Sequence-to-Sequence ASR via Speech Chain Reconstruction and Self-Transcribing
Nara Institute of Science and Technology(奈良先端科学技术大学院大学);Japan Advanced Institute of Science and Technology(日本北陆先端科学技术大学院大学)
一致性正则化最近被应用于半监督序列到序列(S2S)自动语音识别(ASR)。该原理鼓励ASR模型针对具有不同扰动的相同输入语音输出类似的预测。半监督S2S ASR的现有范例利用SpecAugment作为数据增强,并且需要静态教师模型来为未转录的语音产生伪转录。然而,这种范式未能充分利用一致性正则化。首先,SpecAugment的掩蔽操作可能会破坏语音的语言内容,从而影响伪标签的质量。其次,S2S ASR需要输入语音和前缀令牌两者来进行下一个预测。离线教师模型制作的静态前缀标记在一致性训练期间无法匹配动态伪标签。在这项工作中,我们提出了一个改进的一致性训练范式的半监督S2S ASR。我们利用语音链重建作为弱增强来生成高质量的伪标签。此外,我们证明了学生ASR模型产生的动态伪成绩单有利于一致性训练。在LJSpeech和LibriSpeech语料库上的实验表明,与有监督的基线相比,我们的改进范式在单说话人环境下的CER提高了12.2%,在多说话人环境下提高了38.6%。
2022-05-14 cs.CL cs.LG cs.SD
Directional ASR: A New Paradigm for E2E Multi-Speaker Speech Recognition with Source Localization
Johns Hopkins University(约翰斯·霍普金斯大学);Tencent AI Lab(腾讯人工智能实验室)
本文提出了一种新的范式,用于处理远场多说话人数据在一个端到端的神经网络的方式,称为定向自动语音识别(D-ASR),明确的模型源说话人的位置。在D-ASR中,源相对于麦克风阵列的方位角被定义为潜在变量。该角度控制分离的质量,这反过来又决定了ASR性能。D-ASR的所有三个功能:定位,分离和识别都连接为一个可微神经网络,并仅基于ASR错误最小化目标进行训练。与现有方法相比,D-ASR的优点有三个方面:(1)它提供了显式的说话人位置,(2)它提高了可解释性因子,(3)由于过程更加精简,它实现了更好的ASR性能。此外,D-ASR不需要像现有数据驱动的定位模型那样的显式波达方向(DOA)监督,这使得它更适合于现实数据。对于两个源混合的情况下,D-ASR实现了小于3度的平均DOA预测误差。它在分离质量和ASR性能方面也优于强大的远场多扬声器端到端系统。
2020-10-30 cs.CL cs.SD eess.AS
Bridging Speech and Textual Pre-trained Models with Unsupervised ASR
Carnegie Mellon University(卡内基梅隆大学);National Taiwan University(台湾大学);Johns Hopkins University(约翰斯·霍普金斯大学);Meta AI
口语语言理解是从口语中提取高级语义的任务。以前的工作已经研究了语音自监督模型和文本预训练模型的使用,这些模型对各种SLU任务都有合理的改进。然而,由于语音信号和文本标记之间的不匹配模态,以前的方法通常需要复杂的框架设计。这项工作提出了一个简单而有效的无监督范式,它连接语音和文本预训练模型,从而为SLU中的各种任务提供了一个无监督的语音到语义预训练模型。具体来说,我们建议使用无监督自动语音识别(ASR)作为连接器,连接语音和文本预训练模型中使用的不同模态。我们的实验表明,无监督ASR本身可以改善语音自监督模型的表示。更重要的是,它被证明是语音和文本预训练模型之间的有效连接器,提高了五种不同SLU任务的性能。值得注意的是,在口语问答方面,我们在具有挑战性的NMSQA基准测试中达到了最先进的结果。
2022-11-06 cs.CL cs.SD eess.AS
Direct Simultaneous Speech-to-Text Translation Assisted by Synchronized Streaming ASR
Oregon State University(俄勒冈州立大学);Baidu Research(百度研究院)
同时语音到文本翻译在许多场景中广泛有用。传统的级联方法使用流传输ASR的流水线,然后是同时的MT,但是遭受错误传播和额外的延迟。为了缓解这些问题,最近的努力试图直接将源语音同时翻译成目标文本,但由于两个单独的任务的组合,这要困难得多。相反,我们提出了一个新的范例级联和端到端的方法的优点。其关键思想是分别在流式ASR和直接语音到文本翻译(ST)上使用两个独立但同步的解码器,ASR的中间结果指导ST的解码策略(但不作为输入)。在MuSTC数据集上进行的En-to-De和En-to-Es实验表明,我们提出的技术在相似的延迟水平下实现了更好的翻译质量。
2021-06-11 cs.CL cs.SD eess.AS
Loss Masking Is Not Needed in Decoder-only Transformer for Discrete-token-based ASR
Alibaba Group(阿里巴巴集团)
针对解码器专用Transformer在离散词元ASR中依赖损失掩蔽的问题,提出平滑标签蒸馏(SLD)方法,以自回归方式建模语音词元,实验证明SLD优于损失掩蔽。
2024-02-05 cs.CL cs.SD eess.AS
Child ASR Adaptation with Adult Retention: An Empirical Study
Qatar Computing Research Institute(卡塔尔计算研究所)
本研究实证比较了多种ASR适配方法在儿童语音上的效果,发现直接适配会损害成人性能,而权重空间合并(如LERP和TIES)能更好地平衡儿童适配与成人保留。
2026-10-08 cs.AI cs.CL cs.LG
Learning to Jointly Transcribe and Subtitle for End-to-End Spontaneous Speech Recognition
KU Leuven(鲁汶大学)
从新闻报道中的朗读到脱口秀和肥皂剧中的对话和自发的讲话,电视字幕是许多类型讲话的丰富的翻译来源。然而,字幕不是语音的逐字(即,精确)翻译,因此它们不能直接用于改进自动语音识别(ASR)模型。我们提出了一个多任务双解码器Transformer模型,共同执行ASR和自动字幕。ASR解码器(可能是预先训练的)预测逐字输出,字幕解码器生成字幕,同时共享编码器。这两个解码器可以是独立的或连接的。该模型被训练为联合执行这两项任务,并且能够有效地使用字幕数据。我们表现出定期ASR和自发和会话ASR的改进,将额外的字幕解码器。该方法不需要预处理(对齐、过滤、伪标记等)。的字幕。
2022-10-14 cs.CL cs.SD eess.AS
Data Augmentation with Locally-time Reversed Speech for Automatic Speech Recognition
The Chinese University of Hong Kong(香港中文大学)
心理声学研究表明,局部时间反转(LTR)语音,即,在短段内时间反转的信号样本可以被人类收听者准确地识别。本研究解决了最先进的自动语音识别(ASR)系统对LTR语音的性能如何的问题。其基本目标是探索在端到端(E2 E)ASR模型的训练中部署LTR语音的可行性,作为提高识别性能的数据增强的尝试。本研究从实验开始,以了解LTR语音对通用ASR的影响。呈现并评估具有5 ms - 50 ms的反转段持续时间的LTR语音。对于使用LTR语音的ASR训练数据增强,通过将自然语音与LTR语音的不同分区组合来创建训练集。在不同语言和说话风格的语音语料库上的ASR结果证实了数据增强的有效性。研究发现,在15 ms - 30 ms的反向段长的LTR语音上的ASR比在其他段长的LTR语音上的ASR具有更低的错误率。使用这些LTR语音的数据增强实现了对ASR性能的满意和一致的改善。
2021-10-09 cs.SD eess.AS
ATCSpeech: a multilingual pilot-controller speech corpus from real Air Traffic Control environment
National Key Laboratory of Air Traffic Control Automation System Technology, Sichuan University(四川大学);Southwest Air Traffic Management Bureau, Civil Aviation Administration of China (CAAC)(中国民用航空局西南空中交通管理局);Wisesoft Co., Ltd.(四川川大智胜软件股份有限公司)
自动语音识别(ASR)技术在近几年得到了迅速的发展,促进了它在其他领域的应用。语音语料库一直是语音识别研究的重要基础,尤其是对于垂直行业,如空中交通管制(ATC)。有一些语音语料库用于公共或付费的常见应用。然而,对于ATC来说,由于安全问题,很难从真实系统中收集原始语音。更重要的是,对于像ASR这样的监督学习任务,注释转录是一项更加繁重的工作,这极大地限制了ASR的应用前景。本文建立并发布了一个真实ATC系统的多语种语音语料库(ATC Speech),包括带口音的汉语和英语,以鼓励ATC领域的非商业性ASR研究。从语料量、说话人性别和角色、语音质量和其他属性等方面对语料库进行了详细介绍。此外,我们的基准ASR模型的性能也报告。我们的语音数据库的社区版可以在特殊的对比下应用和使用。据我们所知,这是第一个工作,旨在建立一个真正的和多语种的ASR语料库的空中交通相关的研究。
2019-11-26 cs.CL cs.SD eess.AS