Multi-Task Learning for Non-Canonical Phoneme Recognition via Articulatory Feature Decomposition
Kaliber AI(卡利伯人工智能公司)
该研究提出分层多任务学习结合交叉注意力融合模块与半监督学习的方法,在L2-ARCTIC数据集上显著提升非标准音素识别性能,为病理语音等非标准语音的鲁棒可解释识别提供新策略。
2026-08-25 cs.AI cs.SD
Variational Autoencoder for Personalized Pathological Speech Enhancement
Idiap Research Institute(Idiap研究所);École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
本文针对混合 VAE-NMF 语音增强模型在帕金森病病理语音上的泛化差距,提出用每位说话人数秒干净语音微调预训练模型,实现性能可比的个性化增强。
2025-03-18 cs.SD eess.AS
Suppressing Noise Disparity in Training Data for Automatic Pathological Speech Detection
Idiap Research Institute(Idiap研究所)
本文针对病理语音检测中训练数据噪声分布不一致导致模型学习噪声特征的问题,提出利用跨组噪声估计进行数据增强以统一噪声特性,实验证明该方法能有效引导模型关注病理判别线索。
2024-09-02 cs.SD eess.AS
Impact of Speech Mode in Automatic Pathological Speech Detection
Idiap Research Institute(Idiap研究所)
本文比较经典机器学习与深度学习在受控言语和自发言语上的病理性言语检测效果,发现深度学习更能捕捉自发言语中的判别线索。
2024-06-14 cs.LG cs.SD eess.AS
Exploring In-Context Learning Capabilities of ChatGPT for Pathological Speech Detection
Idiap Research Institute(Idiap研究所);École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
本文研究在少样本上下文学习设置下使用 ChatGPT-4o 进行自动病理语音检测,发现该方法不仅性能出色,还能提供决策解释增强可解释性,并通过消融研究分析了输入类型和系统提示等因素的影响。
2025-03-31 cs.SD eess.AS
DARS: Dysarthria-Aware Rhythm-Style Synthesis for ASR Enhancement
University of Science and Technology of China(中国科学技术大学);iFlytek Co., Ltd.(iFlytek公司);Huawei Technology(华为技术)
DARS通过多阶段节奏预测和条件流匹配机制,提升ASR在肌张力障碍语音识别中的性能。
2026-03-02 cs.CL cs.SD
Cross-Learning Fine-Tuning Strategy for Dysarthric Speech Recognition Via CDSD database
College of Information Science and Engineering, Xinjiang University(新疆大学信息科学与工程学院)
针对构音障碍语音识别,提出多说话人交叉学习微调策略,通过同时微调多个构音障碍说话人,增强泛化并降低WER达13.15%。
2025-08-26 cs.AI cs.SD
Time-Domain Speech Enhancement for Robust Automatic Speech Recognition
The Ohio State University(俄亥俄州立大学)
本文提出基于ARN时间域增强模型,将语音增强与仅在干净语音上训练的声学模型解耦,在CHiME-2上实现6.28%词错误率,相对提升19.3%。
2023-06-21 cs.SD eess.AS
speech and noise dual-stream spectrogram refine network with speech distortion loss for robust speech recognition
Tianjin University(天津大学);College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部)
本文提出双流频谱细化网络,同时细化语音和噪声并从带噪输入中解耦噪声,以解决联合训练中语音失真与残余噪声问题,实现CER相对降低8.6%。
2023-05-30 cs.SD eess.AS
Discrete Tokens Exhibit Interlanguage Speech Intelligibility Benefit: an Analytical Study Towards Accent-robust ASR Only with Native Speech Data
The University of Tokyo(东京大学);Japan National Institute of Advanced Industrial Science and Technology (AIST)(日本国家工业科学与技术研究院);Japan Kyoto University(京都大学)
本研究通过分析离散词元ASR,验证了中介语语音可懂度优势,提出仅用母语数据即可实现口音鲁棒识别,适用于数据稀缺口音。
2025-05-22 cs.SD eess.AS
Multiview Canonical Correlation Analysis for Automatic Pathological Speech Detection
Idiap Research Institute(Idiap研究所)
针对自动病理语音检测中输入表示含无关信息影响分类的问题,提出在检测前使用多视图典型相关分析(MCCA)消除不相关信息,结合传统分类器即可达到或超越复杂架构性能且具可解释性。
2024-09-13 cs.LG cs.SD eess.AS
An Objective Evaluation Framework for Pathological Speech Synthesis
University of Amsterdam(阿姆斯特丹大学);Delft University of Technology(代尔夫特理工大学);Netherlands Cancer Institute(荷兰癌症研究所);Idiap Research Institute(伊迪亚普研究所);École polytechnique fédérale de Lausanne(洛桑联邦理工学院)
病理性语音系统的发展目前受到缺乏标准化客观评估框架的阻碍。在这项工作中,(1)我们利用现有的检测和分析技术,提出了一个通用的框架,一致的评价合成病理语音。该框架评估语音质量和语音的可懂度方面,并使用我们的实验证明是互补的。(2)使用我们提出的评估框架,我们开发和测试构音障碍的语音转换系统(VC)使用CycleGAN-VC和基于PSOLA的语音速率修改技术。我们表明,开发的系统能够合成构音障碍的语音与不同水平的语音清晰度。
2021-07-01 cs.CL cs.SD eess.AS
Robust Speech Recognition with Schrödinger Bridge-Based Speech Enhancement
NVIDIA
本文研究基于薛定谔桥的生成式语音增强以提升噪声和混响环境下ASR鲁棒性,实验表明该方法相比未处理语音和预测式基线分别将词错误率降低约40%和8%。
2025-05-07 cs.SD eess.AS
pMCT: Patched Multi-Condition Training for Robust Speech Recognition
Samsung Research(三星研究院)
提出了一种新的用于鲁棒自动语音识别(ASR)的补丁多条件训练(pMCT)方法。pMCT通过混合从干净和失真语音中提取的相同话语的{ \it补丁}来采用多条件音频修改和补丁(MAMP)。使用补丁修改信号的训练提高了模型在嘈杂混响场景中的鲁棒性。我们提出的pMCT在LibriSpeech数据集上进行了评估,显示出使用香草多条件训练(MCT)的改进。为了对鲁棒ASR进行分析,我们在VOiCES数据集上采用pMCT,VOiCES数据集是使用来自LibriSpeech的话语创建的噪声混响数据集。在分析中,与MCT相比,pMCT实现了23.1%的相对WER降低。
2022-07-11 cs.SD eess.AS
A Noise-Robust Self-supervised Pre-training Model Based Speech Representation Learning for Automatic Speech Recognition
University of Science and Technology of China(中国科学技术大学);Institute of Acoustics, Chinese Academy of Sciences(中国科学院声学研究所)
Wav2vec2.0是一个流行的自监督预训练框架,用于在自动语音识别(ASR)的背景下学习语音表示。实验结果表明,wav2vec2.0对时域偏移具有较好的鲁棒性,而对噪声的鲁棒性尚不清楚。因此,在这项工作中,我们首先通过实验分析wav2vec2.0的噪声鲁棒性。我们观察到,在噪声数据上预训练的wav2vec2.0可以获得良好的表示,从而提高噪声测试集上的ASR性能,但这会导致干净测试集上的性能下降。为了避免这个问题,在这项工作中,我们提出了一个增强的wav2vec2.0模型。具体地,带噪语音和对应的干净版本被馈送到相同的特征编码器中,其中干净语音为模型提供训练目标。实验结果表明,该方法不仅能在噪声测试集上提高ASR性能,优于原始wav2vec2. 0,而且在干净测试集上性能下降较小.此外,所提出的方法的有效性证明了在不同类型的噪声条件下。
2022-01-22 cs.SD eess.AS
Mask scalar prediction for improving robust automatic speech recognition
Google LLC(谷歌有限责任公司)
使用基于神经网络的声学前端来提高流式自动语音识别(ASR)系统的鲁棒性是具有挑战性的,因为前端处理在语音中引入的因果关系约束和所产生的失真。基于时频掩蔽的方法已被证明工作良好,但它们需要额外的超参数来缩放掩蔽以限制语音失真。这种掩码标量通常是手动调整和保守选择的。在这项工作中,我们提出了一种技术来预测掩码标量使用ASR为基础的损失在一个端到端的方式,在整体模型的大小和复杂性的增加最小。我们评估两个强大的ASR任务的方法:多通道增强语音和非语音噪声的存在下,和声学回声消除(AEC)。结果表明,所提出的算法一致地提高了字错误率(WER),而不需要在使用手动调整的超参数的强基线上进行任何额外的调整:在噪声条件下多通道增强高达16%,AEC高达7%。
2022-04-26 cs.SD eess.AS
Geometric Analysis of Speech Representation Spaces: Topological Disentanglement and Confound Detection
Networked Sensing \& Biomedical Engineering (NSBE) Research lab, School of Engineering
本文提出四指标聚类框架,评估语音特征在多语言环境中的几何解缠与混淆检测,为构建公平可靠的语音健康系统提供指导。
2026-02-24 cs.SD eess.AS
Intelligibility prediction with a pretrained noise-robust automatic speech recognition model
University of Sheffield(谢菲尔德大学)
本文基于预训练抗噪ASR模型提出侵入式和非侵入式两个语音可懂度预测系统,仅用模拟含噪语音预训练,在CPC2评测中展现了对未见场景的鲁棒预测性能。
2023-10-20 cs.SD eess.AS
Unified Pathological Speech Analysis with Prompt Tuning
Shanghai Jiao Tong University(上海交通大学)
本研究提出基于提示调优的统一病理语音分析系统,仅微调少量参数即可高效检测阿尔茨海默病、抑郁症和帕金森病,实现跨任务知识共享,提升F1分数并加速收敛。
2024-11-05 cs.CL cs.SD eess.AS
Huntington Disease Automatic Speech Recognition with Biomarker Supervision
Columbia University(哥伦比亚大学)
本研究通过生物标志物监督方法,改进了亨廷顿病语音识别的准确率,展示了特定架构在处理HD语音中的优势。
2026-03-11 cs.CL cs.LG cs.SD
Multi-class Detection of Pathological Speech with Latent Features: How does it perform on unseen data?
Technische Hochschule Nürnberg Georg Simon Ohm(纽伦堡乔治·西蒙·欧姆应用科学大学);Friedrich-Alexander-University Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学);Intel Labs(英特尔研究院)
本研究利用预训练 wav2vec 2.0 的潜在表示,结合神经网络、大间隔分类器和树提升机区分四种病理语音,在噪声和未见数据下展现出强鲁棒性与高 F1 分数。
2023-08-01 cs.SD eess.AS
Glottal Closure Instants Detection From Pathological Acoustic Speech Signal Using Deep Learning
Indian Institute of Technology Kharagpur(印度理工学院克勒格布尔分校)
本文提出了一种基于分类的声门闭合时刻(GCI)检测从病理声学语音信号,发现许多应用在声乐障碍分析。迄今为止,用于病理性疾病的GCI是从电声门描记器记录的喉(声门源)信号中提取的,电声门描记器是一种专门设计用于测量喉部周围声带振动的设备。我们创建了一个病理数据集,其中包括同时记录的声门源和声学语音信号的六种不同的疾病,从声乐障碍患者。GCI位置被手动注释用于无序分析和监督学习。提出了一种基于卷积神经网络的GCI检测方法,该方法融合了深度语音和线性预测残差特征,实现了稳健的GCI检测。实验结果表明,该方法明显优于现有的GCI检测方法。
2018-11-25 cs.LG cs.SD eess.AS
Exploiting Cross-Lingual Knowledge in Unsupervised Acoustic Modeling for Low-Resource Languages
The Chinese University of Hong Kong(香港中文大学)
本文研究了零资源环境下的自动语音识别(ASR)的无监督声学建模(UAM)问题。UAM不仅在解决ASR技术发展中数据稀缺的普遍问题方面非常重要,而且对于许多非主流应用也至关重要,例如语言保护,语言习得和病理性言语评估。本研究集中在两个研究问题。第一个问题涉及在给定语言中的基本(子字级)语音单元的无监督发现。在零资源条件下,可以仅从声学信号推断语音单元,而不需要或涉及任何语言方向和/或约束。第二个问题被称为无监督子字建模。从本质上讲,需要从未转录的语音中学习帧级特征表示。学习的特征表示是子词单元发现的基础。期望它是语言上有区别的,并且对非语言因素是鲁棒的。特别是广泛使用的跨语言知识的子词单元发现和建模是本研究的重点。
2020-07-29 cs.CL cs.SD eess.AS
Multi-Teacher Distillation for Cross-Domain Streaming Electrolaryngeal Speech Encoding
Graz University of Technology(格拉茨技术大学);Medical University of Vienna(维也纳医科大学)
提出多教师蒸馏框架训练轻量流式编码器,融合SSL离散目标和EL微调连续特征,将EL词错误率从39.3%降至21.2%,Mel-Conformer实现最佳效率与精度平衡。
2026-09-17 cs.SD
An Investigation of End-to-End Models for Robust Speech Recognition
Indian Institute of Technology Bombay(印度理工学院孟买分校)
用于鲁棒的自动语音识别(ASR)的端到端模型在先前的工作中还没有被充分地探索。对于端到端模型,可以选择使用语音增强技术来预处理输入语音,并使用增强的语音来训练模型。另一种选择是将噪声语音作为输入传递,并修改模型架构以适应噪声语音。以前还没有尝试过对这两种方法进行系统的端到端鲁棒ASR比较。我们解决了这一差距,并提出了一个详细的比较语音增强为基础的技术和三种不同的基于模型的适应技术,包括数据增强,多任务学习和对抗性学习的强大的ASR。虽然对抗性学习是对某些噪声类型性能最好的技术,但它的代价是降低了干净语音的WER。在其他相对平稳的噪声类型,一种新的语音增强技术优于所有基于模型的自适应技术。这表明,知识的基础噪声类型可以有意义地通知适应技术的选择。
2021-02-11 cs.LG cs.SD eess.AS
Pathological voice adaptation with autoencoder-based voice conversion
Delft University of Technology(代尔夫特理工大学);Universitat Politecnica de Catalunya(加泰罗尼亚理工大学);University of Amsterdam(阿姆斯特丹大学);Netherlands Cancer Institute(荷兰癌症研究所);Johns Hopkins University(约翰斯·霍普金斯大学)
在本文中,我们提出了一种新的方法,病理语音合成。而不是使用健康的语音作为源,我们定制一个现有的病理语音样本,以一个新的扬声器的声音特征。这种方法简化了将典型语音转换为病理语音时通常存在的评估问题,因为在我们的方法中,语音转换(VC)模型不需要针对语音退化进行优化,而只需要针对扬声器变化进行优化。优化中的这种变化确保了在自然度中发现的任何退化是由于转换过程而不是由于模型夸大了语音病理学的特征。为了证明这种方法的概念,我们使用UASpeech数据库和基于自动编码器的VC技术转换构音障碍的语音。主观评价结果表明,合理的自然度高清晰度构音障碍的扬声器,虽然较低的清晰度似乎引入了边际退化的自然度分数为中等和低清晰度扬声器相比,地面真理。对于低清晰度和高清晰度的说话人,说话人特性转换是成功的,但对于中清晰度的说话人,转换不成功。不同可懂度水平的结果差异是由于可懂度水平还是由于说话者需要进一步研究。
2021-06-15 cs.CL cs.SD eess.AS
Spectral feature mapping with mimic loss for robust speech recognition
The Ohio State University(俄亥俄州立大学)
对于语音增强任务,局部学习目标与有助于语音识别的语音结构无关。我们建议添加一个全局标准,以确保去噪语音对ASR等下游任务有用。我们首先训练干净的语音谱分类器预测senone标签。然后,频谱分类器加入我们的语音增强器作为一个嘈杂的语音识别器。该模型被教导在干净的语音上单独模仿频谱分类器的输出。该\textit{mimic loss}与传统的局部准则相结合,训练语音增强器产生去噪语音。将去噪后的语音馈送到CHiME-2语料库的现成Kaldi训练配方中显示了WER的显着改进。
2018-03-26 cs.CL cs.SD eess.AS
HuBERT-VIC: Improving Noise-Robust Automatic Speech Recognition of Speech Foundation Model via Variance-Invariance-Covariance Regularization
School of Electrical Engineering(电气工程学院)
本文提出HuBERT-VIC,通过VICReg正则化调整含噪语音表示统计特性,提升语音基础模型抗噪鲁棒性,在LibriSpeech两个测试集上分别相对提升23.3%和13.2%。
2025-08-17 cs.AI cs.SD eess.AS
Selfsupervised learning for pathological speech detection
Idiap Research Institute(伊迪亚普研究所)
针对病理语音检测中数据稀缺和诊断主观性问题,本文探讨了利用 wav2vec2 等自监督学习嵌入从音频提取丰富表示,以提升自动检测性能的潜在解决方案。
2024-05-16 cs.LG cs.SD eess.AS
PathBench: Speech Intelligibility Benchmark for Automatic Pathological Speech Assessment
Nagoya University, Japan(日本名古屋大学);University of Groningen, The Netherlands(荷兰格罗宁根大学);Department of Neurology, Faculty of Medicine(医学院神经科部门)
提出PathBench基准,统一使用公开数据集比较无参考、参考文本和参考音频方法,并引入Dual-ASR发音精度(DArtP)方法,在无参考方法中取得最高平均相关性。
2026-06-24 cs.SD
Unsupervised Speech Domain Adaptation Based on Disentangled Representation Learning for Robust Speech Recognition
Sogang University(西江大学);Naver Corp.(NAVER公司);Clova AI Research(Clova人工智能研究院)
通常,由于训练环境和测试环境之间的不匹配,自动语音识别(ASR)系统的性能显著降低。最近,提出了一种基于深度学习的图像到图像翻译技术,将图像从源域翻译到所需域,并应用循环一致性对抗网络(CycleGAN)来学习从说话人到目标说话人的语音到语音转换的映射。然而,该方法可能不足以去除用于鲁棒ASR的破坏性噪声分量,因为它被设计为转换语音本身。在本文中,我们提出了一种基于生成对抗网络(GANs)的域自适应方法,具有解纠缠表示学习,以实现ASR系统的鲁棒性。特别是,两个独立的编码器,上下文和域编码器,引入学习不同的潜在变量。潜变量允许我们根据其上下文和域表示来转换语音的域。我们通过应用噪声到清洁环境自适应以实现鲁棒ASR,将CHiME 4挑战语料库的单词准确率提高了6.55~ 15.70%。此外,与基于CycleGAN的方法类似,该方法可用于性别不匹配识别中的性别自适应。
2019-04-12 cs.CL cs.SD eess.AS
Interactive Feature Fusion for End-to-End Noise-Robust Speech Recognition
Nanyang Technological University(南洋理工大学)
语音增强(speech enhancement,SE)的目的是抑制含噪语音信号中的加性噪声,以提高语音的感知质量和可懂度。然而,增强语音中的过抑制现象可能会降低下游的自动语音识别(ASR)任务的性能,由于丢失的潜在信息。为了缓解这个问题,我们提出了一个交互式的特征融合网络(IFF-Net)的噪声鲁棒语音识别学习互补的信息,从增强功能和原始的噪声功能。实验结果表明,该方法实现了绝对词错误率(WER)降低4.1%的最佳基线上的RATS EQUIPEL-A语料库。我们进一步的分析表明,建议的IFF-Net可以补充一些丢失的信息,在过度抑制的增强功能。
2022-04-08 cs.LG cs.SD eess.AS
Two-Staged Acoustic Modeling Adaption for Robust Speech Recognition by the Example of German Oral History Interviews
在自动语音识别中,通常很少的训练数据可用于特定的具有挑战性的任务,但是最先进的自动语音识别系统的训练需要大量的注释语音。为了解决这个问题,我们提出了一种两阶段的声学建模方法,该方法将噪声和混响数据增强与迁移学习相结合,以鲁棒地解决困难的声学记录条件,自发语音和老年人语音等挑战。我们评估我们的方法使用的例子,德国口述历史访谈,其中一个相对平均减少字的错误率达到19.3%。
2019-08-19 cs.CL cs.SD eess.AS
Does Speech enhancement of publicly available data help build robust Speech Recognition Systems?
Stony Brook University(石溪大学);Nokia Bell Labs(诺基亚贝尔实验室)
自动语音识别(ASR)系统在包括语音助理在内的许多商业产品中起着关键作用。通常,它们需要大量干净的语音数据进行训练,这给拥有大量私人数据的大型组织带来了不适当的优势。在本文中,我们首先使用公开的数据源管理了一个相当大的数据集。此后,我们试图研究是否可以使用公开的噪声数据来训练鲁棒的ASR系统。我们首先使用语音增强来清除噪声数据,然后将其与其清除版本一起用于训练ASR系统。我们发现,使用语音增强比只在有噪声的数据上训练的单词错误率高9.5%,比只在干净的数据上训练的单词错误率高9%。它的性能也可以与在嘈杂和干净版本上训练时的理想情况相媲美。
2019-11-20 cs.CL cs.SD eess.AS
Noise-robust Speech Recognition with 10 Minutes Unparalleled In-domain Data
Nanyang Technological University(南洋理工大学);Air Traffic Management Research Institute(空中交通管理研究院)
抗噪语音识别系统需要大量的训练数据,包括带噪语音数据和相应的文本,以在各种实际环境中获得最佳性能。然而,如此大量的域内数据在现实世界中并不总是可用的。在本文中,我们提出了一个生成对抗网络来从干净的频谱(Simu-GAN)中模拟噪声频谱,其中只需要10分钟的无与伦比的域内噪声语音数据作为标签。此外,我们也提出了一个双路径语音识别系统,以提高系统在噪声条件下的鲁棒性。实验结果表明,所提出的语音识别系统实现了7.3%的绝对改善与模拟噪声数据的Simu-GAN在最佳基线方面的字出错率(WER)。
2022-03-29 cs.CL cs.SD eess.AS
Improving Noise Robustness of Contrastive Speech Representation Learning with Speech Reconstruction
Microsoft(微软)
噪声鲁棒性对于在真实世界环境中部署自动语音识别(ASR)系统至关重要。降低噪声干扰影响的一种方法是采用进行语音增强的预处理模块,然后将增强的语音馈送到ASR后端。在这项工作中,而不是抑制背景噪声与传统的级联流水线,我们采用了噪声鲁棒表示学习的一个完善的自监督框架嘈杂的语音识别。我们建议将重建模块与对比学习相结合,并对噪声数据进行多任务连续预训练。重建模块用于辅助学习,以提高学习表示的噪声鲁棒性,因此在推理期间不需要重建模块。实验证明了该方法的有效性。我们的模型大大降低了字出错率(WER)的合成噪声LibriSpeech测试集,并产生约4.1/7.5%的WER减少噪声清洁/其他测试集相比,数据增强。对于来自CHiME-4挑战(1通道轨道)的真实噪声语音,我们在没有任何去噪前端的情况下获得了最先进的ASR性能。此外,我们实现了与最佳监督方法相当的性能,仅用16%的标记数据。
2021-10-28 cs.CL cs.SD eess.AS
Transfer Learning for Robust Low-Resource Children's Speech ASR with Transformers and Source-Filter Warping
Ghent University(根特大学);imec(比利时微电子研究中心)
已知自动语音识别(ASR)系统在转录儿童的语音时表现出困难。这可以主要归因于缺乏大型儿童语音语料库来训练鲁棒的ASR模型,以及当用在成人数据上训练的系统解码儿童语音时产生的域失配。在本文中,我们提出了多项增强功能来缓解这些问题。首先,我们提出了一种基于语音源过滤器模型的数据增强技术,以缩小成人和儿童语音之间的领域差距。这使我们能够利用成人语音语料库的数据可用性,使这些样本在感知上类似于儿童的语音。其次,使用这种增强策略,我们将迁移学习应用于在成人数据上预训练的Transformer模型。该模型遵循最近推出的XLS-R架构,这是一个在几个跨语言成人语音语料库上进行预训练的wav 2 vec 2.0模型,用于学习通用和鲁棒的声学帧级表示。采用此模型的ASR任务,使用成人数据增强与建议的源过滤器翘曲策略和有限数量的域中儿童的语音显着优于以前的国家的最先进的结果PF-STAR英国英语儿童语音语料库的官方测试集上的4.86% WER。
2022-06-19 cs.CL cs.SD eess.AS
Disentangled Latent Speech Representation for Automatic Pathological Intelligibility Assessment
Ludwig-Maximilians University(路德维希-马克西米利安大学)
语言清晰度评估在病理性语言障碍患者的治疗中起着重要的作用。自动和客观的措施是可取的,以协助治疗师在其传统的主观和劳动密集型的评估。在这项工作中,我们研究了一种新的方法来获得这样一个措施,使用的分歧解开潜在的语音表示的平行话语对,从一个健康的参考和病理扬声器。在脑瘫患者的英语数据库上进行的实验,使用每个说话者的所有可用话语,显示出与主观可懂度测量的高且显著的相关值(R = -0.9),而在四个不同的参考说话者对之间仅具有最小的偏差(± 0.01)。我们还证明了所提出的方法的鲁棒性(R = -0.89偏差+-0.02超过1000次迭代),考虑每个扬声器的话语量显着减少。我们的研究结果是第一个表明,解开的语音表示可以用于自动病理语音可懂度评估,从而在一个参考扬声器对不变的方法,适用于只有几个可用的话语的情况。
2022-06-27 cs.CL cs.LG cs.SD
Contaminated speech training methods for robust DNN-HMM distant speech recognition
Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
尽管在过去几年中取得了显著的进步,但最先进的语音识别技术仅在近距离通话条件下提供令人满意的性能。另一方面,在恶劣的声学条件下的远距离语音识别的鲁棒性仍然是未来人机交互应用的关键问题。为此,在语音增强、声学场景分析以及声学建模方面的若干进展最近有助于提高该领域的最新技术水平。获得鲁棒声学建模的最有效方法之一是基于使用污染语音,这被证明有助于减少训练和测试条件之间的声学失配。在本文中,我们在现代DNN-HMM系统的背景下修改了这种经典方法,并提出了三种方法,即非对称上下文窗口,基于近距离对话的监督和基于近距离对话的预训练。使用真实和模拟数据获得的实验结果显示,使用这三种方法具有显着的优势,与基线系统相比,总体上降低了15%的错误率。使用小尺寸的高质量训练集和大尺寸的高质量训练集也证实了相同的性能趋势。
2017-10-10 cs.CL cs.SD eess.AS
Data-Driven Mispronunciation Pattern Discovery for Robust Speech Recognition
Cornell University(康奈尔大学);NAVER Cloud Corporation(NAVER云公司)
本文提出两种数据驱动方法,利用语音语料库和注意力映射自动检测非母语者发音错误模式,在母语和非母语英语语音识别上分别提升5.7%和12.8%,增强了ASR系统在缺乏先验语言知识场景下的鲁棒性。
2025-02-01 cs.CL cs.SD eess.AS
Deep Xi as a Front-End for Robust Automatic Speech Recognition
Griffith University(格里菲斯大学)
当前用于鲁棒自动语音识别(ASR)的前端包括用于语音增强的基于掩蔽和映射的深度学习方法。最近提出的一种用于优先SNR估计的深度学习方法,称为DeepXi,能够以比当前基于掩蔽和映射的方法更高的质量和可懂度产生增强的语音。受此启发,我们将Deep Xi作为强大ASR的前端进行研究。使用真实世界的非平稳和有色噪声源在多个SNR水平下对Deep Xi进行评估。我们的实验研究表明,DeepXi作为前端能够产生比最近基于掩蔽和映射的深度学习前端更低的单词错误率。这项工作中的结果表明,Deep Xi是一个可行的前端,能够显着提高ASR系统的鲁棒性。可用性:Deep Xi可在:https://github.com/anicolson/DeepXi
2020-01-28 cs.SD eess.AS eess.SP
Speech Robust Bench: A Robustness Benchmark For Speech Recognition
Carnegie Mellon University(卡内基梅隆大学);Telefonica Research(西班牙电信研究院)
该研究提出用于评估语音识别模型鲁棒性的综合性基准SRB,含114种模拟扰动,经测试发现模型规模、离散表示、自训练等影响鲁棒性,且不同人群子群体间鲁棒性存在差异,将助力鲁棒ASR研究。
2024-12-09 cs.CL cs.LG cs.SD
Exploring Speech Enhancement with Generative Adversarial Networks for Robust Speech Recognition
UC San Diego(加州大学圣地亚哥分校);Google(谷歌)
我们研究了生成对抗网络(GANs)用于语音增强的有效性,在提高自动语音识别(ASR)系统的噪声鲁棒性的背景下。先前的工作表明,GANs可以有效地抑制原始波形语音信号中的加性噪声,提高感知质量指标;然而,这种技术在ASR的背景下并不合理。在这项工作中,我们进行了详细的研究,以衡量GANs在增强受加性和混响噪声污染的语音的有效性。受图像处理最新进展的启发,我们提出在log-Mel滤波器组谱而不是波形上操作GANs,这需要更少的计算,并且对混响噪声更具鲁棒性。虽然GAN增强提高了干净训练的ASR系统对噪声语音的性能,但它达不到传统多风格训练(MTR)所实现的性能。通过将GAN增强功能附加到噪声输入和再训练,我们实现了相对于MTR系统7%的WER改善。
2018-10-31 cs.LG cs.NE cs.SD
Wav2vec-Switch: Contrastive Learning from Original-noisy Speech Pairs for Robust Speech Recognition
Microsoft(微软)
用于自动语音识别(ASR)的自监督学习(SSL)的目标是从大量未标记的语音中学习良好的语音表示以用于下游的ASR任务。然而,大多数SSL框架没有考虑噪声鲁棒性,这对现实世界的应用至关重要。在本文中,我们提出了wav 2 vec-Switch,一种通过对比学习将噪声鲁棒性编码到语音的上下文表示中的方法。具体来说,我们将原始噪声语音对同时输入wav 2 vec 2.0网络。除了现有的对比学习任务,我们切换的量化表示的原始和嘈杂的语音作为额外的预测目标。通过这样做,它强制网络对原始语音和噪声语音进行一致的预测,从而允许学习具有噪声鲁棒性的上下文表示。我们对合成和真实噪声数据的实验表明,我们的方法的有效性:它实现了2.9- 4.9%的相对字出错率(WER)减少对合成的噪声LibriSpeech数据,而不恶化的原始数据,和5.7%的CHiME-4真正的1通道噪声数据相比,数据增强基线,即使有一个强大的语言模型解码。我们在CHiME-4上的结果可以匹配甚至超过那些设计良好的语音增强组件。
2022-01-26 cs.CL cs.LG cs.SD
The effect of speech pathology on automatic speaker verification -- a large-scale study
Friedrich-Alexander-Universität Erlangen-Nürnberg(弗里德里希-亚历山大-埃尔兰根-纽伦堡大学);University Hospital RWTH Aachen(亚琛工业大学医院);Ludwig-Maximilians-Universität München(路德维希-马克西米利安-慕尼黑大学)
本研究利用包含3800名受试者的大型真实病理语音语料库,采用深度学习ASV方法,发现病理语音总体比健康语音面临更高的隐私泄露风险,且病理多样性可提升ASV性能。
2023-11-22 cs.LG cs.SD eess.AS
Design, construction and evaluation of emotional multimodal pathological speech database
Taiyuan University of Technology(太原理工大学);Newcastle University(纽卡斯尔大学);Taiyuan Hospital(太原医院);Taiyuan Central Hospital(太原中心医院)
针对构音障碍患者情感表达研究缺乏可用情感病理数据库的问题,构建了首个中文多模态情感病理语音数据库,通过主客观分析验证了数据库有效性,揭示了疾病对情感表达的影响。
2023-12-14 cs.AI cs.SD eess.AS
Anonymising Elderly and Pathological Speech: Voice Conversion Using DDSP and Query-by-Example
Otto-von-Guericke-University(奥托·冯·格里克大学);University of Birmingham(伯明翰大学);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心)
本文提出DDSP-QbE语音转换方法,结合可微分数字信号处理与示例查询,通过解耦语言、韵律和领域表征,在保持语音质量和匿名性的同时,显著提升老年及病理语音的可懂度、韵律和领域保留效果。
2024-10-20 cs.AI cs.SD eess.AS
AP-GRPO: Anchor-Gated Phonetic Alignment with Policy Optimization for Pathological Speech Reconstruction
University of California Irvine(加州大学尔湾分校);University of Illinois Chicago(伊利诺伊大学芝加哥分校);Kennesaw State University(肯尼索州立大学)
针对神经退行性和神经运动障碍患者的病理语音,提出AP-GRPO框架,通过锚定门控奖励和语音对齐奖励优化语音语言模型,实现忠实重建,并揭示疾病特异性模式。
2026-06-16 cs.AI cs.MM cs.SD
Robust Speech Recognition via Large-Scale Weak Supervision
OpenAI(开放人工智能研究中心)
我们研究的语音处理系统的能力训练简单地预测大量的互联网上的音频转录。当扩展到680,000小时的多语言和多任务监督时,所产生的模型可以很好地推广到标准基准,并且通常与之前的完全监督结果具有竞争力,但在zero-shot传输设置中,无需任何微调。与人类相比,这些模型接近其准确性和鲁棒性。我们正在发布模型和推理代码,以作为鲁棒语音处理进一步工作的基础。
2022-12-06 cs.CL cs.LG cs.SD
Dysarthria Normalization via Local Lie Group Transformations for Robust ASR
Independent Researcher(独立研究者)
本文提出用局部李群变换建模构音障碍语音的时频与幅度失真,通过仅用合成扭曲健康语音训练的神经网络推断并逆转变形,在TORGO上最多降低17个百分点WER且不损害干净语音性能。
2025-05-04 cs.CL cs.LG cs.SD
Disentangling Speech and Non-Speech Components for Building Robust Acoustic Models from Found Data
Carnegie Mellon University(卡内基梅隆大学)
为了为大多数语言建立语言技术,重要的是利用互联网上公共领域的可用资源-通常称为“找到的数据”。然而,这种数据的特点是存在非标准的,非平凡的变化。例如,在互联网上找到的语音资源具有非语音内容,例如音乐。因此,语音识别和语音合成模型需要对这种变化具有鲁棒性。在这项工作中,我们提出了一个分析表明,重要的是要解开原始数据中的变化的潜在因果因素,以完成这些任务。在此基础上,我们提出的方法来解开这种变化的数据使用潜在的随机模型。具体来说,我们提出了一种方法来分裂潜在的先验空间的音频信号的幅度谱中存在的主导语音模式的连续表示。我们提出了一个完全无监督的方法,使用多节点潜在空间变分自编码器(VAE)。我们表明,VAE的潜在空间上的限制,事实上可以用来分离语音和音乐,独立的语言的讲话。本文还分析了基于语音数据分布的任务对隐变量数目的要求。
2019-09-25 cs.LG cs.SD eess.AS
Careful Whisper -- leveraging advances in automatic speech recognition for robust and interpretable aphasia subtype classification
nyra health GmbH(nyra健康有限公司)
本文提出一种结合CTC和编码器-解码器自动语音识别模型及自然语言处理技术的全自动化流程,通过提取语音特征生成健康语音原型,实现了区分失语症与健康对照组的人类水平准确率及90%的亚型分类准确率。
2023-08-02 cs.CL cs.LG cs.SD
Representation Learning Strategies to Model Pathological Speech: Effect of Multiple Spectral Resolutions
Friedrich-Alexander-Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学);University of Antioquia UdeA(安蒂奥基亚大学(UdeA))
本文考虑了一种表示学习策略,从帕金森氏病和唇腭裂患者的语音信号建模。特别是,它比较了不同的参数化表示类型,如宽带和窄带频谱图,和基于小波的尺度图,量化每个的表示能力的目标。量化方法包括所提出的模型对不同病理和相关疾病严重程度进行分类的能力。此外,本文提出了一种新的融合策略,称为多光谱融合,结合宽带和窄带光谱分辨率使用表示学习策略的基础上自动编码器。所提出的模型能够对帕金森病患者的语音进行分类,准确率高达95%。所提出的模型也能够评估帕金森病患者构音障碍的严重程度,Spearman相关性高达0.75。这些结果优于文献中观察到的相同的问题,解决了相同的语料库。
2022-09-17 cs.SD eess.AS q-bio.QM
Robust Audiovisual Speech Recognition Models with Mixture-of-Experts
Carnegie Mellon University(卡内基梅隆大学);Renmin University of China(中国人民大学)
本文提出EVA模型,利用混合专家架构将视觉信息注入预训练语音识别模型,实现对野外视频的鲁棒视听语音识别,并在三个基准上取得最优结果。
2024-09-19 cs.CL cs.CV cs.SD