Emotion-Disentangled Embedding Alignment for Noise-Robust and Cross-Corpus Speech Emotion Recognition
TCS Research(TCS研究)
本文提出EDRL-MEA两步方法,通过情感解耦表征学习提取判别特征并利用多块嵌入对齐投影到联合子空间,显著提升了语音情感识别在噪声和跨语料库场景下的鲁棒性与泛化能力。
2025-10-10 cs.AI cs.HC cs.LG
From Tens of Hours to Tens of Thousands: Scaling Back-Translation for Speech Recognition
StatNLP Research Group, Singapore University of Technology and Design(新加坡科技设计大学统计自然语言处理研究组);ByteDance Seed(字节跳动种子)
本文提出语音回译方法,利用TTS将文本转为合成语音,以数十小时真实数据生成海量训练数据,显著提升多语言ASR性能。
2025-05-22 cs.CL cs.SD eess.AS
Something from Nothing: Data Augmentation for Robust Severity Level Estimation of Dysarthric Speech
1 University of Illinois Urbana-Champaign, IL, USA 2 Korea Advanced Institute of Science \& Technology, KR
提出三阶段框架,利用未标注构音障碍语音和典型语音数据集,通过教师模型生成伪标签、标签感知对比学习预训练和微调,在五个未见数据集上平均SRCC达0.761,显著优于现有方法。
2026-06-18 cs.AI cs.LG eess.AS
Do EEG Foundation Models Transfer to Speech? A Benchmark on Overt and Imagined Speech Decoding
University of Granada, Spain(格拉纳达大学);Research Centre for Information and Communication Technologies (CITIC-UGR), Spain(信息与通信技术研究中心);University of Chouaib Doukkali, Morocco(舒艾卜·杜卡利大学);Brain, Mind, and Behavior Research Center (CIMCYC), University of Granada, Spain(大脑、心智与行为研究中心)
本文开展首个脑电基础模型语音解码基准测试,对比LaBraM等模型与EEGNet等基线,发现通用脑电预训练未在语音任务上展现一致优势,为语音专用基础模型研究提供依据。
2026-09-09 cs.SD
Exploring Capabilities of Monolingual Audio Transformers using Large Datasets in Automatic Speech Recognition of Czech
University of West Bohemia Pilsen(西波西米亚大学比尔森分校)
在本文中,我们介绍了我们在预训练捷克单语音频Transformers方面的进展,该转换器来自一个包含超过8万小时未标记语音的大型数据集,随后使用域内数据和近6000小时的域外转录语音的组合对自动语音识别任务的模型进行微调。我们正在展示一系列实验,其中包括在两个公共数据集(CommonVoice和VoxPopuli)和一个来自MALACH项目的极具挑战性的数据集上评估的各种微调设置。我们的研究结果表明,单语Wav2Vec 2.0模型是鲁棒的ASR系统,可以利用大型标记和未标记数据集,并成功地与最先进的LVCSR系统竞争。此外,Wav2Vec模型被证明是很好的zero-shot学习者时,没有训练数据可用于目标ASR任务。
2022-06-15 cs.CL cs.SD eess.AS
SpeechMatrix: A Large-Scale Mined Corpus of Multilingual Speech-to-Speech Translations
Meta AI Research(Meta人工智能研究院);Inria(法国国家信息与自动化研究所)
我们提出了SpeechMatrix,一个大规模的多语言语料库的语音到语音翻译挖掘从欧洲议会录音的真实讲话。它包含136个语言对的语音对齐,总共41.8万小时的语音。为了评估这种并行语音的质量,我们仅在挖掘数据上训练双语语音到语音翻译模型,并在EuroParl-ST,VoxPopuli和FLEURS测试集上建立广泛的基线结果。通过SpeechMatrix的多语言性,我们还探索了多语言语音到语音翻译,这是一个很少有其他作品涉及的主题。我们还证明了使用混合专家的模型预训练和稀疏缩放可以大大提高翻译性能。挖掘的数据和模型是免费提供的。
2022-11-08 cs.CL cs.SD eess.AS
A Weakly-Supervised Streaming Multilingual Speech Model with Truly Zero-Shot Capability
Microsoft Speech Group(微软语音组)
本文提出流式多语言语音模型SM2,以Transformer Transducer为骨干,利用机器翻译生成的弱监督数据训练,在351千小时25种语言数据上取得与非流式模型相当或更优的语音翻译质量,并展现出面向新目标语言的真正零样本能力。
2023-07-05 cs.AI cs.CL cs.SD
STYLER: Style Factor Modeling with Rapidity and Robustness via Speech Decomposition for Expressive and Controllable Neural Text to Speech
KAIST(韩国科学技术院)
神经文本到语音(TTS)的先前工作已经解决了有限的速度在训练和推理时间,鲁棒性困难的合成条件,表达能力和可控性。虽然有几种方法解决了一些局限性,但还没有尝试一下子解决所有的弱点。在本文中,我们提出了STYLER,一个表达和可控的TTS框架与高速和强大的合成。我们的新音频文本对齐方法称为Mel Calibration和排除自回归解码,可以快速训练和推理,并在看不见的数据上进行稳健的合成。此外,在监督下的风格因素模型的分离扩大了合成过程的可控性,从而导致表现力的TTS。最重要的是,一种使用域对抗训练和残差解码的新型噪声建模管道可以实现噪声鲁棒性风格转移,在没有任何额外标签的情况下分解噪声。各种实验表明,STYLER在速度和鲁棒性方面比具有自回归解码的表达性TTS更有效,并且比阅读风格的非自回归TTS更具表达性和可控性。合成样本和实验结果通过我们的演示页面提供,代码是公开的。
2021-06-25 cs.AI cs.CL cs.SD
Semi-Supervised Model Training for Unbounded Conversational Speech Recognition
Marchex Inc.(Marchex公司)
对于会话式大词汇量连续语音识别(LVCSR)任务,通常使用多达约两千小时的音频来训练现有技术的模型。然而,标记的会话音频的收集是极其昂贵、费力且容易出错的。此外,像Fisher English(2004)或Switchboard(1992)这样的学术语料库不足以在会话语音的无界空间中以足够的精度训练模型。这些语料库也是陈旧的,由于过时的声学电话功能和快速发展的口语词汇和成语在过去的几十年。利用我们的未标记的电话数据集的巨大规模,我们提出了一种技术来构建一个现代的,高质量的会话语音训练语料库的顺序上的数以亿计的话语(或数万小时)的声学和语言模型训练。我们描述的数据汇集,选择和训练,评估我们更新的语音识别系统的测试语料库的7 K手动转录的话语的结果。我们显示相对字出错率(WER)减少{35%,19%}的{代理,呼叫者}话语在我们的种子模型和5%的绝对WER改善IBM沃森STT在这个会话语音任务。
2017-05-26 cs.CL
Virtuoso: Massive Multilingual Speech-Text Joint Semi-Supervised Learning for Text-To-Speech
Google(谷歌)
本文提出了Virtuoso,一个大规模的多语种语音-文本联合半监督学习框架的文本到语音合成(TTS)模型。现有的多语言TTS通常支持数十种语言,这是世界上数千种语言中的一小部分。将多语言TTS扩展到数百种语言的一个困难是在低资源语言中收集高质量的语音文本配对数据。本研究将Maestro,一个用于自动语音识别(ASR)的语音-文本联合预训练框架,扩展到语音生成任务。为了从各种类型的语音和文本数据训练TTS模型,设计了不同的训练方案来处理监督(成对的TTS和ASR数据)和非监督(未转录的语音和未说出的文本)数据集。实验评估表明,1)在Virtuoso上训练的多语言TTS模型可以实现比已知语言中的基线模型更好的自然度和可理解性,2)它们可以为没有高质量配对TTS数据的未知语言合成合理可理解和自然发音的语音。
2023-03-15 cs.CL cs.SD eess.AS
EchoX: Towards Mitigating Acoustic-Semantic Gap via Echo Training for Speech-to-Speech LLMs
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
EchoX通过利用语义表示并动态生成语音训练目标,整合声学与语义学习,以弥合声学-语义差距,从而在约六千小时训练数据下保持语音大语言模型的推理能力,并在多个知识问答基准上取得先进性能。
2025-09-11 cs.AI cs.CL cs.SD
TI-ASU: Toward Robust Automatic Speech Understanding through Text-to-speech Imputation Against Missing Speech Modality
University of Southern California(南加州大学);Amazon AGI(亚马逊AGI)
针对语音模态缺失场景下的自动语音理解(ASU)问题,提出TI-ASU方法,利用预训练文本转语音模型填补缺失语音。实验表明,在训练语音缺失比例高达95%时该方法仍能显著提升ASU性能,并自适应dropout训练增强推理鲁棒性。
2024-04-27 cs.CL cs.SD eess.AS
Back Transcription as a Method for Evaluating Robustness of Natural Language Understanding Models to Speech Recognition Errors
Adam Mickiewicz University, Poznań(亚当·密茨凯维奇大学);Samsung Research Poland(三星电子波兰研究院)
本文提出一种结合反向转录与细粒度错误分类的方法,利用合成语音评估语音识别错误对自然语言理解模型性能的影响,并证实合成语音可替代真实音频。
2023-10-25 cs.AI cs.CL cs.SD
MuAViC: A Multilingual Audio-Visual Corpus for Robust Speech Recognition and Robust Speech-to-Text Translation
Meta AI
我们介绍MuAViC,一个多语言的视听语料库,用于强大的语音识别和强大的语音到文本的翻译,提供1200小时的视听语音在9种语言。它完全转录,涵盖6个英语到X的翻译以及6个X到英语的翻译方向。据我们所知,这是第一个视听语音到文本翻译的开放基准,也是多语言视听语音识别的最大开放基准。我们的基线结果表明,MuAViC是有效的建立噪声鲁棒的语音识别和翻译模型。我们在https://github.com/facebookresearch/muavic上提供语料库。
2023-03-07 cs.CL eess.AS
A Deep Dive into the Disparity of Word Error Rates Across Thousands of NPTEL MOOC Videos
Indian Institute of Technology, Kharagpur(印度理工学院克勒格布尔分校)
本研究构建了源自NPTEL MOOC平台的8740小时印度多群体英语技术讲座语音数据集,评估了两款ASR系统的性能差异,发现性别、地区、年龄、语速及学科会带来显著差异,种姓则无影响,为ASR系统的包容性优化提供了数据支撑。
2023-07-20 cs.CL cs.HC
Automatic Speech Recognition with Very Large Conversational Finnish and Estonian Vocabularies
Aalto University(阿尔托大学)
如今,大词汇量语音识别中的语言模型的词汇量通常是几十万个单词。虽然这在某些应用程序中已经足够了,但词汇表外的单词仍然限制了其他应用程序的可用性。在黏着语中,除了复合词和词形变化之外,用于会话的词汇应该包括数百万个单词形式,以覆盖由于口语发音而引起的拼写变化。例如,当识别罕见的专有名称很重要时,也需要非常大的词汇表。
2017-09-29 cs.CL cs.SD
Unsupervised Domain Adaptation by Adversarial Learning for Robust Speech Recognition
Institute for Natural Language Processing, University of Stuttgart(斯图加特大学自然语言处理研究所)
在本文中,我们研究了使用对抗学习来无监督地适应看不见的记录条件,更具体地说,是单麦克风远场语音。我们适应基于神经网络的声学模型训练与近距离交谈干净的语音新的录音条件下使用未转录的适应数据。我们在意大利SPEECON数据集上的实验结果表明,我们提出的方法实现了19.8%的相对字错误率(WER)减少相比,未适应的模型。此外,这种自适应方法是有益的,即使当从另一种语言(即法语)的数据上进行,给出12.6%的相对WER减少。
2018-07-30 cs.AI cs.CL cs.SD
Spectral feature mapping with mimic loss for robust speech recognition
The Ohio State University(俄亥俄州立大学)
对于语音增强任务,局部学习目标与有助于语音识别的语音结构无关。我们建议添加一个全局标准,以确保去噪语音对ASR等下游任务有用。我们首先训练干净的语音谱分类器预测senone标签。然后,频谱分类器加入我们的语音增强器作为一个嘈杂的语音识别器。该模型被教导在干净的语音上单独模仿频谱分类器的输出。该\textit{mimic loss}与传统的局部准则相结合,训练语音增强器产生去噪语音。将去噪后的语音馈送到CHiME-2语料库的现成Kaldi训练配方中显示了WER的显着改进。
2018-03-26 cs.CL cs.SD eess.AS
Unsupervised Speech Domain Adaptation Based on Disentangled Representation Learning for Robust Speech Recognition
Sogang University(西江大学);Naver Corp.(NAVER公司);Clova AI Research(Clova人工智能研究院)
通常,由于训练环境和测试环境之间的不匹配,自动语音识别(ASR)系统的性能显著降低。最近,提出了一种基于深度学习的图像到图像翻译技术,将图像从源域翻译到所需域,并应用循环一致性对抗网络(CycleGAN)来学习从说话人到目标说话人的语音到语音转换的映射。然而,该方法可能不足以去除用于鲁棒ASR的破坏性噪声分量,因为它被设计为转换语音本身。在本文中,我们提出了一种基于生成对抗网络(GANs)的域自适应方法,具有解纠缠表示学习,以实现ASR系统的鲁棒性。特别是,两个独立的编码器,上下文和域编码器,引入学习不同的潜在变量。潜变量允许我们根据其上下文和域表示来转换语音的域。我们通过应用噪声到清洁环境自适应以实现鲁棒ASR,将CHiME 4挑战语料库的单词准确率提高了6.55~ 15.70%。此外,与基于CycleGAN的方法类似,该方法可用于性别不匹配识别中的性别自适应。
2019-04-12 cs.CL cs.SD eess.AS
Two-Staged Acoustic Modeling Adaption for Robust Speech Recognition by the Example of German Oral History Interviews
在自动语音识别中,通常很少的训练数据可用于特定的具有挑战性的任务,但是最先进的自动语音识别系统的训练需要大量的注释语音。为了解决这个问题,我们提出了一种两阶段的声学建模方法,该方法将噪声和混响数据增强与迁移学习相结合,以鲁棒地解决困难的声学记录条件,自发语音和老年人语音等挑战。我们评估我们的方法使用的例子,德国口述历史访谈,其中一个相对平均减少字的错误率达到19.3%。
2019-08-19 cs.CL cs.SD eess.AS
Does Speech enhancement of publicly available data help build robust Speech Recognition Systems?
Stony Brook University(石溪大学);Nokia Bell Labs(诺基亚贝尔实验室)
自动语音识别(ASR)系统在包括语音助理在内的许多商业产品中起着关键作用。通常,它们需要大量干净的语音数据进行训练,这给拥有大量私人数据的大型组织带来了不适当的优势。在本文中,我们首先使用公开的数据源管理了一个相当大的数据集。此后,我们试图研究是否可以使用公开的噪声数据来训练鲁棒的ASR系统。我们首先使用语音增强来清除噪声数据,然后将其与其清除版本一起用于训练ASR系统。我们发现,使用语音增强比只在有噪声的数据上训练的单词错误率高9.5%,比只在干净的数据上训练的单词错误率高9%。它的性能也可以与在嘈杂和干净版本上训练时的理想情况相媲美。
2019-11-20 cs.CL cs.SD eess.AS
Noise-robust Speech Recognition with 10 Minutes Unparalleled In-domain Data
Nanyang Technological University(南洋理工大学);Air Traffic Management Research Institute(空中交通管理研究院)
抗噪语音识别系统需要大量的训练数据,包括带噪语音数据和相应的文本,以在各种实际环境中获得最佳性能。然而,如此大量的域内数据在现实世界中并不总是可用的。在本文中,我们提出了一个生成对抗网络来从干净的频谱(Simu-GAN)中模拟噪声频谱,其中只需要10分钟的无与伦比的域内噪声语音数据作为标签。此外,我们也提出了一个双路径语音识别系统,以提高系统在噪声条件下的鲁棒性。实验结果表明,所提出的语音识别系统实现了7.3%的绝对改善与模拟噪声数据的Simu-GAN在最佳基线方面的字出错率(WER)。
2022-03-29 cs.CL cs.SD eess.AS
Improving Noise Robustness of Contrastive Speech Representation Learning with Speech Reconstruction
Microsoft(微软)
噪声鲁棒性对于在真实世界环境中部署自动语音识别(ASR)系统至关重要。降低噪声干扰影响的一种方法是采用进行语音增强的预处理模块,然后将增强的语音馈送到ASR后端。在这项工作中,而不是抑制背景噪声与传统的级联流水线,我们采用了噪声鲁棒表示学习的一个完善的自监督框架嘈杂的语音识别。我们建议将重建模块与对比学习相结合,并对噪声数据进行多任务连续预训练。重建模块用于辅助学习,以提高学习表示的噪声鲁棒性,因此在推理期间不需要重建模块。实验证明了该方法的有效性。我们的模型大大降低了字出错率(WER)的合成噪声LibriSpeech测试集,并产生约4.1/7.5%的WER减少噪声清洁/其他测试集相比,数据增强。对于来自CHiME-4挑战(1通道轨道)的真实噪声语音,我们在没有任何去噪前端的情况下获得了最先进的ASR性能。此外,我们实现了与最佳监督方法相当的性能,仅用16%的标记数据。
2021-10-28 cs.CL cs.SD eess.AS
Transfer Learning for Robust Low-Resource Children's Speech ASR with Transformers and Source-Filter Warping
Ghent University(根特大学);imec(比利时微电子研究中心)
已知自动语音识别(ASR)系统在转录儿童的语音时表现出困难。这可以主要归因于缺乏大型儿童语音语料库来训练鲁棒的ASR模型,以及当用在成人数据上训练的系统解码儿童语音时产生的域失配。在本文中,我们提出了多项增强功能来缓解这些问题。首先,我们提出了一种基于语音源过滤器模型的数据增强技术,以缩小成人和儿童语音之间的领域差距。这使我们能够利用成人语音语料库的数据可用性,使这些样本在感知上类似于儿童的语音。其次,使用这种增强策略,我们将迁移学习应用于在成人数据上预训练的Transformer模型。该模型遵循最近推出的XLS-R架构,这是一个在几个跨语言成人语音语料库上进行预训练的wav 2 vec 2.0模型,用于学习通用和鲁棒的声学帧级表示。采用此模型的ASR任务,使用成人数据增强与建议的源过滤器翘曲策略和有限数量的域中儿童的语音显着优于以前的国家的最先进的结果PF-STAR英国英语儿童语音语料库的官方测试集上的4.86% WER。
2022-06-19 cs.CL cs.SD eess.AS
Noise-robust zero-shot text-to-speech synthesis conditioned on self-supervised speech-representation model with adapters
NTT Corporation(日本电信电话株式会社)
针对零样本TTS在含噪参考语音下质量下降的问题,提出通过在SSL模型中引入适配器并用含噪语音联合微调,同时结合语音增强前端,实现噪声鲁棒的高质量语音合成。
2024-01-10 cs.CL cs.LG cs.SD
Contaminated speech training methods for robust DNN-HMM distant speech recognition
Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
尽管在过去几年中取得了显著的进步,但最先进的语音识别技术仅在近距离通话条件下提供令人满意的性能。另一方面,在恶劣的声学条件下的远距离语音识别的鲁棒性仍然是未来人机交互应用的关键问题。为此,在语音增强、声学场景分析以及声学建模方面的若干进展最近有助于提高该领域的最新技术水平。获得鲁棒声学建模的最有效方法之一是基于使用污染语音,这被证明有助于减少训练和测试条件之间的声学失配。在本文中,我们在现代DNN-HMM系统的背景下修改了这种经典方法,并提出了三种方法,即非对称上下文窗口,基于近距离对话的监督和基于近距离对话的预训练。使用真实和模拟数据获得的实验结果显示,使用这三种方法具有显着的优势,与基线系统相比,总体上降低了15%的错误率。使用小尺寸的高质量训练集和大尺寸的高质量训练集也证实了相同的性能趋势。
2017-10-10 cs.CL cs.SD eess.AS
Textless Acoustic Model with Self-Supervised Distillation for Noise-Robust Expressive Speech-to-Speech Translation
Meta AI
本文提出一种结合 DINO 自监督蒸馏的无文本 U2S 生成器,通过捕获噪声无关的表现力表征,在保持干净环境性能的同时显著提升噪声环境下表现力语音到语音翻译的鲁棒性。
2024-06-04 cs.CL cs.SD eess.AS
Data-Driven Mispronunciation Pattern Discovery for Robust Speech Recognition
Cornell University(康奈尔大学);NAVER Cloud Corporation(NAVER云公司)
本文提出两种数据驱动方法,利用语音语料库和注意力映射自动检测非母语者发音错误模式,在母语和非母语英语语音识别上分别提升5.7%和12.8%,增强了ASR系统在缺乏先验语言知识场景下的鲁棒性。
2025-02-01 cs.CL cs.SD eess.AS
Two-stage Framework for Robust Speech Emotion Recognition Using Target Speaker Extraction in Human Speech Noise Conditions
Nagoya University(名古屋大学)
针对噪声下语音情感识别受人类语音干扰的问题,提出级联目标说话人提取与情感识别的两阶段框架,联合训练提升未加权准确率14.33%,尤其擅长不同性别混合场景。
2024-12-17 cs.CL cs.SD eess.AS
Wav2vec-Switch: Contrastive Learning from Original-noisy Speech Pairs for Robust Speech Recognition
Microsoft(微软)
用于自动语音识别(ASR)的自监督学习(SSL)的目标是从大量未标记的语音中学习良好的语音表示以用于下游的ASR任务。然而,大多数SSL框架没有考虑噪声鲁棒性,这对现实世界的应用至关重要。在本文中,我们提出了wav 2 vec-Switch,一种通过对比学习将噪声鲁棒性编码到语音的上下文表示中的方法。具体来说,我们将原始噪声语音对同时输入wav 2 vec 2.0网络。除了现有的对比学习任务,我们切换的量化表示的原始和嘈杂的语音作为额外的预测目标。通过这样做,它强制网络对原始语音和噪声语音进行一致的预测,从而允许学习具有噪声鲁棒性的上下文表示。我们对合成和真实噪声数据的实验表明,我们的方法的有效性:它实现了2.9- 4.9%的相对字出错率(WER)减少对合成的噪声LibriSpeech数据,而不恶化的原始数据,和5.7%的CHiME-4真正的1通道噪声数据相比,数据增强基线,即使有一个强大的语言模型解码。我们在CHiME-4上的结果可以匹配甚至超过那些设计良好的语音增强组件。
2022-01-26 cs.CL cs.LG cs.SD
Evaluating Japanese Dialect Robustness Across Speech and Text-based Large Language Models
SB Intuitions
研究通过日语方言测试,发现语音语言模型(SLM)的方言鲁棒性与文本基座LLM相关,方言数据训练和语音编码器微调可提升鲁棒性。
2026-06-25 cs.CL cs.SD eess.AS
Loquacious Set: 25,000 Hours of Transcribed and Diverse English Speech Recognition Data for Research and Commercial Use
AI Center Cambridge(剑桥人工智能中心);Samsung(三星)
针对现有ASR数据集在许可限制、数据质量或规模上的不足,本研究提出包含25,000小时可商用英语语音的Loquacious Set,涵盖多样口音与语音类型,供学术界与工业界在真实场景中构建ASR系统。
2025-05-27 cs.CL cs.SD eess.AS
Accented Speech Recognition Inspired by Human Perception
New York University(纽约大学)
虽然在过去几年中自动语音识别性能已经有所改进,但机器在带口音语音上的性能仍然明显低于人类。此外,对口音语音最显著的改进主要是通过数百甚至数千小时的数据来解决问题。人类通常需要更少的数据来适应新的口音。本文探讨了受人类感知启发的方法,以评估口音语音识别的可能性能改进,特别关注识别与训练数据相比具有新口音的语音。我们的实验是在研究社区可用的小型可访问数据集上运行的。我们探索了四种方法:预先暴露于多个口音、基于字素和音素的发音、dropout(以改进对新口音的泛化)以及识别神经网络中可以具体地与口音建模相关联的层。我们的研究结果表明,基于人类感知的方法是有前途的,在减少WER和理解如何在神经网络中为新的口音语音建模。
2021-04-09 cs.CL cs.LG cs.SD
End-to-End ASR for Code-switched Hindi-English Speech
Microsoft Research India(微软印度研究院)
端到端(E2 E)模型已被探索用于大型语音语料库,并已被发现在某些语言中匹配或优于传统的基于流水线的系统。然而,大多数端到端模型的先前工作使用超过数百或数千小时的语音语料库。在这项研究中,我们探索了端到端的代码转换印地语-英语语言的模型,不到50小时的数据。我们利用两个具体的措施,以提高网络的性能在低资源设置,即多任务学习(MTL)和平衡的语料库来处理固有的类不平衡问题,即倾斜的频率分布超过字素。我们将所提出的方法与传统的级联ASR系统的结果进行比较。虽然缺乏数据会对端到端模型的性能产生不利影响,但我们看到MTL和平衡语料库的改进是有希望的。
2019-06-22 cs.CL cs.LG cs.SD
Investigating Generative Adversarial Networks based Speech Dereverberation for Robust Speech Recognition
Northwestern Polytechnical University(西北工业大学);Xiaomi(小米)
我们研究了生成对抗网络(GANs)在语音去混响中的使用,以实现鲁棒的语音识别。最近已经研究了GANs用于语音增强以去除加性噪声,但是仍然缺乏研究它们在语音去混响中的能力的工作,并且使用GANs的优点还没有完全建立。在本文中,我们对ASR中基于GAN的去混响前端的使用进行了深入的研究。首先,我们研究了不同去混响网络(GAN中的生成器)的有效性,并发现LSTM在我们的数据集中与前馈DNN和CNN相比有显著的改进。其次,在深层LSTM中进一步添加剩余连接也可以提高性能。最后,我们发现,对于GAN的成功,重要的是在训练期间使用相同的小批量数据更新生成器和训练器。此外,使用混响声谱图作为一个条件,在以前的研究中建议,可能会降低性能。总之,当在强多条件训练声学模型上进行测试时,与基线DNN去混响网络相比,我们基于GAN的去混响前端实现了14%-19%的相对CER减少。
2018-10-25 cs.CL cs.SD eess.AS
Gated Recurrent Fusion with Joint Training Framework for Robust End-to-End Speech Recognition
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
语音增强和识别方法的联合训练框架在鲁棒的端到端自动语音识别(ASR)中取得了很好的性能。然而,这些方法仅利用增强的特征作为语音识别组件的输入,这受到语音失真问题的影响。为了解决这个问题,本文提出了一种门控递归融合(GRF)方法与联合训练框架的鲁棒端到端ASR。GRF算法用于动态地组合噪声和增强特征。因此,GRF不仅可以从增强的特征中去除噪声信号,而且还可以从噪声特征中学习原始精细结构,从而可以减轻语音失真。该方法由语音增强、GRF和语音识别三部分组成。首先,采用基于掩码的语音增强网络对输入语音进行增强。其次,应用GRF来解决语音失真问题。第三,为了提高ASR的性能,采用了最先进的语音Transformer算法作为语音识别部分。最后,联合训练框架被用来优化这三个组件,同时。我们的实验是在一个名为AISHELL-1的开源汉语语音语料库上进行的。实验结果表明,与传统的联合增强和仅利用增强特征的Transformer方法相比,该方法的相对字符出错率(CER)降低了10.04%.特别是在低信噪比(0 dB)时,该方法可以获得更好的性能,CER降低了12.67%,表明了该方法的潜力。
2020-11-09 cs.CL cs.SD eess.AS
Robust Speech Recognition via Large-Scale Weak Supervision
OpenAI(开放人工智能研究中心)
我们研究的语音处理系统的能力训练简单地预测大量的互联网上的音频转录。当扩展到680,000小时的多语言和多任务监督时,所产生的模型可以很好地推广到标准基准,并且通常与之前的完全监督结果具有竞争力,但在zero-shot传输设置中,无需任何微调。与人类相比,这些模型接近其准确性和鲁棒性。我们正在发布模型和推理代码,以作为鲁棒语音处理进一步工作的基础。
2022-12-06 cs.CL cs.LG cs.SD
Part of speech and gramset tagging algorithms for unknown words based on morphological dictionaries of the Veps and Karelian languages
Institute of Applied Mathematical Research of the Karelian Research Centre of the Russian Academy of Sciences(俄罗斯科学院卡累利阿研究中心应用数学研究所);Petrozavodsk State University(彼得罗扎沃茨克国立大学);Institute of Linguistics, Literature and History of the Karelian Research Centre of the Russian Academy of Sciences(俄罗斯科学院卡累利阿研究中心语言、文学与历史研究所)
本研究致力于低资源Veps和卡累利阿语言。本文介绍了为词分配词性标记和为词分配语法属性的算法。这些算法使用我们的形态词典,其中每个单词形式的词元、词性和一组语法特征(语法集)都是已知的。该算法基于相似性假设,即具有相同后缀的词可能具有相同的屈折模式、相同的词性和语法集。对这些算法的精度进行了评价和比较。31.3万Vepsian和6.6万卡累利阿词被用来验证这些算法的准确性。特殊功能的设计,以评估开发的算法的结果的质量。92.4%的Vepsian词和86.8%的卡累利阿词被分配了一个正确的词性由开发的算法。我们的算法为95.3%的Vepsian词和90.7%的Karelian词分配了正确的语法集。本文介绍了语料库处理过程中密切相关、不可分割的词形标注和语义标注。
2021-03-22 cs.CL cs.IR
Robust and fine-grained prosody control of end-to-end speech synthesis
Neosapience, Inc.(Neosapience公司)
我们提出了韵律嵌入情感和表达语音合成网络。所提出的方法在嵌入网络中引入时间结构,从而能够细粒度控制合成语音的说话风格。可以在语音侧或文本侧设计时间结构,从而在时间上导致不同的控制分辨率。韵律嵌入网络被插入到端到端的语音合成网络中,并且除了用于合成的目标语音之外,在没有任何其他监督的情况下进行训练。实验结果表明,韵律嵌入网络能够学习提取韵律特征。通过调整学习到的韵律特征,我们可以在帧级和音素级上改变合成语音的音高和幅度。我们还介绍了时间归一化的韵律嵌入,这表明对说话人的扰动在韵律传输任务具有更好的鲁棒性。
2019-02-18 cs.CL cs.LG cs.SD
Robust Multi-channel Speech Recognition using Frequency Aligned Network
Amazon(亚马逊)
诸如波束成形的常规语音增强技术对于远场语音识别具有已知的益处。我们自己在频域多通道声学建模中的工作已经通过在声学模型内联合训练空间滤波层而显示出额外的改进。在本文中,我们进一步发展了这一思想,并使用频率对齐网络的鲁棒多通道自动语音识别(ASR)。与频域中的仿射层不同,所提出的频率对准组件防止一个频率仓影响其他频率仓。我们表明,这种修改不仅减少了模型中的参数数量,而且显着提高了ASR性能。我们通过ASR实验研究了频率对齐网络对真实远场数据的影响,其中用户在不受控制的声学环境中与ASR系统进行交互。我们表明,我们的多通道声学模型与频率对齐的网络显示高达18%的字出错率相对减少。
2020-02-06 cs.CL cs.SD eess.AS
Large-Scale Streaming End-to-End Speech Translation with Neural Transducers
Microsoft(微软)
神经传感器在自动语音识别(ASR)中得到了广泛的应用。在本文中,我们将其引入流端到端语音翻译(ST),其目的是将音频信号直接转换为其他语言的文本。与执行ASR然后执行基于文本的机器翻译(MT)的级联ST相比,所提出的基于Transformer transducer(TT)的ST模型大大减少了推理延迟,利用了语音信息,并避免了从ASR到MT的错误传播。为了提高建模能力,我们提出了注意力池的联合网络在TT。此外,我们扩展了基于TT的ST多语言ST,它产生的文本在同一时间的多种语言。在大规模5万(K)小时伪标记训练集上的实验结果表明,基于TT的ST不仅显著减少了推理时间,而且在英-德翻译中的性能优于非流式级联ST。
2022-07-01 cs.CL eess.AS
Multi-Variant Consistency based Self-supervised Learning for Robust Automatic Speech Recognition
Institute of Acoustics, Chinese Academy of Sciences(中国科学院声学研究所);University of Chinese Academy of Sciences(中国科学院大学)
自动语音识别(ASR)近年来取得了快速的发展,但在远场和噪声环境中仍然会显着下降。近年来发展起来的自监督学习(SSL)技术可以通过使用额外的未标记语音对模型进行预训练来提高ASR的性能,SSL预训练模型在多个语音基准测试上取得了最好的效果。然而,大多数以前的SSL方法忽略了背景噪声或混响的影响,这是至关重要的部署在现实世界的语音应用中的ASR系统。本文提出了一种基于多变量一致性(MVC)的SSL方法,以适应不同的环境。MVC-SSL是一种强大的SSL预训练方法,专为现实世界应用中的嘈杂和远程通话语音而设计。与以往的SSL方法相比,MVC-SSL可以计算来自不同声学条件或通道的音频之间的对比度损失,并且可以随着环境或记录设备的变化而学习不变的表示。我们还探索了不同的SSL训练管道,以平衡嘈杂的远距离说话语音和额外的高资源清洁语音。我们在商业动机的数据集CHiME-4和会议数据集AMI上评估了所提出的方法。在MVC-SSL和适当的训练管道的帮助下,我们可以实现高达30%的相对字出错率减少超过基线wav2vec2.0,最成功的SSL方法之一,为ASR。
2022-05-04 cs.CL cs.SD eess.AS
MoDiCoL: A Modular Diagnostic Continual Learning Dataset for Robust Speech Recognition
Knowledge Technology, Department of Informatics, University of Hamburg, Germany(德国汉堡大学信息学系知识技术研究所)
提出MoDiCoL数据集,通过模块化设计分离语言内容、说话人特征和声学环境,并设计持续学习课程来模拟真实分布变化,评估三种持续学习策略下的鲁棒性获取、迁移和遗忘。
2026-06-15 cs.AI cs.CL cs.SD
Speech-enhanced and Noise-aware Networks for Robust Speech Recognition
Institute of Information Science, Academia Sinica(中央研究院信息科学研究所);Research Center for Information Technology Innovation, Academia Sinica(中央研究院信息科技创新研究中心)
对通道失配和噪声干扰的补偿对于鲁棒的自动语音识别是必不可少的。在声学模型的多条件训练中引入增强语音以提高模型的泛化能力。本文提出了一种基于两个级联神经结构的噪声感知训练框架,用于联合优化语音增强和语音识别。特征增强模块由一个多任务的自动编码器组成,其中含噪语音被分解为干净语音和噪声。通过连接每个帧的增强、噪声感知和噪声特征,声学建模模块通过优化预测和实际状态序列之间的无网格最大互信息和交叉熵,将每个特征增强帧映射到三音子状态。在因子化时间延迟神经网络(TDNN-F)及其卷积变体(CNN-TDNNF)的基础上,这两个系统在Aurora-4任务中分别实现了3.90%和3.55%的字出错率(WER)。与现有的使用二元和三元语言模型进行解码的最佳系统相比,所提出的基于CNN-TDNF的系统分别实现了15.20%和33.53%的相对WER降低。此外,所提出的基于CNN-TDNF的系统在AMI任务上也优于基线CNN-TDNF系统。
2022-11-23 cs.AI cs.CL cs.LG
Careful Whisper -- leveraging advances in automatic speech recognition for robust and interpretable aphasia subtype classification
nyra health GmbH(nyra健康有限公司)
本文提出一种结合CTC和编码器-解码器自动语音识别模型及自然语言处理技术的全自动化流程,通过提取语音特征生成健康语音原型,实现了区分失语症与健康对照组的人类水平准确率及90%的亚型分类准确率。
2023-08-02 cs.CL cs.LG cs.SD
Robust Audiovisual Speech Recognition Models with Mixture-of-Experts
Carnegie Mellon University(卡内基梅隆大学);Renmin University of China(中国人民大学)
本文提出EVA模型,利用混合专家架构将视觉信息注入预训练语音识别模型,实现对野外视频的鲁棒视听语音识别,并在三个基准上取得最优结果。
2024-09-19 cs.CL cs.CV cs.SD
Less is More: Accurate Speech Recognition & Translation without Web-Scale Data
NVIDIA(英伟达)
本文提出多语言语音识别与翻译模型Canary,通过FastConformer架构、合成数据和先进训练技术,以远少于Whisper等模型的数据在英法西德语上实现更优性能。
2024-06-28 cs.CL cs.LG cs.SD
Pre-trained Model Representations and their Robustness against Noise for Speech Emotion Analysis
Apple(苹果公司)
预训练的模型表示在语音识别、自然语言处理和其他应用中表现出最先进的性能。诸如来自Transformers(BERT)和隐藏单元BERT(HuBERT)的双向编码器表示之类的语音模型已经使得能够生成词汇和声学表示以有益于语音识别应用。我们研究了使用预训练的模型表示来估计维度情绪,例如激活,效价和优势,从语音中。我们观察到,虽然效价可能在很大程度上依赖于词汇表征,激活和优势主要依赖于声学信息。在这项工作中,我们使用来自预训练模型的多模态融合表示来生成最先进的语音情感估计,与标准声学和词汇基线相比,我们在一致性相关系数(CCC)上显示出100%和30%的相对改善。最后,我们研究了预训练模型表示对噪声和混响退化的鲁棒性,并注意到词汇和声学表示受到不同的影响。我们发现,词汇表示是更强大的失真相比,声学表示,并证明了知识蒸馏从多模态模型有助于提高噪声鲁棒性的声学模型。
2023-03-03 cs.CL cs.LG cs.SD
Speech Enhancement Modeling Towards Robust Speech Recognition System
G H Raisoni College of Engg(G H Raisoni工程学院);SGB Amravati University(SGB阿姆拉瓦蒂大学);RTM Nagpur University(RTM那格浦尔大学)
四十多年来,人类一直梦想着有一种能够掌握自然语言的智能机器。在其最简单的形式,这台机器应该包括两个子系统,即自动语音识别(ASR)和语音理解(SU)。ASR的目标是转录自然语音,而SU的目标是理解转录的含义。识别和理解一个口语句子显然是一个知识密集型的过程,它必须考虑到所有的变量信息的语音通信过程中,从声学到语义和语用。在开发自动语音识别系统时,观察到一些不利条件降低了语音识别系统的性能。在这篇文章中,语音增强系统的介绍,以增强被加性噪声污染的语音信号,提高性能的自动语音识别器在噪声条件下。自动语音识别实验表明,用相应的增强后的语音信号代替含噪的语音信号,识别精度得到了提高。改善的量随着破坏噪声的类型而变化。
2013-05-07 cs.CL cs.SD
Noise Robust TTS for Low Resource Speakers using Pre-trained Model and Speech Enhancement
ByteDance(字节跳动)
随着深度神经网络的普及,基于端到端编码器-解码器框架的语音合成任务在最近几天取得了显著的改进。越来越多的应用依赖于语音合成技术已经广泛地应用于我们的日常生活中。鲁棒的语音合成模型依赖于高质量的定制数据,而这些数据需要大量的采集工作。如何利用互联网上容易获取的低质量、低资源的语音数据进行个性化语音合成是一个值得研究的问题。本文提出的端到端语音合成模型将说话人嵌入和噪声表示作为条件输入,分别对说话人和噪声信息进行建模。该方法首先利用多说话人纯净语音数据和含噪增强语音数据对语音合成模型进行预训练,然后利用含噪低资源新说话人数据对预训练好的模型进行自适应训练,最后通过设置纯净语音条件,合成新说话人的纯净语音。实验结果表明,与直接用去噪后的新说话人数据对预训练好的多说话人语音合成模型进行微调的方法相比,该方法生成的语音具有更好的主观评价效果。
2020-10-22 cs.CL cs.LG cs.SD
Robust Speaker Recognition Using Speech Enhancement And Attention Model
University of Sheffield(谢菲尔德大学)
本文提出了一种将语音增强和说话人处理相结合的说话人识别系统结构。它的目的是提高说话人识别性能时,语音信号被噪声污染。这两个模块不是单独处理语音增强和说话人识别,而是通过使用深度神经网络的联合优化集成到一个框架中。此外,为了提高对噪声的鲁棒性,采用多级注意力机制来突出从时域和频域的上下文信息中学习到的说话人相关特征。为了评估所提出的方法的说话人辨识和验证性能,我们测试它的数据集VoxCeleb1,最常用的基准数据集之一。此外,我们所提出的方法的鲁棒性也测试VoxCeleb1数据时,被破坏的三种类型的干扰,一般的噪声,音乐,和串音,在不同的信噪比(SNR)水平。所得到的结果表明,在我们的实验中,使用语音增强和多阶段注意力模型的方法优于两个强基线,在大多数声学条件下不使用它们。
2020-05-22 cs.CL cs.LG cs.SD
Quieter Than the Room: Representation Drift and Task Robustness in Speech Encoders
Boston University(波士顿大学);Princeton University(普林斯顿大学)
本研究测试八个冻结语音编码器在四种任务上对非语音干扰的鲁棒性,发现嵌入漂移与任务损失相关,但漂移大小不总指示损失程度。
2026-09-24 cs.CL cs.SD
A Regression Model of Recurrent Deep Neural Networks for Noise Robust Estimation of the Fundamental Frequency Contour of Speech
University of Eastern Finland(东芬兰大学)
语音的基频(F0)轮廓是表示语音韵律的关键方面,其在语音和口语分析(诸如语音转换和语音合成以及说话人和语言识别)中找到用途。这项工作提出了使用深度神经网络(DNN)和递归神经网络(RNN)估计语音F0轮廓的新方法。它们是使用监督学习和F0轮廓的基础事实进行训练的。最新的先前研究首先将这个问题作为逐帧分类问题,然后使用深度神经网络隐马尔可夫模型(DNN-HMM)混合架构进行序列跟踪。然而,这项研究,作为一个回归问题,而不是解决这个问题,以获得更高的频率分辨率从干净和嘈杂的语音F0轮廓。实验结果表明,在信噪比为-10 dB ~+10 dB的情况下,与噪声鲁棒性最强的F0跟踪器PEFAC相比,该方法能使基音周期总误差(GPE)提高25%以上.此外,与最先进的基于DNN-HMM的方法相比,细间距误差(FPE)的性能提高了约20%。
2018-05-08 cs.CL cs.SD eess.AS
Breaking the Data Barrier: Towards Robust Speech Translation via Adversarial Stability Training
NetEase Youdao Information Technology (Beijing) Co., LTD.(网易有道信息技术(北京)有限公司)
在流水线语音翻译系统中,自动语音识别(ASR)系统会将识别错误传递给下游的机器翻译(MT)系统。标准的机器翻译系统通常在由干净文本组成的并行语料库上进行训练,并且在具有识别噪声的文本上表现不佳,这是语音翻译界众所周知的差距。在本文中,我们提出了一个训练架构,旨在使神经机器翻译模型对语音识别错误更强大。我们的方法同时使用对抗学习和数据增强来解决编码器和解码器的问题。在IWSLT2018语音翻译任务上的实验结果表明,我们的方法可以弥合ASR输出和MT输入之间的差距,在有噪声的ASR输出上比基线高出2.83 BLEU,同时在干净文本上保持接近的性能。
2019-10-28 cs.CL eess.AS