Overlapped speech recognition from a jointly learned multi-channel neural speech extraction and representation
提出了一种多通道神经语音提取和无梅尔滤波器组(FBANK)提取的深度声学模型的端到端联合优化框架,用于重叠语音识别。首先,基于具有STFT内核的多通道卷积TasNet,我们将多通道目标语音增强前端网络和基于卷积、长短期记忆和全连接深度神经网络(CLDNN)的声学模型(AM)与FBANK提取层统一起来,构建混合神经网络,从而仅通过识别损失联合更新。该框架实现了28%的字错误率降低(WERR)在AISHELL-1上单独优化的系统,并显示出一致的鲁棒性信号干扰比(SIR)和重叠扬声器之间的角度差。接下来,进一步的探索表明,语音识别的改进与一个简化的结构,通过取代FBANK提取层的联合模型与可学习的特征投影。最后,我们还对联合模型中增强网络的重构波形进行了语音质量的客观测量。
2019-10-30 eess.AS
Disentangled-Transformer: An Explainable End-to-End Automatic Speech Recognition Model with Speech Content-Context Separation
针对端到端Transformer ASR系统表示纠缠、可解释性差的问题,提出Disentangled-Transformer,基于不同时间分辨率解纠缠内容与说话人特征子嵌入,在提升ASR性能的同时实现说话人身份与内容分离,增强可解释性。
2024-11-26 eess.AS
Adapting Speech Foundation Models for Unified Multimodal Speech Recognition with Large Language Models
本文提出UASR-LLM框架,通过大语言模型与语音基础模型结合,实现多模态语音识别的统一优化与性能提升。
2026-02-27 eess.AS
Exploiting Single-Channel Speech For Multi-channel End-to-end Speech Recognition
最近,神经波束形成器支持的多通道ASR的端到端训练方法在多通道语音识别中显示出其有效性。然而,多个模块的集成使得执行端到端训练变得更加困难,特别是考虑到在真实环境中记录的具有相当大数据规模的多通道语音语料库相对有限。本文探讨了如何利用单通道数据改进多通道端到端语音识别系统。具体来说,我们设计了三种方案来利用单通道数据,即预训练,数据调度和数据模拟。在CHiME 4和AISHELL-4数据集上的大量实验表明,这三种方法都提高了多通道端到端训练的稳定性和语音识别性能,而数据调度方法保持了更简单的流水线(与预训练相比)和更少的计算成本(与数据模拟相比)。此外,我们对我们的系统进行了全面的分析,包括前端的选择,数据增强,训练策略和单通道数据大小如何影响性能。
2021-07-06 eess.AS
CycleGAN with Dual Adversarial Loss for Bone-Conducted Speech Enhancement
Key Laboratory of Intelligent Computing and Signal Processing of Ministry of Education, Anhui University(安徽大学智能计算与信号处理教育部重点实验室)
骨导语音与气导语音相比,具有屏蔽背景噪声的独特优势。增强骨导语音有助于提高其质量和可懂度。本文提出了一种新的具有双重对抗损失的CycleGAN(CycleGAN-DAL)用于骨导语音增强。该方法同时使用对抗性损失和循环一致性损失来学习前向和循环映射,其中对抗性损失被替换为分类对抗性损失和缺陷对抗性损失以巩固前向映射。与传统的基线方法相比,它可以学习骨导语音和目标语音之间的特征映射,而无需额外的空气传导语音辅助。此外,所提出的方法还避免了通常发生在传统的统计模型的过光滑问题。实验结果表明,该方法优于基线方法,如CycleGAN,GMM和BLSTM。关键词:骨导语音增强,双对抗损失,并行CycleGAN,高频语音重建
2021-11-02 cs.SD eess.AS
SpeechPy - A Library for Speech Processing and Recognition
Virginia Tech(弗吉尼亚理工学院暨州立大学)
SpeechPy是一个开源Python包,包含语音预处理技术,语音功能和重要的后处理操作。它提供了最常用的语音特征,包括MFCC和滤波器组能量以及滤波器组的对数能量。该软件包的目的是为研究人员提供一个简单的工具,用于语音特征提取和自动语音识别和说话人验证等应用程序中的处理目的。
2018-05-25 cs.SD eess.AS
Data Augmentation For Children's Speech Recognition -- The "Ethiopian" System For The SLT 2021 Children Speech Recognition Challenge
Seasalt AI LLC(海盐人工智能有限责任公司);Xiaoice, Microsoft Corporation(微软公司小冰团队);Xiaomi Corporation(小米公司)
本文介绍了2021年儿童语音识别挑战赛的“埃塞俄比亚”系统。针对儿童语音识别问题,特别是儿童语音识别训练数据不足的问题,提出了各种数据处理和增强技术。详细的实验设计和进行,以显示每种技术的有效性,在不同的语音识别工具包和模型架构。我们逐步解释了我们如何提出最终系统,该系统在2021年儿童语音识别挑战赛中提供了最先进的结果,在Track 1评估集上获得了21.66%的CER(总体排名第四),在Track 2评估集上获得了16.53%的CER(总体排名第一)。挑战后分析显示,我们的系统实际上在轨道1评估集上实现了18.82%的CER,但我们向轨道1的挑战组织者提交了错误的版本。
2020-11-09 cs.SD eess.AS
Mandarin-English Code-switching Speech Recognition with Self-supervised Speech Representation Models
National Taiwan University(台湾大学)
语码转换在日常会话中很常见,在一个句子中使用多种语言。CS语音识别的难点在于语言的交替和缺乏转录数据。因此,本文使用最近成功的自监督学习(SSL)方法,利用许多未标记的语音数据没有CS。我们发现,隐藏表示的SSL模型提供帧级的语言身份,即使该模型只训练英语语音。用自监督语音表示联合训练CTC和语言识别模块提高了CS语音识别性能。此外,使用多语种的语音数据进行预训练,获得了最佳的CS语音识别。
2021-10-07 cs.CL eess.AS
End-to-End Neural Systems for Automatic Children Speech Recognition: An Empirical Study
University of Southern California(南加州大学)
包容性和可访问的语音识别技术的一个关键需求是确保其对儿童语音的鲁棒性能。值得注意的是,这包括快速发展的基于神经网络的端到端语音识别系统。与成人语音相比,儿童语音识别由于在声学和语言特征方面的更大的说话者内-间可变性而更具挑战性。此外,缺乏足够和适当的儿童语音资源增加了设计鲁棒的端到端神经架构的挑战。本研究通过对当代最先进的端到端语音识别系统的实证研究,对儿童自动语音识别进行了严格的评估。洞察方面的训练数据的要求,适应儿童数据,儿童年龄的影响,话语长度,不同的架构和损失函数的端到端系统和语言模型的作用上的语音识别性能。
2021-02-19 cs.SD eess.AS
MuAViC: A Multilingual Audio-Visual Corpus for Robust Speech Recognition and Robust Speech-to-Text Translation
Meta AI
我们介绍MuAViC,一个多语言的视听语料库,用于强大的语音识别和强大的语音到文本的翻译,提供1200小时的视听语音在9种语言。它完全转录,涵盖6个英语到X的翻译以及6个X到英语的翻译方向。据我们所知,这是第一个视听语音到文本翻译的开放基准,也是多语言视听语音识别的最大开放基准。我们的基线结果表明,MuAViC是有效的建立噪声鲁棒的语音识别和翻译模型。我们在https://github.com/facebookresearch/muavic上提供语料库。
2023-03-07 cs.CL eess.AS
State-of-the-art Speech Recognition using EEG and Towards Decoding of Speech Spectrum From EEG
Brain Machine Interface Lab(脑机接口实验室);The University of Texas at Austin(得克萨斯大学奥斯汀分校)
在本文中,我们首先展示了连续噪声语音识别使用脑电图(EEG)信号的英语词汇使用不同类型的最先进的端到端自动语音识别(ASR)模型,我们进一步提供了使用不同的实验条件下记录的EEG数据获得的结果。最后,我们展示了使用基于长短期记忆(LSTM)的回归模型和基于生成对抗网络(GAN)的模型从EEG信号解码语音频谱。我们的研究结果表明,在不同的实验条件下,连续噪声语音识别的EEG信号的可行性,我们提供了初步的结果,从EEG特征的语音合成。
2020-03-04 cs.SD eess.AS
Reducing over-smoothness in speech synthesis using Generative Adversarial Networks
Novosibirsk State University(新西伯利亚国立大学)
语音合成在许多实际应用中有着广泛的应用。近年来,语音合成技术发展迅速。然而,合成语音不自然的原因之一是它经常具有过度平滑。为了提高合成语音的自然度,首先提取语音的mel-声谱图并将其转换为真实图像,然后将过平滑的mel-声谱图图像作为输入,使用图像到图像翻译生成对抗网络(GANs)框架生成更真实的mel-声谱图。实验结果表明,该方法大大降低了合成语音的过平滑度,使合成语音的梅尔谱图更接近真实语音。
2018-12-17 cs.SD eess.AS
Interactive spatial speech recognition maps based on simulated speech recognition experiments
Universität Oldenburg(奥尔登堡大学)
在日常生活中,人类听者的语音识别性能受到各种因素的影响,例如声学环境、说话者和听者的位置、可能受损的听力以及可选的听力设备。预测模型更接近于同时考虑所有需要的因素来预测复杂声学环境中的个体语音识别性能。虽然这样的预测对于严肃的应用可能仍然不够准确,但它们已经可以执行并且需要可访问的表示。在这方面的贡献,语音识别性能的交互式表示提出,它侧重于听众的头部方向和空间维度的声学场景。包括声学渲染模型、听力设备模型和收听者模型的示例性建模工具链被用于生成用于演示目的的数据集。使用空间语音识别地图来探索该数据集,证明了该方法观察可能相关行为的适用性。所提出的表示提供了一个合适的目标,比较和验证不同的建模方法在生态相关的上下文中。最终,它可以作为一种工具,在考虑语音通信的空间和设备的设计中使用经过验证的预测模型。
2021-04-01 cs.SD eess.AS
Sentiment-Aware Automatic Speech Recognition pre-training for enhanced Speech Emotion Recognition
Amazon(亚马逊公司)
提出了一种新的语音情感识别多任务预训练方法。我们在自动语音识别(ASR)和情感分类任务上同时预训练SER模型,以使声学ASR模型更具"情感意识“。我们使用在公开数据上训练的文本到情感模型来生成情感分类的目标。最后,我们对情感注释语音数据的声学ASR进行微调。我们在MSP播客数据集上评估了所提出的方法,在那里我们实现了最好的一致性相关系数(CCC)为0.41的效价预测。
2022-01-27 cs.CL cs.SD eess.AS
Adversarial Privacy Protection on Speech Enhancement
College of Information Science and Engineering, Ningbo University(宁波大学信息科学与工程学院)
语音很容易在不知不觉中泄露,比如在不同的情况下被手机录下来。语音中的隐私内容可能通过语音增强技术被恶意提取。语音增强技术随着深度神经网络(DNN)的发展而迅速发展,但对抗性示例可能会导致DNN失败。在这项工作中,我们提出了一个对抗性的方法来降低语音增强系统。实验结果表明,生成的对抗性样例可以擦除原样例中的大部分内容信息,或者通过语音增强用目标语音内容替换。增强后的原始样本与增强后的对抗样本识别结果之间的单词出错率(WER)可达89.0%。增强对抗样本与目标样本的目标攻击WER较低,为33.75%。对抗扰动可以使原始示例的变化率超过1.4430。这项工作可以防止语音的恶意提取。
2022-06-16 cs.CR cs.LG cs.SD
Adversarial speech for voice privacy protection from Personalized Speech generation
University of Science and Technology of China (USTC)(中国科学技术大学);The Hong Kong Polytechnic University(香港理工大学)
本文提出基于I-FGSM对抗攻击的说话人保护方法,通过最小扰动语音使YourTTS无法生成目标说话人声音,实验验证了其有效性。
2024-01-22 cs.SD eess.AS
Adversarial Speaker-Consistency Learning Using Untranscribed Speech Data for Zero-Shot Multi-Speaker Text-to-Speech
Seoul National University(首尔大学)
最近提出的几种文本转语音(TTS)模型能够在单说话人和多说话人的TTS场景中生成具有人类水平质量的语音样本。然而,将新说话者的语音与单个参考音频合成,通常称为zero-shot多说话者文本转语音(ZSM-TTS),仍然是一项非常具有挑战性的任务。ZSM-TTS的主要挑战是新说话人语音生成时的说话人域偏移问题。为了缓解这个问题,我们提出了对抗性说话者一致性学习(ASCL)。所提出的方法首先在每次训练迭代中使用外部未转录数据集生成查询说话者的附加语音。然后,该模型通过采用对抗学习方案来学习一致地生成同一说话人的语音样本作为相应的说话人嵌入向量。实验结果表明,该方法是有效的相比基线的质量和说话人相似度在ZSM-TTS。
2022-11-22 cs.SD eess.AS
The RoyalFlush Automatic Speech Diarization and Recognition System for In-Car Multi-Channel Automatic Speech Recognition Challenge
Hithink RoyalFlush AI Research Institute(日立金科AI研究院)
本文提出 RoyalFlush 车载多通道 ASR 挑战赛系统,结合端到端说话人日志分离与自监督表示的 ASR 模型,显著降低 DER,并在两条赛道取得优异 CER 与 cpCER。
2024-05-09 cs.SD eess.AS
Speech frame implementation for speech analysis and recognition
Tomsk State University of Control Systems and Radioelectronics(托木斯克国立控制系统与无线电电子大学)
所创建的语音帧的显著特征是:能够考虑说话者的情绪状态,支持与说话者的语音形成道的疾病一起工作,以及存在对许多语音信号的手动分段。此外,该系统专注于俄语语音材料,与大多数类似物不同。
2021-12-15 cs.SD eess.AS
Augmenting Polish Automatic Speech Recognition System With Synthetic Data
Samsung R&D Institute Poland(三星波兰研发研究院);Samsung AI Center Warsaw(三星华沙人工智能中心)
针对Poleval 2024波兰语自动语音识别挑战赛,研究提出基于Voicebox的语音合成流水线,用合成数据增强Conformer和Whisper模型,证实该方法可显著提升识别效果并给出竞赛最终成绩。
2024-10-30 cs.SD eess.AS
Aphasic Speech Recognition using a Mixture of Speech Intelligibility Experts
University of Michigan, Ann Arbor(密歇根大学安娜堡分校)
鲁棒的语音识别是自动失语语音分析中语义特征提取的关键前提。然而,标准的通用自动语音识别模型在应用于失语症语音时表现不佳。这样做的一个原因是由于不同的严重程度(即,更高的严重性使其本身更难理解)。为了解决这个问题,我们提出了一种新的声学模型的基础上的混合专家(MoE),它处理不同的可懂度阶段,目前在失语症的语音明确定义的严重程度为基础的专家。在测试时,每个专家的贡献是决定通过估计语音清晰度与语音清晰度检测器(SID)。我们表明,我们提出的方法显着降低了电话错误率在失语症语音的所有严重程度阶段相比,基线方法,不将严重程度的信息到建模过程中。
2020-08-25 cs.SD eess.AS
Sequence-Level Unsupervised Training in Speech Recognition: A Theoretical Study
本文提出了一种基于分类误差界限的序列级交叉熵损失,用于无监督语音识别的理论分析与实验验证。
2026-03-02 cs.LG cs.SD eess.AS
The History of Speech Recognition to the Year 2030
从2010年到2020年的十年间,自动语音识别取得了显著的进步。许多人现在每天都在使用语音识别,例如执行语音搜索查询,发送短信,以及与亚马逊Alexa和苹果Siri等语音助手进行交互。在2010年之前,大多数人很少使用语音识别。在过去的十年里,语音识别发生了巨大的变化,我们对未来的十年有何期待?我试图预测到2030年语音识别的研究和应用状况。虽然一般语音识别准确性的变化不会像前十年那样引人注目,但我认为我们面前的语音技术将迎来一个令人兴奋的十年。
2021-07-30 cs.CL cs.SD eess.AS
Streaming Decoder-Only Automatic Speech Recognition with Discrete Speech Units: A Pilot Study
Northwestern Polytechnical University(西北工业大学);Du Xiaoman Financial(度小满金融)
本文提出一种基于离散语音单元和专用边界token的流式仅解码器ASR模型,通过因果注意力掩码、右块注意力及数据增强,在AISHELL数据集上取得与非流式方法相当的性能。
2024-06-27 cs.SD eess.AS
Exploring Generative Error Correction for Dysarthric Speech Recognition
Kore University of Enna(科雷大学恩纳分校);Politecnico di Torino(托里诺理工学院);Università di Palermo(巴勒莫大学)
针对构音障碍语音识别难题,提出结合先进ASR模型与LLM生成式纠错的两阶段框架,并在语音可访问性项目数据集上验证了其在结构化与自发语音上的有效性。
2025-05-26 cs.CL eess.AS
VSEGAN: Visual Speech Enhancement Generative Adversarial Network
vivo AI Lab(vivo人工智能实验室);Trinity College Dublin(都柏林大学三一学院)
语音增强是提高噪声环境下语音质量的一项重要任务。由于语音的视觉方面基本上不受声学环境的影响,因此几种现有技术的方法已经引入了用于语音增强的视觉信息。本文提出了一种新的框架,涉及语音增强的视觉信息,通过结合生成对抗网络(GAN)。具体地说,提出的视觉语音增强GAN由两个以对抗方式训练的网络组成:i)一个采用多层特征融合卷积网络增强输入含噪语音的生成器,ii)一个采用最小化纯净语音信号和增强语音信号分布之间差异的改进器。实验结果表明,该模型的性能优于几个国家的最先进的
2022-04-20 cs.SD eess.AS eess.IV
Transferability of Adversarial Attacks on Synthetic Speech Detection
Ningbo University(宁波大学)
合成语音检测是音频安全领域的重要研究课题之一。同时,深度神经网络容易受到对抗攻击的攻击。因此,我们建立了一个全面的基准来评估合成语音检测任务上的对抗攻击的可转移性。具体而言,我们试图研究:1)不同功能之间的对抗攻击的可转移性。2)不同特征提取超参数对对抗攻击可转移性的影响。3)裁剪或自填充操作对对抗攻击可转移性的影响。通过这些分析,我们总结了合成语音检测器的弱点和对抗攻击的可转移性行为,为未来的研究提供了见解。更多细节可以在https://gitee.com/djc_QRICK/Attack-Transferability-On-Synthetic-Detection上找到。
2022-05-16 cs.CR cs.SD eess.AS
Adversarial Learning of Raw Speech Features for Domain Invariant Speech Recognition
Indraprastha Institute of Information Technology(英德拉普拉斯塔信息技术学院);Synaptitude Brain Health(Synaptitude大脑健康公司);Verisk Analytics(Verisk分析公司)
基于神经网络的声学建模的最新进展已经显示出自动语音识别(ASR)性能的显著改进。为了使声学模型能够处理大的声学变化,大量的标记数据是必要的,这通常是昂贵的获得。本文探讨了对抗性训练的应用,以从原始语音中学习对声学变化不变性的特征。这种声学变化在本文中被称为域移位。本文提出的实验研究利用了域对抗神经网络(DANN)的架构[1],该架构使用来自两个不同域的数据。DANN是一个Y形网络,由一个多层CNN特征提取器模块组成,该模块对标签(senone)分类器和所谓的域分类器是通用的。在多个数据集上评估DANN的效用,这些数据集具有由于性别和说话者口音差异而引起的域偏移。有前途的实证结果表明,对抗训练的强度在ASR中的无监督域适应,从而强调了DANN从原始语音学习域不变特征的能力。
2018-05-21 cs.SD eess.AS
LeVoice ASR Systems for the ISCSLP 2022 Intelligent Cockpit Speech Recognition Challenge
本文介绍了LeVoice自动语音识别系统,以跟踪2022年智能驾驶舱语音识别挑战赛2。Track 2是一个语音识别任务,对模型大小的范围没有限制。我们的主要观点包括基于深度学习的语音增强,基于文本到语音的语音生成,通过各种技术进行训练数据增强和语音识别模型融合。对混合架构和两种端到端架构进行了比较和融合。对于端到端建模,我们使用基于连接主义时间分类/基于注意力的编码器-解码器架构和递归神经网络换能器/基于注意力的编码器-解码器架构的模型。这些模型的性能评估与一个额外的语言模型,以提高单词错误率。结果表明,该系统在挑战测试集数据上的字符错误率为10.2%,在提交的挑战系统中排名第三。
2022-10-17 cs.SD eess.AS
Speech Emotion Recognition with ASR Integration
本研究通过整合自动语音识别技术提升语音情感识别的鲁棒性、可扩展性和实用性。
2026-02-28 cs.SD eess.AS
Mel Frequency Spectral Domain Defenses against Adversarial Attacks on Speech Recognition Systems
USC Ming Hsieh Department of Electrical and Computer Engineering(南加州大学明谢电子与计算机工程系)
最近的各种工作已经研究了深度神经网络对对抗性攻击的防御,特别是在图像处理领域。诸如自动语音识别(ASR)等语音处理应用越来越依赖于深度学习模型,因此也容易受到对抗性攻击。然而,许多针对ASR探索的防御只是适应图像域防御,这可能无法提供最佳的鲁棒性。本文探讨了使用梅尔频谱域的语音特定的防御,并介绍了一种新的防御方法称为梅尔域噪声淹没(MDNF)。MDNF在重新合成音频信号之前将加性噪声应用于语音话语的梅尔频谱图。我们测试了对强白盒对抗攻击(如投影梯度下降(PGD)和Carlini-Wagner(CW)攻击)的防御,并在强威胁模型中显示出比随机平滑基线更好的鲁棒性。
2022-03-29 cs.LG eess.AS
Large Vocabulary Spontaneous Speech Recognition for Tigrigna
Adama Science and Technology University(阿达玛科技大学);Addis Ababa University(亚的斯亚贝巴大学)
该论文旨在为提格里尼亚语开发说话人无关的自发语音识别系统,使用Sphinx工具构建声学模型,并用SRIM工具构建语言模型。
2023-10-15 cs.LG cs.SD eess.AS
Evaluating Gammatone Frequency Cepstral Coefficients with Neural Networks for Emotion Recognition from Speech
Ravenwood High School(雷文伍德高中)
当前语音情感识别的方法集中于能够捕获语音信号的情感内容的语音特征。梅尔倒谱系数(MFCC)是音频语音识别和分类中最常用的表示之一。本文提出了伽玛音频倒谱系数(GFCC)作为一个潜在的更好的表示语音信号的情感识别。MFCC和GFCC表示的有效性进行了比较和评估的情感和强度分类任务与完全连接和循环神经网络架构。实验结果证明了GFCC在语音情感识别中的性能优于MFCC。
2018-06-23 cs.CL cs.SD eess.AS
Adjust-free adversarial example generation in speech recognition using evolutionary multi-objective optimization under black-box condition
Kagoshima University(鹿儿岛大学)
针对自动语音识别系统,本文提出一种黑盒对抗攻击方法,利用进化多目标优化生成对时间滞后鲁棒、无需调整播放时机的对抗样本。
2020-12-22 cs.CL cs.SD eess.AS
Adversarially learning disentangled speech representations for robust multi-factor voice conversion
Huya Inc.(虎牙公司)
将语音分解为分离的语音表示是实现语音转换(VC)中高度可控的风格转换的关键。传统的语音表示学习方法只将语音分解为说话人和内容,缺乏对其他韵律相关因素的控制。现有的语音表征学习方法主要采用随机重排序和ad-hoc瓶颈层大小调整等解纠缠算法,但难以保证鲁棒的语音表征解纠缠。为了提高VC中高度可控的风格迁移对多个因素的鲁棒性,我们提出了一个基于对抗学习的分离式语音表示学习框架。四个语音表示特征的内容,音色,节奏和音高提取,并进一步解开对抗掩码和预测(MAP)网络启发BERT。对抗性网络通过随机掩蔽和预测其中一个表示来最小化语音表示之间的相关性。实验结果表明,该框架显著提高了VC对多种因素的鲁棒性,语音质量MOS从2.79提高到3.30,MCD从3.89降低到3.58.
2021-08-20 cs.LG cs.SD eess.AS
Thinking in Directivity: Speech Large Language Model for Multi-Talker Directional Speech Recognition
Center for Robust Speech Systems (CRSS)(鲁棒语音系统中心)
本文提出directional-SpeechLlama,利用智能眼镜麦克风阵列,通过序列化方向输出训练和对比方向数据增强,实现多说话人方向性语音识别与声源定位。
2025-06-17 cs.AI eess.AS
iMetricGAN: Intelligibility Enhancement for Speech-in-Noise using Generative Adversarial Network-based Metric Learning
National Institute of Informatics(国立信息学研究所);SOKENDAI(综合研究大学院大学);Academia Sinica(中央研究院)
自然语音的可懂度在暴露于不利的噪声环境时会严重降低。在这项工作中,我们提出了一种基于深度学习的语音修改方法来补偿可懂度损失,其约束条件是在修改之前和之后保持语音信号的均方根(RMS)水平和持续时间。具体来说,我们利用iMetricGAN方法来优化生成对抗网络(GANs)的语音可懂度指标。实验结果表明,所提出的iMetricGAN优于传统的国家的最先进的算法方面的客观措施,即,在食堂噪声条件下,以比特为单位的语音可懂度(SIIB)和扩展的短时客观可懂度(ESTOI)。此外,正式的听力测试显示显着的清晰度增益时,噪音和混响存在。
2020-04-07 cs.SD eess.AS
Robust Raw Waveform Speech Recognition Using Relevance Weighted Representations
Indian Institute of Science(印度科学研究所)
在噪声和信道失真的情况下的语音识别通常是具有挑战性的,因为当前的声学建模方案不适应于在存在噪声的情况下信号分布的变化。在这项工作中,我们开发了一种新的声学建模框架噪声鲁棒语音识别的基础上相关加权机制。使用子网络方法执行特征选择来实现相关性加权。在对原始语音信号进行操作的卷积网络模型的第一层的输出上应用相关子网络,而在第二卷积层输出上应用第二相关子网络。第一层的相关性权重对应于声学滤波器组选择,而第二层中的相关性权重执行调制滤波器选择。该模型被训练用于对有噪声和混响语音的语音识别任务。在多个数据集(Aurora-4、CHiME-3、VOiCES)上的语音识别实验表明,在神经网络架构中结合相关性加权显著改善了语音识别单词错误率(相对于基线系统平均相对改善10%)。
2020-10-29 cs.SD eess.AS
On the robustness of non-intrusive speech quality model by adversarial examples
Research Center for Information Technology Innovation, Academia Sinica(中央研究院资讯科技创新研究中心)
最近已经表明,基于深度学习的模型在语音质量预测上是有效的,并且可以在各种方面优于传统的度量。虽然网络模型有可能成为复杂人类听觉感知的替代品,但它们可能包含预测的不稳定性。这项工作表明,深度语音质量预测器可能容易受到对抗性扰动的影响,其中与语音输入相比,预测可能会因小至$-30$ dB的不明显扰动而急剧变化。除了暴露深度语音质量预测因子的脆弱性外,我们还进一步探索和确认对抗训练对于增强模型鲁棒性的可行性。
2022-11-11 cs.LG cs.SD eess.AS
Robust Federated Learning Against Adversarial Attacks for Speech Emotion Recognition
Imperial College London(伦敦帝国理工学院);Leibniz University Hannover(汉诺威莱布尼茨大学);L3S Research Center(L3S研究中心);University of Augsburg(奥格斯堡大学)
由于机器学习和语音处理的发展,语音情感识别成为近年来的研究热点。然而,在语音情感识别的物联网应用中,语音数据在服务器上上传和处理时无法得到保护。此外,深度神经网络已被证明易受人类无法区分的对抗性扰动的影响。由扰动产生的对抗攻击可能导致深度神经网络错误地预测情绪状态。我们提出了一种新的联邦对抗学习框架,用于保护数据和深度神经网络。拟议的框架包括:i)用于数据隐私的联邦学习,以及ii)用于模型鲁棒性的训练阶段的对抗训练和测试阶段的随机化。实验结果表明,该框架能够有效地保护语音数据的局部安全,提高模型对一系列对抗攻击的鲁棒性。
2022-03-09 cs.LG cs.SD eess.AS
Unsupervised Speech Enhancement with speech recognition embedding and disentanglement losses
The Graduate Center, CUNY(纽约市立大学研究生中心);Microsoft Research(微软研究院)
语音增强最近通过各种深度学习方法取得了巨大成功。然而,大多数传统的语音增强系统是用监督方法训练的,这带来了两个重大挑战。首先,用于语音增强系统的大多数训练数据集是合成的。当混合干净的语音和嘈杂的语料库来创建合成数据集时,在嘈杂的语音或音频的合成和真实世界的记录之间发生域不匹配。其次,在提高语音增强性能和降低语音识别(ASR)性能之间存在权衡。因此,我们提出了一个无监督的损失函数来解决这两个问题。我们的函数是通过扩展MixIT损失函数与语音识别嵌入和解纠缠损失来开发的。我们的研究结果表明,该函数有效地提高了语音增强的性能相比,在嘈杂的VoxCeleb数据集上的监督方式训练的基线。虽然完全无监督训练无法超过相应的基线,但通过联合超级和无监督训练,系统能够实现与最佳监督基线相似的语音质量和更好的ASR性能。
2022-02-19 cs.SD eess.AS
Joint Speaker Counting, Speech Recognition, and Speaker Identification for Overlapped Speech of Any Number of Speakers
Microsoft Corp.(微软公司)
本文提出了一个端到端的说话人属性自动语音识别模型,该模型将说话人计数、语音识别和说话人识别统一在单声道重叠语音上。我们的模型是建立在序列化输出训练(SOT)与基于注意力的编码器-解码器,最近提出的方法,用于识别重叠的语音,包括任意数量的扬声器。我们通过引入一个扬声器库存作为辅助输入,以产生扬声器标签以及多扬声器transmittance扩展SOT。所有模型参数均采用说话人属性最大互信息准则进行优化,该准则代表了重叠语音识别和说话人识别的联合概率。在LibriSpeech语料库上的实验表明,该方法在说话人属性的误识率上明显优于分别进行重叠语音识别和说话人识别的基线方法。
2020-08-08 cs.CL cs.SD eess.AS
JTubeSpeech: corpus of Japanese speech collected from YouTube for speech recognition and speaker verification
The University of Tokyo(东京大学);Technical University of Munich(慕尼黑工业大学);Tokyo Metropolitan University(东京都立大学);Carnegie Mellon University(卡内基梅隆大学)
本文构建了一个新的日语语音语料库“JTubeSpeech”。“虽然最近的端到端学习需要大型语音语料库,但尚未建立英语以外语言的开源语料库。在本文中,我们描述了一个语料库的建设从YouTube视频和字幕的语音识别和说话人验证。我们的方法可以自动过滤视频和字幕,几乎没有语言依赖的过程。我们一贯采用基于连接主义时间分类(CTC)的自动语音识别(ASR)和自动说话人验证(ASV)的基于说话人变异的方法的技术。我们建立了1)一个大规模的日本ASR基准,拥有超过1,300小时的数据,2)日本ASV的900小时数据。
2021-12-17 cs.SD eess.AS
Speaker Mask Transformer for Multi-talker Overlapped Speech Recognition
National Institute of Information and Communications Technology (NICT)(日本国立信息通信技术研究所)
针对多说话人重叠语音识别需同时解决语音识别与说话人日志的难题,提出带说话人掩码分支的自回归Transformer模型,可单模型同时完成两项任务,在LibriSpeech重叠数据集上验证了有效性,尤其提升复杂场景下说话人日志准确率。
2023-12-18 cs.CL cs.SD eess.AS
End-to-End Integration of Speech Recognition, Speech Enhancement, and Self-Supervised Learning Representation
Carnegie Mellon University(卡内基梅隆大学);Yahoo Japan Corporation(雅虎日本公司)
本文提出了一种端到端(E2 E)的自动语音识别(ASR)模型,该模型以鲁棒的语音识别为目标,称为增强语音输入的集成语音识别自监督学习表示(IRIS)。与传统的E2 E ASR模型相比,该模型集成了语音增强(SE)和自监督学习表示(SSLR)两个重要模块。SE模块增强带噪语音。然后,SSLR模块从增强的语音中提取用于语音识别(ASR)的特征。为了对模型进行训练,我们建立了一个有效的学习方案。单声道CHiME-4任务的评估结果表明,IRIS模型在单声道CHiME-4基准测试中实现了文献报道的最佳性能(实际开发为2.0%,实际测试为3.9%),这要归功于强大的预训练SSLR模块和微调的SE模块。
2022-04-01 cs.CL cs.SD eess.AS
Data Augmentation with Locally-time Reversed Speech for Automatic Speech Recognition
The Chinese University of Hong Kong(香港中文大学)
心理声学研究表明,局部时间反转(LTR)语音,即,在短段内时间反转的信号样本可以被人类收听者准确地识别。本研究解决了最先进的自动语音识别(ASR)系统对LTR语音的性能如何的问题。其基本目标是探索在端到端(E2 E)ASR模型的训练中部署LTR语音的可行性,作为提高识别性能的数据增强的尝试。本研究从实验开始,以了解LTR语音对通用ASR的影响。呈现并评估具有5 ms - 50 ms的反转段持续时间的LTR语音。对于使用LTR语音的ASR训练数据增强,通过将自然语音与LTR语音的不同分区组合来创建训练集。在不同语言和说话风格的语音语料库上的ASR结果证实了数据增强的有效性。研究发现,在15 ms - 30 ms的反向段长的LTR语音上的ASR比在其他段长的LTR语音上的ASR具有更低的错误率。使用这些LTR语音的数据增强实现了对ASR性能的满意和一致的改善。
2021-10-09 cs.SD eess.AS
Speech-Mamba: Long-Context Speech Recognition with Selective State Spaces Models
Institute for Infocomm Research, Agency for Science, Technology;Research (A STAR), Singapore
针对Transformer模型处理长语音序列复杂度高的问题,提出Speech-Mamba架构,通过融合选择性状态空间模型与Transformer低层特征,实现近线性扩展并显著提升长程依赖建模能力。
2024-09-27 cs.SD eess.AS
Advancing Speech Recognition With No Speech Or With Noisy Speech
Brain Machine Interface Lab The University of Texas at Austin(德克萨斯大学奥斯汀分校脑机接口实验室)
在本文中,我们展示了端到端的连续语音识别(CSR)使用脑电图(EEG)信号,没有语音信号作为输入。实现了基于注意模型的自动语音识别(ASR)和基于连接主义时间分类(CTC)的ASR系统,用于执行识别。我们进一步证明CSR的嘈杂的语音融合EEG功能。
2020-03-15 cs.CL cs.LG cs.SD
Improving Speech Recognition on Noisy Speech via Speech Enhancement with Multi-Discriminators CycleGAN
University of Stuttgart(斯图加特大学)
本文介绍了我们最新的研究,提高自动语音识别的噪声语音通过语音增强。我们提出了一种新的方法称为多鉴别器CycleGAN,以减少输入语音的噪声,从而提高自动语音识别的性能。我们提出的方法利用CycleGAN框架进行语音增强,而不需要任何并行数据,并通过引入多个鉴别器来检查不同的频率区域来改进它。此外,我们表明,在训练数据的同质子集上训练多个生成器优于在所有训练数据上训练一个生成器。我们在CHiME-3数据集上评估了我们的方法,并在开发集上观察到高达10.03%的相对WER改善,在评估集上观察到高达14.09%。
2021-12-12 cs.CL cs.SD eess.AS
Reference-free Adversarial Sex Obfuscation in Speech
EURECOM
针对语音性别转换的隐私风险,提出无参考对抗性性别混淆方法RASO,通过性别条件对抗学习与显式正则化解耦语言内容与性别声学标记,保留内容并优于现有方法。
2025-08-04 cs.SD eess.AS
DeepTalk: Vocal Style Encoding for Speaker Recognition and Speech Synthesis
Michigan State University(密歇根州立大学)
自动说话人识别算法通常使用对语音产生的生理和解剖方面进行编码的短期频谱特征来表征语音音频。这样的算法不完全利用行为语音特征中存在的说话者相关特性。在这项工作中,我们提出了一个名为DeepTalk的韵律编码网络,用于直接从原始音频数据中提取声乐风格特征。DeepTalk方法在多个具有挑战性的数据集上优于几种最先进的说话人识别系统。通过将DeepTalk与最先进的基于生理语音特征的说话人识别系统相结合,进一步提高了说话人识别性能。我们还将DeepTalk集成到当前最先进的语音合成器中,以生成合成语音。对合成语音的详细分析表明,DeepTalk捕获了对声乐风格建模至关重要的F0轮廓。此外,基于DeepTalk的合成语音在说话人识别的背景下几乎无法与真实语音区分开来。
2021-02-14 cs.LG cs.SD eess.AS
Speech Recognition with Augmented Synthesized Speech
Google(谷歌公司)
最近Tacotron语音合成结构及其变体在产生自然发声的多说话者合成语音方面的成功已经提高了替代用于训练语音识别器的昂贵的、手动转录的、特定领域的人类语音的令人兴奋的可能性。多说话者语音合成架构可以学习从输入声学表示导出的韵律、说话者和风格变化的潜在嵌入空间,从而允许对合成语音的操纵。在本文中,我们评估的可行性,提高语音识别性能使用语音合成使用两个语料库从不同的领域。我们探索算法,以提供必要的声学和词汇的多样性需要强大的语音识别。最后,我们证明了这种方法的可行性,作为一个数据增强策略域转移。我们发现,语音识别性能的改善是可以实现的,通过增加合成材料的训练数据。然而,在人类语音训练的识别器与合成语音训练的识别器之间的性能仍然存在很大的差距。
2019-09-25 cs.CL cs.SD eess.AS
MoLE : Mixture of Language Experts for Multi-Lingual Automatic Speech Recognition
NAVER Cloud(NAVER 云)
多语言语音识别的目标是区分不同语言的语言表达,同时集成声学处理。相比之下,当前的多语言语音识别研究遵循语言感知范式,主要针对提高识别性能而不是区分语言特征。在本文中,我们提出了一个多语言语音识别网络命名为混合的语音识别专家(MoLE),它在各种语言的语音识别。具体来说,MoLE从任意语言的输入语音中分析语言表达,使用轻量级语言标记器激活特定语言的专家。标记器不仅激活专家,而且还估计激活的可靠性。基于可靠性,激活的专家和语言不可知的专家聚集来表示语言条件的嵌入,用于高效的语音识别。我们提出的模型在5种语言的情况下进行评估,实验结果表明,我们的结构是有利的多语言识别,特别是在低资源语言的语音。
2023-02-27 cs.CL cs.SD eess.AS
Detecting Adversarial Attacks On Audiovisual Speech Recognition
Imperial College London(帝国理工学院)
对抗攻击对深度学习模型构成了威胁。然而,针对对抗性检测方法的研究,尤其是在多模态领域的研究非常有限。在这项工作中,我们提出了一个有效的和简单的检测方法的基础上的音频和视频流之间的时间相关性。其主要思想是,由于增加了对抗性噪声,对抗性示例中音频和视频之间的相关性将低于良性示例。我们使用同步置信度分数作为视听相关性的代理,并基于它,我们可以检测对抗攻击。据我们所知,这是第一个关于检测对视听语音识别模型的对抗攻击的工作。我们将最近的对抗攻击应用于在GRID和LRW数据集上训练的两个视听语音识别模型。实验结果表明,该方法是检测此类攻击的有效方法。
2021-02-12 cs.CV cs.SD eess.AS