Disappeared Command: Spoofing Attack On Automatic Speech Recognition Systems with Sound Masking
Tencent（腾讯）
深度学习技术的发展极大地促进了自动语音识别（ASR）技术的性能提升，在许多任务中已经展现出与人类听觉相当的能力。语音接口正变得越来越广泛地用作许多应用程序和智能设备的输入。然而，已有研究表明，DNN很容易受到轻微干扰的干扰而做出错误识别，这对于语音控制的智能语音应用来说是极其危险的。
2022-06-08 cs.AI cs.SD eess.AS
Revisiting joint decoding based multi-talker speech recognition with DNN acoustic model
Brno University of Technology（布尔诺理工大学）；NTT Corporation（日本电信电话株式会社）
在典型的多说话者语音识别系统中，基于神经网络的声学模型预测每个说话者的senone状态后验。这些稍后由单独应用于每个说话者特定输出流的单说话者解码器使用。在这项工作中，我们认为，这样的计划是次优的，并提出了一个原则性的解决方案，解码所有扬声器联合。我们修改声学模型来预测所有扬声器的联合状态后验，使网络能够表达语音信号的部分扬声器的属性的不确定性。我们采用了一个联合解码器，可以利用这种不确定性与更高层次的语言信息。为此，我们重温解码算法中使用的阶乘生成模型在早期的多说话者语音识别系统。与这些早期的工作相比，我们用DNN代替了GMM声学模型，DNN提供了更大的建模能力并简化了部分推理。我们展示了联合解码的优势，在混合TIDIGITS数据集上的概念验证实验。
2022-04-15 cs.LG cs.SD eess.AS
Deep Triphone Embedding Improves Phoneme Recognition
American Express Big Data Labs（美国运通大数据实验室）；TCS Research（塔塔咨询服务公司研究院）；American Express（美国运通）
在本文中，我们提出了一种新的深度三音子嵌入（DTE）表示来自深度神经网络（DNN）封装的判别信息存在于相邻的语音帧。DTE是使用四个隐藏层DNN生成的，在第一阶段每个隐藏层中有3000个节点。该DNN以绑定三音子分类精度作为优化标准进行训练。此后，对于每个语音MFCC帧，我们保留最后一个隐藏层的激活向量（3000），并执行降维以进一步获得300维表示，我们称之为DTE。DTE与MFCC特征一起被馈送到第二阶段的四个隐藏层DNN中，该DNN随后被训练用于捆绑三音子分类的任务。两个DNN都是使用从绑定状态三音素HMM-GMM系统生成的三音素标签进行训练的，通过在transmittance和MFCC特征帧之间执行强制对齐。我们在公开的TED-LIUM语音语料库上进行了实验。结果表明，提出的DTE方法提供了一个绝对的2.11%的改善，在音素识别，相比竞争力的混合捆绑状态三音HMM-DNN系统。
2017-10-24 cs.CL cs.LG cs.SD
Impact of Dataset on Acoustic Models for Automatic Speech Recognition
Manipal University Jaipur（马尼帕尔大学斋浦尔分校）
在自动语音识别中，GMM-HMM被广泛用于声学建模。随着当前深度学习的发展，声学模型中的高斯混合模型（GMM）已经被深度神经网络所取代，即DNN-HMM声学模型。GMM模型被广泛用于创建混合深度神经网络模型的训练数据的比对，从而使得创建精确比对成为一项重要任务。许多因素，例如训练数据集大小、训练数据增强、模型超参数等，影响模型学习。传统上，在机器学习中，较大的数据集往往具有更好的性能，而较小的数据集往往会触发过拟合。语音数据的收集及其准确的翻译是一项重大挑战，因语言而异，在大多数情况下，它可能仅限于大型组织。此外，在可用的大型数据集的情况下，使用此类数据训练模型需要额外的时间和计算资源，而这些时间和资源可能不可用。虽然关于最先进的ASR模型在开源数据集上的准确性的数据已经公布，但是关于数据集大小对声学模型的影响的研究还没有现成的。这项工作的目的是研究数据集大小的变化对各种GMM-HMM声学模型的性能及其各自的计算成本的影响。
2022-03-25 cs.CL cs.LG cs.SD
Speaker Identification by GMM based i Vector
Vidyasagar University（维迪亚萨加尔大学）
说话人辨识过程是从一组现有的说话人中识别出特定的声带。在说话人辨识过程中，未知说话人语音样本以系统中存在的每个现有说话人为目标，并给出预测。预测可以是多于一个现有的已知说话者语音，并且非常接近未知说话者语音。该模型是一个高斯混合模型建立从语音提取的声学特征向量。基于i向量的声道相关说话人的维度压缩映射函数和超向量根据与说话人的顺序对相关联的余弦距离评分给出更好的预测分数。在顺序对中，第一坐标是未知说话人，即测试说话人，第二坐标是现有的已知说话人，即目标说话人。本文提出了增强的预测的基础上的i向量相比，归一化的预测得分集。在模拟中，通过不同的渠道和不同的语言收集已知的扬声器语音。在测试中，在测试数据集中的多个聚类之间使用已知说话者的GMM语音模型和基于GMM的i-Vector说话者语音模型。
2017-04-12 cs.SD
Analysis of a Modern Voice Morphing Approach using Gaussian Mixture Models for Laryngectomees
本文提出了一种语音变形系统的人患有喉切除术，这是手术切除的全部或部分喉或声带，特别是在喉癌的情况下进行。语音变形的一种原始方法是提取源语音的系数，然后将其转换为目标说话人的语音参数。在本文中，我们部署高斯混合模型（GMM）的映射系数从源到目的地。然而，使用传统的/常规的基于GMM的映射方法导致转换后的语音的过度平滑的问题。因此，我们在此提出了一种独特的方法来执行有效的语音变形和转换的基础上GMM，它克服了传统的方法的过度平滑的影响。该方法采用了声门波形分离和激励预测技术，不仅消除了过平滑，而且变换后的声道参数与目标匹配。此外，发现这样获得的合成语音具有足够高的质量。因此，已经提出了基于独特的GMM方法的语音变形，并且还基于各种主观和客观评价参数进行了严格的评价。此外，本文还推荐了一种应用于喉切除者的语音变形方法。
2012-08-07 cs.MM cs.SD eess.AS
Syllable based DNN-HMM Cantonese Speech to Text System
The Hong Kong Polytechnic University（香港理工大学）
本文构建了基于音节声学模型的粤语语音转文本系统，采用 DNN-HMM 混合模型与 I-vector 说话人自适应技术，实验表明基于 ONC 的声学建模取得了 9.66% 词错率的最佳性能。
2024-02-13 cs.CL cs.SD eess.AS
Novel Hybrid DNN Approaches for Speaker Verification in Emotional and Stressful Talking Environments
University of Sharjah（沙迦大学）；Prince Sattam bin Abdulaziz University（萨塔姆·本·阿卜杜勒-阿齐兹亲王大学）；Bolu Abant Izzet Baysal University（博卢阿邦特·伊士德·贝萨尔大学）
在这项工作中，我们进行了一个实证性的比较研究的文本无关的说话人确认的性能在情绪和压力的环境。这项工作将深层模型与浅层架构相结合，从而产生了新颖的混合分类器。利用四种不同的混合模型：深度神经网络-隐马尔可夫模型（DNN-HMM）、深度神经网络-高斯混合模型（DNN-GMM）、高斯混合模型-深度神经网络（GMM-DNN）和隐马尔可夫模型-深度神经网络（HMM-DNN）。所有模型都基于新的实现架构。这项比较研究使用了三个不同的语音数据集：一个私人阿拉伯语数据集和两个公共英语数据库，即模拟和实际压力下的语音（SUSAS）和瑞尔森情绪语音和歌曲视听数据库（RAVDESS）。上述混合模型的测试结果表明，所提出的HMM-DNN利用了情感和压力环境中的验证性能。结果还显示，HMM-DNN在等出错率（EER）和曲线下面积（AUC）评估指标方面优于所有其他混合模型。基于三个数据集的平均结果验证系统基于HMM-DNN、DNN-HMM、DNN-GMM和GMM-DNN分别产生了7.19%、16.85%、11.51%和11.90%的EER。此外，我们发现，DNN-GMM模型表现出最小的计算复杂性相比，所有其他混合模型在两个谈话环境。相反，HMM-DNN模型需要最多的训练时间。研究结果还表明，EER和AUC值依赖于数据库时，比较平均情绪和压力的表现。
2021-12-26 cs.LG cs.SD eess.AS
Convolutional Speech Recognition with Pitch and Voice Quality Features
Universitat Pompeu Fabra（庞培法布拉大学）；Universitat de Barcelona（巴塞罗那大学）
在这项工作中，添加音高和语音质量特征，如抖动和闪烁的最先进的CNN模型的自动语音识别的影响进行了研究。音高特征以前曾被用于改进传统的HMM和DNN基线，而抖动和闪烁参数已被证明对说话人或情感识别等任务有用。据我们所知，这是第一个将这种音高和语音质量特征与现代卷积架构相结合的工作，对于公开的西班牙语普通语音和LibriSpeech 100h数据集，相对WER点分别提高了7%和3%。特别地，我们的工作将这些特征与梅尔频谱系数（MFSC）相结合，以训练具有门控线性单元（Conv GLU）的卷积架构。这种模型已经显示出产生小的单词错误率，同时非常适合在线流识别用例的并行处理。我们已经在Facebook的wav2letter语音识别框架中添加了音高和语音质量功能，我们向社区提供了这样的代码和配方，以进行进一步的实验。此外，据我们所知，我们的西班牙语通用语音食谱是wav2letter的第一个公共西班牙语食谱。
2020-11-10 cs.AI cs.LG cs.SD
Investigation of Frame Alignments for GMM-based Digit-prompted Speaker Verification
Tsinghua University（清华大学）；University of Kentucky（肯塔基大学）
在基于GMM的说话人确认中，帧对齐可以通过不同的方法来计算。通过结合语音高斯混合模型（PGMM），我们能够比较使用从深度神经网络（DNN）和传统的隐马尔可夫模型（HMM）在数字提示的说话人验证中提取的对齐的性能。基于这两种对齐的不同特点，我们提出了一种新的内容验证方法，以提高系统的安全性，而不需要太多的计算开销。我们在RSR 2015 Part-3数字提示任务上的实验表明，基于DNN的对齐与HMM对齐表现相当。实验结果也证明了所提出的基于Kullback-Leibler（KL）散度的评分方法在拒绝带有错误密码短语的语音时的有效性。
2018-09-02 cs.SD eess.AS
Transfer Learning from Adult to Children for Speech Recognition: Evaluation, Analysis and Recommendations
University of Southern California（南加利福尼亚大学）
儿童语音识别是具有挑战性的，主要是由于儿童的身体和发音特征和表达的固有高度可变性。由于儿童生活中快速变化的发展阶段，这种变化表现在声学结构和语言使用上。部分挑战是由于缺乏大量可用的儿童语音数据进行有效建模。本文试图在深度神经网络（DNN）框架下，利用从成人模型到儿童模型的迁移学习，解决儿童自动语音识别（ASR）任务在多个儿童语音语料库上的大词汇量评估的关键挑战。本文提出了一个系统的和广泛的分析建议迁移学习技术考虑到影响儿童的语音识别从以前的文献的关键因素。评估（i）早期GMM-HMM和较新的DNN模型的比较，（ii）标准自适应技术与迁移学习的有效性，（iii）各种自适应配置在解决儿童语音中存在的变化方面，（a）声学频谱变化，（b）发音变化和语言约束。我们的分析涵盖了（i）DNN模型参数的数量（用于适应），（ii）适应数据的数量，（iii）儿童的年龄，（iv）年龄依赖-独立适应。最后，我们提供了建议（i）在各种上述分析参数的有利策略，和（ii）潜在的未来研究方向和相关的挑战/问题，坚持在DNN为基础的ASR儿童的语音。
2018-05-08 cs.CL cs.SD eess.AS
DNN-based ensemble singing voice synthesis with interactions between singers
The University of Tokyo（东京大学）；Keio University（庆应义塾大学）；National Institute of Advanced Industrial Science and Technology (AIST)（国立先进工业科学技术研究所（AIST））；Meiji University（明治大学）
针对现有独唱歌声合成方法忽略歌手交互、拼接生成的合唱统一性不足的问题，提出一种基于多声部乐谱输入与交互模拟损失函数的DNN合唱SVS方法，有效提升了合唱的统一性。
2024-09-16 cs.SD eess.AS
Incorporating VAD into ASR System by Multi-task Learning
Megatronix(Beijing) Technology Co., Ltd.（兆芯（北京）科技有限公司）
在端到端自动语音识别（E2 E-ASR）系统的实际应用中，通常需要一个语音活动检测（VAD）系统来提高系统的性能，并通过丢弃音频中的非语音部分来降低计算开销。通常，ASR和VAD系统彼此独立地训练和使用。在本文中，我们提出了一种新的多任务学习（MTL）框架，将VAD到ASR系统。该系统在训练阶段学习ASR和VAD。在VAD的帮助下，ASR性能得到改善，因为其连接主义时间分类（CTC）损失函数可以利用VAD对齐信息。在推理阶段，该系统以较低的计算成本去除非语音部分，并具有较高的鲁棒性识别语音部分。实验结果表明，通过利用VAD信息，该方法优于基线ASR系统在英语和汉语数据集上的分割语音数据。在未分段的语音数据上，我们发现该系统的性能优于构建额外的基于GMM或基于DNN的语音活动检测器的ASR系统。
2022-09-30 cs.CL cs.SD eess.AS
V-Cloak: Intelligibility-, Naturalness- & Timbre-Preserving Real-Time Voice Anonymization
Zhejiang University（浙江大学）；Wuhan University（武汉大学）
在即时消息或社交媒体应用程序上生成的语音数据包含唯一的用户声纹，这些声纹可能会被恶意攻击者滥用，用于身份推断或身份盗窃。现有的语音匿名化技术，例如，信号处理和语音转换/合成遭受感知质量的降级。在本文中，我们开发了一个语音匿名化系统，命名为V-Cloak，它实现了实时的【形】语音匿名化，同时保持可懂度，自然度和音质的音频。我们设计的匿名器具有一个一次性生成模型，可以在不同的频率水平上调制原始音频的特征。我们用精心设计的损失函数来训练匿名者。除了匿名性损失，我们进一步纳入可懂度损失和基于心理声学的自然性损失。匿名器可以实现无目标和有目标的匿名，以达到不可识别和不可链接的匿名目标。我们在四个数据集上进行了广泛的实验，即，LibriSpeech（英语）、AISHELL（中文）、CommonVoice（法语）和CommonVoice（意大利语），五个自动说话人验证（ASV）系统（包括两个基于DNN的ASV、两个统计ASV和一个商业ASV），以及十一个自动语音识别（ASR）系统（针对不同语言）。实验结果表明，V-Cloak在匿名性能方面优于五个基线。我们还证明了仅在VoxCeleb 1数据集上训练的V-Cloak对ECAPA-TDNN ASV和DeepSpeech 2 ASR具有针对其他ASV的可转移匿名性和其他ASR的跨语言可理解性。此外，我们验证了V-Cloak对各种去噪技术和自适应攻击的…
2022-10-27 cs.AI cs.CR cs.SD
Parameterization of Sequence of MFCCs for DNN-based voice disorder detection
StethoMe（StethoMe公司）
在这篇文章中，提出了一个基于DNN的系统，用于检测三种常见的语音疾病（声带小结，息肉和囊肿;喉肿瘤;单侧声带麻痹）。算法的输入是持续元音/a：/的音频记录（至少3秒长）。该算法是作为远东纪念医院组织的“2018年FEMH语音数据挑战赛”的一部分开发的，并获得了77.44的得分值（在挑战规范中定义）。这是最终提交前的第二个最佳结果。在本文件编写期间，最终挑战结果尚不清楚。该文件还报告了最终提交的变更，将交叉验证的评分值提高了0.6%。
2018-12-14 cs.SD eess.AS
HEiMDaL: Highly Efficient Method for Detection and Localization of wake-words
Apple（苹果公司）
流式关键字识别是用于激活语音助理的广泛使用的解决方案。基于隐马尔可夫模型的深度神经网络（DNN-HMM）方法已被证明是有效的，并在该领域得到广泛采用，主要是因为它能够以低计算成本检测和识别唤醒词的开始和结束。然而，当DNN和HMM被独立训练时，这种混杂系统遭受损失度量失配。由于固有的马尔可夫操作风格，序列判别训练不能完全减轻损失度量不匹配。我们提出了一个低足迹的CNN模型，称为HEiMDaL，在流媒体条件下检测和本地化的关键字。我们引入了一个基于偏移的分类损失来检测关键字的出现，以及偏移损失来预测关键字的开始。HEiMDaL在检测指标方面减少了73%，同时具有与现有DNN-HMM风格模型相同的定位精度和内存占用。
2022-10-26 cs.LG cs.SD eess.AS
Information Theoretic Analysis of DNN-HMM Acoustic Modeling
本文提出了一个信息论框架，用于定量评估基于隐马尔可夫模型（HMM）的自动语音识别（ASR）的声学建模。声学建模针对语音声学特征的短时间窗口产生HMM子词状态的概率。我们将ASR转换为一个通信信道，其中输入子字概率传达有关输出HMM状态序列的信息。因此，声学模型的质量根据通过该信道传输的信息来量化。从子字概率推断最可能的HMM状态序列的过程称为解码。基于HMM的解码假设声学模型产生精确的状态级概率，并且给定潜在隐藏状态的数据分布独立于序列中的任何其他状态。我们量化1）声学模型的准确性和2）它的鲁棒性数据和HMM条件独立性假设之间的失配的一些互信息量。在这种情况下，利用深度神经网络（DNN）后验概率导致一个简单而直接的分析框架，以评估基于HMM的解码的声学模型的缺点。这种分析使我们能够评估高斯混合声学模型（GMM）和DNN中许多隐藏层的重要性，而无需任何显式语音识别。此外，它揭示了低维模型的贡献，以提高声学建模更好地遵守基于HMM的解码要求。
2017-11-08 cs.CL cs.LG cs.SD
Catch Me If You Can: Blackbox Adversarial Attacks on Automatic Speech Recognition using Frequency Masking
University of Edinburgh（爱丁堡大学）
自动语音识别（ASR）模型是普遍的，特别是在用于家用电器的语音导航和话音控制的应用中。ASR的计算核心是深度神经网络（DNN），已被证明易受对抗性扰动的影响;很容易被攻击者滥用以生成恶意输出。为了帮助测试ASRS的安全性和鲁棒性，我们提出了生成黑盒（与DNN无关）的技术，这些技术可以跨ASR进行无针对性的对抗攻击。这与专注于白盒目标攻击的现有工作形成对比，这些攻击耗时且缺乏可移植性。我们的技术生成对抗攻击，通过使用心理声学模型操纵音频信号，保持音频扰动低于人类感知的阈值，没有人类可听的差异。我们使用三种流行的ASR和两个输入音频数据集，使用的指标-字出错率（WER）的输出转录，原始音频的相似性，攻击成功率不同的ASR和检测分数的防御系统，我们的技术评估的可移植性和有效性。我们发现我们的对抗攻击可以跨ASR进行移植，不容易被最先进的防御系统检测到，并且在输出传输上有显著差异，同时听起来与原始音频相似。
2022-04-12 cs.CL cs.SD cs.SE
DNN-based cross-lingual voice conversion using Bottleneck Features
Indian Institute of Technology, Kharagpur（印度理工学院克勒格布尔分校）
跨语言语音转换（CLVC）是一个相当具有挑战性的任务，因为源和目标说话人说不同的语言。提出了一种基于瓶颈特征和深度神经网络（DNN）的CLVC框架。在所提出的方法中，从深度自动编码器（DAE）提取的瓶颈特征用于表示来自不同语言的语音信号的非特定人特征。DNN模型被训练以学习瓶颈特征与目标说话人的对应频谱特征之间的映射。该方法可以捕获特定于说话人的特征，因此在训练过程中不需要源说话人的语音数据。所提出的方法的性能进行评估，使用数据从三个印度语言：泰卢固语，泰米尔语和马拉雅拉姆语。实验结果表明，该方法优于基于高斯混合模型（GMM）的基线CLVC方法。
2019-09-10 cs.LG cs.SD eess.AS
Generative Moment Matching Network-based Random Modulation Post-filter for DNN-based Singing Voice Synthesis and Neural Double-tracking
The University of Tokyo（东京大学）；Tokyo Institute of Technology（东京工业大学）
本文提出了一种基于生成矩匹配网络（GMMN）的后置滤波器，为基于深度神经网络（DNN）的歌唱声合成提供话语间音高变化。人类歌唱声音的自然音高变化带来了更丰富的音乐体验，并用于双声道，这是一种记录方法，其中同一乐句的两次表演被记录和混合，以创造更丰富，层次感更强的声音。然而，使用传统的基于DNN的方法合成的歌唱声音永远不会变化，因为合成过程是确定性的，并且从一个乐谱仅合成一个波形。为了解决这个问题，我们使用GMMN来模拟自然歌唱声音的音调轮廓的调制频谱的变化，并将随机话语间变化添加到由传统的基于DNN的歌唱声音合成生成的音调轮廓。实验结果表明，1）我们的方法可以提供可感知的话语间的音高变化，同时保持语音质量。我们将我们的方法扩展到双重跟踪，并且评估表明2）基于GMMN的神经双重跟踪比传统的基于信号处理的人工双重跟踪在感知上更接近自然双重跟踪。
2019-02-09 cs.AI cs.LG cs.MM
V2S attack: building DNN-based voice conversion from automatic speaker verification
The University of Tokyo（东京大学）；Nippon Telegraph and Telephone Corporation（日本电报电话公司）
本文提出了一种新的语音模仿攻击使用语音转换（VC）。为自动说话人验证（ASV）注册个人语音提供了自然和灵活的生物识别认证系统。基本上，ASV系统不包括用户的语音数据。然而，如果ASV系统意外地暴露并被恶意攻击者攻击，则存在攻击者将使用VC技术来再现注册用户的语音的风险。我们将其命名为“验证到合成（V2S）攻击”，并建议使用ASV和预训练的自动语音识别（ASR）模型进行VC训练，而不需要目标说话人的语音数据。VC模型通过欺骗ASV模型来再现目标说话人的个性，并通过匹配由ASR模型预测的语音后验图来恢复输入语音的语音属性。实验评估比较转换的声音之间的建议的方法，不使用目标扬声器的语音数据和标准的VC，使用的数据。实验结果表明，该方法的性能优于现有的VC方法，使用非常少量的并行语音数据进行训练。
2019-08-05 cs.CR cs.LG cs.SD
Novel Cascaded Gaussian Mixture Model-Deep Neural Network Classifier for Speaker Identification in Emotional Talking Environments
University of Sharjah（沙迦大学）
本文提出了一种基于级联高斯混合模型-深度神经网络（GMM-DNN）的说话人识别方法，以提高情感说话环境中与文本无关的说话人辨识性能。我们目前的工作重点是提出，实现和评估一种新的方法，说话人辨识在情感说话环境的基础上级联高斯混合模型-深度神经网络作为分类器。结果指出，级联GMM-DNN分类器使用两个不同的语音数据库：阿联酋语音数据库（阿拉伯联合酋长国数据集）和模拟和实际压力下的语音（SUSAS）英语数据集，提高了各种情绪下的说话人辨识性能。该分类器在每个数据集上的性能优于经典的分类器，如多层感知器（MLP）和支持向量机（SVM）。基于级联的GMM-DNN已经获得的说话人辨识性能类似于从人类收听者的主观评估获得的性能。
2018-10-11 cs.SD
Sinsy: A Deep Neural Network-Based Singing Voice Synthesis System
Nagoya Institute of Technology（名古屋工业大学）
Sinsy是一个基于深度神经网络（DNN）的歌唱声音合成（SVS）系统。近年来，DNN已被用于统计参数SVS系统中，基于DNN的SVS系统已表现出比传统的基于隐马尔可夫模型的系统更好的性能。SVS系统需要合成具有严格遵循给定乐谱的音高和定时的歌唱声音。此外，乐谱上没有描述的歌唱表达，如颤音和定时波动，应该再现。该系统由四个模块组成：一个时滞模型，持续时间模型，声学模型，和声码器，和歌唱的声音可以合成考虑到这些特点的歌唱声音。为了更好地模拟歌唱的声音，所提出的系统采用了改进的方法来建模音高和颤音和更好的训练标准到声学模型。此外，我们将PeriodNet（一种对音高具有鲁棒性的非自回归神经声码器）纳入我们的系统中，以生成高保真的歌声波形。此外，我们提出了基于DNN的SVS的自动音高校正技术，即使训练数据有走调的短语，也可以合成具有正确音高的歌声。实验结果表明，我们的系统可以合成一个更好的时机，更自然的颤音，正确的音高，它可以在主观评价测试中取得更好的平均意见分数的歌声。
2021-08-05 cs.CL cs.LG cs.SD
High quality voice conversion using prosodic and high-resolution spectral features
Nanyang Technological University (NTU)（南洋理工大学）；Joint NTU-UBC Research Centre of Excellence in Active Living for the Elderly（南洋理工大学-不列颠哥伦比亚大学活跃老年生活卓越联合研究中心）
语音转换方法在过去十年中发展迅速。研究表明，说话人的特征可以通过频谱特征和各种韵律特征来获取。现有的转换方法大多集中在频谱特征上，因为它直接代表了音色特征，而一些转换方法只关注基频所代表的韵律特征。本文提出了一种使用深度神经网络转换音色和韵律特征的综合框架。音色特征由高分辨率光谱特征表示。韵律特征包括F0、强度和持续时间。众所周知，DNN是一个有用的工具来建模高维特征。在这项工作中，我们证明了通过我们提出的自动编码器预训练初始化的DNN会产生高质量的DNN转换模型。这种预训练是为语音转换量身定制的，并利用自动编码器来捕获源语音的通用频谱形状。此外，我们的框架使用分段DNN模型来捕获韵律特征随时间的演变。为了重建转换后的语音，由DNN模型产生的频谱特征与由DNN分段模型产生的三个韵律特征相结合。我们的实验结果表明，韵律和高分辨率的频谱特征的应用程序，导致质量转换语音的客观评价和主观听力测试。
2015-12-06 cs.SD
Audio to score matching by combining phonetic and duration information
Universitat Pompeu Fabra（庞培法布拉大学）
本文以京剧无伴奏合唱为例，利用语音信息和时长信息，探讨了歌唱乐句音频的乐谱匹配问题。我们认为，由于京剧音乐中每个调式都有一个基本的旋律轮廓，如果只使用旋律信息（如音高轮廓），会导致不确定的匹配。这使得我们提出了一个匹配的方法，使用语音和持续时间的信息的基础上。语音信息提取与声学模型形状与我们的数据，和持续时间的信息被认为是与隐马尔可夫模型（HALTH）的变种，我们调查。我们建立了一个模型，为每个歌词路径在我们的分数，我们实现了匹配的后验概率的解码最有可能的状态序列的排名。研究了三种声学模型：（i）卷积神经网络（CNN），（ii）深度神经网络（DNN）和（iii）高斯混合模型（GNN）。此外，两个持续时间模型进行了比较：（i）隐半马尔可夫模型（HSMM）和（ii）后处理器持续时间模型。结果表明，CNN在我们的（小）音频数据集中表现更好，HSMM也优于后处理器持续时间模型。
2017-07-12 cs.SD
Voice Conversion for Whispered Speech Synthesis
我们提出了一种合成耳语的方法，通过应用手工制作的信号处理配方和语音转换（VC）技术将正常发声的语音转换为耳语。我们研究使用高斯混合模型（GMM）和深度神经网络（DNN）来建模正常语音和耳语音的声学特征之间的映射。我们评估的自然度和扬声器的相似性转换耳语的内部语料库和公开可用的wTIMIT语料库。我们表明，应用VC技术是显着优于使用基于规则的信号处理方法，它实现的结果是无法区分的自然耳语录音复制合成。我们研究了DNN模型在使用来自多个说话者的数据进行训练时，对看不见的说话者进行概括的能力。我们表明，排除目标扬声器的训练集有很少或没有影响的感知自然度和扬声器的相似性转换的耳语。建议的DNN方法用于Amazon Alexa新发布的Whisper Mode。
2020-01-17 cs.CL cs.SD eess.AS
Spoof detection using time-delay shallow neural network and feature switching
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；SSN college of Engineering（SSN工程学院）
检测虚假语音是基于语音的生物特征识别中的一个基本问题。欺骗可以通过逻辑访问（如语音合成、语音转换）或通过物理访问（如重放预先记录的话语）来执行。受基于\emph{x}向量的说话人确认方法的启发，提出了一种时延浅层神经网络（TD-SNN）用于逻辑和物理访问的欺骗检测。所提出的TD-SNN系统相对于传统DNN系统的新颖性在于，它可以在测试期间处理可变长度的话语。在ASV-spoof-2019数据集上分析了所提出的TD-SNN系统和基线高斯混合模型（Gestival）的性能。系统的性能是衡量的最小归一化串联检测代价函数（min-t-DCF）。当研究单个功能时，TD-SNN系统在物理访问方面始终优于GMM系统。对于逻辑访问，GMM在某些特性上超过了TD-SNN系统。当结合决策层特征切换（DLFS）范式时，最佳TD-SNN系统在评估数据上优于最佳基线GMM系统，逻辑和物理访问的相对改善分别为48.03%和49.47%。
2020-01-23 cs.CR cs.LG cs.SD
Hierarchical Sequence to Sequence Voice Conversion with Limited Data
Ford Greenfield Labs（福特格林菲尔德实验室）
我们提出了一个语音转换解决方案，使用递归序列到序列建模DNN。我们的解决方案利用了神经机器翻译（NMT），文本到语音（TTS）和自动语音识别（ASR）领域中基于注意力建模的最新进展。问题在于当{ \it $<$源、目标$>$ }音频对可用时，在并行设置中的语音之间进行转换。我们的seq 2seq架构利用分层编码器来汇总输入音频帧。在解码器端，我们使用的注意力为基础的架构在最近的TTS作品。由于缺乏训练DNN所需的大型多说话者语音转换数据库，我们采用大型单说话者数据集作为自动编码器来训练网络。然后，这适用于可用于语音转换的较小的多说话者语音转换数据集。与其他使用$F_0$，持续时间和语言特征的语音转换作品相比，我们的系统使用梅尔频谱图作为音频表示。输出梅尔帧转换回音频使用波网声码器。
2019-07-15 cs.LG cs.SD eess.AS
Sequence-to-Sequence Acoustic Modeling for Voice Conversion
University of Science and Technology of China（中国科学技术大学）；iFLYTEK Co., Ltd.（科大讯飞股份有限公司）
本文提出了一种用于语音转换中声学建模的神经网络-序列-序列转换网络（SCENT）。在训练阶段，利用注意力机制隐式地对齐源说话人和目标说话人的特征序列来估计SCENT模型。在转换阶段，使用统一的声学模型同时转换源话语的声学特征和持续时间。采用梅尔尺度谱图作为声学特征，它包含了语音信号的激励和声道描述。使用自动语音识别（ASR）模型从源语音中提取的瓶颈特征被附加作为辅助输入。一个WaveNet声码器的梅尔频谱的条件下建立重建波形的SCENT模型的输出。值得注意的是，我们提出的方法可以实现适当的持续时间转换，这是在传统的方法很难。实验结果表明，与基于高斯混合模型（GMM）和深度神经网络（DNN）的声学模型相比，该方法具有更好的客观和主观性能。该方法也优于我们之前的工作，该工作在2018年语音转换挑战赛中获得了最高排名。消融测试进一步证实了我们提出的方法中的几个组件的有效性。
2020-01-12 cs.SD eess.AS
A Density Ratio Approach to Language Model Fusion in End-To-End Automatic Speech Recognition
Google Inc.（谷歌公司）
本文描述了一种密度比方法，用于将外部语言模型（LM）集成到自动语音识别（ASR）的端到端模型中。应用于在给定域上训练的递归神经网络转换器（RNN-T）ASR模型、匹配的域内RNN-LM和目标域RNN-LM，所提出的方法使用贝叶斯规则来定义目标域的RNN-T后验，以直接类似于基于隐马尔可夫模型（HMM）框架中的深度神经网络（DNN）或LSTM的ASR的经典混合模型的方式（Bourlard & Morgan，1994年）。所提出的方法在跨域和有限数据场景中进行评估，其中大量的目标域文本数据用于LM训练，但只有有限的（或没有）{音频，转录}训练数据对用于训练RNN-T。具体来说，对来自YouTube的配对音频和转录数据训练的RNN-T模型进行评估，以评估其推广到语音搜索数据的能力。发现密度比方法始终优于LM和端到端ASR集成的主要方法，即浅融合。
2020-02-28 cs.CL cs.SD eess.AS
Eigenvoice Synthesis based on Model Editing for Speaker Generation
CyberAgentJapan（CyberAgent日本）；Nagoya University（名古屋大学）
本文提出基于DNN模型编辑的特征语音合成方法，在模型参数空间中定义说话人空间并采样生成多样化语音，实验验证其有效性并发现性别主导轴。
2025-07-04 cs.SD eess.AS
A Concept-based approach to Voice Disorder Detection
Politecnico di Torino；CENTAI Institute（CENTAI研究院）；San Feliciano Hospital（San Feliciano医院）；SCDU Otorinolaringoiatria, Head Neck Cancer Unit, Ospedale San Giovanni Bosco（SCDU耳鼻喉科，头颈癌症单元，San Giovanni Bosco医院）；Dipartimento di Oncologia, Università degli Studi di Torino（肿瘤学系，托里尼大学）
本文提出基于概念的声带疾病检测方法，利用可解释AI提升模型透明度，与传统深度学习方法相比，实现更清晰的决策框架。
2025-07-23 cs.LG cs.SD eess.AS
Statistical Models in Forensic Voice Comparison
Aston University（阿斯顿大学）；Forensic Evaluation Ltd（法医评估有限公司）；Eduworks（教育工程公司）；Universidad Autónoma de Madrid（马德里自治大学）
本章介绍了一些信号处理和概率建模技术，这些技术通常用于计算似然比，用于在人类监督下进行法医语音比较的自动方法。所描述的技术包括Mel频率倒谱系数（MFCC）特征提取、高斯混合模型-通用背景模型（GMM-UBM）系统、i向量-概率线性鉴别分析（i-vector -probabilistic linear discriminant analysis（i-向量PLDA）系统、基于深度神经网络（DNN）的系统（包括senone后验i向量、瓶颈特征和嵌入/x向量），失配补偿，和分数到似然比转换（aka校准）。还包括法医语音比较系统的经验验证。本章的目的是弥合一般介绍法医语音比较和高度技术性的自动说话人识别文献之间的差距，其中主要是信号处理和语音建模技术。知识的似然比框架的法医证据的评估是假定的。希望这里介绍的材料对法医声音比较的学生和有兴趣学习统计建模技术的研究人员有价值，这些技术也可能应用于法医学其他分支的数据。
2020-06-12 cs.SD eess.AS stat.AP
Deep Karaoke: Extracting Vocals from Musical Mixtures Using a Convolutional Deep Neural Network
University of Surrey（萨里大学）
从混合音乐中识别和提取歌唱声是声源分离和机器听觉中的一个关键挑战。最近，深度神经网络（DNN）已被用于估计“理想的”二进制掩码，以仔细控制鸡尾酒会语音分离问题。然而，目前还不知道这些方法是否能够推广到语音和非语音的音乐混合物的上下文中的歧视。在这里，我们训练了一个卷积DNN（大约有10亿个参数），以提供理想二进制掩码的概率估计，用于从真实世界的音乐混合物中分离人声。我们将DNN结果与更传统的线性方法进行了对比。我们的方法可能是有用的自动删除声乐的声音从音乐混合物的“卡拉OK”类型的应用程序。
2015-04-17 cs.LG cs.NE cs.SD
DeepSonar: Towards Effective and Robust Detection of AI-Synthesized Fake Voices
Nanyang Technological University（南洋理工大学）；Alibaba Group（阿里巴巴集团）；East China Normal University（华东师范大学）；Kyushu University（九州大学）；Institute of Computing Innovation, Zhejiang University（浙江大学计算创新研究院）
随着语音合成技术的最新进展，人工智能合成的假语音对人耳来说是无法区分的，并被广泛应用于产生逼真和自然的DeepFake，对我们的社会构成了真正的威胁。然而，用于合成假声音的有效和强大的检测器仍处于起步阶段，尚未准备好完全解决这一新兴威胁。在本文中，我们设计了一种新的方法，命名为\emph{DeepSonar}，基于监测说话人识别（SR）系统的神经元行为，\ie，一个深度神经网络（DNN），以识别人工智能合成的假语音。逐层神经元行为提供了一个重要的洞察力，可以细致地捕捉输入之间的差异，这些差异被广泛用于构建安全，鲁棒和可解释的DNN。在这项工作中，我们利用逐层神经元激活模式的力量，推测它们可以捕捉真实和人工智能合成的假声音之间的细微差异，为分类器提供比原始输入更清晰的信号。在包含中英文的三个数据集（包括来自Google、百度、\etc的商业产品）上进行了实验，以证实DeepSonar在识别假语音方面的高检测率（平均准确率为98.1%）和低误报率（约2%的错误率）。此外，大量的实验结果也证明了它对操纵攻击（\eg，语音转换和添加剂现实世界的噪音）的鲁棒性。我们的工作进一步提出了一种新的见解，即采用神经元行为进行有效和强大的人工智能辅助多媒体假货取证，作为一种由内而外的方法，而不是受到合成假货中引入的各种工件的激励和影响。
2020-08-15 cs.CR cs.MM cs.SD
Self-Adaptive Soft Voice Activity Detection using Deep Neural Networks for Robust Speaker Verification
KAIST（韩国科学技术院）
语音激活检测（VAD）是包括说话人确认在内的许多语音应用中的一个重要模块，它将语音帧分为语音帧和非语音帧。在本文中，我们提出了一种新的方法，称为自适应软VAD，将基于深度神经网络（DNN）的VAD纳入深度说话人嵌入系统。所提出的方法是以下两种方法的组合。第一种方法是软VAD，其对从说话人特征提取器提取的帧级特征执行软选择。帧级特征通过从基于DNN的VAD估计的其对应的语音后验子加权，然后聚合以生成说话人嵌入。第二种方法是自适应VAD，它对说话人验证数据进行预训练以减少域失配。在这里，我们介绍了两种无监督域自适应（DA）方案，即基于语音后验的DA（SP-DA）和基于联合学习的DA（JL-DA）。在韩语语音库上的实验表明，自适应软VAD算法在真实环境中的验证性能得到了显著提高。
2019-09-26 cs.CL cs.LG cs.SD
Voice Pathology Detection Using Deep Learning: a Preliminary Study
Brno University of Technology（布尔诺理工大学）；University of Las Palmas de Gran Canaria（大加那利岛拉斯帕尔马斯大学）
本文描述了使用深度神经网络（DNN）进行语音病理检测的初步研究。我们使用的语音录音持续元音/a/正常音高从德国语料库Saarbruecken语音数据库（SVD）。该语料库包含超过2000个说话人的语音记录和电声门图信号。这个实验背后的想法是在原始音频信号上结合使用卷积层和循环长短期记忆（LSTM）层。每个记录被分成64 ms的汉明窗口段，重叠30 ms。我们的训练模型在206个验证文件上实现了71.36%的准确率，65.04%的灵敏度和77.67%的特异性，在874个测试文件上实现了68.08%的准确率，66.75%的灵敏度和77.89%的特异性。这是一个有希望的结果，有利于这种方法，因为它是类似的先前发表的实验，使用不同的方法。需要进一步的调查，以实现国家的最先进的结果。
2019-07-12 cs.LG cs.SD eess.AS
Data Generation Using Pass-phrase-dependent Deep Auto-encoders for Text-Dependent Speaker Verification
Indian Institute of Information Technology（印度信息技术学院）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林计算机科学及其应用研究所）；Aalborg University（奥尔堡大学）
在本文中，我们提出了一种新的方法，训练基于密码短语特定深度神经网络（PP-DNN）的自动编码器，以创建用于文本相关说话人验证（TD-SV）的增强数据。每个PP-DNN自动编码器使用目标登记集中可用的特定密码短语的话语通过两种方法来训练：（i）迁移学习和（ii）从头开始训练。接下来，给定话语的特征向量被馈送到PP-DNN，并且来自帧级的每个PP-DNN的输出被认为是一组新的生成数据。然后，从每个PP-DNN生成的数据用于构建TD-SV系统，这与仅考虑可用的评估数据的传统方法相反。所提出的方法可以被认为是使用由每个PP-DNN学习的非线性变换将数据变换到密码短语特定空间。该方法开发了几个TD-SV系统，其数量等于为每个密码短语单独训练的PP-DNN的数量。最后，不同的TD-SV系统的得分进行融合决策。实验在RedDots挑战2016数据库上进行，用于使用短话语的TD-SV。实验结果表明，该方法结合高斯混合模型-通用背景模型（GMM-UBM）和i-向量框架，对传统倒谱特征和深度瓶颈特征都有较好的识别性能。
2021-02-03 cs.LG cs.SD eess.AS
Voice Passing : a Non-Binary Voice Gender Prediction System for evaluating Transgender voice transition
Institut National de l'Audiovisuel (INA)（法国国家视听研究院）；Hôpital Tenon, AP-HP（Tenon医院，巴黎公共医疗集团）；Université Paris Saclay（巴黎-萨克雷大学）；CNRS（法国国家科学研究中心）；Universidade Federal do Rio de Janeiro（里约热内卢联邦大学）
本文提出一种基于连续语音女性化百分比（VFP）的非二元语音性别预测系统，用于评估跨性别者的声音转换，通过校准二元分类模型预测VFP，发现其准确率优于基频或声道长度模型，并受风格、年龄及性别二元化概念影响。
2024-04-23 cs.HC cs.LG cs.SD
X-vectors: New Quantitative Biomarkers for Early Parkinson's Disease Detection from Speech
Paris Brain Institute - ICM（巴黎大脑研究所 - ICM）；Institut Polytechnique de Paris（巴黎综合理工学院）；Sorbonne University（索邦大学）；Concordia University（康考迪亚大学）
许多文章使用语音分析来检测帕金森病（PD），但很少关注疾病的早期阶段和性别效应。在这篇文章中，我们已经适应了最新的说话人识别系统，称为x向量，以检测早期阶段的PD语音分析。X向量是从深度神经网络中提取的嵌入，当使用大量训练数据时，它提供了鲁棒的说话人表示并提高了说话人识别。我们的目标是评估在早期PD检测的背景下，这种技术是否会优于更标准的分类器MFCC-GMM（梅尔频率倒谱系数-高斯混合模型），如果是，在什么条件下。我们记录了221法语发言者（包括最近诊断的PD受试者和健康对照）与高品质的麦克风和自己的电话。对男性和女性进行了单独分析，以获得更精确的模型并评估可能的性别效应。几个实验和方法方面进行了测试，以分析其对分类性能的影响。我们评估了音频片段持续时间、数据增强、用于神经网络训练的数据集类型、语音任务类型和后端分析的影响。对于文本无关的任务，X向量技术提供了比MFCC-GMM更好的分类性能，并且似乎特别适合于女性PD的早期检测（提高7 - 15%）。两种录音类型（高质量麦克风和电话）都观察到了这一结果。
2020-07-07 cs.SD eess.AS q-bio.QM
Real-time, Universal, and Robust Adversarial Attacks Against Speaker Recognition Systems
Rutgers University（罗格斯大学）；The University of Tennessee（田纳西大学）
近年来，随着语音用户界面（VUI）的迅速普及，说话人识别系统已经成为许多安全应用和服务中识别说话人的重要手段。在本文中，我们提出了针对最先进的基于深度神经网络（DNN）的说话人识别系统的第一个实时、通用和鲁棒的对抗性攻击。通过在任意登记的说话者的语音输入上添加音频不可知的通用扰动，基于DNN的说话人识别系统将把说话者识别为任何目标（即，对手期望的）扬声器标签。此外，我们通过估计房间脉冲响应（RIR）对物理空中传播引起的声音失真进行建模，提高了攻击的鲁棒性。使用109名英语使用者的公共数据集的实验表明，我们提出的攻击的有效性和鲁棒性与高攻击成功率超过90%。攻击启动时间也比当代非通用攻击快100倍。
2020-05-01 cs.CL cs.SD eess.AS
DNN Filter Bank Cepstral Coefficients for Spoofing Detection
Beijing University of Posts and Telecommunications（北京邮电大学）；Aalborg University（奥尔堡大学）
随着语音合成技术的发展，自动说话人确认系统面临着欺骗攻击的严峻挑战。为了提高说话人确认系统的可靠性，提出了一种基于倒谱特征的滤波器组--深度神经网络滤波器组倒谱系数（DNN-FBCC），用于区分自然语音和虚假语音。深度神经网络滤波器组通过使用自然语音和合成语音训练滤波器组神经网络（FBNN）来自动生成。通过对训练规则的限制，FBNN的学习权矩阵是带限的，并按频率排序，类似于正常的滤波器组。与人工设计的滤波器组不同，学习的滤波器组在不同的通道中具有不同的滤波器形状，可以更有效地捕捉自然语音和合成语音之间的差异。在ASVspoof {2015}数据库上的实验结果表明，基于新特征训练的高斯混合模型最大似然（GMM-ML）分类器在检测未知攻击方面优于基于线性倒谱系数（LFCC）的分类器。
2017-02-13 cs.CR cs.LG cs.SD
Profiling the Voice: Speaker-Specific Phoneme Fingerprinting for Speech Deepfake Detection
Key Laboratory of Aerospace Information Security and Trusted Computing, Ministry of Education（航空航天信息安全与可信计算重点实验室，教育部）；School of Cyber Science and Engineering, Wuhan University（武汉大学计算机科学与工程学院）
本文提出了一种基于音素的语音分析框架PVP，通过微音学建模捕捉说话者特有的发音模式，实现对语音深度伪造的高效检测，并提供细粒度的音素级可解释性。
2026-05-18 cs.SD
Siamese x-vector reconstruction for domain adapted speaker recognition
IBM Research AI（IBM研究院人工智能部门）
随着语音激活应用的兴起，对说话人识别的需求正在迅速增加。x向量是一种基于深度神经网络（DNN）的嵌入方法，当适当的端到端训练不可行时，它被认为是最先进的。然而，当记录条件（噪声、采样率等）在x向量训练数据和目标数据之间或者在登记和测试数据之间是不匹配的。我们介绍了Siamese x向量重建（SVR）域自适应。我们使用精益辅助Siamese DNN从较低质量的对应物中重建较高质量信号的嵌入。我们评估我们的方法在几个不匹配的情况下，并证明了显着的改善基线。
2020-07-28 cs.LG cs.SD eess.AS
PrimaDNN': A Characteristics-aware DNN Customization for Singing Technique Detection
University of Tsukuba（筑波大学）；KAIST（韩国科学技术院）
提出PrimaDNN模型，通过结合辅助音高信息、多分辨率梅尔频谱图及SENet与实例归一化的卷积模块，在J-POP演唱技巧检测中宏F值达44.9%，优于现有方法。
2023-06-25 cs.LG cs.SD eess.AS
Defend Data Poisoning Attacks on Voice Authentication
Vanderbilt University（范德堡大学）
本文针对语音认证系统提出一种易实施且现有防御难以捕获的数据投毒攻击，并设计基于卷积神经网络的Guardian判别器，融合偏差削减、输入增强和集成学习，将攻击账户识别准确率从约60%提升至约95%。
2023-07-07 cs.AI cs.CR cs.LG
Homogeneous Speaker Features for On-the-Fly Dysarthric and Elderly Speaker Adaptation
Chinese University of Hong Kong（香港中文大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
针对构音障碍及老年语音识别的适配难题，提出VR-SBE特征与f-LHUC变换两种方法，实现ASR模型的即时自适应，在多语种多数据集上取得显著性能提升并达到当前最优水平。
2024-07-08 cs.AI cs.HC cs.LG
