Pronunciation Deviation Analysis Through Voice Cloning and Acoustic Comparison
California State University Long Beach（加州州立大学长滩分校）
本文提出一种通过分析用户原始语音与具有正确发音的语音克隆副本之间的声学偏差来检测发音错误的新方法，该方法无需预定义语音规则或大量训练数据即可精确定位发音错误。
2025-07-15 cs.AI cs.SD eess.AS
Attention based end to end Speech Recognition for Voice Search in Hindi and English
Flipkart（福利特）
我们在这里描述我们在Flipkart电子商务平台上的语音搜索功能背景下使用自动语音识别（ASR）的工作。从Listen-Attend-Spell（LAS）的深度学习架构开始，我们建立并扩展了模型设计和注意力机制，以纳入创新方法，包括多目标训练，多遍训练以及使用语言模型和基于音素的损失的外部重新评分。我们报告了15.7%的相对WER改善顶部的国家的最先进的LAS模型使用这些修改。总体而言，我们报告了36.9%的电话CTC系统的改善。该文件还提供了一个不同的组件，可以在LAS为基础的系统进行调整的概述。
2021-11-15 cs.IR cs.LG cs.SD
Taco-VC: A Single Speaker Tacotron based Voice Conversion with Limited Data
Tel Aviv University（特拉维夫大学）
本文介绍了一种基于Tacotron合成器的语音转换架构Taco-VC，它是一种带注意力的序列到序列模型。多说话人语音转换系统的训练需要大量的资源，无论是训练资源还是语料库规模。Taco-VC使用基于语音后验图（PPG）的单扬声器Tacotron合成器和基于梅尔频谱图的单扬声器WaveNet声码器来实现。为了提高转换后的语音质量，并克服过平滑，Tacotron的输出通过一个新的语音增强网络，它是由音素识别和Tacotron网络的组合。我们的系统只使用单个说话人语料库进行训练，并且只使用几分钟的训练数据就能适应新的说话人。使用中等大小的公共数据集，我们的方法在VCC 2018 SPOKE非并行语音转换任务中的表现优于基线，并且与在大型私有数据集上训练的多扬声器网络相比，取得了有竞争力的结果。
2020-06-19 cs.LG cs.SD eess.AS
Using Inaudible Audio and Voice Assistants to Transmit Sensitive Data over Telephony
Georgia Institute of Technology（佐治亚理工学院）
由于语音助理（VA）部署在家庭和企业网中的日益普及，出现了新的安全和隐私问题。许多过去的研究结果已经证明了恶意行为者如何使用隐藏的命令来让VA执行某些操作，即使有人可能在他们附近。然而，这些工作还没有探索接近VA的受损计算机如何利用电话渠道在VA的帮助下泄露数据。在描述了通过命令VA拨打电话号码而建立的通信信道后，我们演示了恶意软件如何将数据编码为音频并通过电话信道发送。这种攻击可以远程、大规模和低成本地进行，可以用来绕过可能针对敏感数据泄漏而部署的网络防御。我们使用双音多频音调将任意二进制数据编码为音频，这些音频可以通过计算机扬声器播放，并通过VA介导的电话信道发送到远程系统。我们表明，少量的数据可以传输具有高精度与持续几分钟的短电话。这可以在使音频对于大多数人来说几乎听不见的同时通过使用具有接近人类听觉范围的高端的频率的载波对其进行调制来完成。有几个因素影响数据传送率，包括计算机和VA之间的距离、可能存在的环境噪声和调制载波的频率。在我们建立的原型的帮助下，我们实验评估这些因素对数据传送率和传输精度的影响。我们的研究结果表明，计算机附近的语音助手可能会对存储在这些计算机上的数据构成新的威胁。传统的主机和网络防御无法解决这些威胁。我们简要讨论可能的缓解方法。
2020-09-21 cs.CR cs.SD eess.AS
MeloDISinger: Melody-Aware & Duration-Preserving Singing Voice Editing with Audio Infilling
Graduate School of Artificial Intelligence, KAIST, South Korea（韩国釜山科学技术院人工智能研究生院）；Graduate School of Culture Technology, KAIST, South Korea（韩国釜山科学技术院文化科技研究生院）
提出基于流匹配的MeloDISinger模型，通过MeloDRP模块预测固定预算时长比率实现旋律感知的时长分配，结合流匹配梅尔解码器进行音频填充，在歌唱声音编辑任务上达到最优性能。
2026-06-29 cs.SD eess.AS
Using joint training speaker encoder with consistency loss to achieve cross-lingual voice conversion and expressive voice conversion
提出联合训练说话人编码器与 Whisper 内容特征实现高质量跨语言语音转换，并引入说话人一致性损失提升相似度，利用音素后验图重现参考语音的说话人特征与情感。
2023-07-01 eess.AS
Lightweight Dual-channel Target Speaker Separation for Mobile Voice Communication
Duke Kunshan University（昆山杜克大学）；Xiaomi（小米）
目前，在移动设备上部署目标说话人分离（TSS）模型的需求非常强烈，但模型大小和计算复杂性有限。为了更好地进行移动语音通信的TSS，我们首先基于一个特定的场景LibriPhone制作了一个双通道数据集。具体来说，为了更好地模拟真实情况，LibriPhone不是从单通道数据集进行模拟，而是通过两个专业的人造头同时重放LibriSpeech中的成对话语，并通过手机的两个内置麦克风进行记录。然后，我们提出了一个轻量级的时频域分离模型，LSTM-Former，它是基于LSTM框架的源噪声比（SI-SNR）损失。对于Libri-Phone上的实验，我们通过Libri-Phone的随机单通道来探索双通道LSTMFormer模型和单通道版本。实验结果表明，双通道LSTM-Former的性能优于单通道LSTMFormer，相对提高了25%。该工作为移动设备上的TSS任务提供了一种可行的解决方案，在实际应用场景中回放和记录多个数据源，获取双通道真实数据，可以辅助轻量级模型实现更高的性能。
2021-06-05 cs.SD eess.AS
Multi-task Learning for Speaker Verification and Voice Trigger Detection
Apple（苹果公司）
自动语音转录和说话人识别通常被视为独立的任务，即使它们是相互依赖的。在这项研究中，我们研究了训练一个网络来联合执行这两项任务。我们训练的网络在一个监督的多任务学习设置，其中的语音转录分支的网络进行训练，以尽量减少语音连接时间分类（CTC）的损失，而说话人识别分支的网络进行训练，以标记的输入序列与正确的标签的扬声器。我们提出了一个大规模的实证研究，其中使用每个任务数千小时的标记训练数据来训练模型。我们评估的语音转录分支的网络上的语音触发检测任务，而说话人识别分支上的说话人验证任务进行评估。结果表明，该网络是能够编码的语音\emph{and}扬声器信息在其学习表示，同时产生的准确性至少一样好的基线模型为每个任务，具有相同数量的参数作为独立的模型。
2020-01-26 cs.CL cs.LG cs.SD
On-Device Personalization of Automatic Speech Recognition Models for Disordered Speech
Google（谷歌）
虽然当前最先进的自动语音识别（ASR）系统在典型语音上实现了高准确度，但是它们在无序语音和其他非典型语音模式上遭受显著的性能降级。ASR模型的个性化（对该问题的常用解决方案）通常在基于服务器的训练环境中执行，从而引起关于数据隐私、延迟的模型更新时间以及用于在移动终端和服务器基础设施之间复制数据和模型的通信成本的问题。在本文中，我们提出了一种基于设备的ASR个性化的方法，具有非常少量的特定于说话者的数据。我们测试了我们的方法在一组不同的100位发言者与无序的讲话，并发现中位数相对字错误率提高了71%，只有50个短的话语，每个发言者。当在语音控制的家庭自动化平台上进行测试时，设备上的个性化模型显示出81%的任务成功率中位数，而未经调整的模型只有40%。
2021-06-18 cs.CL cs.LG cs.SD
Low-Complexity Own Voice Reconstruction for Hearables with an In-Ear Microphone
本文针对助听设备在噪声环境中采集用户自声的场景，提出基于FT-JNF架构的低复杂度自声重建系统，并验证其在有限设备特定录音条件下仍能显著提升语音质量。
2024-09-09 eess.AS
Improving Low-Resource Dialect Classification Using Retrieval-based Voice Conversion
Research Center Deutscher Sprachatlas（德国语言地图研究中心）
本文提出用基于检索的语音转换（RVC）进行数据增强，通过统一说话人减少说话人变异，并结合频率掩蔽等方法提升低资源德语方言分类性能。
2025-07-04 cs.AI cs.CL cs.SD
VAW-GAN for Singing Voice Conversion with Non-parallel Training Data
National University of Singapore（新加坡国立大学）；Singapore University of Technology and Design（新加坡科技设计大学）
歌唱声音转换是指在不改变演唱内容的前提下，将演唱者的声音从源声转换为目标声。并行训练数据通常需要用于训练歌唱声音转换系统，然而这在现实生活中的应用中是不实际的。最近的编码器-解码器结构，如变分自编码Wasserstein生成对抗网络（VAW-GAN），提供了一种通过非并行训练数据学习映射的有效方法。在本文中，我们提出了一个歌唱的声音转换框架，是基于VAW-GAN。我们训练一个编码器，以解开歌手身份和歌唱韵律（F0轮廓）从语音内容。通过以歌手身份和F0为条件，解码器生成具有不可见目标歌手身份的输出频谱特征，并改进F0渲染。实验结果表明，该框架实现了更好的性能比基线框架。
2020-11-03 cs.CL cs.SD eess.AS
The Zero Resource Speech Challenge 2019: TTS without T
Cognitive Machine Learning (ENS - CNRS - EHESS - INRIA - PSL Research University)（认知机器学习实验室（巴黎高等师范学院 - 法国国家科学研究中心 - 法国高等社会科学研究院 - 法国国家信息与自动化研究所 - PSL研究大学））；Brno Univ. of Technology（布尔诺理工大学）；Carnegie Mellon University（卡内基梅隆大学）；Nara Institute of Science and Technology（奈良科学技术研究所）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；Facebook A.I. Research（脸书人工智能研究部）
我们提出了2019年零资源语音挑战赛，该挑战赛建议构建一个没有任何文本或语音标签的语音合成器：因此，TTS没有T（没有文本的文本到语音）。我们为未知语言的目标语音（语音数据集）提供原始音频，但没有对齐，文本或标签。参与者必须以无监督的方式（使用Unit Discovery数据集）发现子词单元，并将它们与语音记录对齐，以便最好地合成来自新说话者的新话语，类似于目标说话者的声音。我们描述了用于评估的指标，一个基线系统，包括无监督的子字单元发现加上一个标准的TTS系统，和一个背线TTS使用黄金音素transmittance。我们提出了一个概述的19个提交的系统从10个团队，并讨论了主要结果。
2019-07-07 cs.CL cs.SD eess.AS
SuperEar: Eavesdropping on Mobile Voice Calls via Stealthy Acoustic Metamaterials
ACSS Lab, NorthWest University（北western大学ACSS实验室）；PINE Lab, NorthWest University（北western大学PINE实验室）；Lancaster University（兰卡斯特大学）；Xi'an University of Posts and Telecommunications（西安邮电大学）；University of Leeds（利兹大学）
SuperEar 通过隐蔽的声学超材料技术，实现了在移动中可靠窃听语音通话，成功率达80%以上，距离达4.6米，为隐私安全带来新挑战。
2026-01-16 cs.CR cs.SD eess.AS
A Melody-Unsupervision Model for Singing Voice Synthesis
KAIST（韩国科学技术院）
最近在歌唱声音合成方面的研究已经取得了高质量的结果，这些结果利用了基于深度神经网络的文本到语音模型的进步。训练歌唱声音合成模型的主要问题之一是它们需要旋律和歌词标签与音频数据在时间上对齐。在准备训练数据时，时间对齐是一项耗时的手动工作。为了解决这个问题，我们提出了一个旋律无监督模型，只需要在训练时间没有时间对齐的音频和歌词对，但在推理时间给定的旋律和歌词输入生成歌声音频。该模型由一个音素分类器和一个歌唱声发生器组成，以端到端的方式联合训练。该模型可以通过调整时间对齐的旋律标签的监督量来微调。通过在旋律无监督和半监督环境下的实验，比较了合成歌唱声的音频质量。我们还表明，该模型能够用语音音频和文本标签进行训练，但可以在推理时间内生成歌声。
2022-04-14 cs.LG cs.SD eess.AS
Adversarially Trained Autoencoders for Parallel-Data-Free Voice Conversion
University of California at Berkeley（加州大学伯克利分校）；Intel AI Lab（英特尔人工智能实验室）
我们提出了一种方法，用于转换一组扬声器之间的声音。我们的方法是基于训练多个自编码器路径，其中有一个扬声器独立的编码器和多个扬声器相关的解码器。自动编码器通过添加由辅助分类器提供的对抗性损失来训练，以引导编码器的输出独立于说话者。模型的训练是无监督的，因为它不需要从说话者收集相同的话语，也不需要在音素上进行时间对齐。由于使用了单个编码器，我们的方法可以推广到将训练之外的说话者的声音转换为训练数据集中的说话者。我们提出了主观测试证实我们的方法的性能。
2019-05-09 cs.LG cs.SD eess.AS
Multi-task Learning for Voice Trigger Detection
Apple（苹果公司）
我们描述了一个智能扬声器的语音触发检测系统的设计。在这项研究中，我们解决两个主要挑战。首先，探测器部署在复杂的声学环境中，具有外部噪声和设备本身的大声播放。其次，收集特定关键字或触发短语的训练示例具有挑战性，导致触发短语特定训练数据的稀缺。我们描述了一个两级级联的架构，其中一个低功耗检测器总是运行和监听触发短语。如果在该阶段进行检测，则通过更大、更复杂的模型对候选音频片段重新评分，以验证该片段包含触发短语。在这项研究中，我们专注于这些第二次通过检测器的架构和设计。我们首先训练一个通用的声学模型，该模型在给定一个大的标记训练数据集的情况下产生音标。接下来，我们收集了一个更小的样本数据集，这些样本对于基线系统来说是具有挑战性的。然后，我们使用多任务学习来训练一个模型，以同时在较大的数据集上产生准确的语音音译，\emph{and}使用较小的数据集区分真实的和容易混淆的例子。我们的研究结果表明，该模型减少了一半的误差相比，在一系列具有挑战性的测试条件\emph{without}需要额外的参数的基线。
2020-04-20 cs.CL cs.LG cs.SD
Transfer Learning from Speech Synthesis to Voice Conversion with Non-Parallel Training Data
Southeast University（东南大学）；National University of Singapore（新加坡国立大学）
本文提出了一种新的框架，建立一个语音转换（VC）系统的学习从文本到语音（TTS）合成系统，即TTS-VC迁移学习。首先，我们开发了一个多扬声器语音合成系统与序列到序列的编码器-解码器架构，其中编码器提取强大的语言表示的文本，和解码器，条件下的目标说话人嵌入，需要上下文向量和注意经常性的网络单元输出生成目标声学特征。我们利用TTS系统将输入文本映射到与说话人无关的上下文向量的事实，并重用这样的映射来监督编码器-解码器语音转换系统的潜在表示的训练。在语音转换系统中，编码器以语音代替文本作为输入，而解码器的功能类似于TTS解码器。由于我们将解码器设置为扬声器嵌入，因此系统可以在非并行数据上进行训练，以进行任意到任意的语音转换。在语音转换训练过程中，我们分别提出了文本和语音到语音合成和语音转换网络。在运行时，语音转换网络使用自己的编码器-解码器架构。实验表明，该方法优于两个竞争的语音转换基线一致，即语音后验图和变分自动编码器的方法，在语音质量，自然度和说话人相似性。
2021-01-06 cs.SD eess.AS
FragmentVC: Any-to-Any Voice Conversion by End-to-End Extracting and Fusing Fine-Grained Voice Fragments With Attention
National Taiwan University（台湾大学）；National Taiwan University College of Electrical Engineering（台湾大学电机工程学院）
任何到任何语音转换的目标是将语音从任何说话者转换到任何说话者，即使在训练过程中看不到，这比一对一或多对多任务更具挑战性，但在现实世界中更具吸引力。在本文中，我们提出了FragmentVC，其中从源说话人的话语的潜在语音结构是从Wav 2 Vec 2.0获得，而从目标说话人的话语的频谱特征是从对数梅尔频谱图获得。通过将两个不同特征空间的隐藏结构与两阶段训练过程对齐，FragmentVC能够从目标说话者话语中提取细粒度的语音片段并将其融合到所需话语中，所有这些都基于Transformer的注意力机制，并通过对注意力地图的分析进行验证，并且是端到端完成的。该方法仅使用重建损失进行训练，而不考虑内容和说话人信息之间的任何解纠缠，并且不需要并行数据。基于说话人确认的客观评价和基于MOS的主观评价均表明，该方法优于SOTA方法，如AdaIN-VC和AutoVC。
2021-05-03 cs.LG eess.AS
Modelling low-resource accents without accent-specific TTS frontend
Amazon Research（亚马逊研究院）；Warsaw University of Technology（华沙理工大学）
这项工作的重点是建模说话人的口音，没有一个专门的文本到语音（TTS）前端，包括一个字素到音素（G2P）模块。以前的口音建模工作假设目标口音有语音音标，这可能不是低资源的地方口音的情况。在我们的工作中，我们提出了一种方法，我们首先通过语音转换增强目标口音数据听起来像捐助者的声音，然后训练一个多扬声器的多口音TTS模型的录音和合成数据的组合，以产生捐助者的声音说话的目标口音。在整个过程中，我们使用为相同语言但不同口音开发的TTS前端。我们展示了定性和定量分析，与其他生成模型相比，所提出的策略实现了最先进的结果。我们的工作表明，低资源口音可以用相对较少的数据建模，而无需开发特定于口音的TTS前端。我们的模型转换为多种口音的音频样本可在我们的网页上找到。
2023-01-11 cs.CL cs.SD eess.AS
