Vowels and Prosody Contribution in Neural Network Based Voice Conversion Algorithm with Noisy Training Data
提出了一种基于神经网络的语音转换模型。虽然已知的事实是浊音和韵律是语音转换框架的最重要的组成部分，但不知道的是它们的客观贡献，特别是在嘈杂和不受控制的环境中。该模型采用2层前馈神经网络将源说话人的线性预测分析系数映射到目标说话人的声学向量空间，以客观地确定声音的浊音、清音和超音段分量对语音转换模型的贡献。结果表明，元音“a”、“i”、“o "对转换成功率的贡献最大。无噪声的声音也被发现受到噪声训练数据的影响最大。平均噪声水平为40分贝以上的噪声地板被发现降低了语音转换成功的55.14%，相对于有声的声音。研究结果还表明，对于跨性别语音转换，韵律转换是更显着的情况下，女性是目标发言人。
2020-03-10 eess.AS
Non-parallel voice conversion based on source-to-target direct mapping
利用语音后验图（PPG）进行非并行语音转换的最近工作已经显著增加了语音转换的可用性，因为不再需要源DB和目标DB来匹配内容。在这种方法中，PPG被用作源和目标说话人特征之间的语言桥梁。然而，这种基于PPG的非并行语音转换具有一定的局限性，即在转换时需要两个级联网络，使得其不太适合实时应用，并且在转换阶段容易受到源说话人可懂度的影响。为了解决这个问题，我们提出了一种新的非并行语音转换技术，采用一个单一的神经网络的直接源到目标的语音参数映射。通过这种单一的网络结构，所提出的方法可以减少转换时间和网络参数的数量，这在嵌入式或实时环境中是特别重要的因素。此外，它通过在转换阶段跳过电话识别器来提高语音转换的质量。它可以有效地防止可能的语音信息丢失的PPG为基础的间接方法遭受。实验表明，我们的方法减少了网络参数的数量和转换时间分别为41.9%和44.5%，提高了语音相似度比原来的PPG为基础的方法。
2020-06-12 eess.AS
Learning in your voice: Non-parallel voice conversion based on speaker consistency loss
在本文中，我们提出了一种新的语音转换策略，以解决训练和转换场景之间的不匹配时，并行语音语料库无法用于训练。基于自动编码器和解纠缠框架，我们设计了所提出的模型来提取身份和内容表示，同时重建输入语音信号本身。由于我们在训练过程中使用了其他说话人的身份信息，因此训练理念自然与语音转换过程的目标相匹配。此外，我们有效地设计了解纠缠框架，以可靠地保留语言信息，并提高转换后的语音信号的质量。该方法的优越性在主观听力测试以及客观的措施。
2020-11-04 eess.AS
EmoCat: Language-agnostic Emotional Voice Conversion
Amazon（亚马逊）
情感语音转换模型在不改变说话人身份或语言内容的情况下适应语音中的情感。与文本到语音模型相比，它们对数据的需求更少，并且可以为下游任务生成大量的情感数据。在这项工作中，我们提出了一个与语言无关的情感语音转换模型-Cat。它通过利用美国英语中的大量情感数据，在不到45分钟的德语情感录音中实现了高质量的德语情感转换。PencilCat是一个基于CopyCat的编码器-解码器模型，CopyCat是一个传输韵律的语音转换系统。我们使用对抗训练来消除从编码器到解码器的情感泄漏。对抗训练通过对梯度反转的新贡献来改进，以真正反转梯度。这允许仅移除泄漏信息，并以更高的转换性能收敛到更好的最优值。评估表明，Mascat可以转换为不同的情绪，但与录音相比，情绪强度有所下降，特别是对于非常富有表现力的情绪。在六种测试的情感强度中，有五种的音频质量与录音相当。
2021-01-14 cs.SD eess.AS
Seen and Unseen emotional style transfer for voice conversion with a new emotional speech dataset
National University of Singapore（新加坡国立大学）；Singapore University of Technology and Design（新加坡科技设计大学）
情感语音转换的目的是在保留语言内容和说话人身份的同时，转换语音中的情感韵律。先前的研究表明，使用离散表示的编码器-解码器网络（例如独热情感标签）可以解开情感韵律。这样的网络学会记住一套固定的情感风格。在本文中，我们提出了一种新的框架的基础上变分自动编码Wasserstein生成对抗网络（VAW-GAN），它利用一个预先训练的语音情感识别（SER）模型，在训练和运行时的推理转移情感风格。通过这种方式，网络能够将可见和不可见的情感风格转移到新的话语中。我们表明，建议的框架实现了显着的性能始终优于基线框架。本文还标志着用于语音转换的情感语音数据集（ESD）的发布，该数据集具有多个扬声器和语言。
2021-02-11 cs.CL cs.SD eess.AS
The Emotional Voices Database: Towards Controlling the Emotion Dimension in Voice Generation Systems
Northeastern University（东北大学）；University of Mons（蒙斯大学）
在本文中，我们提出了一个数据库的情感语音打算是开源的，用于合成和生成的目的。它包含男性和女性演员的数据在英语和法语的男性演员。该数据库涵盖了5个情感类，因此它可以适合于构建具有连续控制情感维度潜力的合成和语音转换系统。我们通过构建一个简单的MLP系统将中性语音风格转换为愤怒语音风格，并通过CMOS感知测试对其进行评估，从而展示了数据的有效性。尽管该系统是一个非常简单的系统，但测试显示了数据的有效性，这是有希望的未来工作。
2018-06-25 cs.AI cs.CL eess.AS
Black-box Attacks on Automatic Speaker Verification using Feedback-controlled Voice Conversion
自动说话人确认系统在实际应用中极易受到欺骗攻击。最新的语音转换技术能够产生模仿任何目标扬声器的感知自然的声音语音。然而，与说话者身份的感知接近度可能不足以欺骗ASV系统。在这项工作中，我们提出了一个框架，使用ASV系统的输出分数作为语音转换系统的反馈。攻击者框架是一个黑盒对手，窃取一个人的语音身份，因为它不需要任何关于ASV系统的知识，但系统输出。在ASVspoof 2019数据库上进行的实验结果证实，所提出的反馈控制语音转换框架产生的对抗样本比直接的语音转换更具欺骗性，从而提高了冒名顶替者ASV得分。此外，感知评估研究表明，转换后的语音不会对基线系统的语音质量产生不利影响。
2019-10-29 eess.AS
An Improved StarGAN for Emotional Voice Conversion: Enhancing Voice Quality and Data Augmentation
Imperial College London（伦敦帝国理工学院）；The University of Tokyo（东京大学）；University of Augsburg（奥格斯堡大学）
情感语音转换（EVC）的目的是将源语音信号的情感风格转换为目标风格，同时保留其内容和说话人身份信息。以前的情感转换研究没有将情感信息与应该保留的情感独立信息分开，从而以单一的方式转换所有信息，并生成低质量的音频，并伴有语言失真。为了解决这个失真问题，我们提出了一个新的StarGAN框架，以及一个两阶段的训练过程，通过使用具有两个编码器的自动编码器作为生成对抗网络（GAN）的生成器，将情感特征与独立于情感的特征分离。该模型在失真度的客观评价和主观评价方面都取得了较好的效果，表明该模型能够有效地降低失真度。此外，在端到端语音情感识别的数据增强实验中，与基线StarGAN模型相比，所提出的StarGAN模型在Micro-F1和Macro-F1上分别提高了2%和5%，这表明所提出的模型更适合于数据增强。
2021-07-18 cs.AI cs.SD eess.AS
Towards Realistic Emotional Voice Conversion using Controllable Emotional Intensity
Key Laboratory of Child Development and Learning Science (Southeast University)（儿童发展与学习科学重点实验室（东南大学））；School of Biological Science and Medical Engineering, Southeast University（东南大学生物科学与医学工程学院）
针对真实情感语音转换需求，提出情感强度感知网络EINet，通过情感评估器、强度映射器等模块实现可控情感强度的语音转换，在自然度和情感多样性上优于现有最优方法。
2024-07-20 cs.SD eess.AS eess.SP
Self-Supervised Representations for Singing Voice Conversion
演唱声音转换模型将任意源演唱者的声音中的歌曲转换为目标演唱者的声音。最近，利用自监督音频表示的方法，如HuBERT和Wav 2 Vec 2.0，有助于进一步发展最先进的技术。虽然这些方法产生更自然和旋律的歌唱输出，但它们通常依赖于混淆和解纠缠损失来呈现自监督表示扬声器和音高不变。在本文中，我们绕过了解纠缠训练，并提出了一种新的模型，该模型利用ASR微调的自监督表示作为HiFi-GAN神经声码器的输入，用于歌唱语音转换。我们对不同的f0编码方案进行了实验，结果表明，使用并行转置卷积（PBTC）以及ASR微调Wav 2 Vec 2.0功能的f0谐波生成模块可以获得最佳的歌唱声音转换质量。此外，该模型能够使语音唱歌。我们还表明，一个简单的f0移位方案在推理过程中有助于保留歌手的身份，并支持我们的歌声转换模型的性能。我们的结果得到了广泛的MOS研究的支持，这些研究比较了不同的消融和基线。
2023-03-21 eess.AS
Error Reduction Network for DBLSTM-based Voice Conversion
到目前为止，许多用于语音转换的深度学习方法都是通过使用大量的训练数据来产生高质量的语音。本文提出了一种基于深度双向长短期记忆（DBLSTM）的语音转换框架，该框架可以使用有限的训练数据。我们建议实现一个基于DBLSTM的平均模型，该模型使用来自许多扬声器的数据进行训练。然后，我们建议使用有限的目标数据进行自适应。最后但并非最不重要的是，我们提出了一个错误减少网络，可以进一步提高语音转换质量。拟议框架的动机是三个意见。首先，DBLSTM通过考虑语音话语的长期依赖性，可以实现显著的语音转换。其次，基于DBLSTM的平均模型可以很容易地适应少量的数据，以实现听起来更接近目标的语音。第三，可以用少量的训练数据训练误差减少网络，并且可以有效地提高转换质量。实验结果表明，该语音转换框架是灵活的工作与有限的训练数据，并优于传统的框架在客观和主观评价。
2018-09-26 eess.AS
Converting Anyone's Emotion: Towards Speaker-Independent Emotional Voice Conversion
National University of Singapore（新加坡国立大学）；Singapore University of Technology and Design（新加坡科技设计大学）
情感语音转换的目的是将语音的情感从一种状态转换到另一种状态，同时保持语言内容和说话人身份。以往的情感语音转换研究大多是在情感依赖于说话人的假设下进行的。我们认为，在口语中，说话者之间存在一个共同的情感表达代码，因此，说话者独立的情感状态之间的映射是可能的。在本文中，我们提出了一个独立于说话人的情感语音转换框架，可以转换任何人的情感，而不需要并行数据。我们提出了一种基于VAW-GAN的编码器-解码器结构来学习频谱和韵律映射。我们使用连续小波变换（CWT）进行韵律转换的时间依赖模型。我们还研究了使用F0作为解码器的额外输入，以提高情感转换性能。实验表明，所提出的说话人无关的框架实现了有竞争力的结果，为可见和不可见的发言人。
2020-10-13 cs.AI cs.CL cs.SD
The Third VoicePrivacy Challenge: Preserving Emotional Expressiveness and Linguistic Content in Voice Anonymization
organization= Universit\'e de Lorraine, CNRS, Inria, LORIA, F-54000 , city= Nancy , country= France；organization= Duke Kunshan University , city= Kunshan , postcode= 215316 , country= China；organization= Mission Défense et Sécurité, Inria , city= Grenoble , country= France；organization= Institute for Natural Language Processing, University of Stuttgart , country= Germany；organization= National Institute of Informatics , addressline= Chiyoda-ku , city= Tokyo , postcode= 101-8340 , country= Japan
本文介绍了2024年第三版语音隐私挑战，旨在通过匿名化技术在保护隐私的同时保留语音内容和情感表达。
2026-01-17 cs.CL cs.SD eess.AS
VECL-TTS: Voice identity and Emotional style controllable Cross-Lingual Text-to-Speech
Sony Research India Pvt. Ltd.（索尼印度私人有限公司研究院）；Indraprastha Institute of Information Technology (IIIT)（因德拉普拉斯信息技术学院（IIIT））
本文提出VECL-TTS端到端跨语言语音合成系统，同时控制语音身份与情感风格，并通过内容与风格一致性损失提升合成质量，在英语及三种印度语言上较SOTA方法平均相对提升8.83%。
2024-06-12 cs.SD eess.AS
Scyclone: High-Quality and Parallel-Data-Free Voice Conversion Using Spectrogram and Cycle-Consistent Adversarial Networks
提出了一种无需并行数据训练的高质量语音转换（VC）技术Scyclone。Scyclone通过引入基于CycleGAN的频谱图转换和简化的基于WaveRNN的声码器来提高转换语音的语音自然度和说话者相似性。在Scyclone中，使用线性频谱图作为转换特征而不是声码器参数，这避免了由于基频和浊音/清音参数的提取误差而导致的质量下降。源和目标说话人的频谱图由改进的CycleGAN网络建模，并使用具有单个高斯概率密度函数的简化WaveRNN重建波形。使用完全不成对的训练数据进行的主观实验表明，Scyclone明显优于CycleGAN-VC 2，CycleGAN-VC 2是现有的最先进的无并行数据VC技术之一。
2020-05-07 eess.AS
Real-Time and Accurate: Zero-shot High-Fidelity Singing Voice Conversion with Multi-Condition Flow Synthesis
针对歌声转换中潜在变量提取困难和处理效率低的问题，提出 RASVC 流模型，结合多解耦特征约束、潜在属性编码器与 MS-iSTFT，实现零样本高保真且快速的歌声转换。
2024-09-09 eess.AS
Emotion-Aware Prefix: Towards Explicit Emotion Control in Voice Conversion Models
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
本文提出情感感知前缀方法，通过双阶段语音转换模型实现显式情感控制，显著提升情感转换性能至85.50%并保持语音质量。
2026-03-10 eess.AS
DreamVoice: Text-Guided Voice Conversion
针对传统一次性语音转换推理需目标录音的问题，该研究构建了含900名说话人音色标注的DreamVoiceDB数据集，提出DreamVC端到端扩散模型与DreamVG通用插件两种文本引导语音转换方法，实现了贴合文本提示的高质量音色转换。
2024-06-24 eess.AS
CycleTransGAN-EVC: A CycleGAN-based Emotional Voice Conversion Model with Transformer
Graduate School of Engineering Science, Osaka University（大阪大学工学研究科）；Advanced Telecommunications Research Institute International（国际高级电信研究所）；RIKEN（理化学研究所）
在这项研究中，我们探讨了Transformer的能力，捕捉帧之间的关系，通过扩大模型的感受野。具体来说，我们提出了一个基于CycleGAN的模型与Transformer，并研究其在情感语音转换任务的能力。在训练过程中，我们采用课程学习的方法逐渐增加帧长，使模型能够从短段一直看到整个语音。在日本情感语音数据集上对所提出的方法进行了评估，并与几个基线（ACVAE，CycleGAN）进行了客观和主观评估。结果表明，我们提出的模型是能够转换的情感与更高的强度和质量。
2021-11-30 cs.LG cs.SD eess.AS
MuSE-SVS: Multi-Singer Emotional Singing Voice Synthesizer that Controls Emotional Intensity
Handong Global University（韩东全球大学）
提出多歌手情感歌声合成器MuSE-SVS，通过联合嵌入控制情感强度，并引入统计音高预测器、上下文感知残差时长预测器和ASPP-Transformer，显著提升了合成歌声的保真度、表现力与伴奏同步性。
2023-03-20 cs.SD eess.AS
Converting Anyone's Voice: End-to-End Expressive Voice Conversion with a Conditional Diffusion Model
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；National University of Singapore（新加坡国立大学）；Sony Interactive Entertainment（索尼互动娱乐）
本文提出基于条件去噪扩散概率模型的端到端表现力语音转换框架，利用自监督语音单元、情感识别和说话人验证特征联合建模内容、情感风格与说话人身份，并通过主客观评估验证其有效性。
2024-05-02 cs.SD eess.AS
RefXVC: Cross-Lingual Voice Conversion with Enhanced Reference Leveraging
针对现有跨语言语音转换未考虑发音带来的音色变化、单参考语音难覆盖音色范围等问题，提出RefXVC方法，结合全局与局部说话人嵌入、音色编码器与发音匹配网络及多参考语音，提升了语音质量与说话人相似度。
2024-06-24 eess.AS
StarGAN-based Emotional Voice Conversion for Japanese Phrases
Ritsumeikan University（立命馆大学）；NTT Corporation（日本电报电话公司）
本文表明，StarGAN-VC，一种用于非并行多对多语音转换（VC）的频谱包络变换方法，能够进行情感VC（EVC）。尽管StarGAN-VC已被证明能够实现说话者身份转换，但其针对日语短语的EVC功能尚未得到澄清。在本文中，我们描述了直接应用StarGAN-VC的EVC任务与最小的基本频率和非周期性处理。通过主观评价实验，我们评估了我们的StarGAN-EVC系统的性能，其实现日语短语EVC的能力。根据主观分类和中立性和相似性的平均意见得分进行主观评价。此外，从EVC质量的角度考察了源和目标情感域之间的相互依赖性。
2021-04-05 cs.CL cs.SD eess.AS
Attention-based Interactive Disentangling Network for Instance-level Emotional Voice Conversion
School of Computer Science and Engineering, Sun Yat-Sen University（中山大学计算机科学与工程学院）；Guangdong Province Key Laboratory of Information Security Technology（广东省信息安全技术重点实验室）；Key Laboratory of Machine Intelligence and Advanced Computing, Ministry of Education（教育部机器智能与先进计算重点实验室）
本文提出基于注意力的交互式解纠缠网络（AINN），通过两阶段流程（对比学习与多视图一致性）实现细粒度情感语音转换，在客观和主观指标上超越现有方法。
2023-12-29 cs.AI cs.SD eess.AS
TRACE-EVC: Text-Guided Relative Affective Control for Zero-Shot Emotional Voice Conversion
Center for Language and Speech Processing (CLSP), Johns Hopkins University, USA（约翰斯·霍普金斯大学语言与语音处理中心）
研究提出指令引导的相对情感语音转换任务，构建相关数据集，基于Emo-Compass模块提出TRACE-EVC零样本框架，能依自然语言指令预测情感变化方向与程度，实验表明其效果良好。
2026-10-07 eess.AS eess.SP
The exploitation of Multiple Feature Extraction Techniques for Speaker Identification in Emotional States under Disguised Voices
University of Sharjah（沙迦大学）
由于人工智能的进步，说话人辨识（SI）技术带来了一个很大的方向，现在被广泛应用于各个部门。特征提取是语音识别的重要组成部分，它对语音识别的过程和性能有着重要的影响。因此，许多特征提取策略进行了深入的研究，对比和分析。本文利用五种不同的特征提取方法对情感环境下的伪装语音进行说话人辨识。为了评估这项工作显着，三个效果使用：高音，低音和电子语音转换（EVC）。实验结果表明，级联的梅尔频率倒谱系数（MFCC），MFCC的增量，和MFCC的增量是最好的特征提取方法。
2021-12-15 cs.CL cs.SD eess.AS
Spatial Voice Conversion: Voice Conversion Preserving Spatial Information and Non-target Signals
The University of Tokyo（东京大学）；Keio University（庆应义塾大学）
本文提出空间语音转换任务，旨在转换目标语音时保留空间信息与非目标信号，通过整合盲源分离、语音转换和空间混合处理多通道波形，为未来研究提供基准。
2024-06-25 cs.SD eess.AS
Speaker Identification from emotional and noisy speech data using learned voice segregation and Speech VGG
Khalifa University（哈利法大学）；Mohammed VI Polytechnic University（穆罕默德六世理工大学）；University of Sharjah（沙迦大学）
语音信号比其他信号受到更多的声学干扰和情感因素的影响。含噪语音数据是实时语音处理应用的一个挑战。必须找到一种有效的方法，将主导信号与其他外部影响隔离开来。一个理想的系统应该有能力准确地识别所需的听觉事件，从一个复杂的场景中采取了不利的情况。本文提出了一种新的方法，使用预先训练的深度神经网络掩码和语音VGG，在情感和干扰等不利条件下进行说话人识别。该模型在英语和阿拉伯语的情感语音数据上取得了优于现有文献的性能，在瑞尔森视听数据集（RAVDESS）、模拟和实际压力下的语音数据集（SUSAS）和阿拉伯口音语音数据集（ESD）上的平均说话人识别率分别为85.2%、87.0%和86.6%。
2022-10-23 cs.SD eess.AS
Transforming Spectrum and Prosody for Emotional Voice Conversion with Non-Parallel Training Data
National University of Singapore（新加坡国立大学）；Singapore University of Technology and Design（新加坡科技设计大学）
情感语音转换的目的是在保留说话人身份和语言内容的同时，通过转换语音的频谱和韵律来改变语音的情感模式。许多研究需要不同情感模式之间的并行语音数据，这在现实生活中是不切实际的。此外，他们通常用简单的线性变换来模拟基频（F0）的转换。由于F0是语调的一个关键方面，具有层次性，我们认为，它是更充分的模型F0在不同的时间尺度上使用小波变换。我们提出了一个CycleGAN网络，通过使用对抗性和循环一致性损失同时学习正向和反向映射，从非并行训练数据中找到最佳伪对。我们还研究了使用连续小波变换（CWT）分解F0到10个时间尺度，描述语音韵律在不同的时间分辨率，有效的F0转换。实验结果表明，我们提出的框架优于基线的客观和主观评价。
2020-10-24 cs.CL cs.SD eess.AS
Advancing User-Voice Interaction: Exploring Emotion-Aware Voice Assistants Through a Role-Swapping Approach
University of Bergen（卑尔根大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）；University of Surrey（萨里大学）；Chalmers University of Technology（查尔姆斯理工大学）；Norwegian University of Science and Technology（挪威科技大学）
本研究采用角色互换方法探索语音助手交互中的人类情绪反应策略，通过分析多情绪场景的声学与语言模式，明确了情绪相关关键指标，为开发更具情感智能的自适应语音助手提供了依据。
2025-02-21 cs.HC cs.SD eess.AS
DurFlex-EVC: Duration-Flexible Emotional Voice Conversion Leveraging Discrete Representations without Text Alignment
Korea University（高丽大学）；Ajou University（亚洲大学）
本文提出DurFlex-EVC，一种无需文本或对齐信息的时长灵活情感语音转换框架，通过单元对齐器和风格自编码器解耦内容与情感，并利用分层风格编码器增强表现力，实验证明其优于基线模型。
2025-01-21 cs.AI cs.SD eess.AS
Maestro-EVC: Controllable Emotional Voice Conversion Guided by References and Explicit Prosody
Graduate School of Artificial Intelligence（人工智能研究生院）；Dept. of Computer Science and Engineering（计算机科学与工程系）；Pohang University of Science and Technology (POSTECH)（釜山科学技术大学）
提出Maestro-EVC框架，通过从独立参考中解耦内容、说话人身份和情感实现可控情感语音转换，并引入时间情感表示与显式韵律建模以精准捕捉情感时间动态，实现高质量且富有表现力的语音合成。
2025-08-09 cs.AI cs.CL cs.SD
The VoiceMOS Challenge 2026: Evaluating Speech Enhancement, Emotional TTS and Accented TTS Systems
Nagoya University（名古屋大学）；Shanghai Jiao Tong University（上海交通大学）；Technische Universität Braunschweig（布伦瑞克工业大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；University of Edinburgh（爱丁堡大学）；National Institute of Information and Communications Technology（日本国立信息通信技术研究所）
VoiceMOS挑战赛2026评估语音增强、情感TTS和带口音TTS系统，设三个赛道，吸引18支队伍，多数超越基线，并总结结果与未来方向。
2026-09-15 cs.SD eess.AS
ClapFM-EVC: High-Fidelity and Flexible Emotional Voice Conversion with Dual Control from Natural Language and Speech
Kyushu University（九州大学）；The University of Tokyo（东京大学）；Ximalaya Inc.（喜马拉雅公司）；EverestAI
针对高保真灵活可控情感语音转换的难题，提出ClapFM-EVC框架，通过EVC-CLAP跨模态对齐情感特征、FuEncoder融合特征及流匹配模型重建频谱，实现语言/语音双控且强度可调的高质量转换，经主客观评估验证有效。
2025-05-20 cs.AI cs.SD eess.AS
Streaming non-autoregressive model for any-to-many voice conversion
Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）
语音转换模型已经发展了几十年，目前主流的研究主要集中在非流式语音转换。但是，流式语音转换比非流式语音转换更适合实际应用场景。本文提出了一种基于完全非自回归模型的流任意到多语音转换方法，该方法包括基于流Transformer的声学模型和流声码器。基于流式Transformer的声学模型由基于流式端到端自动语音识别模型的预训练编码器和基于FastSpeech块修改的解码器组成。流声码器采用伪正交镜像滤波器组和因果卷积技术，实现了流声码器的设计。实验结果表明，该方法在延迟和转换质量方面都取得了显著的性能，并且可以在CPU和GPU上实现实时性。
2022-06-15 cs.SD eess.AS
Identifying Source Speakers for Voice Conversion based Spoofing Attacks on Speaker Verification Systems
自动说话人确认系统旨在确认语音信号的说话人身份。然而，语音转换系统可以操纵一个人的语音信号，使其听起来像另一个说话者的声音，并欺骗说话者验证系统。针对基于语音转换的欺骗攻击的大多数对策被设计成用于区分说话人验证系统的真实语音和欺骗语音。在本文中，我们研究的问题，源说话人识别-推断身份的源说话人给定的语音转换语音。为了进行源说话人识别，我们只需在说话人嵌入网络训练期间将带有源说话人身份标签的语音转换语音数据添加到真实语音数据集。实验结果表明，当使用来自相同语音转换模型的转换语音进行训练和测试时，源说话人识别是可行的。此外，我们的研究结果表明，有更多的转换话语从各种语音转换模型的训练有助于提高源说话人识别性能转换话语从看不见的语音转换模型。
2022-10-31 cs.CR eess.AS
An Overview of Voice Conversion and its Challenges: From Statistical Modeling to Deep Learning
Singapore University of Technology and Design（新加坡科技设计大学）；National Institute of Informatics（国立信息学研究所）；University of Edinburgh（爱丁堡大学）；National University of Singapore（新加坡国立大学）
说话人身份是人类言语的重要特征之一。在语音转换中，我们将说话者身份从一个转换为另一个，同时保持语言内容不变。语音转换涉及多种语音处理技术，例如语音分析、频谱转换、韵律转换、说话人特征化和声码。随着理论和实践的发展，我们现在能够产生具有高说话人相似度的人一样的语音质量。在本文中，我们全面概述了最先进的语音转换技术及其性能评估方法，从统计方法到深度学习，并讨论了它们的前景和局限性。我们还将报告最近的语音转换挑战（VCC），当前技术状态的性能，并提供语音转换研究可用资源的摘要。
2020-11-17 cs.SD eess.AS
PromptEVC: Controllable Emotional Voice Conversion with Natural Language Prompts
Huawei Translation Service Center（华为翻译服务中心）；Key Laboratory of Child Development and Learning Science (Southeast University)（儿童发展与学习科学重点实验室（东南大学））；School of Biological Science and Medical Engineering（生物科学与医学工程学院）
提出PromptEVC，利用自然语言提示实现可控情感语音转换，通过情感描述符和韵律建模提升情感控制精度与自然度，实验验证其在多项任务上优于现有方法。
2025-05-27 cs.SD eess.AS eess.SP
AC-VC: Non-parallel Low Latency Phonetic Posteriorgrams Based Voice Conversion
Logitech Europe S.A.（罗技欧洲公司）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院（EPFL））
本文介绍了一种基于语音后验图的语音转换系统AC-VC（Almost Causal Voice Conversion），该系统可以实现任意对多语音转换，同时具有57.5 ms的未来预测能力。整个系统由三个分别用非并行数据训练的神经网络组成。虽然目前大多数语音转换系统主要关注质量，而不考虑算法延迟，但这项工作详细说明了使用最少量的未来上下文设计方法，从而允许未来的实时实现。根据在这项工作中组织的主观听力测试，所提出的AC-VC系统在自然度方面与2020年语音转换挑战赛的非因果性ASR-TTS基线达到了等同，MOS为3.5。与此相反，结果表明，未来的上下文缺失会影响说话人的相似性。获得的相似度百分比为65%，低于当前最好的语音转换系统的相似度。
2021-11-12 cs.SD eess.AS
Emotional Voice Conversion using Multitask Learning with Text-to-speech
KI for Artificial Intelligence, KAIST（韩国科学技术院人工智能研究所）；Information and Electronics Research Institute, KAIST（韩国科学技术院信息与电子研究所）
语音转换（VC）是指在保留语言内容的前提下，将人的语音转换为不同的风格。以往VC的研究都是基于序列到序列（seq 2seq）模型，这可能会误导语言信息。有人试图通过使用文本监督来克服它，它需要显式对齐，这失去了使用seq 2seq模型的好处。提出了一种基于多任务学习的文本转语音语音转换器。基于seq 2seq的文语转换的嵌入空间具有丰富的文本信息。TTS解码器的作用是将嵌入空间转换为语音，这与VC相同。在所提出的模型中，整个网络的训练，以尽量减少损失的VC和TTS。VC有望通过多任务学习捕获更多的语言信息并保持训练稳定性。在男性韩语情感文本-语音数据集上进行了VC的实验，结果表明多任务学习有助于保持VC中的语言内容。
2019-11-27 cs.CL cs.SD eess.AS
DGC-vector: A new speaker embedding for zero-shot voice conversion
Netease Games AI Lab（网易游戏AI实验室）
近年来，越来越多的zero-shot语音转换算法被提出。说话人嵌入作为zero-shot语音转换的基础部分，是提高转换语音的说话人相似度的关键。在本文中，我们研究了说话人嵌入对zero-shot语音转换性能的影响。为了在zero-shot语音转换中更好地表达目标说话人的特征，提高说话人相似度，本文提出了一种新的说话人表示方法。我们的方法结合了D-向量，全局风格令牌（GST）的说话人表示和辅助监督的优点。客观和主观评价结果表明，该方法在zero-shot语音转换上取得了较好的效果，与D-向量和基于GST的说话人嵌入相比，该方法显著提高了说话人相似度。
2022-03-18 cs.SD eess.AS
CVC: Contrastive Learning for Non-parallel Voice Conversion
Tsinghua University（清华大学）；Zhejiang University（浙江大学）；Shanghai Qi Zhi Institute（上海期智研究院）
基于循环一致生成对抗网络（CycleGAN）和变分自编码器（VAE）的模型近年来在非并行语音转换中得到了广泛的应用。然而，他们往往遭受困难的培训过程和不满意的结果。在本文中，我们提出了CVC，一种基于对比学习的对抗性语音转换方法。与以前的基于CycleGAN的方法相比，CVC只需要一个有效的单向GAN训练，利用对比学习的优势。当涉及到非并行的一对一语音转换时，CVC与CycleGAN和VAE不相上下或更好，同时有效地减少了训练时间。CVC在多对一语音转换方面进一步展示了卓越的性能，能够从看不见的扬声器进行转换。
2021-04-02 cs.SD eess.AS
DurIAN-SC: Duration Informed Attention Network based Singing Voice Conversion System
Tencent AI Lab（腾讯人工智能实验室）
歌唱声音转换是指在保持歌唱内容不变的前提下，将源歌唱的音色转换为目标说话人的声音。然而，歌唱数据的目标说话人是更难以收集相比，正常的语音数据。在本文中，我们介绍了一个歌唱声转换算法，能够产生高品质的目标说话人的歌声，只用他/她的正常语音数据。首先，我们通过统一标准语音合成系统和歌唱合成系统中使用的特征，将语音和歌唱的训练和转换过程集成到一个框架中。此外，为了实现一次转换，本文还设计了一个说话人嵌入模块，利用语音和歌唱数据，在转换过程中提供目标说话人的识别信息。实验结果表明，所提出的歌唱转换系统仅需20秒的目标说话人注册语音数据就能将源歌唱转换为目标说话人的高质量歌唱。
2020-08-07 cs.SD eess.AS
Many-to-Many Voice Conversion using Cycle-Consistent Variational Autoencoder with Multiple Decoders
Korea University（高丽大学）；Artificial Intelligence Laboratory（人工智能实验室）
多对多语音转换中的一个障碍是需要并行训练数据，这些数据包含不同说话人说出的具有相同语言内容的话语对。由于收集这种并行数据是一项非常昂贵的任务，许多作品试图使用非并行训练数据进行多对多语音转换。其中一种方法是使用变分自动编码器（VAE）。基于VAE的语音转换方法虽然可以处理多对多的语音转换而无需并行训练，但是转换后的语音质量不高。其中一个主要原因是因为VAE只学习了自重构路径，而转换路径根本没有经过训练。在本文中，我们提出了一个周期一致性损失的VAE显式学习的转换路径。此外，我们提出了使用多个解码器，以进一步改善传统的基于VAE的语音转换方法的音质。通过客观评价和主观评价验证了该方法的有效性。
2020-02-02 cs.CL eess.AS
Transfer Learning from Speech Synthesis to Voice Conversion with Non-Parallel Training Data
Southeast University（东南大学）；National University of Singapore（新加坡国立大学）
本文提出了一种新的框架，建立一个语音转换（VC）系统的学习从文本到语音（TTS）合成系统，即TTS-VC迁移学习。首先，我们开发了一个多扬声器语音合成系统与序列到序列的编码器-解码器架构，其中编码器提取强大的语言表示的文本，和解码器，条件下的目标说话人嵌入，需要上下文向量和注意经常性的网络单元输出生成目标声学特征。我们利用TTS系统将输入文本映射到与说话人无关的上下文向量的事实，并重用这样的映射来监督编码器-解码器语音转换系统的潜在表示的训练。在语音转换系统中，编码器以语音代替文本作为输入，而解码器的功能类似于TTS解码器。由于我们将解码器设置为扬声器嵌入，因此系统可以在非并行数据上进行训练，以进行任意到任意的语音转换。在语音转换训练过程中，我们分别提出了文本和语音到语音合成和语音转换网络。在运行时，语音转换网络使用自己的编码器-解码器架构。实验表明，该方法优于两个竞争的语音转换基线一致，即语音后验图和变分自动编码器的方法，在语音质量，自然度和说话人相似性。
2021-01-06 cs.SD eess.AS
Voice Conversion for Stuttered Speech, Instruments, Unseen Languages and Textually Described Voices
Stellenbosch University（斯泰伦博斯大学）
本研究探索kNN-VC语音转换模型在口吃、跨语言、乐器和文本描述声音等非标准任务上的表现，发现其在口吃和跨语言任务中保持高性能，但乐器转换效果不一，整体展示广泛适用性及分布外样本的局限。
2023-10-12 cs.CL cs.SD eess.AS
AVQVC: One-shot Voice Conversion by Vector Quantization with applying contrastive learning
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；University of Science and Technology of China（中国科学技术大学）
语音转换是指在保留话语内容的同时改变语音的音色。最近，许多工作集中在基于分离的学习技术，从语音信号中分离音色和语言内容信息。一旦成功，语音转换将是可行和直接的。提出了一种基于矢量量化语音转换（VQVC）和AutoVC的单次语音转换框架AVQVC。一种新的训练方法被应用到VQVC中，以更有效地从语音中分离出内容和音色信息。实验结果表明，该方法在分离语音内容和音质方面优于VQVC方法。
2022-02-21 cs.SD eess.AS
The IQIYI System for Voice Conversion Challenge 2020
IQIYI Inc.（爱奇艺公司）
本文介绍了用于语音转换2020的IQIYI语音转换系统（T24）。在比赛中，每个目标说话人有70个句子。我们已经建立了一个基于PPG的端到端语音转换系统。首先，ASR声学模型计算BN特征，其表示语音中的内容相关信息。然后通过改进的韵律tacotron模型计算Mel特征。最后，通过改进的LPCNet将Mel谱转换为wav。评测结果表明，该系统能够达到较好的语音转换效果。在使用16 k而不是24 k采样率音频的情况下，转换结果在自然度和相似性方面相对较好。其中，我们最好的结果是在任务2的相似性评价，第2次在基于ASV的客观评价和第5次在主观评价。
2020-10-29 cs.SD eess.AS
Nonparallel Emotional Voice Conversion For Unseen Speaker-Emotion Pairs Using Dual Domain Adversarial Network & Virtual Domain Pairing
Sony Research India（索尼研究印度）；Sony Group Corporation, Japan（索尼集团公司）
情感语音转换（EVC）系统的主要目标是将给定语音信号的情感从一种风格转换为另一种风格，而不修改信号的语言内容。大多数最先进的方法仅针对所看到的说话者-情绪组合转换情绪。在本文中，我们解决了在训练和测试期间仅存在中性数据的说话者的情感转换问题（即，看不见的说话者-情绪组合）。为此，我们扩展了最近提出的StartGANv 2-VC架构，利用双编码器分别学习说话者和情感风格嵌入以及双域源分类器。为了实现到看不见的说话者-情绪组合的转换，我们提出了一种虚拟域配对（VDP）训练策略，该策略虚拟地结合了真实数据中不存在的说话者-情绪对，而不会影响对抗训练中的最小-最大游戏和生成器。我们使用印地语情感数据库评估所提出的方法。
2023-02-21 cs.AI cs.SD eess.AS
Emotion Intensity and its Control for Emotional Voice Conversion
National University of Singapore（新加坡国立大学）；Singapore University of Technology and Design（新加坡科技设计大学）；University of Southern Queensland（南昆士兰大学）；Imperial College London（帝国理工学院）；University of Augsburg（奥格斯堡大学）；University of Bremen（不来梅大学）
情感语音转换（EVC）旨在转换话语的情感状态，同时保留语言内容和说话人身份。在EVC中，情感通常被视为离散的类别，忽略了语音也传达了听者可以感知的各种强度水平的情感。在本文中，我们的目标是明确的特征和控制的强度的情绪。我们建议将说话者风格从语言内容中分离出来，并将说话者风格编码成一个风格嵌入在一个连续的空间中，形成情感嵌入的原型。我们进一步学习实际的情感编码器从情感标记的数据库，并研究使用相对属性来表示细粒度的情感强度。为了确保情感的可理解性，我们将情感分类损失和情感嵌入相似性损失纳入EVC网络的训练中。根据需要，所提出的网络控制输出语音中的细粒度情感强度。通过客观和主观的评价，我们验证了所提出的网络的情感表达和情感强度控制的有效性。
2022-07-18 cs.CL cs.LG cs.SD
Optimizing voice conversion network with cycle consistency loss of speaker identity
Northwestern Polytechnical University（西北工业大学）；National University of Singapore（新加坡国立大学）
我们提出了一种新的训练方案，优化语音转换网络与说话人身份损失函数。训练方案不仅最小化帧级频谱损失，而且说话人身份损失。我们引入了一个周期的一致性损失，限制转换后的语音，以保持相同的扬声器身份作为参考语音在话语水平。虽然所提出的训练方案适用于任何语音转换网络，但我们在本文的平均模型语音转换框架下进行了研究。在CMU-ARCTIC和CSTR-VCTK语料库上进行的实验表明，该方法在说话人相似度方面优于基线方法。
2020-11-17 cs.SD eess.AS
Sympatheia: Emotionally Adaptive Voice Assistant with Continuous Affect Conditioning
Department of Electrical Engineering, Columbia University（电气工程系，哥伦比亚大学）
提出Sympatheia语音对话框架，通过从用户语音推断情感并结合连续效价-唤醒度控制信号，实现情感自适应响应，优于基线模型。
2026-05-30 cs.CL cs.HC cs.LG
Improvement Speaker Similarity for Zero-Shot Any-to-Any Voice Conversion of Whispered and Regular Speech
FluentaAI
提出SpeakerVC模型，实现轻量级流式零样本有声与耳语语音转换，并探索提升说话人身份迁移质量的方法。
2024-08-21 cs.SD eess.AS
PAVITS: Exploring Prosody-aware VITS for End-to-End Emotional Voice Conversion
Southeast University（东南大学）；School of Biological Science and Medical Engineering, Southeast University（东南大学生物科学与医学工程学院）
本文提出PAVITS，一种用于端到端情感语音转换的韵律感知VITS架构，通过集成声学转换器与声码器解决训练与转换不匹配问题，并引入情感描述符、韵律预测器和韵律对齐损失以同时提升内容与情感自然度，性能优于现有方法。
2024-03-03 cs.SD eess.AS eess.SP
