Information Sieve: Content Leakage Reduction in End-to-End Prosody For Expressive Speech Synthesis
Tianjin Key Laboratory of Cognitive Computing and Application(天津认知计算与应用重点实验室);College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部);Tianjin University-Huiyan Technology Joint AI Lab(天津大学-慧眼科技联合人工智能实验室)
表达型神经文本到语音(TTS)系统结合了一个风格编码器来学习潜在的嵌入作为风格信息。然而,该嵌入过程可能对冗余的文本信息进行编码。这种现象称为内容泄漏。研究人员试图通过添加ASR或其他辅助监督损失函数来解决这个问题。在这项研究中,我们提出了一个无监督的方法称为“信息筛”,以减少在韵律传输的内容泄漏的影响。这种方法的基本原理是,通过良好设计的下采样-上采样滤波器,可以迫使风格编码器关注风格信息而不是包含在参考语音中的文本信息,即,所提取的风格嵌入可以以特定间隔被下采样,然后通过复制被上采样。此外,我们在卷积层中使用实例规范化来帮助系统学习更好的潜在样式空间。客观的指标,如显着较低的字出错率(WER)证明了该模型在减轻内容泄漏的有效性。听力测试表明,该模型保留了其韵律迁移与基线模型,如原来的GST-Tacotron和ASR引导的Tacotron。
2021-08-04 cs.SD eess.AS
VoxInstruct: Expressive Human Instruction-to-Speech Generation with Unified Multilingual Codec Language Modelling
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系);BNRist, Tsinghua University(清华大学BNRist);Key Laboratory of Pervasive Computing, Ministry of Education(教育部普适计算重点实验室)
提出统一多语言编解码器语言建模框架VoxInstruct,通过引入语音语义token和多种CFG策略,将文本到语音扩展为人类指令到语音任务,实现细粒度控制并增强表现力。
2024-08-28 cs.SD eess.AS
Stylebook: Content-Dependent Speaking Style Modeling for Any-to-Any Voice Conversion using Only Speech Data
Qualcomm Technologies, Inc.(高通技术公司)
针对任意到任意语音转换中目标说话风格还原度不足的问题,提出基于SSL注意力机制的stylebook风格表示方法,结合扩散解码器实现无标注的内容依赖风格迁移,提升了说话人相似度并控制了计算复杂度。
2023-12-15 cs.AI cs.SD eess.AS
Learning Expressive Disentangled Speech Representations with Soft Speech Units and Adversarial Style Augmentation
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司);University of Science and Technology of China(中国科学技术大学)
本文提出SAVC框架,利用HuBERT-soft软语音单元,通过对抗风格增强消除说话人信息,并借助知识蒸馏建模韵律,实现表达性语音转换,在可懂度和自然度上优于已有方法。
2024-05-01 cs.SD eess.AS
HD-PPT: Hierarchical Decoding of Content- and Prompt-Preference Tokens for Instruction-based TTS
本文提出HD-PPT框架,通过分层解码策略提升指令遵循性和语音自然度,实现更精细的语音合成控制。
2026-03-15 cs.SD eess.AS
A Comprehensive Study of Content Representations for Speech Synthesis
STMS Lab(STMS实验室);IRCAM(声学/音乐研究和协作学院);CNRS(法国国家科学研究中心);Sorbonne Université(索邦大学)
本研究通过仅以各内容表征为条件的生成模型,在通用框架下比较SSL特征、监督式token等表征,发现解耦取决于训练目标与信息容量的交互,监督式表征仅在容量受限时才能解耦说话人身份。
2026-09-28 cs.LG cs.SD eess.AS
AVQVC: One-shot Voice Conversion by Vector Quantization with applying contrastive learning
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司);University of Science and Technology of China(中国科学技术大学)
语音转换是指在保留话语内容的同时改变语音的音色。最近,许多工作集中在基于分离的学习技术,从语音信号中分离音色和语言内容信息。一旦成功,语音转换将是可行和直接的。提出了一种基于矢量量化语音转换(VQVC)和AutoVC的单次语音转换框架AVQVC。一种新的训练方法被应用到VQVC中,以更有效地从语音中分离出内容和音色信息。实验结果表明,该方法在分离语音内容和音质方面优于VQVC方法。
2022-02-21 cs.SD eess.AS
Robust AI-Synthesized Speech Detection Using Feature Decomposition Learning and Synthesizer Feature Augmentation
School of Computer Science and Technology, Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳)计算机科学与技术学院);College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics(南京航空航天大学计算机科学与技术学院);Alibaba Group(阿里巴巴集团);College of Computer Science, Chongqing University(重庆大学计算机学院)
提出基于双流特征分解与合成器特征增强的鲁棒deepfake speech检测方法,通过学习独立于合成器的内容特征并增加特征多样性,提升对未见合成器的泛化能力。
2024-11-14 cs.CR cs.SD eess.AS
Unsupervised Style and Content Separation by Minimizing Mutual Information for Speech Synthesis
Apple(苹果公司)
我们提出了一种从输入文本和以无监督方式从参考语音信号中提取的风格向量生成语音的方法,即,不需要诸如说话者信息之类的样式注释。现有的无监督方法在训练期间通过从相应的地面真实样本计算风格来生成语音,并使用解码器将风格向量与输入文本相结合。以这种方式训练模型会将内容信息泄漏到样式向量中。解码器可以使用泄漏的内容并忽略一些输入文本以最小化重建损失。在推断时,当参考语音与内容输入不匹配时,输出可能不包含输入文本的所有内容。我们将这个问题称为“内容泄漏”,我们通过对抗训练公式明确估计和最小化风格和内容之间的互信息来解决这个问题。我们称我们的方法MIST -基于互信息的风格内容分离。该方法的主要目标是保留输入内容的合成语音信号,我们衡量的字错误率(WER),并表现出显着的改进,在国家的最先进的无监督语音合成方法。
2020-03-09 cs.CV cs.IT cs.LG
TGAVC: Improving Autoencoder Voice Conversion with Text-Guided and Adversarial Training
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司);University of Science and Technology of China(中国科学技术大学);Aquinas International Academy(阿奎那国际学院)
非并行多对多语音转换仍然是一个有趣但具有挑战性的语音处理任务。最近,AutoVC,一种基于条件自动编码器的方法,通过使用信息约束瓶颈解开说话人身份和语音内容,实现了出色的转换结果。然而,由于纯自动编码器训练方法,很难评估内容和说话人身份的分离效果。提出了一种新的语音转换框架$\boldsymbol T$ ext $\boldsymbol G$ guided $\boldsymbol A$ utoVC(TGAVC),能够更有效地从语音中分离出内容和音色。此外,对抗性训练应用于消除从语音提取的估计内容嵌入中的说话人身份信息。在期望内容嵌入和对抗训练的指导下,训练内容编码器从语音中提取与说话人无关的内容嵌入。在AIShell-3数据集上的实验表明,该模型在转换语音的自然度和相似度方面优于AutoVC。
2022-08-08 cs.AI cs.SD eess.AS
Automatic Speech Disentanglement for Voice Conversion using Rank Module and Speech Augmentation
East China University of Science and Technology(华东理工大学);University of St.Gallen(圣加仑大学)
本文提出一种仅用两个增强函数即可自动将语音解缠为内容、音色、节奏和音高四部分的语音转换模型,无需手工特征或瓶颈调优,实验证明其在解缠有效性和自然度上优于基线。
2023-06-21 cs.LG cs.SD eess.AS
UnifySpeech: A Unified Framework for Zero-shot Text-to-Speech and Voice Conversion
Chinese Academy of Science(中国科学院);Tsinghua University(清华大学);University of Chinese Academy of Sciences(中国科学院大学)
文语转换(TTS)和语音转换(VC)是两个不同的任务,都是为了根据不同的输入方式生成高质量的说话语音。由于它们的相似性,本文提出了UnifySpeech,首次将TTS和VC纳入统一的框架中。该模型是基于这样的假设,即语音可以被解耦为三个独立的成分:内容信息,说话人信息,韵律信息。TTS和VC都可以看作是从输入中挖掘这三部分信息,完成语音的重构。对于TTS,语音内容信息来自文本,而在VC中,它来自源语音,因此两个任务中除了语音内容提取模块之外,其余所有单元都是共享的。我们采用矢量量化和域约束来弥合TTS和VC的内容域之间的差距。客观和主观评价结果表明,通过将两个任务结合起来,TTS获得了更好的说话人建模能力,而VC获得了令人印象深刻的语音内容解耦能力。
2023-01-10 cs.CL cs.LG cs.SD
VisageSynTalk: Unseen Speaker Video-to-Speech Synthesis via Speech-Visage Feature Selection
KAIST(韩国科学技术院)
这项工作的目标是重建语音从一个无声的说话的脸视频。最近的研究表明,从无声的说话人脸视频合成语音的性能令人印象深刻。然而,他们没有明确地考虑不同的身份特征的不同发言人,这将在视频到语音合成的挑战,这变得更加关键,在unseen-speaker设置。我们的方法是从一个给定的无声说话的脸视频分离的语音内容和面部风格。通过引导模型独立地专注于对这两种表示进行建模,即使在给定看不见的对象的输入视频时,我们也可以从模型中获得高清晰度的语音。为此,我们引入语音人脸选择,分离的语音内容和扬声器的身份从输入视频的视觉特征。通过基于人脸风格的合成器,该合成器通过在保持语音内容的同时涂覆人脸风格来生成语音。因此,所提出的框架带来了合成包含正确内容的语音的优点,即使是与看不见的主体的无声谈话面部视频。我们验证了建议的框架上的GRID,TCD-TIMIT志愿者,和LRW数据集的有效性。
2022-07-20 cs.CV cs.LG cs.SD
Unified Source-Filter GAN: Unified Source-filter Network Based On Factorization of Quasi-Periodic Parallel WaveGAN
Nagoya University(名古屋大学)
我们提出了一个统一的方法,数据驱动的源滤波器建模使用一个单一的神经网络开发的神经声码器能够生成高质量的合成语音波形,同时保留灵活性的源滤波器模型,以控制他们的语音特性。我们提出的网络称为统一的源滤波器生成对抗网络(uSFGAN)的开发,通过分解准周期并行WaveGAN(QPPWG),神经声码器的基础上一个单一的神经网络,到一个源激励生成网络和声道共振滤波网络通过额外实现正则化损失。此外,受神经源滤波器(NSF)的启发,仅正弦波形被另外用作最简单的线索以生成周期性源激励波形,同时最小化源滤波器模型中的近似的影响。实验结果表明,uSFGAN优于传统的神经声码器,如QPPWG和NSF在语音质量和音高可控性。
2021-06-27 cs.LG cs.SD eess.AS
Attempt Towards Stress Transfer in Speech-to-Speech Machine Translation
International Institute of Information Technology - Hyderabad(印度信息技术学院海得拉巴分校)
针对印度教育场景下现有语音到语音机器翻译输出单调、缺乏重音的问题,本文构建带重音标注的印度英语数据集,提出基于FastPitch的可迁移重音的TTS架构,实现印度英语到印地语的重音迁移SSMT系统,提升教育内容质量与吸引力。
2024-03-07 cs.CL cs.SD eess.AS
PromptTTS: Controllable Text-to-Speech with Text Descriptions
Microsoft(微软)
使用文本描述作为提示来指导文本或图像的生成(例如,GPT-3或DALLE-2)最近引起了广泛的关注。除了文本和图像生成,在这项工作中,我们探讨了利用文本描述来指导语音合成的可能性。因此,我们开发了一个文本转语音(TTS)系统(简称为TTS),需要一个提示与风格和内容的描述作为输入,合成相应的语音。具体地说,语音合成TTS包括一个风格编码器和一个内容编码器,用于从提示中提取相应的表示,以及一个语音解码器,用于根据提取的风格和内容表示合成语音。与要求用户具有声学知识以理解诸如韵律和音高之类的风格因素的可控TTS中的先前工作相比,可控TTS更用户友好,因为文本描述是表达语音风格的更自然的方式(例如,“一位女士慢慢地对她的朋友耳语”)。鉴于没有带有提示的TTS数据集,为了对TTS任务进行基准测试,我们构建并发布了一个包含样式和内容信息以及相应语音的提示的数据集。实验结果表明,该方法能够生成风格控制精确、语音质量高的语音.音频样本和我们的数据集是公开的。
2022-11-22 cs.CL cs.LG cs.SD
Text is All You Need: Personalizing ASR Models using Controllable Speech Synthesis
Apple(苹果公司)
由于个性化数据的稀缺性,使通用语音识别模型适应特定个体是一个具有挑战性的问题。最近的工作已经提出使用个性化的文本到语音合成来提高训练数据的量。在这里,我们提出了关于这种策略的两个基本问题:合成数据何时对个性化有效,以及为什么在这些情况下有效?为了解决第一个问题,我们采用了一个国家的最先进的自动语音识别(ASR)模型的目标扬声器从四个基准数据集代表不同的扬声器类型。我们表明,合成数据的ASR个性化在所有情况下都是有效的,但特别是当(i)目标说话人在全局数据中代表性不足,以及(ii)全局模型的容量有限时。为了解决第二个问题,为什么个性化的合成数据是有效的,我们使用可控的语音合成来生成具有不同风格和内容的语音。令人惊讶的是,我们发现,文本内容的合成数据,而不是风格,是重要的发言人适应。这些结果使我们提出了一个数据选择策略的基础上语音内容的ASR个性化。
2023-03-27 cs.LG cs.SD eess.AS
ContextCodec: Content-Focused Context Guidance for Ultra-Low Bitrate Speech Coding
Department of Electronic Engineering, Tsinghua University(清华大学电子工程系);Department of Automation, Tsinghua University(清华大学自动化系)
提出ContextCodec,通过双分支编码器解耦声学细节与内容上下文,利用CLIP对比损失对齐上下文特征与音素索引,在500 bps下实现质量与可懂度的良好平衡。
2026-06-09 cs.SD
ACE-VC: Adaptive and Controllable Voice Conversion using Explicitly Disentangled Self-supervised Speech Representations
NVIDIA(英伟达)
在这项工作中,我们提出了一种使用经过自监督学习训练的语音表示的零射击(zero-shot)语音转换方法。首先,我们开发了一个多任务模型,将语音话语分解为语言内容,说话人特征和说话风格等特征。为了理清内容和扬声器表示,我们提出了一种基于Siamese网络的训练策略,该策略鼓励原始音频和音高偏移音频的内容表示之间的相似性。接下来,我们开发了一个合成模型与音高和持续时间预测,可以有效地重建语音信号从其分解表示。我们的框架允许可控和扬声器自适应合成,以执行zero-shot任何到任何语音转换,实现最先进的结果的度量评估扬声器的相似性,可理解性和自然性。对于目标说话者,仅使用10秒的数据,我们的框架就可以执行语音交换,并实现了5.5%的说话者验证EER,对于看不见的说话者,EER为8.4%。
2023-02-16 cs.LG cs.SD eess.AS
Vevo: Controllable Zero-Shot Voice Imitation with Self-Supervised Disentanglement
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Meta AI
Vevo提出一种自监督解纠缠的零样本声音模仿框架,通过两阶段建模实现音色与风格的可控生成,在口音和情感转换任务中达到或超越现有方法。
2025-02-11 cs.AI cs.SD eess.AS
Unsupervised Speech Decomposition via Triple Information Bottleneck
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
语音信息可以大致分解为四个组成部分:语言内容、音色、音高和节奏。获得这些分量的解纠缠表示在许多语音分析和生成应用中是有用的。最近,国家的最先进的语音转换系统已经导致语音表示,可以解开扬声器相关和独立的信息。然而,这些系统只能解开音色,而有关音高,节奏和内容的信息仍然混合在一起。在没有针对每个分量的明确注释的情况下,进一步解开剩余的语音分量是欠确定的问题,这是难以获得且昂贵的。在本文中,我们提出了SpeechSplit,它可以通过引入三个精心设计的信息瓶颈,将语音盲分解为四个组成部分。SpeechSplit是第一个可以在没有文本标签的情况下单独对音色、音高和节奏进行风格转换的算法。我们的代码可在https://github.com/auspicious3000/SpeechSplit上公开获取。
2021-03-13 cs.LG cs.SD eess.AS
Eta-WavLM: Efficient Speaker Identity Removal in Self-Supervised Speech Representations Using a Simple Linear Equation
Università degli studi di Torino(托斯纳大学);Cerence Inc(Cerence公司)
本文提出Eta-WavLM,通过线性分解自监督语音表示中的说话人特定与无关成分,实现高效说话人身份去除,在语音转换等任务上优于现有方法。
2025-05-25 cs.AI cs.SD eess.AS
Speech inpainting: Context-based speech synthesis guided by video
Universitat Pompeu Fabra(庞培法布拉大学);Aalborg University(奥尔堡大学);Oticon A/S(奥迪康公司)
针对受损语音片段的修复问题,本文提出由视频视觉线索和未受损音频上下文共同引导的音视频 transformer 模型,并验证 AV-HuBERT 特征可有效提升语音合成效果。
2023-06-01 cs.AI cs.SD eess.AS
TI-ASU: Toward Robust Automatic Speech Understanding through Text-to-speech Imputation Against Missing Speech Modality
University of Southern California(南加州大学);Amazon AGI(亚马逊AGI)
针对语音模态缺失场景下的自动语音理解(ASU)问题,提出TI-ASU方法,利用预训练文本转语音模型填补缺失语音。实验表明,在训练语音缺失比例高达95%时该方法仍能显著提升ASU性能,并自适应dropout训练增强推理鲁棒性。
2024-04-27 cs.CL cs.SD eess.AS
Adversarially learning disentangled speech representations for robust multi-factor voice conversion
Huya Inc.(虎牙公司)
将语音分解为分离的语音表示是实现语音转换(VC)中高度可控的风格转换的关键。传统的语音表示学习方法只将语音分解为说话人和内容,缺乏对其他韵律相关因素的控制。现有的语音表征学习方法主要采用随机重排序和ad-hoc瓶颈层大小调整等解纠缠算法,但难以保证鲁棒的语音表征解纠缠。为了提高VC中高度可控的风格迁移对多个因素的鲁棒性,我们提出了一个基于对抗学习的分离式语音表示学习框架。四个语音表示特征的内容,音色,节奏和音高提取,并进一步解开对抗掩码和预测(MAP)网络启发BERT。对抗性网络通过随机掩蔽和预测其中一个表示来最小化语音表示之间的相关性。实验结果表明,该框架显著提高了VC对多种因素的鲁棒性,语音质量MOS从2.79提高到3.30,MCD从3.89降低到3.58.
2021-08-20 cs.LG cs.SD eess.AS
Investigating Content-Aware Neural Text-To-Speech MOS Prediction Using Prosodic and Linguistic Features
Innoetics(伊诺提克斯公司);Samsung Electronics(三星电子);Mobile eXperience Business, Samsung Electronics(三星电子移动体验业务部门)
本研究提出在MOS预测系统中引入韵律和语言特征作为额外输入,并在SOMOS数据集上验证其有效性,结果表明该方法能提升预测分数与真实值的相关性。
2023-05-07 cs.CL cs.LG cs.SD
Lip-to-Speech Synthesis in the Wild with Multi-task Learning
KAIST(韩国科学技术院)
最近的研究表明,在唇到语音合成,旨在重建语音从视觉信息单独令人印象深刻的性能。然而,由于指导模型推断正确内容的监督不足,他们一直无法在野外合成准确的语音。与以前的方法不同,在本文中,我们开发了一个功能强大的Lip2Speech方法,即使在野外环境中,也可以从输入的嘴唇运动中重建具有正确内容的语音。为此,我们设计了多任务学习,使用多模态监督来指导模型,即,文本和音频,以补充声学特征重建损失的单词表示的不足。因此,所提出的框架带来了合成语音的优势,包含多个扬声器的权利内容与不受约束的句子。我们使用LRS2,LRS3和LRW数据集验证了所提出的方法的有效性。
2023-02-17 cs.CV cs.LG cs.MM
VQMIVC: Vector Quantization and Mutual Information-Based Unsupervised Speech Representation Disentanglement for One-shot Voice Conversion
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
单次语音转换(One-shot Voice Conversion,VC)是一种基于语音表示解纠缠的转换方法,它只需要一个目标说话人的语音作为参考,就可以在任意说话人之间进行转换。现有的工作通常忽略了不同的语音表示之间的相关性在训练过程中,这会导致泄漏的内容信息到扬声器表示,从而降低VC的性能。为了缓解这个问题,我们采用矢量量化(VQ)进行内容编码,并在训练过程中引入互信息(MI)作为相关性度量,通过以无监督的方式减少它们的相互依赖性,实现内容,扬声器和音高表示的适当解纠缠。实验结果反映了该方法在学习有效的解纠缠语音表示保留源语言内容和语调变化,同时捕捉目标说话人特征的优势。在这样做时,所提出的方法实现了更高的语音自然度和扬声器相似性比当前国家的最先进的单次VC系统。我们的代码、预训练模型和演示可在https://github.com/Wendison/VQMIVC上获得。
2021-06-18 cs.CL cs.MM cs.SD
AlignSTS: Speech-to-Singing Conversion via Cross-Modal Alignment
Zhejiang University(浙江大学);ByteDance(字节跳动)
本文提出 AlignSTS,一种基于显式跨模态对齐的语音到歌声转换模型,通过节奏适配器预测目标节奏表示并利用交叉注意力重新对齐内容,解决了无文本场景下音高与内容对齐难题,在客观和主观指标上均表现优异。
2023-05-24 cs.CL cs.MM cs.SD
Textless Speech Emotion Conversion using Discrete and Decomposed Representations
Bar-Ilan University(巴伊兰大学);Meta AI Research(Meta人工智能研究院);EHESS(社会科学高等学院)
言语情感转换是指在保持言语的词汇内容和说话人身份的前提下,对言语的情感进行修正。在这项研究中,我们把情感转换的问题作为一个口语翻译任务。我们将语音信号分解为离散的学习表示,包括语音内容单元,韵律特征,扬声器和情感。首先,我们通过将语音内容单元翻译成目标情感来修改语音内容,然后基于这些单元预测韵律特征。最后,通过将预测的表示馈送到神经声码器中来生成语音波形。这样的范例使我们能够超越频谱和参数变化的信号,和模型的非语言发声,如笑声插入,打哈欠删除等,我们客观和主观地证明,所提出的方法是大大优于目前的方法,甚至击败基于文本的系统在感知的情感和音频质量。我们严格评估了这样一个复杂系统的所有组件,并通过广泛的模型分析和消融研究得出结论,以更好地强调所提出的方法的架构选择,优点和缺点。示例可通过以下链接获得:https://speechbot.github.io/emotion。
2022-12-13 cs.AI cs.CL cs.LG
Fine-grained style control in Transformer-based Text-to-speech Synthesis
Language Technologies Institute, Carnegie Mellon University(卡内基梅隆大学语言技术研究所)
在本文中,我们提出了一种新的架构,以实现细粒度的风格控制的transformer-based文本转语音合成(transformerTTS)。具体来说,我们通过从参考语音中提取本地风格令牌(LST)的时间序列来建模说话风格。TransformerTTS中现有的内容编码器将被我们设计的交叉注意力块所取代,以实现内容和风格之间的融合和对齐。由于融合是与跳过连接一起执行的,因此我们的交叉注意块提供了良好的归纳偏差,以逐渐注入具有给定风格的音素表示。此外,我们通过在训练过程中随机截断LST并使用wav 2 vec 2.0特征来防止风格嵌入对语言内容进行编码。实验表明,与细粒度的风格控制,我们的系统表现更好的自然度,可理解性和风格的可移植性。我们的代码和示例是公开的。
2022-03-16 cs.CL cs.LG cs.SD
DisCo-Speech: Controllable Zero-Shot Speech Generation with A Disentangled Speech Codec
China Mobile Nineverse Artificial Intelligence Technology (Beijing) Co., Ltd.(中国移动Nineverse人工智能技术(北京)有限公司);Nineverse Institute of Artificial Intelligence(Nineverse人工智能研究院);The State Key Laboratory of Multimedia Information Processing, Peking University, Beijing, China(多媒体信息处理国家重点实验室,北京大学,北京,中国)
DisCo-Speech通过解耦语音编解码器实现可控零样本语音生成,提升语音克隆与语调控制性能。
2026-01-04 cs.SD
StarVC: A Unified Auto-Regressive Framework for Joint Text and Speech Generation in Voice Conversion
Tsinghua University(清华大学);Xiaomi Inc.(小米公司);Shenzhen International Graduate School(深圳国际研究生院)
StarVC提出统一自回归语音转换框架,通过先预测文本token再合成声学特征,在保留语言内容和说话人特征上均优于传统方法。
2025-06-03 cs.CL cs.MM cs.SD
Clip-TTS: Contrastive Text-content and Mel-spectrogram, A High-Quality Text-to-Speech Method based on Contextual Semantic Understanding
本文提出Clip-TTS方法,利用Clip架构在文本编码阶段建立文本与真实梅尔频谱图的语义联系,并采用Transformer结构实现快速推理,在LJSpeech和Baker数据集上取得最先进的MOS分数。
2025-03-08 cs.AI cs.CL cs.HC
LipSody: Lip-to-Speech Synthesis with Enhanced Prosody Consistency
Interdisciplinary Program in Artificial Intelligence, Seoul National University(人工智能跨学科项目,首尔国立大学);Artificial Intelligence Institute, Seoul National University, Republic of Korea(人工智能研究所,首尔国立大学,韩国)
LipSody通过结合说话人身份、语言内容和情感上下文,提升唇到语音合成的语调一致性。
2026-02-02 cs.SD
Fine-grained Noise Control for Multispeaker Speech Synthesis
Innoetics, Samsung Electronics(三星电子 Innoetics);Mobile Communications Business, Samsung Electronics(三星电子移动通信业务部)
文语转换(TTS)模型通常将语音属性(如内容、说话人和韵律)分解为分离的表示。最近的工作旨在另外显式地对声学条件进行建模,以便将主要的语音因素(如语言内容、韵律和音色)与任何剩余因素(如记录条件和背景噪声)分离。本文提出了无监督的TTS模型,可解释的和细粒度的噪声和韵律建模。我们结合了对抗训练,表示瓶颈和话语到帧建模,以学习帧级噪声表示。为了达到同样的目的,我们通过一个完全分层变分自编码器(FVAE)进行细粒度的韵律建模,这也导致了更有表现力的语音合成。
2022-10-27 cs.CL cs.LG cs.SD
On Investigation of Unsupervised Speech Factorization Based on Normalization Flow
Tsinghua University(清华大学)
语音信号是各种信息的复杂组合,包括语音内容、说话人特征、信道效应等。将这种复杂的混合物分解成独立的因素,即,语音因子分解在现代语音处理任务的许多重要算法中具有根本的重要性并起着核心作用。在本文中,我们提出了一个初步的研究基于规范化流模型的无监督语音分解。该模型构造了一个复杂的可逆变换,通过该变换,我们可以将语音段投影到一个潜在的代码空间,其中分布是一个简单的对角高斯。对TIMIT数据库的初步研究表明,该码空间具有良好的稠密性和伪线性等特性,语音内容和说话人特征等重要的感知因素可以在码空间中表示为特定的方向。
2019-10-29 cs.LG cs.SD eess.AS
Deep generative factorization for speech signal
Tsinghua University(清华大学)
语音信号中混杂着各种各样的信息因素,这是大多数语音信息处理任务的主要难点。一种直观的想法是将语音信号因子分解为各个信息因子(例如,语音内容和说话者特征),尽管事实证明这是非常具有挑战性的。提出了一种基于阶乘判别归一化流模型(阶乘DNF)的语音分解方法。在语音内容和说话人特征的双因素情况下进行的实验表明,所提出的阶乘DNF具有强大的分解语音信号的能力,并在信息表示和操作方面优于几个比较模型。
2020-10-27 cs.LG cs.SD eess.AS
Semi-supervised multichannel speech enhancement with variational autoencoders and non-negative matrix factorization
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Grenoble INP(格勒诺布尔国立理工学院);GIPSA-lab(格勒诺布尔图像、语音、信号与自动化实验室)
在本文中,我们解决未知噪声环境中的非特定人多通道语音增强。我们的工作是基于一个完善的多通道局部高斯建模框架。我们建议使用一个神经网络建模的语音频谱时间的内容。该监督模型的参数使用变分自编码器的框架来学习。噪声记录环境被认为是未知的,因此噪声频谱-时间建模仍然是无监督的,并且基于非负矩阵分解(NMF)。我们开发了一个蒙特卡洛期望最大化算法,我们的实验表明,所提出的方法优于其基于NMF的同行,其中语音建模使用监督NMF。
2019-04-30 cs.SD eess.AS stat.ML
Deep factorization for speech signal
Tsinghua University(清华大学);Research Institute of Information Technology(信息技术研究院)
语音信号中混杂着各种各样的信息因素,给解码带来了很大的困难。一个直观的想法是将每个语音帧分解为单独的信息因子,尽管事实证明这非常困难。最近,我们发现,被认为是长期分布特性的说话者特征实际上是短期模式,可以通过精心设计的深度神经网络(DNN)来学习。这一发现激发了本文将提出的级联深度因子分解(CDF)框架。所提出的框架推断语音因素在一个顺序的方式,其中以前推断的因素被用作条件变量时,推断其他因素。我们将证明,这种方法可以有效地分解语音信号,并使用这些因素,原始语音频谱可以恢复具有高精度。这种因式分解和重构方法为许多语音处理任务提供了潜在价值,例如,说话人识别和情感识别,如将在论文中演示的。
2018-02-27 cs.CL cs.LG cs.SD
Unlocking Foundation Models for Privacy-Enhancing Speech Understanding: An Early Study on Low Resource Speech Training Leveraging Label-guided Synthetic Speech Content
University of Southern California(南加州大学)
本研究探索用基础模型助力隐私增强语音计算,提出仅靠标签引导的预训练生成模型合成语音作为训练数据的方法,发现其零样本学习仍有挑战,但合成数据训练的模型可作为低资源ASU训练的有效初始化点,有望减少用户数据收集以增强隐私。
2023-06-13 cs.SD eess.AS
Efficient Weight factorization for Multilingual Speech Recognition
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Carnegie Mellon University(卡内基梅隆大学)
端到端多语言语音识别涉及在包括许多语言的合成语音语料库上使用单个模型训练,从而产生单个神经网络来处理不同语言的转录。由于训练数据中的每种语言具有不同的特性,共享网络可能难以同时针对所有各种语言进行优化。在本文中,我们提出了一种新的多语言架构,目标是在神经网络的核心操作:线性变换函数。该方法的核心思想是通过将每个权重矩阵分解为共享分量和语言相关分量,为每种语言分配快速权重矩阵。然后使用秩1假设将后者分解为向量,以减少每种语言的参数数量。这种有效的因式分解方案被证明是有效的,在两个多语种设置与$7$和$27$语言,减少字出错率由$26\%$和$27\%$相对。分别用于两种流行的架构LSTM和Transformer。
2021-05-07 cs.CL cs.SD eess.AS
Statistical Speech Enhancement Based on Probabilistic Integration of Variational Autoencoder and Non-Negative Matrix Factorization
Graduate School of Informatics, Kyoto University(京都大学信息学研究生院);Center for Advanced Intelligence Project, RIKEN(理化学研究所高级智能项目中心)
本文提出了一种单通道语音增强的统计方法,该方法使用变分自编码器(VAE)作为纯净语音的先验分布。语音增强的标准方法是训练深度神经网络(DNN)以将含噪语音作为输入并输出干净语音。虽然这种监督方法需要非常大量的配对数据进行训练,但它对未知环境并不鲁棒。另一种方法是使用非负矩阵分解(NMF),该非负矩阵分解基于预先在干净语音上训练的基谱和那些在运行中适应噪声的基谱。然而,这种半监督的方法,由于不切实际的假设,语音频谱是基本频谱的线性组合,导致相当大的信号失真增强语音。用VAE--一个强大的非线性深度生成模型--在干净的语音上训练,取代NMF中干净语音的线性生成模型,我们制定了一个统一的噪声语音概率生成模型。给定带噪语音作为观测数据,我们可以从其后验分布中抽取干净的语音。该方法在看不见的噪声环境中优于传统的基于DNN的方法。
2018-03-19 cs.LG cs.SD eess.AS
Weight Factorization and Centralization for Continual Learning in Speech Recognition
Interactive Systems Lab(交互系统实验室)
针对语音识别模型持续学习中的灾难性遗忘问题,提出分解与集中化两阶段方法,通过低秩适配器累积知识,实验证明其有效防止遗忘。
2025-06-19 cs.CL cs.SD eess.AS
Mixture factorized auto-encoder for unsupervised hierarchical deep factorization of speech signal
The Chinese University of Hong Kong(香港中文大学)
语音信号是由语言内容、说话人特征等多种信息因素构成和贡献的。最近有一些值得注意的研究试图将语音信号分解为这些单独的因素,而不需要任何注释。这些研究通常假设语言内容的连续表示,这是不符合一般的语言学知识,可能会使说话人信息的提取不太成功。本文提出了用于无监督深度因子分解的混合因子分解自动编码器(mFAE)。mFAE的编码器部分包括帧标记器和话语嵌入器。框架标记器用离散分类分布对输入语音的语言内容进行建模。它通过为每个帧分配软混合标签来执行帧聚类。话语嵌入器生成话语级矢量表示。帧解码器用于从编码器的输出重建语音特征。在说话人确认(SV)任务和无监督子词建模(USM)任务上对mFAE进行评估。在VoxCeleb 1上的SV实验表明,该话语嵌入器能够提取说话者区分嵌入,其性能与x向量基线相当。在ZeroSpeech 2017数据集上的USM实验验证了帧标记器能够捕获语言内容,话语嵌入器可以获取说话人相关信息。
2019-10-30 cs.LG cs.MM cs.SD
CLEAR: Online Speech Content Leakage Estimation through Cross-ASR Disagreement
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
CLEAR提出一种无参考的在线语音内容泄露估计方法,利用异构ASR系统的不一致性在运行时评估隐私保护效果,实现动态调整隐私强度并保留声学效用。
2026-09-28 cs.SD eess.AS
Analysis of Emotional Content in Indian Political Speeches
Indian Institute of Technology Guwahati(印度理工学院古瓦哈蒂分校)
情绪在公开演讲中发挥着至关重要的作用。言语的情感内容具有影响心灵的力量。因此,我们提出了在印度的政治场景的政治家讲话的情感内容的分析。我们使用基于注意力的CNN+LSTM网络来研究政治家演讲中的情感内容。对八位印度政治家的数据集进行的实验评估显示,政治家如何在演讲中融入情感,以引起群众的共鸣。还提出了一个分析的投票份额,以及胜利的利润率和他们的关系,在讲话中的政治家的情感内容。
2020-07-27 cs.LG cs.SD eess.AS
Token-level Speaker Change Detection Using Speaker Difference and Speech Content via Continuous Integrate-and-fire
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Bytedance AI LAB(字节跳动人工智能实验室)
在会议和对话等多人场景中,通常需要语音处理系统对音频进行分段,然后转录每个分段。这两个阶段分别由说话人变化检测(SCD)和自动语音识别(ASR)来解决。大多数先前的SCD系统仅依赖于说话人信息,而忽略了语音内容的重要性。在本文中,我们提出了一种新的SCD系统,同时考虑说话人差异和语音内容的线索。这两个线索被转换成令牌级表示的连续集成和消防(CIF)机制,然后结合用于检测扬声器的变化令牌声学边界。我们评估了我们的方法在公共真实记录的会议数据集AISHELL-4上的性能。实验结果表明,我们的方法优于竞争帧级基线系统的2.45%等覆盖率纯度(ECP)。此外,我们证明了语音内容和扬声器差异的SCD任务的重要性,以及进行SCD的令牌声学边界相比,进行SCD帧逐帧的优势。
2022-11-17 cs.SD eess.AS
Universal Score-based Speech Enhancement with High Content Preservation
LY Corporation(LY公司)
本研究提出基于分数扩散与对抗训练的通用语音增强方法UNIVERSE++,通过架构改进、对抗损失及带音素保真损失的低秩适配方案提升性能与内容保真度,在多基准测试中优于各类基线模型。
2024-06-18 cs.SD eess.AS
Advanced Long-Content Speech Recognition With Factorized Neural Transducer
Shanghai Jiao Tong University(上海交通大学);Microsoft Corporation(微软公司)
本文提出LongFNT和SLongFNT两种方法,将长内容文本与语音信息整合至分解神经转换器架构,在非流式和流式语音识别中分别显著降低了词错率并保持良好延迟。
2024-03-20 cs.SD eess.AS
Enforcing Speech Content Privacy in Environmental Sound Recordings using Segment-wise Waveform Reversal
Nantes Université(南特大学);École Centrale Nantes(中央理工学院);CNRS(国家科学研究中心);LS2N(LS2N研究所);UMRAE(UMRAE机构);ENSA Nantes(南特艺术设计学院);AAU-CRENAU(AAU-CRENAU机构)
研究针对环境声音录音中语音隐私问题,提出用逐段波形反转并结合语音活动检测和分离的方法,经实验评估,该方法能有效降低语音可懂度,最小化声源检测性下降,保持音频质量,消融研究突出组件贡献,随机拼接可增强算法鲁棒性。
2026-07-09 cs.SD eess.AS
Contrastive Predictive Coding Supported Factorized Variational Autoencoder for Unsupervised Learning of Disentangled Speech Representations
Paderborn Center for Parallel Computing(帕德博恩并行计算中心)
在这项工作中,我们解决的风格和内容的语音信号的解开。我们提出了一个完全卷积变分自动编码器采用两个编码器:内容编码器和风格编码器。为了促进解纠缠,我们提出了对抗性对比预测编码。这种新的解纠缠方法既不需要并行数据,也不需要任何监督。我们表明,所提出的技术是能够分离的扬声器和内容的特点到两个不同的表示,并显示竞争力的扬声器内容解纠缠性能相比,其他无监督的方法。我们进一步证明了增加的鲁棒性的内容表示对训练测试不匹配相比,频谱特征,当用于电话识别。
2021-03-11 cs.SD eess.AS
Joint Modeling of Code-Switched and Monolingual ASR via Conditional Factorization
Carnegie Mellon University(卡内基梅隆大学);Tencent AI Lab(腾讯人工智能实验室)
会话双语言语包括三种类型的话语:两种纯单语类型和一种语码转换类型。在这项工作中,我们提出了一个通用的框架,共同建模的单语和代码切换子任务,包括双语语音识别的可能性。通过定义标签到帧同步的单语子任务,我们的联合建模框架可以有条件地因式分解,从而获得最终的双语输出,这可能是或可能不是代码切换,只给出单语信息。我们表明,这个条件分解的联合框架可以建模的端到端的可微神经网络。我们证明了我们提出的模型的双语普通话-英语语音识别跨单语和代码切换语料库的有效性。
2021-11-29 cs.CL cs.SD eess.AS
Revisiting Speech Content Privacy
在本文中,我们讨论了语音隐私的一个重要方面:保护口语内容。机器学习领域的新功能为重新审视语音内容保护提供了独特而及时的机会。内容隐私有许多不同的应用,尽管这一领域在语音技术研究中尚未得到充分探索。本文提出了几种情况下,即使实现内容隐私的具体技术可能会有所不同,表明需要语音内容隐私。我们的讨论包括几种不同类型的内容隐私,包括可恢复和不可恢复的内容。最后,我们介绍了评估策略,以及描述一些可能遇到的困难。
2021-10-13 eess.AS