Investigating the Effects of Diffusion-based Conditional Generative Speech Models Used for Speech Enhancement on Dysarthric Speech
Bayer AG(拜耳公司);Idiap Research Institute(伊迪亚普研究所)
首次探索基于扩散的预训练语音增强模型对无噪声环境下帕金森病构音障碍语音的影响,发现该模型会丢失病理声学线索,但残差信号融合可提供互补线索。
2024-12-18 cs.LG cs.SD eess.AS
A Bayesian Permutation training deep representation learning method for speech enhancement with variational autoencoder
Audio Analysis Lab, CREATE, Aalborg University(奥尔堡大学CREATE音频分析实验室);Capturi A/S(Capturi A/S公司)
最近,变分自动编码器(VAE),一种深度表示学习(DRL)模型,已经被用于执行语音增强(SE)。然而,据我们所知,目前基于VAE的SE方法仅将VAE应用于模型语音信号,而噪声使用传统的非负矩阵分解(NMF)模型建模。使用NMF的最重要的原因之一是,这些基于VAE的方法不能从观察到的信号中分离出语音和噪声潜变量。本文基于贝叶斯理论,推导出一种新的VAE变分下界,保证了VAE可以在监督下训练,并且可以从观测信号中分离出语音和噪声潜变量。这意味着,该方法可以应用VAE模型的语音和噪声信号,这是完全不同于以往的基于VAE的SE作品。更具体地,所提出的DRL方法可以学习将语音和噪声信号先验强加给用于SE的不同的潜在变量集合。实验结果表明,该方法不仅可以从观测信号中分离出语音和噪声潜变量,而且比基于深度神经网络(DNN)的SE方法具有更高的尺度不变信失真比和语音质量分数。
2022-01-24 cs.SD eess.AS
Beyond U-Net: A Latent-Representation-Aligned Skip-Free Backbone for Flow-Matching Speech Enhancement
Department of Information Engineering, Electronics and Telecommunications(信息工程、电子与电信系)
提出一种无跳跃连接的编码器-解码器骨干网络,通过潜在表示对齐(LRA)引导流匹配语音增强,避免U-Net跳跃连接传递噪声相关特征,仅需五次函数评估即可提升PESQ和感知质量。
2026-06-24 cs.AI cs.SD eess.AS
VoiceBridge: General Speech Restoration with One-step Latent Bridge Models
VoiceBridge通过一种通用的一步潜在桥模型实现高效语音修复,结合能量守恒的变分自编码器和可扩展Transformer,统一处理多种语音修复任务。
2026-03-10 cs.AI cs.SD eess.AS
GAN-Based Speech Enhancement for Low SNR Using Latent Feature Conditioning
Fraunhofer IIS(弗劳恩霍夫集成电路研究所);Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)(埃尔朗根-纽伦堡弗里德里希-亚历山大大学);International Audio Laboratories Erlangen(埃尔朗根国际音频实验室)
本文提出 DisCoGAN,利用低信噪比语音增强判别式模型的潜在特征条件化时频域生成对抗网络,在语音质量上优于判别式方法和端到端 GAN。
2024-10-17 cs.SD eess.AS eess.SP
Audio-visual Speech Enhancement Using Conditional Variational Auto-Encoders
Inria Grenoble Rhône-Alpes(法国国立信息学与自动化研究院罗讷-阿尔卑斯格勒诺布尔研究中心);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CentraleSupélec(中央理工-高等电力学院);GIPSA-Lab(GIPSA实验室)
变分自动编码器(VAE)是深度生成潜变量模型,可用于学习复杂数据的分布。VAE已经成功地用于学习语音信号的概率先验,然后用于执行语音增强。这种生成方法的一个优点是,它在训练时不需要成对的干净和有噪声的语音信号。在本文中,我们提出了视听变体的VAE单通道和扬声器无关的语音增强。我们开发了一个条件VAE(CVAE)的音频语音生成过程是有条件的嘴唇区域的视觉信息。在测试时,视听语音生成模型与基于非负矩阵分解的噪声模型相结合,语音增强依赖于蒙特卡洛期望最大化算法。实验进行了最近发表的NTCD-TIMIT数据集以及GRID语料库。实验结果表明,提出的音视频CVAE模型有效地融合了音视频信息,与纯音频VAE模型相比,提高了语音增强性能,特别是在语音信号受噪声严重污染的情况下。我们还表明,所提出的无监督视听语音增强方法优于最先进的监督深度学习方法。
2020-05-26 cs.LG cs.SD eess.AS
uSee: Unified Speech Enhancement and Editing with Conditional Diffusion Models
Tencent AI Lab(腾讯人工智能实验室)
该研究提出基于条件扩散模型的统一语音增强与编辑模型uSee,通过自监督学习嵌入、文本提示等多条件实现可控生成,在去噪、去混响任务上性能优于同类模型,还支持按指定条件完成语音编辑。
2023-10-02 cs.AI cs.CL cs.SD
Feature Learning and Ensemble Pre-Tasks Based Self-Supervised Speech Denoising and Dereverberation
Newcastle University(纽卡斯尔大学);University of Oxford(牛津大学)
自监督学习(SSL)在单声道语音增强中取得了巨大的成功,但在现有的预处理任务下,目标语音估计的准确性,特别是对未看见的说话人的准确性仍然不足。由于语音信号包含说话人身份、语言特征和说话内容等多方面信息,因此语音增强的潜在表征成为一项艰巨的任务。在本文中,我们研究了语音增强中常用的每个特征的有效性,并在SSL的情况下开发了特征组合。此外,我们还提出了一种集成训练策略。该算法学习纯净语音信号的潜在表示,同时利用去混响模板和估计比率模板对混合语音信号进行去噪和去混响。潜在表示学习和模板估计被认为是训练阶段的两个前任务。此外,为了研究预任务之间的有效性,我们比较了不同的训练例程来训练模型并进一步改进性能。NOISEX和DAPS语料库被用来评估所提出的方法的有效性,这也优于国家的最先进的方法。
2022-06-10 cs.SD eess.AS
Phase-incorporating Speech Enhancement Based on Complex-valued Gaussian Process Latent Variable Model
传统的语音增强技术是在时频域上对语音信号进行幅度修正,然后利用含噪语音信号的相位信息重新合成时域语音信号。本文提出了一种复值高斯过程隐变量模型(CGPLVM)来直接增强复值噪声谱,不仅修改幅度,而且修改相位。所开发的方法的主要思想是作为一个适当的复杂的高斯过程(GP)与噪声添加的语音的时间帧的短时傅立叶变换(STFT)系数的建模。所提出的方法是基于投影到一个低维子空间的频谱。利用似然准则优化模型的超参数。实验在包含汉语数字0到9的CHTTL数据库上进行。几个标准的措施被用来证明,所提出的方法优于基线方法。
2016-12-30 cs.SD
DriftSE: Speech Enhancement with Generative Drifting
Victoria University of Wellington(惠灵顿维多利亚大学);GN Advanced Science(GN 前沿科学);Lincoln University(林肯大学)
DriftSE提出一种基于生成漂移的单步语音增强框架,通过双潜在并行漂移同时保持语音可懂度和声学保真度,实现非配对训练,并在四个数据集上以1 NFE达到最先进的词错误率。
2026-09-14 cs.AI cs.SD eess.AS
Flowing Straighter with Conditional Flow Matching for Accurate Speech Enhancement
本文研究概率路径直度对生成式语音增强的影响,提出独立 conditional flow matching 建模直路径,并通过单步预测式推理保持质量与效率。
2025-08-28 cs.AI cs.LG cs.SD
High-Resolution Speech Restoration with Latent Diffusion Model
Sony Europe B.V.(索尼欧洲有限公司);University of Stuttgart(斯图加特大学)
本文提出基于潜在扩散的Hi-ResLDM模型,用于去除多种失真并将语音修复至48kHz录音室质量,在高频细节重建和主客观评估上均优于基于GAN和CFM的现有方法。
2025-02-10 cs.AI cs.LG cs.SD
Speech Modeling with a Hierarchical Transformer Dynamical VAE
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CentraleSupélec(巴黎中央理工-高等电力学院);CNRS(法国国家科学研究中心);Grenoble-INP(格勒诺布尔国立理工学院)
本文提出层级Transformer动态变分自编码器(HiT-DVAE),用于语音建模,其优于其他DVAE且训练更简单,有望用于语音增强等下游任务。
2023-05-10 cs.LG cs.SD eess.AS
A Recurrent Variational Autoencoder for Speech Enhancement
CentraleSupélec(中央理工-高等电力学院);Grenoble INP(格勒诺布尔国立高等物理、数学与信息学院)
提出了一种基于递归变分自编码器(RVAE)的生成式语音增强方法。深度生成语音模型仅使用干净的语音信号来训练,并且其与非负矩阵分解噪声模型组合用于语音增强。我们提出了一种变分期望最大化算法,其中RVAE的编码器在测试时进行微调,以近似于噪声语音观测的潜变量的分布。与以前的基于前馈全连接架构的方法相比,所提出的递归深度生成语音模型在潜变量上引入了后验时间动态,这被证明可以改善语音增强结果。
2020-02-10 cs.AI cs.LG cs.NE
MeanFlowSE: one-step generative speech enhancement via conditional mean flow
School of Electronic Science and Engineering, Xiamen University, China(厦门大学电子科学与技术学院);School of Informatics, Xiamen University, China(厦门大学信息学院)
MeanFlowSE通过条件均流实现单步生成语音增强,无需多步求解器,提升实时生成效率与保真度。
2026-03-04 cs.AI cs.SD
LipDiffuser: Lip-to-Speech Generation with Conditional Diffusion Models
Signal Processing, University of Hamburg, Germany(信号处理,汉堡大学,德国)
LipDiffuser提出基于条件扩散模型的唇语到语音生成方法,利用MP-ADM架构和MP-FiLM视觉特征,在LRS3上优于现有基线,提升语音质量和说话人相似度。
2025-10-24 cs.SD eess.AS
Modeling strategies for speech enhancement in the latent space of a neural audio codec
本文研究了神经音频编解码器潜在空间中连续与离散表示在语音增强中的表现,发现连续表示更优,非自回归模型更实用,编码器微调效果最佳但影响重建质量。
2026-03-11 cs.SD eess.AS
Speaker-Conditional Chain Model for Speech Separation and Extraction
Institute of Automation, Chinese Academy of Sciences (CASIA)(中国科学院自动化研究所);Johns Hopkins University(约翰斯·霍普金斯大学)
语音分离已经被广泛地探索以解决鸡尾酒会问题。然而,这些研究仍然远远没有足够的泛化能力,真正的场景。在这项工作中,我们提出了一个通用的策略命名为说话人条件链模型来处理复杂的语音记录。在所提出的方法中,我们的模型首先推断的身份可变数量的发言者从观察的基础上的序列到序列模型。然后,它从推断的说话人的信息作为条件,提取他们的语音源。该模型利用整体观测中的说话人信息进行预测,有助于解决传统的多轮长录音语音分离和说话人提取问题。标准完全重叠语音分离基准测试的实验结果与之前的研究结果相当,而我们提出的模型对多轮长录音具有更好的适应性。
2020-06-25 cs.SD eess.AS
SimpleSpeech: Towards Simple and Efficient Text-to-Speech with Scalar Latent Transformer Diffusion Models
The Chinese University of Hong Kong(香港中文大学)
提出 SimpleSpeech,结合 SQ-Codec 标量隐空间与 Transformer 扩散模型,在无对齐纯语音数据上实现高质量、快速的非自回归 TTS。
2024-06-14 cs.SD eess.AS
DiffDSR: Dysarthric Speech Reconstruction Using Latent Diffusion Model
The Chinese University of Hong Kong Shenzhen International Graduate School(香港中文大学(深圳)国际研究生院);Tsinghua University(清华大学);Vocal Engineering Technologies Limited(语音工程科技有限公司)
本研究提出DiffDSR系统,利用潜在扩散模型结合SSL语音内容编码器、上下文学习说话人身份编码器和扩散语音生成器,显著提升了构音障碍语音的可懂度与说话人相似度。
2025-05-31 cs.SD eess.AS
Latent-Level Enhancement with Flow Matching for Robust Automatic Speech Recognition
School of Electronics, Hanyang University(电子学院,翰阳大学)
本文提出通过流匹配的潜在层面增强方法,用于提升噪声鲁棒性的自动语音识别性能。
2026-01-08 cs.SD eess.AS
Simulating Native Speaker Shadowing for Nonnative Speech Assessment with Latent Speech Representations
Graduate School of Engineering(工学研究生院);The University of Tokyo(东京大学)
本研究提出一种基于语音转换和潜在语音表示的语音生成系统,模拟母语者跟读过程,以评估非母语者的语音可懂度,实验证明该方法有效且使用自监督表示效果更佳。
2024-09-19 cs.SD eess.AS
nnSpeech: Speaker-Guided Conditional Variational Autoencoder for Zero-shot Multi-speaker Text-to-Speech
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司);University of Auckland(奥克兰大学);Institute of Science and Technology for Brain-inspired Intelligence, Fudan University(复旦大学脑启发智能科学与技术研究院)
利用少量自适应数据实现多说话人的文语转换是实际应用中的一个挑战。为了解决这个问题,我们提出了一个zero-shot多说话人TTS,命名为nnSpeech,它可以合成一个新的说话人的声音,而无需微调,只使用一个自适应话语。与使用说话人表示模块提取新说话人特征相比,该方法基于说话人引导的条件变分自编码器,可以生成一个既包含说话人特征又包含内容信息的变量Z。潜变量Z分布近似为另一个变量的参考梅尔声谱图和音素的条件。在英语语料库、普通话语料库和跨语料库上的实验证明,该模型可以生成自然、相似的语音,只需要一个自适应语音。
2022-02-22 cs.SD eess.AS
Optimizing Alignment of Speech and Language Latent Spaces for End-to-End Speech Recognition and Understanding
Microsoft(微软)
基于注意力的编码器-解码器(AED)网络的发展为端到端(E2 E)自动语音识别(ASR)带来了巨大的进步。进一步提高基于AED的E2 E ASR性能的一种方法是引入额外的文本编码器,以利用大量的文本数据,从而捕获更多的上下文感知语言信息。然而,由于用于建模的不同单元,这种方法带来了语音编码器和文本编码器之间的失配问题。在本文中,我们提出了一种嵌入对齐器和模态切换训练,以更好地对齐语音和文本潜在空间。嵌入对齐器是文本编码器和语音编码器之间的共享线性投影,分别由掩蔽语言建模(MLM)损失和连接主义时间分类(CTC)训练。模态切换训练基于强制对齐结果随机交换语音和文本嵌入,以学习联合表示空间。实验结果表明,我们提出的方法实现了相对14%至19%的字出错率(WER)减少Librispeech ASR任务。我们进一步验证了它对口语语言理解(SLU)的有效性,即,SNIPS插槽填充任务的F1分数绝对提高了2.5%至2.8%。
2021-10-23 cs.SD eess.AS
Stepwise-Refining Speech Separation Network via Fine-Grained Encoding in High-order Latent Domain
Harbin Institute of Technology at Shenzhen(深圳哈尔滨工业大学);The Chinese University of Hong Kong at Shenzhen(香港中文大学(深圳))
单通道语音分离的关键是如何将混合信号编码到一个隐嵌入空间中,以使来自不同说话人的信号能够被精确分离。现有的语音分离方法要么将语音信号变换到频域进行分离,要么通过构造基于卷积滤波器的潜在域来学习可分离的嵌入空间。虽然后一种学习嵌入空间的方法实现了语音分离的实质性改进,但我们认为,仅由一个潜在域定义的嵌入空间不足以为语音分离提供完全可分离的编码空间。在本文中,我们提出了逐步细化语音分离网络(SRSSN),它遵循一个由粗到细的分离框架。它首先学习1阶潜在域来定义编码空间,从而在粗阶段执行粗分离。然后,建议SRSSN学习一个新的潜在域沿每个基函数的现有的潜在域,以获得一个高阶的潜在域在细化阶段,这使得我们的模型进行细化分离,以实现更精确的语音分离。我们通过进行广泛的实验来证明我们的SRSSN的有效性,包括在WSJ 0 -2/3 mix数据集上的干净(无噪声)设置中的语音分离以及在WHAM!/哇!数据集。此外,我们也利用我们的模型对分离后的语音信号进行语音识别实验,以间接评估语音分离的效能。
2022-01-31 cs.LG cs.SD eess.AS
Efficient Speech Translation with Dynamic Latent Perceivers
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);Meta AI
Transformers是近年来语音翻译的主流架构,在翻译质量方面取得了显著的进步。由于语音信号比其文本对应物长,并且由于Transformer的二次复杂性,下采样步骤对于其在语音翻译中的采用是必不可少的。相反,在这项研究中,我们建议使用感知器编码器映射的语音输入到一个固定长度的潜在表示,以减轻复杂性。此外,我们引入了一种新的训练感知器的方法,使用动态潜在访问(DLA),在没有任何额外计算开销的情况下解锁更大的潜在空间。具有DLA的语音转文本感知器可以在MuST-C中的三种语言对上匹配Transformer基线的性能。最后,DLA训练的模型在推理时很容易适应DLA,并且可以灵活地部署各种计算预算,而不会显着降低翻译质量。
2023-03-14 cs.CL cs.SD eess.AS
Generative De-Quantization for Neural Speech Codec via Latent Diffusion
Electronics and Telecommunications Research Institute(韩国电子通信研究院)
本文提出将表示学习与重建分离,用端到端编码器学习离散令牌,并用潜在扩散模型去量化,在1.5和3 kbps低比特率下优于现有最优方法。
2023-11-15 cs.SD eess.AS
Parallel WaveNet conditioned on VAE latent vectors
最近,最先进的文本到语音合成系统已经转移到两个模型的方法:一个序列到序列模型来预测语音的表示(通常是梅尔频谱图),其次是一个“神经声码器”模型,它产生的时域语音波形从这个中间的语音表示。这种方法能够合成与自然语音记录混淆的语音。然而,神经声码器方法的推理速度是将该技术用于商业应用的主要障碍。并行WaveNet是为解决这一问题而开发的一种方法,它牺牲了一些合成质量,以获得更快的推理速度。在本文中,我们研究了使用一个并行的WaveNet神经声码器的信号质量,以提高一个电平调节向量。我们用来自Tacotron 2型序列到序列模型的预训练VAE分量的潜在向量来调节神经声码器。这样,我们就能够显著提高声码语音的质量。
2020-12-17 cs.SD eess.AS
Cross-speaker Emotion Transfer by Manipulating Speech Style Latents
Neosapience, Inc.(Neosapience公司)
近年来,情感文本到语音已经取得了相当大的进展。然而,它需要大量的标记数据,这是不容易获得的。即使可以获取情感语音数据集,在控制情感强度方面仍然存在限制。在这项工作中,我们提出了一种新的方法,跨扬声器的情感转移和操纵使用向量算法在潜在的风格空间。通过仅利用少量标记样本,我们从阅读风格的语音中生成情感语音,而不会丢失说话者身份。此外,情绪强度是容易控制的使用标量值,提供了一种直观的方式,为用户操纵语音。实验结果表明,该方法提供了优越的表现力,自然,可控性方面,保持说话人身份。
2023-03-15 cs.CL cs.SD eess.AS
SemBridge: Semantic Token Anchoring for Continuous-Latent Autoregressive Speech Generation
Soul AI Lab(Soul AI实验室)
该研究提出SemBridge框架,通过离散语义令牌监督自回归LM状态,在零样本TTS和SVS任务中提升内容准确性,同时保持说话人相似度与感知质量,为连续语音生成提供有效方向。
2026-10-14 cs.SD eess.AS
Conditional Variational Autoencoder with Adversarial Learning for End-to-End Text-to-Speech
Kakao Enterprise(Kakao企业);School of Computing, KAIST(韩国科学技术院计算学院)
最近几个端到端的文本到语音(TTS)模型,使单阶段的训练和并行采样已被提出,但它们的样本质量不匹配的两个阶段的TTS系统。在这项工作中,我们提出了一个并行的端到端的TTS方法,产生更自然的声音比目前的两阶段模型的音频。我们的方法采用变分推理与规范化流程和对抗性训练过程,提高了生成建模的表达能力。我们还提出了一个随机的持续时间预测合成语音与不同的节奏从输入文本。通过对潜在变量和随机持续时间预测器的不确定性建模,我们的方法表达了自然的一对多关系,其中文本输入可以以多种方式以不同的音高和节奏进行说话。对LJ Speech(单个说话者数据集)的主观人类评价(平均意见得分或MOS)表明,我们的方法优于最好的公开TTS系统,并实现了与地面实况相当的MOS。
2021-06-11 cs.SD eess.AS
Learning Robust Latent Representations for Controllable Speech Synthesis
University of Toronto(多伦多大学);Vanguard Center for Analytics and Insights(先锋分析与洞察中心)
最先进的变分自动编码器(VAE)用于学习解开的潜在表示,在发现语音数据中的音高、停顿持续时间和重音等特征方面取得了令人印象深刻的结果,从而实现了高度可控的文本到语音(TTS)合成。然而,这些基于LSTM的VAE在有限或嘈杂的数据集上训练时无法学习说话者属性的潜在聚类。此外,不同的潜变量开始编码相同的特征,限制了语音合成期间的控制和表达能力。为了解决这些问题,我们提出了RTI-VAE(重排序的Transformer与信息减少VAE),我们最大限度地减少不同的潜在变量之间的互信息,并设计了一个修改后的Transformer架构与层重新排序,以学习语音数据中的可控潜在表示。我们表明,RTI-VAE减少了至少30%的LSTM-VAE和至少7%的香草transformer-VAE的扬声器属性的集群重叠。
2021-05-10 cs.CL cs.LG cs.SD
Hierarchical Multi-Grained Generative Model for Expressive Speech Synthesis
Nagoya Institute of Technology(名古屋工业大学);Microsoft Development Co., Ltd.(微软开发有限公司)
本文提出了一种多粒度隐变量的层次生成模型来合成表达性语音。近年来,文本到语音合成中引入了细粒度的隐变量,使得能够对合成语音的韵律和说话风格进行精细控制。然而,当这些潜变量通过从标准高斯先验中采样来获得时,语音的自然度降低。为了解决这个问题,我们提出了一个新的框架,考虑到依赖于输入文本,层次语言结构,和时间结构的潜变量建模的细粒度的潜变量。该框架包括一个多粒度的变分自编码器,一个条件先验,和一个多层次的自回归潜转换器,以获得不同的时间分辨率的潜变量,并考虑到输入文本从粗层次的潜变量采样细层次的潜变量。实验结果表明,适当的方法采样细粒度的潜变量没有参考信号在合成阶段。我们提出的框架还提供了在整个话语的说话风格的可控性。
2021-12-26 cs.LG cs.SD eess.AS
Noise-Robust Voice Conversion by Conditional Denoising Training Using Latent Variables of Recording Quality and Environment
The University of Tokyo(东京大学);Keio University(庆应义塾大学);LY Corp.(LY公司)
针对未见噪声下语音转换自然度受限的问题,提出用录音质量与环境潜变量条件化VC模型的去噪训练方法,并通过主客观评估验证其转换语音质量提升。
2024-06-11 cs.SD eess.AS
Style Description based Text-to-Speech with Conditional Prosodic Layer Normalization based Diffusion GAN
IIT Delhi(印度理工学院德里分校)
本文提出Prosodic Diff-TTS,通过条件韵律层归一化将风格描述嵌入扩散GAN,在仅4步去噪内实现高保真语音合成,并在多说话人数据集上验证了效果。
2023-10-27 cs.CL cs.SD eess.AS
Improved Intelligibility of Dysarthric Speech using Conditional Flow Matching
Spring Lab, Department of Electrical Engineering(Spring实验室,电气工程系)
本研究提出一种基于条件流匹配和扩散变换器的非自回归方法,利用WavLM特征和离散声学单元将构音障碍语音转换为清晰语音,以提高可懂度并加快收敛。
2025-06-19 cs.AI cs.SD eess.AS
Accented Text-to-Speech Synthesis with a Conditional Variational Autoencoder
Singapore University of Technology and Design(新加坡科技设计大学);The University of Texas at Dallas(德克萨斯大学达拉斯分校)
本文提出基于条件变分自编码器的高效带口音TTS框架,可合成指定说话人声音并转换为任意目标口音,实验验证了其有效性和口音操控能力。
2024-09-29 cs.LG cs.SD eess.AS
SALT: Distinguishable Speaker Anonymization Through Latent Space Transformation
Northwestern Polytechnical University(西北工业大学);Ximalaya Inc.(喜马拉雅公司);Xizhang (Shanghai) Network Technology Co., Ltd.(希壤(上海)网络科技有限公司)
针对现有说话人匿名化方法对分布外说话人存在伪说话人区分度、语音质量及可懂度下降的问题,提出基于潜在空间变换的SALT系统,通过潜在向量插值与外推实现匿名化,在Voice Privacy Challenge数据集上取得最优区分度且保留语音质量与可懂度。
2023-10-08 cs.SD eess.AS
Converting Anyone's Voice: End-to-End Expressive Voice Conversion with a Conditional Diffusion Model
The University of Texas at Dallas(德克萨斯大学达拉斯分校);National University of Singapore(新加坡国立大学);Sony Interactive Entertainment(索尼互动娱乐)
本文提出基于条件去噪扩散概率模型的端到端表现力语音转换框架,利用自监督语音单元、情感识别和说话人验证特征联合建模内容、情感风格与说话人身份,并通过主客观评估验证其有效性。
2024-05-02 cs.SD eess.AS
Lip2Vec: Efficient and Robust Visual Speech Recognition via Latent-to-Latent Visual to Audio Representation Mapping
Technology Innovation Insitute(技术创新研究院);Dublin City University(都柏林城市大学)
Lip2Vec通过将唇部视觉潜在表示映射到音频潜在表示并借助现成ASR模型解码,以简单先验学习实现高效鲁棒的视觉语音识别,在LRS3上达到26 WER,并在VoxCeleb上保持合理性能。
2023-08-11 cs.CL cs.SD eess.AS
Visualization and Interpretation of Latent Spaces for Controlling Expressive Speech Synthesis through Audio Analysis
Numediart Institute, University of Mons(蒙斯大学Numediart研究所);Acapela Group(Acapela集团)
文本到语音转换领域在过去几年中经历了巨大的进步,受益于深度学习技术。现在,制作逼真的演讲成为可能。因此,对表达性的控制,允许生成不同风格或方式的演讲,最近引起了越来越多的关注。能够控制风格的系统已经开发出来,并显示出令人印象深刻的结果。然而,控制参数往往包括潜变量,并保持复杂的解释。在本文中,我们分析和比较不同的潜在空间,并获得他们对表达性言语的影响的解释。这将使得能够构建具有可理解行为的可控语音合成系统。
2019-03-27 cs.AI cs.CL cs.LG
Interpretable Deep Learning Model for the Detection and Reconstruction of Dysarthric Speech
Amazon TTS-Research(亚马逊文本转语音研究部);Gdansk University of Technology(格但斯克工业大学)
提出了一种构音障碍语音的检测与重建方法。编码器-解码器模型将语音分解为低维潜在空间并对输入文本进行编码。我们发现,潜在的空间传达了构音障碍的可解释的特征,如语音的可懂度和流畅性。MUSHRA感知测试表明,潜在空间的自适应使模型生成的语音的流畅性得到改善。用于预测构音障碍语音的概率和梅尔频谱图的多任务监督方法有助于以更高的准确性改善构音障碍的检测。这是由于自动编码器的低维潜在空间,而不是直接从高维梅尔频谱图预测构音障碍。
2019-07-10 cs.CL cs.SD eess.AS
Disentangling Speech and Non-Speech Components for Building Robust Acoustic Models from Found Data
Carnegie Mellon University(卡内基梅隆大学)
为了为大多数语言建立语言技术,重要的是利用互联网上公共领域的可用资源-通常称为“找到的数据”。然而,这种数据的特点是存在非标准的,非平凡的变化。例如,在互联网上找到的语音资源具有非语音内容,例如音乐。因此,语音识别和语音合成模型需要对这种变化具有鲁棒性。在这项工作中,我们提出了一个分析表明,重要的是要解开原始数据中的变化的潜在因果因素,以完成这些任务。在此基础上,我们提出的方法来解开这种变化的数据使用潜在的随机模型。具体来说,我们提出了一种方法来分裂潜在的先验空间的音频信号的幅度谱中存在的主导语音模式的连续表示。我们提出了一个完全无监督的方法,使用多节点潜在空间变分自编码器(VAE)。我们表明,VAE的潜在空间上的限制,事实上可以用来分离语音和音乐,独立的语言的讲话。本文还分析了基于语音数据分布的任务对隐变量数目的要求。
2019-09-25 cs.LG cs.SD eess.AS
Multi-class Detection of Pathological Speech with Latent Features: How does it perform on unseen data?
Technische Hochschule Nürnberg Georg Simon Ohm(纽伦堡乔治·西蒙·欧姆应用科学大学);Friedrich-Alexander-University Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学);Intel Labs(英特尔研究院)
本研究利用预训练 wav2vec 2.0 的潜在表示,结合神经网络、大间隔分类器和树提升机区分四种病理语音,在噪声和未见数据下展现出强鲁棒性与高 F1 分数。
2023-08-01 cs.SD eess.AS
Learning latent representations for style control and transfer in end-to-end speech synthesis
Microsoft STC Asia(微软亚洲研究院语音技术中心)
在本文中,我们引入变分自编码器(VAE)到一个端到端的语音合成模型,学习说话风格的潜在表示在一个无监督的方式。通过VAE学习的样式表示具有良好的特性,如分解、缩放和组合,这使得样式控制变得容易。在该框架中,首先通过VAE的识别网络推断风格表示,然后将其输入TTS网络,以指导合成语音的风格。为了避免Kullback-Leibler(KL)发散崩溃的训练,采用了几种技术。最后,该模型显示出良好的风格控制性能,并优于全球风格令牌(GST)模型在ABX偏好测试的风格转移。
2019-02-14 cs.CL cs.SD eess.AS
FastDiff: A Fast Conditional Diffusion Model for High-Quality Speech Synthesis
Zhejiang University(浙江大学);Tencent AI Lab(腾讯人工智能实验室)
去噪扩散概率模型(DDPMs)最近在许多生成任务中取得了领先的性能。然而,传统的迭代采样过程成本阻碍了它们在语音合成中的应用。提出了一种快速条件扩散模型FastDiff,用于高质量语音合成。FastDiff采用不同感受野模式的时间感知位置可变卷积堆栈,以有效地模拟具有自适应条件的长期时间依赖性。同时采用了噪声时序预测器,在不牺牲生成质量的前提下减少了采样步长。基于FastDiff,我们设计了一个端到端的文本到语音合成器,FastDiff-TTS,它生成高保真的语音波形,没有任何中间特征(例如,Mel-光谱图)。我们对FastDiff的评估证明了具有更高质量(MOS 4.28)语音样本的最新结果。此外,FastDiff使采样速度比V100 GPU上的实时速度快58倍,使扩散模型首次实际适用于语音合成部署。我们进一步表明,FastDiff推广以及梅尔频谱图反转看不见的扬声器,和FastDiff-TTS优于其他竞争的方法在端到端的文本到语音合成。音频样本可在\url{https://FastDiff.github.io/}上获得。
2022-04-21 cs.LG cs.SD eess.AS
DiffVoice: Text-to-Speech with Latent Diffusion
Shanghai Jiao Tong University(上海交通大学)
本文提出 DiffVoice,利用对抗增强 VAE 编码音素速率语音潜变量,并以扩散模型联合建模时长与表示,在自然度、文本语音编辑及零样本适配上取得先进结果。
2023-04-23 cs.AI cs.HC cs.LG
Variational Autoencoders for Learning Latent Representations of Speech Emotion: A Preliminary Study
Information Technology University (ITU)-Punjab(旁遮普信息技术大学);University of Southern Queensland(南昆士兰大学);University of New South Wales(新南威尔士大学)
以无监督的方式学习数据的潜在表示是一个非常有趣的过程,它提供了用于增强分类器性能的相关特征。对于语音情感识别任务,生成有效的特征是至关重要的。目前,人工特征大多用于语音情感识别,然而,使用深度学习自动学习的特征在许多问题上显示出强大的成功,特别是在图像处理中。特别是,深度生成模型,如变分自编码器(VAE),在生成自然图像的特征方面取得了巨大的成功。受此启发,我们提出了VAE用于导出语音信号的潜在表示,并使用此表示来分类情感。据我们所知,我们是第一个提出语音情感分类VAE。IEMOCAP数据集上的评估表明,VAE学习的特征可以产生最先进的语音情感分类结果。
2020-07-28 cs.LG cs.SD eess.AS
Interleaved Speech Language Models Latently Work In Text
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
通过logit透镜分析发现,交错式语音-文本语言模型在中间层隐式转录语音为文本,然后基于文本空间预测下一个词,再转换回语音域,揭示了语音与文本模态的内部交互机制。
2026-09-09 cs.CL cs.LG cs.SD
DiffProsody: Diffusion-based Latent Prosody Generation for Expressive Speech Synthesis with Prosody Conditional Adversarial Training
Korea University(高丽大学)
提出DiffProsody,利用扩散潜在韵律生成器和韵律条件对抗训练,实现快速且高质量的富有表现力语音合成,韵律生成速度提升16倍。
2023-07-31 cs.CL cs.SD eess.AS
Sequence to Multi-Sequence Learning via Conditional Chain Mapping for Mixture Signals
Johns Hopkins University(约翰斯·霍普金斯大学);Institute of Automation, Chinese Academy of Sciences (CASIA)(中国科学院自动化研究所);Northwestern Polytechnical University(西北工业大学);Hitachi, Ltd.(日立公司)
神经序列到序列模型很好地建立了应用程序,可以转换为一个单一的输入序列映射到一个单一的输出序列。在这项工作中,我们专注于一对多的序列转导问题,如从混合序列中提取多个连续的来源。我们将标准的序列到序列模型扩展为条件多序列模型,该模型使用概率链规则显式地对多个输出序列之间的相关性进行建模。基于此扩展,我们的模型可以有条件地推断输出序列一个接一个地利用输入和先前估计的上下文输出序列。该模型还具有用于转导结束的简单且有效的停止标准,使得其能够推断输出序列的可变数量。我们把语音数据作为一个主要的测试领域来评估我们的方法,因为观察到的语音数据往往是由多个来源,由于声波的叠加原理的性质。在语音分离和多说话人语音识别等多个不同任务上的实验表明,我们的条件多序列模型比传统的非条件模型有一致的改进。
2020-06-25 cs.SD eess.AS
Prosody of speech production in latent post-stroke aphasia
Newcastle University(纽卡斯尔大学);Tianjin University(天津大学);Temple University(天普大学)
本研究探讨了潜伏性失语症的言语韵律特征,通过分析f0、强度和时长,并利用回归模型和随机森林算法证实了韵律特征在区分潜伏性失语症与神经典型对照组中的显著作用。
2024-09-24 cs.SD eess.AS q-bio.NC
Unsupervised Learning of Disentangled Speech Content and Style Representation
Nara Institute of Science and Technology(奈良先端科学技术大学院大学);Google LLC(谷歌有限责任公司)
我们提出了一种无监督学习的语音表示解开内容和风格的方法。我们的模型包括:(1)捕获每帧信息的局部编码器;(2)捕获每话语信息的全局编码器;以及(3)在给定局部和全局潜在变量的情况下重构语音的条件解码器。实验结果表明:(1)局部隐变量对语音内容进行编码,即使采用不同的全局编码,重构语音也能以较低的词出错率(WER)被ASR识别;(2)全局隐变量对说话人风格进行编码,重构语音与全局编码的源话语具有说话人身份。此外,我们展示了一个有用的应用程序,从我们的预训练模型,我们可以训练的说话人识别模型的全球潜在变量,并实现高精度的微调与尽可能少的数据,每个扬声器一个标签。
2021-06-20 cs.CL cs.SD eess.AS
Efficient Speech Language Modeling via Energy Distance in Continuous Latent Space
Key Laboratory of Intelligent Information Processing Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所智能信息处理重点实验室);University of Chinese Academy of Sciences(中国科学院大学);Pattern Recognition Center, WeChat AI, Tencent Inc(腾讯人工智能研究院模式识别中心);School of Future Science and Engineering, Soochow University(苏州大学未来科学与工程学院)
SLED通过连续潜表示和能量距离目标实现高效语音语言建模,避免离散化误差和复杂分层架构,在零样本和流式语音合成中表现优异。
2025-10-24 cs.CL cs.SD eess.AS