Generating diverse and natural text-to-speech samples using a quantized fine-grained VAE and auto-regressive prosody prior
Google Brain（谷歌大脑）
最近的神经文本转语音（TTS）模型与细粒度的潜在功能，使合成语音的韵律精确控制。这样的模型通常结合细粒度变分自动编码器（VAE）结构，提取每个输入令牌处的潜在特征（例如，音素）。然而，使用标准VAE先验生成样本通常会导致不自然和不连续的语音，令牌之间具有戏剧性的韵律变化。本文提出了一种离散潜在空间中的序列先验，可以生成更自然的声音样本。这是通过使用矢量量化（VQ）对潜在特征进行离散化，并针对结果单独训练自回归（AR）先验模型来实现的。我们评估的方法，使用听力测试，客观指标的自动语音识别（ASR）的性能，和韵律属性的测量。实验结果表明，该模型显著提高了随机样本生成的自然度。此外，初步的实验表明，从所提出的模型中随机采样可以作为数据增强，以提高ASR的性能。
2020-02-06 cs.LG cs.SD eess.AS
Transformer VQ-VAE for Unsupervised Unit Discovery and Speech Synthesis: ZeroSpeech 2020 Challenge
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；RIKEN, Center for Advanced Intelligence Project AIP（理化学研究所先进智能项目中心）
在本文中，我们报告了我们在2019年赛道上提交的ZeroSpeech 2020挑战系统。这个挑战的主题是建立一个没有任何文本信息或语音标签的语音合成器。为了应对这些挑战，我们构建了一个系统，该系统必须解决两个主要组件，例如1）给定语音音频，以无监督的方式提取子字单元，2）重新合成来自新扬声器的音频。系统还需要在ABX出错率和比特率压缩率之间平衡码本性能。我们在这里的主要贡献是，我们提出了基于变换器的VQ-VAE的无监督单元发现和基于变换器的逆变器的语音合成给定提取的码书。此外，我们还探索了几种正则化方法来进一步提高性能。
2020-05-24 cs.CL cs.LG cs.SD
Low Bit-Rate Speech Coding with VQ-VAE and a WaveNet Decoder
DeepMind
为了有效地发送和存储语音信号，语音编解码器创建输入信号的最小冗余表示，然后在接收机处以最佳可能感知质量对其进行解码。在这项工作中，我们证明了一个基于VQ-VAE与WaveNet解码器的神经网络架构，可以用来执行非常低的比特率语音编码与高重建质量。在LibriSpeech语料库上以1.6 kbps编码音频训练的韵律透明和说话者无关的模型表现出大约在2.4 kbps的MELP编解码器和23.05 kbps的AMR-WB编解码器之间的一半的感知质量。此外，当在训练集中包括测试说话者的情况下对高质量记录语音进行训练时，以1.6kbps编码语音的模型产生与AMR-WB以23.05kbps生成的感知质量类似的感知质量的输出。
2019-10-14 cs.LG cs.SD eess.AS
Conditional Deep Hierarchical Variational Autoencoder for Voice Conversion
DeNA Co., Ltd.（DeNA有限公司）；University of Tokyo（东京大学）；The University of Electro-Communications（电气通信大学）
基于变分自编码器的语音转换（VAE-VC）具有仅需要成对的语音和说话者标签用于训练的优点。与大多数VAE-VC的研究，重点是利用辅助损失或离散化的潜变量，本文研究了如何增加模型的表现力有好处和影响的VAE-VC。具体来说，我们首先分析VAE-VC从率失真的角度来看，并指出，模型的表现力是重要的VAE-VC，因为率和失真反映的相似性和自然的转换语音。基于分析，我们提出了一种新的VC方法，使用一个深层次的VAE，它具有高的模型表现力，以及由于其非自回归解码器具有快速的转换速度。此外，我们的分析还揭示了另一个问题，即当VAE的潜变量具有冗余信息时，相似性会降低。我们解决这个问题，通过使用$β$ -VAE目标控制包含在潜变量中的信息。在使用VCTK语料库的实验中，所提出的方法在跨性别设置中的自然度和相似度上的平均意见得分均高于3.5，高于现有的基于自动编码器的VC方法的得分。
2021-12-06 cs.LG cs.SD eess.AS
Variational Autoencoders for Learning Latent Representations of Speech Emotion: A Preliminary Study
Information Technology University (ITU)-Punjab（旁遮普信息技术大学）；University of Southern Queensland（南昆士兰大学）；University of New South Wales（新南威尔士大学）
以无监督的方式学习数据的潜在表示是一个非常有趣的过程，它提供了用于增强分类器性能的相关特征。对于语音情感识别任务，生成有效的特征是至关重要的。目前，人工特征大多用于语音情感识别，然而，使用深度学习自动学习的特征在许多问题上显示出强大的成功，特别是在图像处理中。特别是，深度生成模型，如变分自编码器（VAE），在生成自然图像的特征方面取得了巨大的成功。受此启发，我们提出了VAE用于导出语音信号的潜在表示，并使用此表示来分类情感。据我们所知，我们是第一个提出语音情感分类VAE。IEMOCAP数据集上的评估表明，VAE学习的特征可以产生最先进的语音情感分类结果。
2020-07-28 cs.LG cs.SD eess.AS
Variational Autoencoder for Speech Enhancement with a Noise-Aware Encoder
最近，一种生成式变分自编码器（VAE）已被提出用于语音增强以模拟语音统计。然而，这种方法在训练阶段仅使用干净的语音，使得估计对噪声的存在特别敏感，特别是在低信噪比（SNR）下。为了增加VAE的鲁棒性，我们建议在训练阶段使用噪声感知编码器训练噪声干净的语音对，包括噪声信息。我们使用两个不同的噪声数据集对不同噪声环境和声学条件的真实记录进行评估。我们表明，我们提出的噪声感知VAE优于标准VAE的整体失真，而不增加模型参数的数量。与此同时，我们证明了我们的模型能够比监督前馈深度神经网络（DNN）更好地推广到不可见的噪声条件。此外，我们证明了模型性能的鲁棒性，以减少噪声干净的语音训练数据的大小。
2021-02-17 cs.LG cs.SD eess.AS
VQalAttent: a Transparent Speech Generation Pipeline based on Transformer-learned VQ-VAE Latent Space
Rowan University（罗文大学）
本文提出轻量级语音生成模型VQalAttent，通过VQ-VAE压缩音频频谱图并结合仅解码器Transformer学习离散潜在表示，在有限计算资源下生成可理解语音，并为更大规模商用生成模型提供可解释的改进指导。
2024-11-22 cs.LG eess.AS
Decoding EEG Speech Perception with Transformers and VAE-based Data Augmentation
Carnegie Mellon University（卡内基梅隆大学）
本研究利用VAE和变换器模型提升EEG语音解码性能，通过数据增强和序列到序列架构改进语音感知任务。
2025-12-29 cs.CL cs.HC cs.LG
MIDI-Sandwich2: RNN-based Hierarchical Multi-modal Fusion Generation VAE networks for multi-track symbolic music generation
University of Science and Technology of China（中国科学技术大学）
目前，几乎所有的多音轨音乐生成模型都是使用卷积神经网络（CNN）来构建生成模型，而基于递归神经网络（RNN）的生成模型则无法应用于此任务。针对上述问题，本文提出了一种基于RNN的分层多模态融合生成变分自编码器（VAE）网络MIDI-Sandwich 2，用于多音轨符号音乐生成。MIDI-Sandwich 2受VQ-VAE 2的启发，通过使用多个独立的二进制变分自编码器（Binary Variational Autoencoder，BVAE）模型来处理每个音轨的信息，从而扩展了原有分层模型的维度。然后，利用多模态融合技术，上层多模态融合生成VAE（MFG-VAE）将各个音轨生成的特征空间向量进行组合，并利用解码器进行升维重构，模拟多模态融合、多模态生成的逆运算，从而实现基于RNN的多音轨符号化音乐生成。对于多音轨格式的pianoroll，我们还改进了MuseGAN的输出二值化方法，解决了原方案细化步骤难区分、梯度难下降的问题，使生成的歌曲更具表现力。该模型在Lakh Pianoroll数据集（LPD）多轨道数据集上进行了验证。与MuseGAN相比，MIDI-Sandwich 2不仅可以生成和谐的多轨音乐，生成质量也接近于艺术水平。同时，通过使用VAE还原歌曲，MIDI-Sandwich 2再现的半生成歌曲比MuseGAN生成的纯自动生成音乐更优美。代码和试听音频样本都是在https:…
2019-09-08 cs.LG cs.SD eess.AS
Unsupervised Speech Enhancement using Dynamical Variational Auto-Encoders
Inria Grenoble Rhône-Alpes（法国国家信息与自动化研究所罗纳-阿尔卑斯大区格勒诺布尔中心）；Univ. Grenoble-Alpes（格勒诺布尔阿尔卑斯大学）；Grenoble-INP（格勒诺布尔国立理工学院）；CNRS（法国国家科学研究中心）；CentraleSupélec（巴黎中央理工-高等电力学院）
动态变分自编码器（DVAE）是一类具有潜在变量的深度生成模型，专用于对高维数据的时间序列进行建模。DVAE可以被认为是变分自编码器（VAE）的扩展，其包括连续的观测向量和/或潜在向量之间的时间依赖性。以前的工作表明，使用DVAE的语音频谱图建模的VAE的兴趣。独立地，VAE已经成功地应用于噪声中的语音增强，在无监督的噪声不可知的设置中，在训练时间既不需要噪声样本也不需要有噪声的语音样本，而只需要干净的语音信号。在本文中，我们将这些工作扩展到基于DVAE的单通道无监督语音增强，从而利用语音信号无监督表示学习和动态建模。我们提出了一种无监督的语音增强算法，结合了DVAE语音事先预先训练干净的语音信号与噪声模型的基础上非负矩阵分解，我们推导出一个变分期望最大化（VEM）算法进行语音增强。该算法提出了最一般的DVAE制定，然后应用三个具体的DVAE模型来说明框架的多功能性。实验结果表明，所提出的基于DVAE的方法优于其基于VAE的方法，以及几个监督和无监督的噪声相关基线，特别是当噪声类型在训练过程中是不可见的。
2022-09-30 cs.AI cs.LG cs.SD
Learning Disentangled Phone and Speaker Representations in a Semi-Supervised VQ-VAE Paradigm
University of Edinburgh（爱丁堡大学）；Tokyo Institute of Technology（东京工业大学）
我们提出了一种新的方法，通过引入新的组件的VQ-VAE架构的语音合成解开扬声器的声音和电话内容。原始的VQ-VAE不能很好地推广到看不见的扬声器或内容。为了缓解这个问题，我们已经纳入了一个扬声器编码器和扬声器VQ码本，学习全球扬声器特性完全独立于现有的子音素码本。我们还比较了两种训练方法：全局条件下的自监督和说话人标签的半监督。添加扬声器VQ组件改进了语音合成质量的客观测量（估计MOS、扬声器相似性、基于ASR的可懂度），并提供了有意义的学习表示。我们的扬声器VQ码本索引可以用于一个简单的扬声器日记任务，并执行略优于x向量基线。此外，在我们的半监督VQ-VAE中，可以从子音素VQ码本索引中识别音素，比全局条件下的自监督更好。
2021-02-10 cs.LG cs.SD eess.AS
A learned conditional prior for the VAE acoustic space of a TTS system
Amazon Research（亚马逊研究院）
许多因素会影响言语，使给定句子产生不同的翻译。生成模型，如变分自动编码器（VAE），捕捉这种可变性，并允许通过采样对同一个句子进行多次再现。韵律变化的程度很大程度上取决于采样时使用的先验。在本文中，我们提出了一种新的方法来计算一个神经文语转换（TTS）系统的VAE潜在空间的信息先验。通过这样做，我们的目标是采样更多的韵律变化，同时获得对潜在空间的结构的可控性。通过使用次级VAE的后验分布作为先验，我们以说话者向量为条件，我们可以从初级VAE中进行采样，明确考虑条件，并导致每个条件（即说话者）的潜在空间的特定区域的样本。一个正式的偏好测试表明显着的偏好所提出的方法比标准的条件VAE。我们还提供了潜在空间的可视化，其中出现了分离良好的条件特定的集群，以及消融研究，以更好地了解系统的行为。
2021-06-14 cs.LG cs.SD eess.AS
A Statistically Principled and Computationally Efficient Approach to Speech Enhancement using Variational Autoencoders
Universitee de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林计算机科学及其应用实验室）
最近的研究已经探索了使用基于变分自编码器（VAE）的语音频谱的深度生成模型与无监督噪声模型相结合来执行语音增强。这些研究开发了迭代算法，在每一步都涉及吉布斯采样或梯度下降，这使得它们在计算上很昂贵。本文提出了一种变分推理方法来迭代估计干净语音的功率谱。我们的主要贡献是变分步骤的分析推导，其中预先学习的VAE的编码器可用于估计真实后验分布的变分近似，使用与训练VAE相同的假设。实验表明，该方法产生的结果与上述迭代法使用采样，同时减少了一个因素36的计算成本，以达到给定的性能。
2019-05-14 cs.LG cs.SD eess.AS
Hierarchical VAE with a Diffusion-based VampPrior
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；Eindhoven University of Technology（埃因霍温理工大学）
针对深度分层 VAE 的先验设计问题，提出结合扩散 VampPrior 与摊销推断的方法，在多个基准上以更少参数提升性能、训练稳定性和潜空间利用率。
2024-12-02 cs.LG stat.ML
Optimizing Hierarchical Image VAEs for Sample Quality
虽然分层变分自编码器（VAE）已经在图像建模任务上实现了很好的密度估计，但来自其先验的样本往往比具有类似对数似然的模型看起来不那么令人信服。我们将此归因于学习的表示，过度强调压缩图像的不可感知的细节。为了解决这个问题，我们引入了KL重新加权策略来控制每个潜在组中的信息量，并采用高斯输出层来降低学习目标的锐度。为了权衡图像的多样性和保真度，我们还引入了分层VAE的无分类器引导策略。我们在实验中证明了这些技术的有效性。代码可在https://github.com/tcl9876/visual-vae上获得。
2022-10-18 cs.CV cs.LG
Constrained Variational Autoencoder for improving EEG based Speech Recognition Systems
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
为了提高基于脑电的语音识别系统的性能，本文提出了一种基于递归神经网络（RNN）的变分自编码器（VAE）模型，该模型引入了一种新的约束损失函数，可以从原始脑电特征中产生更有意义的脑电特征。我们表明，连续和孤立的语音识别系统的训练和测试，使用原始EEG功能，使用我们的VAE模型产生的EEG功能，提高了性能，我们证明了我们的结果为一个有限的英语词汇组成的30个独特的句子连续语音识别和英语词汇组成的2个独特的句子孤立的语音识别。我们将我们的方法与作者在[1]中描述的另一种最近引入的方法进行比较，以提高基于EEG的连续语音识别系统的性能，并且我们证明，当使用相同的数据集进行训练和测试时，随着词汇量的增加，我们的方法优于他们的方法。即使我们证明的结果仅为自动语音识别（ASR）的实验在本文中，建议的VAE模型与约束损失函数可以扩展到各种其他基于EEG的脑机接口（BCI）的应用。
2020-06-01 cs.LG cs.SD eess.AS
Theoretical Bound-Guided Hierarchical VAE for Neural Image Codecs
Elmore Family School of Electrical and Computer Engineering（埃尔莫尔电气与计算机工程学院）；Purdue University（普渡大学）
为缩小变分自编码器理论界限与现有神经图像编解码器性能间的差距，提出理论界限引导的分层 VAE（BG-VAE），利用该界限指导模型优化，实现性能优于现有方法的变码率编解码器。
2024-03-27 cs.LG eess.IV
Unsupervised acoustic unit discovery for speech synthesis using discrete latent-variable neural networks
Stellenbosch University（斯泰伦博斯大学）；The University of Edinburgh（爱丁堡大学）
对于我们提交的ZeroSpeech 2019挑战，我们将离散潜变量神经网络应用于未标记的语音，并使用发现的单元进行语音合成。无监督离散子词建模可能是有用的研究语音类别学习婴儿或低资源语音技术需要符号输入。我们使用自动编码器（AE）架构与中间离散化。我们解耦声学单元发现扬声器建模条件AE的解码器上的训练扬声器身份。在测试时，单元发现从一个看不见的扬声器的语音进行，然后由一个已知的目标扬声器单元解码条件，以获得重建的滤波器组。该输出被馈送到神经声码器以合成目标说话者的语音。对于离散化，分类变分自编码器（CatVAE），矢量量化的VAE（VQ-VAE）和直通估计进行了比较，在不同的压缩水平上的两种语言。我们的最终模型使用卷积编码，VQ-VAE离散化，解卷积解码和FFTNet声码器。我们表明，解耦扬声器调节本质上提高了离散的声学表示，产生竞争力的合成质量相比，挑战基线。
2019-06-28 cs.CL cs.LG cs.SD
Beyond Vanilla Variational Autoencoders: Detecting Posterior Collapse in Conditional and Hierarchical Variational Autoencoders
FPT Software AI Center（FPT软件AI中心）；National University of Singapore（新加坡国立大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
本研究针对标准VAE之外后验坍缩理论不完善的问题，拓展了条件VAE和分层VAE的后验坍缩理论，分析了两类模型的坍缩成因，并通过实验验证理论对线性及非线性场景的有效性。
2024-05-13 cs.LG stat.ML
Audio-visual speech enhancement with a deep Kalman filter generative model
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林计算机科学及其应用研究所）
基于变分自编码器（VAE）的深层潜变量生成模型在视听语音增强（AVSE）中表现出良好的性能。其基本思想是学习一个基于VAE的视听先验分布的干净的语音数据，然后将其与统计噪声模型，以恢复一个语音信号从嘈杂的音频记录和视频（嘴唇图像）的目标说话人。为AVSE开发的现有生成模型没有考虑语音数据的顺序性质，这阻止了它们完全结合视觉数据的力量。在本文中，我们提出了一个视听深度卡尔曼滤波器（AV-DKF）生成模型，假设一阶马尔可夫链模型的潜在变量，并有效地融合视听数据。此外，我们开发了一个有效的推理方法来估计语音信号在测试时间。我们进行了一组实验，比较不同的语音增强生成模型的变体。结果表明，AV-DKF模型的优越性相比，它的音频版本和非顺序的音频和视听VAE为基础的模型。
2022-11-02 cs.CV cs.LG cs.SD
Continuous Autoregressive Modeling with Stochastic Monotonic Alignment for Speech Synthesis
The Hong Kong Polytechnic University（香港理工大学）
该研究提出结合多模态潜在空间VAE与GMM条件自回归模型的语音合成方法，引入随机单调对齐机制，以VALL-E 10.3%的参数实现更优性能，为量化语音语言模型提供高效替代方案。
2025-02-13 cs.LG cs.SD eess.AS
MIDI-Sandwich: Multi-model Multi-task Hierarchical Conditional VAE-GAN networks for Symbolic Single-track Music Generation
University of Science and Technology of China（中国科学技术大学）
现有的大多数用于音乐生成的神经网络模型探索如何生成音乐小节，然后直接将音乐小节拼接成歌曲。但是，这些方法没有探索小节之间的关系，连接的歌曲作为一个整体没有音乐形式结构和音乐方向感。为了解决这个问题，我们提出了一个多模型多任务层次条件VAE-GAN（变分自动编码器生成对抗网络）网络，名为MIDI-Sandwich，它结合了音乐知识，如音乐形式，主音和旋律运动。MIDI-Sandwich有两个子模型：分层条件变分自编码器（HCVAE）和分层条件生成对抗网络（HCGAN）。HCVAE使用分层结构。HCVAE的底层使用局部条件变分自动编码器（L-CVAE）来生成由第一个和最后一个音符（FLN）预先指定的音乐条。HCVAE的上层使用全局变分自编码器（G-VAE）对L-CVAE编码器生成的特征向量序列进行分析，挖掘小节之间的音乐关系，产生由L-CVAE解码器生成的多个音乐小节拼接而成的歌曲，使歌曲既有音乐结构又有方向感。与此同时，HCVAE与HCGAN共享其自身的一部分，以进一步提高所生成音乐的性能。MIDI-Sandwich在Nottingham数据集上进行了验证，能够生成单音轨旋律序列（17 x8拍），这优于大多数生成的模型（8到32拍）的长度。同时，参考多种经典文献的实验方法，对生成的音乐进行了质量评价。以上实验证明了该模型的有效性。
2019-07-04 cs.LG cs.MM cs.SD
Learning Hierarchical Priors in VAEs
Volkswagen Group（大众汽车集团）；Technical University of Munich（慕尼黑工业大学）
我们建议在变分自编码器的背景下学习分层先验，以避免标准正态先验分布导致的过度正则化。为了激励数据的信息潜在表示，我们通过将驯服VAE框架扩展到两级分层模型来将学习问题制定为约束优化问题。我们介绍了一种基于图形的插值方法，它表明，学习的潜在表示的拓扑结构对应于数据流形的拓扑结构-并提出了几个例子，其中所需的属性的潜在表示，如平滑度和简单的解释因素是由事先学习。
2019-10-05 cs.LG stat.ML
Hierarchical Patch VAE-GAN: Generating Diverse Videos from a Single Sample
Tel Aviv University（特拉维夫大学）
我们认为，从一个单一的视频样本生成不同的和新颖的视频的任务。最近，提出了新的基于分层补丁GAN的方法来生成不同的图像，在训练时只给出一个样本。移动到视频，这些方法无法生成不同的样本，并且经常崩溃为生成类似于训练视频的样本。我们介绍了一种新的补丁为基础的变分自编码器（VAE），它允许一个更大的多样性的产生。使用这个工具，一个新的分层视频生成方案的构建：在粗尺度上，我们的补丁VAE，确保样本的高多样性。随后，在更精细的尺度上，patch-GAN渲染细节，从而生成高质量的视频。我们的实验表明，该方法产生不同的样本在图像域，更具有挑战性的视频域。
2020-10-22 cs.CV cs.LG
Relaxed-Responsibility Hierarchical Discrete VAEs
University of Oxford（牛津大学）；Alan Turing Institute（艾伦·图灵研究所）；Oxford-Man Institute（牛津-曼彻斯特研究所）
成功地训练具有离散潜变量层次结构的变分自动编码器（VAE）仍然是一个活跃的研究领域。矢量量化VAE是离散VAE的一种强大方法，但在训练时，朴素的分层扩展可能不稳定。利用经典推理方法的见解，我们引入了\textit{Relaxed-Responsibility Vector-Quantisation}，这是一种参数化离散潜变量的新方法，是放松矢量量化的一种改进，可以提供更好的性能和更稳定的训练。这使得一种新的方法，分层离散变分自动编码器与许多层的潜在变量（这里高达32），我们训练端到端。在具有端到端训练的离散潜变量的分层概率深度生成模型中，我们为各种标准数据集实现了最先进的bits-per-dim结果。与具有单层潜在变量的离散VAE不同，我们可以通过祖先采样来产生样本：在学习的潜在表示上训练第二自回归生成模型，然后从中采样，然后解码，这不是必需的。此外，在这些深层次模型中的后一种方法将需要数千次向前传递来生成单个样本。此外，我们观察到模型的不同层与数据的不同方面相关联。
2021-02-04 cs.CV cs.LG stat.ML
An Interactive Insight Identification and Annotation Framework for Power Grid Pixel Maps using DenseU-Hierarchical VAE
Zhejiang University（浙江大学）；China Electric Power Research Institute（中国电力科学研究院）
电网像素地图（PGPM）中的见解涉及电网中的重要设施运行状态和意外变化。识别洞察力有助于分析师了解电网各个部分的协作，以便采取预防性和正确的操作来避免潜在的事故。用于识别PGPM中的见解的现有解决方案是手动执行的，这可能是费力的并且依赖于专业知识。在本文中，我们提出了一个互动的洞察力识别和注释框架，利用增强的变分自编码器（VAE）。特别是，一个新的架构，密集的层次VAE（DUHiV），旨在学习表示从大尺寸的PGPM，实现了显着更严格的证据下限（ELBO）比现有的层次VAE与多层感知器架构。我们的方法支持在交互式视觉界面中调制派生的表示，发现潜在的见解并创建多标签注释。使用真实世界的PGPMs数据集进行的评估表明，我们的框架在识别和注释见解方面优于基线模型。
2019-05-22 cs.LG eess.IV stat.ML
Lossy Image Compression with Quantized Hierarchical VAEs
Nanjing University（南京大学）；Purdue University（普渡大学）
最近的研究表明，变分自编码器（VAE）和率失真理论之间有很强的理论联系。受此启发，我们从生成式建模的角度考虑有损图像压缩问题。从最初为数据（图像）分布建模而设计的ResNet VAE开始，我们使用量化感知的后验和先验来重新设计其潜变量模型，从而在测试时实现轻松的量化和熵编码。随着改进的神经网络架构，我们提出了一个强大而有效的模型，优于以前的方法对自然图像的有损压缩。我们的模型以从粗到细的方式压缩图像，并支持并行编码和解码，从而在GPU上快速执行。代码可在https://github.com/duanzhiihao/lossy-vae上获得。
2023-03-25 cs.CV cs.LG eess.IV
Bayes-Factor-VAE: Hierarchical Bayesian Deep Auto-Encoder Models for Factor Disentanglement
Samsung AI Center（三星人工智能中心）；Rutgers University（罗格斯大学）
我们提出了一系列新型分层贝叶斯深度自动编码器模型，能够识别数据变异性的分解因素。虽然最近的许多尝试因素解开集中在复杂的学习目标的VAE框架内，他们选择的标准正常的潜在因素之前是次优和有害的性能。我们的关键观察是，解开的潜在变量负责的主要来源的变异性，相关因素，可以更适当地使用长尾分布建模。另一方面，典型的高斯先验更适合于滋扰因素的建模。出于这一动机，我们通过引入高斯潜在先验方差的超先验，模仿无限混合，同时保持传统VAE的易处理的学习和推理，将VAE扩展到分层贝叶斯模型。这一分析表明，以不同的方式划分和处理相应的相关因素和滋扰的潜在层面的重要性。我们提出的模型，被称为贝叶斯因子VAE，表现出优于现有的方法在定量和定性方面的潜在解开在几个具有挑战性的基准任务。
2019-09-06 cs.CV cs.LG stat.ML
Missing Data Imputation and Acquisition with Deep Hierarchical Models and Hamiltonian Monte Carlo
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）；Microsoft Research（微软研究院）；University of Cambridge（剑桥大学）
变分自编码器（VAE）最近在插补和获取异质缺失数据方面非常成功。然而，在这个特定的应用领域，现有的VAE方法的限制，仅使用一层的潜在变量和严格的高斯后验近似。为了解决这些局限性，我们提出了HH-VAEM，混合型不完整数据的分层VAE模型，使用Hamilton Monte Carlo自动超参数调整改进近似推理。实验结果表明，HH-VAEM在缺失数据填补和缺失特征的监督学习任务中优于现有的基线。最后，我们还提出了一种基于采样的方法，用于有效地计算信息增益时，丢失的功能是与HH-VAEM收购。我们的实验表明，这种基于采样的方法优于基于高斯近似的替代品。
2022-12-22 cs.LG stat.ML
A Hierarchical Latent Vector Model for Learning Long-Term Structure in Music
Google Brain（谷歌大脑）
变分自编码器（VAE）已被证明是一种有效的模型，用于产生自然数据的语义有意义的潜在表示。然而，到目前为止，它已经看到有限的应用程序的序列数据，并且，正如我们所证明的，现有的经常性VAE模型难以建模序列的长期结构。为了解决这个问题，我们提出了使用一个分层解码器，它首先输出嵌入的顺序输入，然后使用这些嵌入独立地生成每个子序列。这种结构鼓励模型利用其潜在代码，从而避免“后崩溃”问题，这仍然是复发性VAE的问题。我们应用这种架构来建模序列的音符，并发现它具有显着更好的采样，插值和重建性能比一个“平”的基线模型。我们的“MusicVAE”的实现可以在http://g.co/magenta/musicvae-code上在线获得。
2019-11-11 cs.LG cs.SD eess.AS
Disentangling Speech and Non-Speech Components for Building Robust Acoustic Models from Found Data
Carnegie Mellon University（卡内基梅隆大学）
为了为大多数语言建立语言技术，重要的是利用互联网上公共领域的可用资源-通常称为“找到的数据”。然而，这种数据的特点是存在非标准的，非平凡的变化。例如，在互联网上找到的语音资源具有非语音内容，例如音乐。因此，语音识别和语音合成模型需要对这种变化具有鲁棒性。在这项工作中，我们提出了一个分析表明，重要的是要解开原始数据中的变化的潜在因果因素，以完成这些任务。在此基础上，我们提出的方法来解开这种变化的数据使用潜在的随机模型。具体来说，我们提出了一种方法来分裂潜在的先验空间的音频信号的幅度谱中存在的主导语音模式的连续表示。我们提出了一个完全无监督的方法，使用多节点潜在空间变分自编码器（VAE）。我们表明，VAE的潜在空间上的限制，事实上可以用来分离语音和音乐，独立的语言的讲话。本文还分析了基于语音数据分布的任务对隐变量数目的要求。
2019-09-25 cs.LG cs.SD eess.AS
Hierarchical Variational Autoencoder for Visual Counterfactuals
Ghent University（根特大学）
条件变分自动编码器（VAE）作为一种可解释的人工智能（XAI）工具正受到广泛关注。潜在空间中的代码提供了一种理论上合理的方式来产生反事实，即由于对目标语义特征的干预而导致的改变。为了应用于真实图像，需要更复杂的模型，例如分层CVAE。这带来了一个挑战，因为天真的条件作用不再有效。在本文中，我们将展示如何放松后验的影响，导致成功的反事实，我们介绍了VAEX的层次VAE设计这种方法，可以在应用程序中的视觉审计分类。
2021-02-01 cs.LG
SCHA-VAE: Hierarchical Context Aggregation for Few-Shot Generation
Technical University of Denmark（丹麦技术大学）；University of Copenhagen（哥本哈根大学）
一个Few-Shot生成模型应该能够通过只观察有限的一组例子来从一个新的分布中生成数据。在少样本学习中，模型是在来自共享一些基本属性的分布的许多集合的数据上训练的，例如来自不同字母表的字符集或来自不同类别的对象。我们扩展当前的潜变量模型集的一个完全分层的方法与注意力为基础的点集级聚合和调用我们的方法SCHA-VAE集上下文层次聚合变分自编码器。我们探索基于似然的模型比较，迭代数据采样，和适应自由分布外泛化。我们的研究结果表明，分层制定更好地捕捉内在的变化，在小数据制度的集合。这项工作将深度潜在变量方法推广到Few-Shot学习，向大规模Few-Shot生成迈出了一步，其公式易于与当前最先进的深度生成模型一起使用。
2022-07-03 cs.AI cs.LG stat.ML
Statistical Speech Enhancement Based on Probabilistic Integration of Variational Autoencoder and Non-Negative Matrix Factorization
Graduate School of Informatics, Kyoto University（京都大学信息学研究生院）；Center for Advanced Intelligence Project, RIKEN（理化学研究所高级智能项目中心）
本文提出了一种单通道语音增强的统计方法，该方法使用变分自编码器（VAE）作为纯净语音的先验分布。语音增强的标准方法是训练深度神经网络（DNN）以将含噪语音作为输入并输出干净语音。虽然这种监督方法需要非常大量的配对数据进行训练，但它对未知环境并不鲁棒。另一种方法是使用非负矩阵分解（NMF），该非负矩阵分解基于预先在干净语音上训练的基谱和那些在运行中适应噪声的基谱。然而，这种半监督的方法，由于不切实际的假设，语音频谱是基本频谱的线性组合，导致相当大的信号失真增强语音。用VAE--一个强大的非线性深度生成模型--在干净的语音上训练，取代NMF中干净语音的线性生成模型，我们制定了一个统一的噪声语音概率生成模型。给定带噪语音作为观测数据，我们可以从其后验分布中抽取干净的语音。该方法在看不见的噪声环境中优于传统的基于DNN的方法。
2018-03-19 cs.LG cs.SD eess.AS
Self-Supervised Speech Quality Estimation and Enhancement Using Only Clean Speech
NVIDIA（英伟达）；Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）
本文提出VQScore自监督语音质量评估指标及基于向量量化与自蒸馏对抗训练的语音增强模型，仅用干净语音训练即可达到与监督基线相当的性能。
2024-02-26 cs.AI cs.LG cs.SD
Learning and controlling the source-filter representation of speech with a variational autoencoder
CentraleSupélec（巴黎中央理工-高等电力学院）；IETR UMR CNRS 6164（法国国家科学研究中心电子与电信研究所（UMR 6164））；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble-INP（格勒诺布尔国立理工学院）；GIPSA-lab（格勒诺布尔图像、语音、信号与自动化实验室）；Inria（法国国家信息与自动化研究所）；LJK（让·昆塞曼实验室）
理解和控制深度生成模型中的潜在表示对于分析、转换和生成各种类型的数据来说是一个具有挑战性且重要的问题。在语音处理中，源滤波器模型从发声的解剖机制出发，认为语音信号是由几个独立的、有物理意义的连续潜在因素产生的，其中基频$f_0$和共振峰是最重要的。在这项工作中，我们从一个变分自编码器（VAE）在一个大的数据集上的未标记的自然语音信号的无监督的方式训练，我们表明，语音生产的源过滤器模型自然产生的VAE潜在空间的正交子空间。利用人工语音合成器产生的标记语音信号，我们提出了一种方法来识别编码$f_0$和前三个共振峰频率的潜在子空间，我们证明了这些子空间是正交的，并基于这种正交性，我们开发了一种方法来精确和独立地控制潜在子空间内的源滤波器语音因子。在不需要诸如文本或人类标记的数据之类的附加信息的情况下，这导致以$f_0$和共振峰频率为条件的语音频谱图的深度生成模型，并且该深度生成模型被应用于变换语音信号。最后，我们还提出了一个强大的$f_0$估计方法，利用投影的语音信号到学习的潜在子空间与$f_0$。
2023-03-21 cs.LG cs.SD eess.AS
Benchmarking Generative Latent Variable Models for Speech
Technical University of Denmark（丹麦技术大学）；University of Copenhagen（哥本哈根大学）
随机潜变量模型（LVMs）在自然图像生成上实现了最先进的性能，但在语音上仍然不如确定性模型。在本文中，我们开发了一个流行的时间LVMs的语音基准，并将其与最先进的确定性模型进行比较。我们报告的可能性，这是一个经常使用的度量在图像域中，但很少，或无与伦比的，报告的语音模型。为了评估质量的学习表示，我们还比较它们的有用性音素识别。最后，我们适应的发条VAE，一个国家的最先进的时间视频生成的LVM，语音域。尽管自回归只在潜在的空间，我们发现，发条VAE可以优于以前的LVMs和减少差距，确定性模型通过使用层次结构的潜在变量。
2022-04-05 cs.AI cs.LG cs.SD
NVAE: A Deep Hierarchical Variational Autoencoder
NVIDIA（英伟达）
规范化流、自回归模型、变分自编码器（VAE）和基于深度能量的模型是深度生成学习的竞争性基于可能性的框架。其中，VAE具有快速易处理的采样和易于访问的编码网络的优点。然而，它们目前的表现优于其他模型，如正常化流量和自回归模型。虽然大多数VAE的研究都集中在统计挑战上，但我们探索了仔细设计分层VAE神经架构的正交方向。我们提出了新的VAE（NVAE），一个深层次的VAE图像生成使用深度可分离卷积和批量归一化。NVAE配备有正态分布的残差参数化，并且其训练通过谱正则化来稳定。我们表明，NVAE在MNIST、CIFAR-10、CelebA 64和CelebA HQ数据集上的非自回归似然模型中取得了最先进的结果，并为FFHQ提供了强有力的基线。例如，在CIFAR-10上，NVAE将最先进的每维从2.98位提升到2.91位，并在CelebA HQ上生成高质量的图像。据我们所知，NVAE是第一个成功应用于最大为256 $\times$ 256像素的自然图像的VAE。源代码可在https://github.com/NVlabs/NVAE上获得。
2021-01-08 cs.CV cs.LG stat.ML
Taming Audio VAEs via Target-KL Regularization
Adobe Research（Adobe研究院）
本文提出通过压缩率调节和目标KL正则化训练音频VAE，以解决在音频生成任务中VAE正则化带来的过正则化与欠正则化之间的平衡问题，并构建了音频VAE的率失真曲线。
2026-05-16 cs.LG cs.SD eess.AS
Iterative Amortized Hierarchical VAE
Eindhoven University of Technology, Department of Electrical Engineering（埃因霍温理工大学电子工程系）
IA-HVAE通过混合摊销与迭代方法，提升了层次变分自编码器的推理速度和重建质量。
2026-01-22 cs.AI cs.LG
Variational Autoencoder for Personalized Pathological Speech Enhancement
Idiap Research Institute（Idiap研究所）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
本文针对混合 VAE-NMF 语音增强模型在帕金森病病理语音上的泛化差距，提出用每位说话人数秒干净语音微调预训练模型，实现性能可比的个性化增强。
2025-03-18 cs.SD eess.AS
Unsupervised TTS Acoustic Modeling for TTS with Conditional Disentangled Sequential VAE
Tencent AI Lab（腾讯AI实验室）
本研究提出无需文本音频配对的无监督TTS声学模型UTTS，基于C-DSVAE主干与解纠缠表示学习，通过对齐转换实现零样本多说话人合成，经评估语音自然度与可懂度优异。
2024-10-06 cs.AI cs.CL cs.LG
Semi-supervised source localization in reverberant environments with deep generative modeling
University of California San Diego（加利福尼亚大学圣迭戈分校）；Bar-Ilan University（巴伊兰大学）；Technical University Denmark（丹麦技术大学）
提出了一种基于深度生成模型的混响环境下声源定位的半监督方法。混响环境中的定位仍然是一个开放的挑战。即使数据量很大，在混响环境中可用于监督学习的标签数量通常也很小。我们通过使用卷积变分自编码器（VAE）对麦克风阵列记录的混响语音信号进行半监督学习（SSL）来解决这个问题。VAE被训练以生成麦克风之间的相对传递函数（RTF）的相位，与基于RTF相位的到达波达方向（DOA）分类器并行。这些模型使用标记和未标记的RTF相位序列进行训练。在学习执行这些任务时，VAE-SSL明确地学习分离RTF阶段的物理原因（即，源位置）不受诸如噪声和语音活动的干扰信号特性的影响。相对于声学中现有的半监督定位方法，VAE-SSL是一种有效的端到端处理方法，其依赖于对RTF相位特征的最小预处理。据我们所知，我们的论文提出了第一种方法来建模的物理声学传播使用深生成建模。VAE-SSL方法与两种基于信号处理的方法进行了比较，这两种方法是相位变换的转向响应功率（SRP-PHAT）和多信号分类（MUSIC），以及完全监督的CNN。我们发现，VAE-SSL可以优于传统的方法和CNN在标签有限的情况下。此外，经过训练的VAE-SSL系统可以生成新的RTF相位样本，这表明VAE-SSL方法学习了声学环境的物理特性。因此，VAE-SSL中的生成建模提供了一种解释学习表示的方法。
2021-04-01 cs.LG cs.SD eess.AS
Very Deep VAEs Generalize Autoregressive Models and Can Outperform Them on Images
OpenAI
我们提出了一个分层VAE，它第一次快速生成样本，同时在所有自然图像基准上的对数似然性能优于PixelCNN。我们首先观察到，从理论上讲，VAE实际上可以表示自回归模型，以及更快，更好的模型，如果它们存在的话，当它们足够深时。尽管如此，自回归模型在历史上在对数似然方面优于VAE。我们通过将VAE扩展到比以前探索的更大的随机深度并评估CIFAR-10，ImageNet和FFHQ来测试深度不足是否可以解释原因。与PixelCNN相比，这些非常深的VAE实现了更高的可能性，使用更少的参数，生成样本的速度快数千倍，并且更容易应用于高分辨率图像。定性研究表明，这是因为VAE学习有效的层次视觉表征。我们在https://github.com/openai/vdvae上发布源代码和模型。
2021-03-16 cs.CV cs.LG
Continuous Hierarchical Representations with Poincaré Variational Auto-Encoders
University of Oxford（牛津大学）；DeepMind（深度思维）；Microsoft Research（微软研究院）
变分自动编码器（VAE）是学习生成模型和数据嵌入的流行方法。许多真实的数据集是分层结构的。然而，传统的VAE映射数据在一个欧氏潜在空间，不能有效地嵌入树状结构。具有负曲率的双曲空间可以。因此，我们赋予VAE与庞加莱球模型的双曲几何作为一个潜在的空间，并严格推导出必要的方法，工作与两个主要的高斯概括该空间。我们的经验表明，更好的概括看不见的数据比欧几里德同行，可以定性和定量更好地恢复层次结构。
2019-11-25 cs.LG stat.ML
VQVAE Unsupervised Unit Discovery and Multi-scale Code2Spec Inverter for Zerospeech Challenge 2019
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；RIKEN, Center for Advanced Intelligence Project AIP（理化学研究所先进智能项目中心）；National University of Singapore（新加坡国立大学）
我们描述了我们为2019年零语音挑战赛提交的系统。当前的挑战主题解决了在没有任何文本或语音标签的情况下构建语音合成器的困难，并且需要能够（1）以无监督的方式发现子字单元，以及（2）将语音与目标说话者的声音合成的系统。此外，该系统还应该平衡区分分数ABX，比特率压缩率，以及所构建的语音的自然度和可懂度。为了解决这些问题，并实现最佳的权衡，我们利用矢量量化的变分自编码器（VQ-VAE）和多尺度码本频谱（Code 2Spec）逆变器训练的均方误差和对抗损失。VQ-VAE将语音提取到一个潜在空间，强迫自己将其映射到最近的码本中，并产生压缩表示。接下来，给定来自VQ-VAE的码本向量，反相器生成目标语音的幅度谱图。在我们的实验中，我们还研究了其他几种聚类算法，包括K-Means和GMM，并将它们与ABX分数和比特率的VQ-VAE结果进行了比较。与官方ZeroSpeech 2019基线甚至背线相比，我们提出的方法显着提高了可懂度（CER），MOS和辨别力ABX分数。
2019-05-29 cs.CL cs.LG cs.SD
Learning Latent Representations for Speech Generation and Transformation
Massachusetts Institute of Technology（麻省理工学院）
对生成过程进行建模并以无监督的方式学习语音的潜在表示的能力对于处理大量未标记的语音数据至关重要。最近，诸如变分自编码器（VAE）的深度概率生成模型在对自然图像进行建模方面取得了巨大成功。在本文中，我们应用卷积VAE模型的自然语音的生成过程。我们推导出潜在的空间算术运算来解开学习到的潜在表征。我们证明了我们的模型的能力，修改语音内容或扬声器的身份语音段使用派生的操作，而不需要并行的监督数据。
2017-09-22 cs.CL cs.LG stat.ML
End-to-End Text-to-Speech Based on Latent Representation of Speaking Styles Using Spontaneous Dialogue
rinna Co., Ltd.（Rinna株式会社）；Nagoya Institute of Technology（名古屋工业大学）
近年来的文本转语音（TTS）技术已经取得了与人类相当的质量，然而，它在口语对话中的应用还没有得到广泛的研究。本研究的目的是实现一个TTS，非常类似于人类的对话。首先，我们记录和转录真实的自发对话。第一阶段，训练变分自动编码器（VAE）-VITS或高斯混合变分自动编码器（GMVAE）-VITS，将话语级隐变量引入到端到端文本转语音（VITS）的变分推理中，并进行对抗学习。一个风格编码器，提取一个潜在的说话风格表示从语音训练联合TTS。在第二阶段中，训练风格预测器以预测将从对话历史合成的说话风格。在推理过程中，通过将风格预测器预测的说话风格表示传递给VAE/GMVAE-VITS，可以以适合于对话上下文的风格合成语音。主观评价结果表明，所提出的方法优于原来的VITS对话级的自然度。
2022-06-24 cs.CL cs.LG cs.SD
Hierarchical Quantized Autoencoders
Speechmatics（Speechmatics公司）
尽管在训练用于有损图像压缩的神经网络方面取得了进展，但当前的方法无法在非常低的比特率下保持感知质量和抽象特征。最近在学习离散表示与矢量量化变分自编码器（VQ-VAE）的成功，我们鼓励使用的VQ-VAE的层次结构，以达到高的压缩因子。我们表明，随机量化和分层潜在结构的组合，艾滋病的可能性为基础的图像压缩。这导致我们引入一个新的目标，训练分层VQ-VAE。我们的方案产生了一系列的马尔可夫潜变量，重建图像的高感知质量，保留语义有意义的功能。我们对CelebA和MNIST数据集进行了定性和定量评估。
2020-10-16 cs.CV cs.LG cs.NE
Discouraging posterior collapse in hierarchical Variational Autoencoders using context
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；Eindhoven University of Technology（埃因霍温理工大学）
针对自上而下分层 VAE 仍存在后验收缩的问题，提出在顶层引入上下文并用离散余弦变换获得最后潜在变量，从而提升潜在空间利用率且保持生成能力。
2023-09-28 cs.CV cs.LG
Generating Diverse and Consistent QA pairs from Contexts with Information-Maximizing Hierarchical Conditional VAEs
KAIST（韩国科学技术院）；AITRICS；Maru Inc（42Maru公司）
问答（QA）中最关键的挑战之一是标记数据的稀缺性，因为使用人工注释获得目标文本域的问答（QA）对的成本很高。解决这个问题的另一种方法是使用从问题上下文或大量非结构化文本（例如维基百科）自动生成的QA对。在这项工作中，我们提出了一个分层的条件变分自编码器（HCVAE）生成QA对给定的非结构化文本作为上下文，同时最大限度地提高生成的QA对之间的互信息，以确保其一致性。我们在几个基准数据集上验证了我们的信息最大化分层条件变分自编码器（Info-HCVAE），方法是仅使用生成的QA对（基于QA的评估）或使用生成的和人类标记的对（半监督学习）进行训练，以评估QA模型（BERT基础）的性能。结果表明，我们的模型在两个任务的所有基线上都获得了令人印象深刻的性能增益，只使用了一小部分数据进行训练。
2020-06-15 cs.CL cs.LG
Is Hierarchical Quantization Essential for Optimal Reconstruction?
Institute for Neural Computation (INI), Faculty of Computer Science, Ruhr University Bochum, Germany（神经计算研究所（INI），计算机科学学院，博德姆鲁尔大学）
本文通过比较双层VQ-VAE和匹配容量的单层模型，探讨单层VQ-VAE在抑制代码书崩溃后能否达到层次结构模型的重建保真度。
2026-03-19 cs.CV cs.LG
Efficient-VDVAE: Less is more
Cash App Labs（Cash App实验室）
近年来，分层VAE已成为最大似然估计的可靠选择。然而，不稳定性问题和苛刻的计算要求阻碍了该领域的研究进展。我们对Very Deep VAE进行了简单的修改，使其更快地收敛到$2.6\times$，在内存负载中节省$20\times$，并提高训练过程中的稳定性。尽管有这些变化，我们的模型实现了可比或更好的负对数似然性能比当前国家的最先进的模型上的所有$7$常用的图像datasets，我们evaluatedon. We还反对使用5位的基准作为一种方式来衡量分层VAE的性能，由于5位量化所造成的不良偏差的参数。此外，我们的经验表明，大致$3\%$的分层VAE的潜在空间尺寸是足够的编码的图像信息，而不损失性能，打开大门，有效地利用分层VAE的潜在空间在下游任务。我们在https://github.com/Rayhane-mamah/Efficient-VDVAE上发布源代码和模型。
2022-04-28 cs.CV cs.LG
Fully-hierarchical fine-grained prosody modeling for interpretable speech synthesis
Google Brain（谷歌大脑）
本文在Tacotron 2文语转换模型的基础上，提出了一种层次化、细粒度、可解释的韵律潜变量模型。它实现了韵律的多分辨率建模，通过调节较细的水平表示的粗水平的。此外，它使用具有自回归结构的条件变分自动编码器（VAE）在所有潜在维度上施加分层条件。重建性能的评价表明，新的结构不会降低模型，同时允许更好的可解释性。韵律属性的解释提供了词级和音素级的韵律表征之间的比较。此外，定性和定量的评价被用来证明潜在的维度的解纠缠的改善。
2020-02-06 cs.LG cs.SD eess.AS
