Improving Variational Autoencoder for Text Modelling with Timestep-Wise Regularisation
University of Sheffield（谢菲尔德大学）；Utrecht University（乌得勒支大学）
变分自编码器（VAE）是一种流行的、功能强大的模型，用于文本建模以生成多样化的句子。然而，当VAE用于文本建模时，会发生称为后验崩溃（或KL损失消失）的问题，其中近似后验崩溃为先验，并且模型将完全忽略潜在变量，并且在文本生成期间退化为普通语言模型。当基于RNN的VAE模型用于文本建模时，这样的问题特别普遍。在本文中，我们提出了一种简单的通用架构，称为Timestep-Wise Regularisation VAE（TWR-VAE），它可以有效地避免后验崩溃，并可以应用于任何基于RNN的VAE模型。我们的模型的有效性和多功能性在不同的任务中得到了证明，包括语言建模和对话响应生成。
2020-11-03 cs.CL cs.LG
Hybrid VAE: Improving Deep Generative Models using Partial Observations
Snap Research（Snap 研究院）；Microsoft Research（微软研究院）
在大型标记数据集上训练的深度神经网络模型是各种计算机视觉任务的最新技术。然而，在许多应用中，标记数据的获取成本很高，或者需要耗时的手动注释过程。相比之下，未标记的数据通常是丰富的，并且可以大量获得。我们提出了一个原则性的框架，通过在标记和未标记数据上训练深度生成模型来利用未标记数据。我们证明了这样的组合是有益的，因为未标记的数据作为一种数据驱动的正则化形式，允许在很少的标记样本上训练的生成模型达到在更大的数据集上训练的全监督生成模型的性能。我们称我们的方法为混合VAE（H-VAE），因为它包含生成和判别部分。我们在三个不同模态的大规模数据集上验证了H-VAE：两个人脸数据集：（MultiPIE，CelebA）和一个手部姿势数据集（NYU Hand Pose）。我们的定性可视化进一步支持通过使用部分观测实现的改进。
2017-11-30 cs.CV cs.LG
Improving Visual Quality of Unrestricted Adversarial Examples with Wavelet-VAE
Institute of Image Communication and Network Engineering, Shanghai JiaoTong University（上海交通大学图像通信与网络工程研究所）
传统的对抗性示例通常是通过在小矩阵范数内向输入图像添加扰动噪声来生成的。在实践中，无限制的对抗攻击引起了人们的极大关注，对人工智能的安全构成了新的威胁。在本文中，我们提出了一个小波VAE结构来重建输入图像，并通过修改潜在的代码生成对抗性的例子。与基于扰动的攻击不同，该方法的修改不受限制，但人眼无法感知。实验表明，我们的方法可以在ImageNet数据集上生成高质量的对抗性示例。
2021-08-25 cs.AI cs.CV cs.LG
Filling in Missing FX Implied Volatilities with Uncertainties: Improving VAE-Based Volatility Imputation
Bloomberg（彭博公司）
本研究针对外汇期权隐含波动率缺失问题，通过简单修改VAE架构显著提升插补性能（低缺失率下误差减半），并改进算法以提供准确的不确定性估计。
2024-11-08 cs.LG q-fin.ST stat.ML
VIVAT: Virtuous Improving VAE Training through Artifact Mitigation
VIVAT通过抑制VAE训练中的常见伪影，提升图像重建和生成质量，实现更优的PSNR、SSIM和CLIP分数表现。
2025-12-01 cs.CV cs.LG cs.MM
Improving VAE generations of multimodal data through data-dependent conditional priors
University of Geneva（日内瓦大学）
变分自编码器的主要缺点之一是不能从源自混合分布的数据的各个模态产生代。这主要是由于在数据生成的祖先采样过程中使用简单的各向同性高斯作为潜在代码的先验。我们提出了一种新的配方的变分自编码器，条件先验VAE（CP-VAE），它学会区分各个混合成分，因此允许从分布式数据集群的世代。我们假设一个两级的生成过程，连续（高斯）的潜变量采样条件上的离散（分类）的潜在成分。新的变分目标自然地耦合后验和先验条件的学习，以及以无监督方式编码原始数据的多模态的潜在类别的学习。然后，当从对应于原始数据的多模态结构的各个混合成分生成新样本时，数据相关的条件先验被用于对连续潜码进行采样。我们的实验结果说明了我们的新模型与多个基线相比的生成性能。
2019-11-25 cs.LG stat.ML
Improving SMOTE via Fusing Conditional VAE for Data-adaptive Noise Filtering
University of Seoul（首尔大学）
本文提出利用条件VAE在潜在空间中量化数据密度并过滤噪声，以改进SMOTE的少数类样本选择与插值，在不平衡分类中超越深度学习模型。
2024-08-26 cs.AI cs.LG
Improving black-box optimization in VAE latent space using decoder uncertainty
University of Oxford（牛津大学）；University of Cambridge（剑桥大学）
变分自编码器的潜在空间中的优化是一种有希望的方法，用于生成最大化昂贵的黑盒属性（例如，分子生成中的药物相似性，算术表达式的函数近似）。然而，现有的方法缺乏鲁棒性，因为它们可能决定探索在训练期间没有数据可用的潜在空间的区域，并且解码器可能不可靠，导致生成不切实际或无效的对象。我们建议利用解码器的认知不确定性来指导优化过程。但这并不是微不足道的，因为我们认为在高维和结构化设置中对不确定性的天真估计会导致高估计方差。为了解决这个问题，我们引入了一个基于重要性采样的估计，提供了更强大的估计认知不确定性。我们的不确定性引导优化方法不需要修改模型架构，也不需要修改训练过程。它生成的样本在黑盒目标和生成样本的有效性之间具有更好的权衡，有时同时改善两者。我们说明了这些优势，在几个实验设置在数字生成，算术表达式近似和药物设计的分子生成。
2021-06-30 cs.LG stat.ML
Improving latent variable descriptiveness with AutoGen
University College London（伦敦大学学院）；Alan Turing Institute（艾伦·图灵研究所）；ASI Data Science（ASI数据科学）
强大的生成模型，特别是在自然语言建模中，通常通过最大化数据日志可能性的变分下限来训练。这些模型往往受到其潜在变量的不良使用，与ad-hoc退火因子用于鼓励保留信息的潜在变量。我们讨论了潜在变量建模的替代和一般方法，基于一个目标，该目标结合了数据日志的可能性以及通过自动编码器的完美重建的可能性。通过设计将这些联系在一起，可以确保潜变量捕获有关观测的信息，同时保持良好的生成能力。有趣的是，虽然这种方法是一个先验无关的VAE，达到的下限是相同的标准VAE界，但增加了一个简单的前因子，因此，提供了一个正式的解释，在训练VAE常用的，特设的前因子。
2018-06-12 cs.LG stat.ML
Wavelets to the Rescue: Improving Sample Quality of Latent Variable Deep Generative Models
Rochester Institute of Technology（罗切斯特理工学院）；Verisk AI, Verisk Analytics（Verisk分析公司Verisk人工智能部门）
变分自编码器（VAE）是一种概率深度生成模型，其基础是优雅的理论、稳定的训练过程和有意义的流形表示。然而，由于缺乏对图像的高频纹理细节的明确强调，以及难以直接对高维图像空间上的复杂联合概率分布进行建模，因此它们产生模糊的图像。在这项工作中，我们接近这两个挑战与一个新的小波空间VAE，使用解码器在小波系数空间中的图像建模。这使得VAE能够强调通过小波分解获得的图像内的高频分量。此外，通过将生成高维图像的复杂函数分解为逆小波变换和小波系数的生成，后者变得更容易由VAE建模。我们通过经验验证，在小波空间中运行的深度生成模型可以生成比图像（RGB）空间更高质量的图像。量化，在基准自然图像数据集，我们实现了一致更好的FID分数比基于VAE的架构和竞争力的FID分数与各种GAN模型相同的架构和实验设置。此外，所提出的基于小波的生成模型保留了理想的属性，如解开和信息的潜在表示，而不会失去所生成的样本的质量。
2019-10-26 cs.CV cs.LG eess.IV
Using VAEs and Normalizing Flows for One-shot Text-To-Speech Synthesis of Expressive Speech
Amazon（亚马逊）
我们提出了一个文本到语音的方法来创建一个看不见的表达风格，使用一个表达性的讲话约一秒的话语。具体而言，我们增强了一个国家的最先进的序列到序列的系统与变分自编码器（VAE）和Householder流的解纠缠能力。所提出的系统提供了一个22%的KL发散减少，同时共同提高感知指标超过国家的最先进的。在合成时，我们使用一个例子的表达风格作为参考输入的编码器生成所需的风格的任何文本。感知MUSHRA评估表明，我们可以创建一个比标准神经文本到语音相对自然度提高9%的声音，同时还提高了感知的情感强度（59与中性语音的55相比）。
2020-02-17 cs.CL cs.LG cs.SD
Improving Variational Autoencoder Estimation from Incomplete Data with Mixture Variational Families
University of Edinburgh（爱丁堡大学）；School of Informatics（信息学院）
针对不完整数据下VAE估计中后验复杂度增加的问题，提出基于有限变分混合和插补变分混合的两种策略，并通过实验证明其能有效提升估计准确性。
2024-06-27 cs.LG stat.ML
Towards Improving the Generation Quality of Autoregressive Slot VAEs
National Renewable Energy Lab（国家可再生能源实验室）；Auburn University（奥本大学）；University of Florida（佛罗里达大学）
本文针对基于槽的自回归模型难以学习对象间相关性和缺乏规范顺序的问题，提出以全局场景变量条件化槽并学习一致生成顺序，显著提升了无条件场景生成质量。
2023-11-28 cs.CV cs.LG
DA-VEGAN: Differentiably Augmenting VAE-GAN for microstructure reconstruction from extremely small data sets
TU Dresden（德累斯顿工业大学）；GE Global Research（通用电气全球研究中心）
微结构重构是一个重要的新兴研究领域，是提高反计算材料工程（ICME）的重要基础。该领域最近的大部分进展都是基于生成对抗网络（GANs）。尽管在各种材料中取得了优异的结果，但关于模型潜在空间的可解释性以及对极小数据集的适用性仍然存在挑战。目前的工作解决这些问题，通过引入DA-VEGAN，一个模型，有两个中心的创新。首先，$β$ -变分自编码器被合并到混合GAN架构中，该架构允许通过附加参数$β$来惩罚潜在空间中的强非线性。其次，一个自定义的微分数据增强计划是专门为这个架构。可微性允许模型从极小的数据集学习，而不会发生模式坍塌或样本质量恶化。对各种结构的广泛验证表明了该方法的潜力，并讨论了未来的研究方向。
2023-02-17 cs.LG
Improving Variational Autoencoders with Density Gap-based Regularization
Beihang University（北京航空航天大学）；University of Sheffield（谢菲尔德大学）；Ping An Technology（平安科技）
变分自编码器（VAE）是NLP中用于潜在表示学习和潜在定向生成的强大无监督学习框架之一。VAE的经典优化目标是最大化证据下限（ELBo），它由生成的条件似然和正则化的负Kullback-Leibler（KL）发散组成。在实际应用中，优化ELBo往往会导致所有样本的后验分布收敛到同一个退化的局部最优值，即后验崩溃或KL消失。有一些有效的方法可以防止VAE中的后塌陷，但我们观察到，它们本质上是在后塌陷和孔问题之间进行权衡，即，聚合后验分布和先验分布之间的不匹配。为此，我们引入了新的训练目标，通过基于聚合后验分布和先验分布之间的概率密度差距的新型正则化来解决这两个问题。通过对语言建模、潜在空间可视化和插值的实验表明，该方法能有效地解决这两个问题，在潜在空间生成方面优于现有方法.据我们所知，我们是第一个共同解决孔问题和后塌陷的。
2022-11-01 cs.AI cs.LG
Improving Variational Auto-Encoders using Householder Flow
University of Amsterdam（阿姆斯特丹大学）
变分自动编码器（VAE）是可扩展的和强大的生成模型。然而，变分后验的选择决定了VAE的易处理性和灵活性。通常，潜变量使用具有对角协方差矩阵的正态分布建模。这导致计算效率，但通常它不够灵活，无法匹配真实的后验分布。丰富变分后验分布的一种方式是应用归一化流，即，一系列可逆的变换到一个简单的后验的潜在变量。在本文中，我们遵循这一思路，并提出了一个体积保持流，使用一系列的Householder变换。我们在MNIST数据集和组织病理学数据上的经验表明，与其他归一化流相比，所提出的流可以获得更灵活的变分后验和竞争结果。
2017-01-27 cs.LG stat.ML
Training VAEs Under Structured Residuals
University of Bath（巴斯大学）；Anthropics Technology Ltd.（Anthropics技术有限公司）；University College London（伦敦大学学院）
本文提出在VAE中引入结构高斯似然预测网络，以建模残差相关性，同时提供有效训练方案和性能优化建议。
2018-07-31 cs.CV cs.LG stat.ML
Resetting a fixed broken ELBO
Michigan State University（密歇根州立大学）
针对beta-VAE中β≠1会违反条件概率定律的问题，提出基于Rényi熵的Rényi VAE及对应变分下界RELBO，其额外类正则项的条件分布无需学习，可通过奇异值分解解析计算，实现类似的参数化调节效果。
2023-12-11 cs.LG stat.ML
Preventing Posterior Collapse with delta-VAEs
Deepmind（深度思维）；Google Brain（谷歌大脑）
由于“后验崩溃”现象，当前的潜变量生成模型提出了一个具有挑战性的设计选择，要么削弱解码器的能力，要么需要增强目标，因此它不仅最大化数据的可能性。在本文中，我们提出了一种替代方案，利用最强大的生成模型作为解码器，同时优化变分下限，同时确保潜变量保留和编码有用的信息。我们提出的$δ$ -VAE通过约束后验变分族到先验的最小距离来实现这一点。对于序列潜变量模型，我们的方法类似于经典的表示学习方法的缓慢特征分析。我们证明了我们的方法在LM 1B上建模文本和建模图像的有效性：学习表示，提高样本质量，并在CIFAR-10和ImageNet $32\times 32$上实现最先进的对数似然。
2019-01-10 cs.LG stat.ML
Controllable Level Blending between Games using Variational Autoencoders
Northeastern University（东北大学）；Carleton College（卡尔顿学院）
以前的工作探索了从现有游戏中混合关卡，为混合原始游戏属性的新游戏创建关卡。在本文中，我们使用变分自编码器（VAE），以改善这种技术。VAE是人工神经网络，它学习和使用数据集的潜在表示来生成新的输出。我们在《超级马里奥兄弟》和《伊卡洛斯小子》的关卡数据上训练一个VAE，使它能够捕捉到跨越两个游戏的潜在空间。然后，我们使用这个空间来生成结合两个游戏的级别属性的级别段。此外，通过在潜在空间中应用进化搜索，我们进化出满足特定约束的水平段。我们认为，这些启示使基于VAE的方法特别适合于共同创造的水平设计，并比较其性能与类似的生成模型，如GAN和VAE-GAN。
2020-02-27 cs.AI cs.LG
A Denoising VAE for Intracardiac Time Series in Ischemic Cardiomyopathy
Dept. of Computer Science ETH Zurich（计算机科学系，苏黎世联邦理工学院）；Dept. of Medicine Stanford University（医学系，斯坦福大学）；Dept. of Cardiology Amsterdam University（心脏病学系，阿姆斯特丹大学）
本文提出一种基于变分自编码器（VAE）的心室内单相动作电位信号去噪方法，利用42名缺血性心肌病患者的5706条时间序列训练，在多种噪声类型下优于传统滤波和现有最先进去噪技术，有望提升心脏电生理诊疗效果。
2025-07-08 cs.AI cs.LG eess.SP
Structured Uncertainty in the Observation Space of Variational Autoencoders
Imperial College London（帝国理工学院）；Microsoft Research（微软研究院）
变分自编码器（VAE）是一类流行的深度生成模型，具有许多变体和广泛的应用。对标准VAE的改进主要集中在对潜在空间上的后验分布的建模和神经网络解码器的性质上。相比之下，很少考虑改进观测分布的模型，并且通常默认为逐像素独立分类分布或正态分布。在图像合成中，从这样的分布中采样产生具有不相关像素噪声的空间不相干结果，导致只有样本均值作为输出预测有点有用。在本文中，我们的目标是保持真实的VAE理论，通过改善样本的观测分布。我们提出了SOS-VAE，观测空间的另一种模型，通过低秩参数化编码空间依赖性。我们证明了这种新的观测分布有能力捕获像素之间的相关协方差，从而产生空间相干的样本。与逐像素独立分布相比，我们的样本似乎包含与平均值有语义意义的变化，允许通过单个前向传递预测多个合理的输出。
2022-11-01 cs.CV cs.LG
FastGAE: Scalable Graph Autoencoders with Stochastic Subgraph Decoding
Deezer Research（Deezer研究院）；LIX, École Polytechnique（巴黎综合理工学院LIX实验室）
图自编码器（AE）和变分自编码器（VAE）是功能强大的节点嵌入方法，但存在可扩展性问题。在本文中，我们介绍了FastGAE，一个通用的框架，以规模图AE和VAE的大型图与数百万的节点和边缘。我们的策略，基于一个有效的随机子图解码方案，显着加快了图AE和VAE的训练，同时保持甚至提高性能。我们证明了FastGAE在各种现实世界的图形上的有效性，远远优于现有的几种方法来缩放图形AE和VAE。
2021-04-13 cs.LG cs.SI stat.ML
A novel molecule generative model of VAE combined with Transformer for unseen structure generation
The University of Tokyo（东京大学）
提出一种通过结构与参数优化融合VAE和Transformer的分子生成模型，在保持生成性能的同时显著提升未见结构分子生成能力，并验证了约32维潜在表示的性质预测与压缩潜力。
2024-04-05 cs.LG physics.chem-ph q-bio.BM
Affine Variational Autoencoders: An Efficient Approach for Improving Generalization and Robustness to Distribution Shift
University of Waterloo（滑铁卢大学）；Waterloo Artificial Intelligence Institute（滑铁卢人工智能研究所）
在这项研究中，我们提出了仿射变分自编码器（AVAE），一个变种的变分自编码器（VAE），旨在提高鲁棒性，克服VAE无法推广到分布移位的仿射扰动的形式。通过优化仿射变换以最大化ELBO，所提出的AVAE将输入变换为训练分布，而不需要增加模型复杂度来对仿射变换的完整分布进行建模。此外，我们还引入了一个训练过程，通过学习训练分布的子集来创建一个有效的模型，并使用AVAE来提高测试时分布偏移的泛化能力和鲁棒性。仿射扰动实验表明，所提出的AVAE显着提高了泛化能力和鲁棒性的仿射扰动形式的分布移位，而不增加模型的复杂性。
2019-05-13 cs.CV cs.LG cs.NE
Constrained Variational Autoencoder for improving EEG based Speech Recognition Systems
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
为了提高基于脑电的语音识别系统的性能，本文提出了一种基于递归神经网络（RNN）的变分自编码器（VAE）模型，该模型引入了一种新的约束损失函数，可以从原始脑电特征中产生更有意义的脑电特征。我们表明，连续和孤立的语音识别系统的训练和测试，使用原始EEG功能，使用我们的VAE模型产生的EEG功能，提高了性能，我们证明了我们的结果为一个有限的英语词汇组成的30个独特的句子连续语音识别和英语词汇组成的2个独特的句子孤立的语音识别。我们将我们的方法与作者在[1]中描述的另一种最近引入的方法进行比较，以提高基于EEG的连续语音识别系统的性能，并且我们证明，当使用相同的数据集进行训练和测试时，随着词汇量的增加，我们的方法优于他们的方法。即使我们证明的结果仅为自动语音识别（ASR）的实验在本文中，建议的VAE模型与约束损失函数可以扩展到各种其他基于EEG的脑机接口（BCI）的应用。
2020-06-01 cs.LG cs.SD eess.AS
Harnessing Feature Clustering For Enhanced Anomaly Detection With Variational Autoencoder And Dynamic Threshold
University of Maryland Baltimore County（马里兰大学巴尔的摩分校）；Geophysical Fluid Dynamics Laboratory（地球流体动力学实验室）
本研究针对北极融雪等极端气候事件的多变量时序异常检测需求，提出融合特征聚类、变分自编码器与动态阈值的检测框架，提升了检测性能与可解释性。
2024-07-14 cs.IR cs.LG
Improving Inference for Neural Image Compression
University of California, Irvine（加州大学欧文分校）
本文研究了基于深隐变量模型的有损图像压缩问题。最先进的方法建立在分层变分自编码器（VAE）的基础上，并学习推理网络来预测每个数据点的可压缩潜在表示。利用变分推理压缩的角度来看，我们确定了三个近似的差距，限制在传统的方法的性能：摊销差距，离散化差距，和边缘化差距。我们提出的补救措施，这三个限制的基础上的想法，迭代推理，离散优化的随机退火，和比特回编码，导致比特回编码的第一个应用程序的有损压缩。在我们的实验中，其中包括广泛的基线比较和消融研究，我们实现了新的国家的最先进的性能有损图像压缩使用一个既定的VAE架构，通过改变推理方法。
2021-01-08 cs.LG eess.IV stat.ML
Soft-IntroVAE: Analyzing and Improving the Introspective Variational Autoencoder
Technion（以色列理工学院）
最近推出的内省变分自编码器（IntroVAE）表现出出色的图像生成，并允许使用图像编码器的摊销推理。IntroVAE的主要思想是反向训练VAE，使用VAE编码器来区分生成的数据样本和真实的数据样本。然而，原来的IntroVAE损失函数依赖于一个特定的铰链损失公式，这是很难在实践中稳定，其理论收敛性分析忽略了重要的损失条款。在这项工作中，我们朝着更好地理解IntroVAE模型，其实际实施及其应用迈出了一步。我们提出了软IntroVAE，一个修改后的IntroVAE，取代铰链损失条款与平滑指数损失生成的样本。这一变化显著提高了训练的稳定性，也使完整算法的理论分析成为可能。有趣的是，我们表明，IntroVAE收敛到一个分布，最大限度地减少KL距离的数据分布和熵项的总和。我们讨论了这一结果的影响，并证明它会导致竞争性的图像生成和重建。最后，我们描述了两个应用软件的IntroVAE无监督图像翻译和分布外检测，并展示了令人信服的结果。代码和其他信息可在项目网站https://taldatech.github.io/soft-intro-vae-web上获得
2021-03-25 cs.AI cs.CV cs.LG
Improving the Bootstrap of Blind Equalizers with Variational Autoencoders
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Nokia（诺基亚）
我们评估了盲均衡器在关键工作点的启动，分析了常用算法的优点和障碍，并演示了最近提出的基于变分自编码器（VAE）的均衡器如何提高自举能力。
2023-01-16 cs.IT cs.LG eess.SP
Voice Conversion Based on Cross-Domain Features Using Variational Auto Encoders
Institute of Information Science, Academia Sinica（中央研究院信息科学研究所）；National Taiwan University（台湾大学）；Research Center for Information Technology Innovation, Academia Sinica（中央研究院信息科技创新研究中心）
非并行语音转换（VC）的一种有效方法是利用深度神经网络（DNN），特别是变分自动编码器（VAE），以无监督的方式对语音的潜在结构进行建模。以前的研究已经证实了VAE的有效性，使用直光谱VC。然而，VAE使用的其他类型的频谱特征，如梅尔倒谱系数（MCC），这是与人类的感知和已被广泛用于VC，没有得到适当的研究。代替使用一种特定类型的光谱特征，预期VAE可以受益于同时使用多种类型的光谱特征，从而提高VAE用于VC的能力。为此，我们提出了一种新的VAE框架（称为跨域VAE，CDVAE）的VC。具体地，所提出的框架通过显式地正则化多个目标来利用STRAIGHT谱和MCC两者，以便约束学习的编码器和解码器的行为。实验结果表明，提出的CD-VAE框架优于传统的VAE框架的主观测试。
2018-08-29 cs.CL cs.LG cs.SD
GP-VAE: Deep Probabilistic Time Series Imputation
ETH Zürich（苏黎世联邦理工学院）；Yandex（俄罗斯搜索引擎公司）；UC Irvine（加州大学欧文分校）
具有缺失值的多变量时间序列在医疗保健和金融等领域很常见，并且多年来在数量和复杂性上都有所增长。这就提出了一个问题，即深度学习方法在这一领域的表现是否优于经典的数据填补方法。然而，深度学习的幼稚应用无法提供可靠的置信度估计，并且缺乏可解释性。我们提出了一个新的深度序列潜变量模型降维和数据填补。我们的建模假设是简单和可解释的：高维时间序列具有低维表示，其根据高斯过程在时间上平滑地演变。在缺失数据存在的非线性降维，实现了一种新的结构变分近似的VAE方法。我们证明，我们的方法在计算机视觉和医疗保健领域的高维数据上优于几种经典的基于深度学习的数据插补方法，同时还提高了插补的平滑性，并提供了可解释的不确定性估计。
2020-02-20 cs.LG stat.ML
ArcVQ-VAE: A Spherical Vector Quantization Framework with ArcCosine Additive Margin
Department of Artificial Intelligence, Chung-Ang University, Seoul, Republic of Korea（韩国首尔 Chung-Ang 大学人工智能系）；SNUAILAB, Seoul, Republic of Korea（韩国首尔 SNUAILAB 实验室）
针对VQ-VAE有限码本容量限制表示能力的问题，提出ArcVQ-VAE框架，通过引入球面角边先验（包括球界范数正则化和反余弦加性边界损失）增强潜在表示的判别性和均匀分散性，提升码本利用率，在图像重建和生成任务上取得竞争性能。
2026-05-27 cs.AI cs.CV cs.LG
Negative Binomial Variational Autoencoders for Overdispersed Latent Modeling
Southeast University（东南大学）；China Medical University Shenyang（中国医科大学沈阳）；University of Chinese Academy of Science（中国科学院大学）；Alibaba Cloud（阿里云）；Center for Applied Statistics and School of Statistics, Renmin University of China（中国人民大学应用统计中心与统计学院）
本文提出NegBio-VAE，通过引入分散参数的负二项潜在变量模型，改进了传统VAE在神经尖峰过分散建模中的不足，实验表明其在重建和生成性能及下游任务中表现更优。
2026-04-08 cs.LG stat.ML
Learning from Attacks: Attacking Variational Autoencoder for Improving Image Classification
fortiss（弗劳恩霍夫软件系统技术研究所）
对抗攻击通常被认为是对深度神经网络（DNN）鲁棒性的威胁。已经开发了各种防御技术来减轻对抗攻击对任务预测的潜在负面影响。本文从不同的角度分析了对抗攻击。也就是说，对抗性示例包含对预测有用的隐式信息，即，图像分类，并将针对DNN的对抗攻击视为能够促进特定学习任务的提取的抽象表示。我们提出了一个算法框架，利用DNN的数据自我表达和特定任务的预测的优势，以提高图像分类。该框架联合学习一个用于攻击变分自编码器（VAE）网络的DNN和一个用于分类的DNN，称为Attacking VAE for Improve Classification（AVIC）。实验结果表明，AVIC在标准数据集上的准确率高于干净样本训练和传统的对抗训练。
2022-03-11 cs.CV cs.LG eess.IV
From Variational to Deterministic Autoencoders
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of California, Los Angeles（加州大学洛杉矶分校）
变分自编码器（VAE）为深度生成模型提供了一个有理论支持的流行框架。然而，从数据中学习VAE仍然存在未回答的理论问题和相当大的实际挑战。在这项工作中，我们提出了一个替代框架生成建模，更简单，更容易训练，和确定性，但有许多VAE的优点。我们观察到，在高斯VAE中对随机编码器进行采样可以被解释为简单地将噪声注入到确定性解码器的输入中。我们研究如何取代这种随机性，与其他显式和隐式正则化计划，可以导致一个同样光滑和有意义的潜在空间，而不强迫它符合任意选择的先验。为了检索生成机制来采样新数据，我们引入了一个事后密度估计步骤，该步骤也可以很容易地应用于现有的VAE，从而提高其样本质量。我们表明，在一个严格的实证研究中，建议正则化确定性自动编码器能够生成的样本是可比的，或更好的，VAE和更强大的替代品时，适用于图像以及结构化数据，如分子。\footnote{An implementation is available at: \url{https://github.com/ParthaEth/Regularized_autoencoders-RAE-}}
2020-05-29 cs.LG stat.ML
Are VAEs Bad at Reconstructing Molecular Graphs?
Novartis（诺华）；Microsoft Research AI4Science（微软研究院AI4Science）
该研究针对分子图VAE的重建能力开展对比实验，发现现有最优模型重建准确率偏低，且提升重建效果不直接改善采样与优化性能，同时指出后验坍缩并非VAE分子图重建表现差的全部原因。
2023-05-04 cs.LG q-bio.QM
Vector Quantized Wasserstein Auto-Encoder
Monash University（莫纳什大学）；Vinai；CSIRO’s Data61（澳大利亚联邦科学与工业研究组织Data61研究所）；University of Oxford（牛津大学）
本文从生成视角提出向量量化Wasserstein自编码器，通过最小化WS距离学习离散表示，连接聚类理论，在码本利用率和图像重建/生成上优于VQ-VAE变体。
2023-06-17 cs.LG
Improving Bi-directional Generation between Different Modalities with Variational Autoencoders
The University of Tokyo（东京大学）
我们研究了可以双向交换多种模态的深度生成模型，例如，从对应的文本生成图像，反之亦然。实现这一目标的一个主要方法是训练一个模型，该模型将不同模态的所有信息集成到一个联合表示中，然后通过这个联合表示从对应的另一个模态生成一个模态。我们简单地将这种方法应用于变分自编码器（VAE），我们称之为联合多模变分自编码器（JMVAE）。然而，我们发现，当该模型试图生成输入处缺失的大维度模态时，联合表示崩溃，并且无法成功生成该模态。此外，我们证实，即使使用已知的解决方案也无法解决这个难题。因此，在这项研究中，我们提出了两个模型来防止这种困难：JMVAE-kl和JMVAE-h。我们的实验结果表明，这些方法可以防止上述困难，他们产生的方式双向相同或更高的可能性比传统的VAE方法，只在一个方向上产生。此外，我们确认，这些方法可以获得适当的联合表示，使他们可以通过移动联合表示或改变另一个模态的值来生成各种变化的模态。
2018-01-26 cs.LG stat.ML
On the Encoder-Decoder Incompatibility in Variational Text Modeling and Beyond
Tsinghua University（清华大学）；University of California, Santa Barbara（加州大学圣塔芭芭拉分校）
变分自编码器（VAE）将隐变量与摊销变分推理相结合，其优化通常收敛到称为后验崩溃的平凡局部最优，特别是在文本建模中。通过跟踪优化动态，我们观察到编码器-解码器的不兼容性，导致数据流形的参数化不佳。我们认为，平凡的局部最优可以避免通过改进的编码器和解码器的参数化，因为后验网络是它们之间的过渡映射的一部分。为此，我们提出了耦合VAE，它耦合VAE模型与具有相同结构的确定性自动编码器，并通过编码器权重共享和解码器信号匹配来改进编码器和解码器参数化。我们将所提出的耦合VAE方法应用于具有不同正则化、后验族、解码器结构和优化策略的各种VAE模型。在基准数据集上的实验（即，PTB、Yelp和Yahoo）在概率估计和潜在空间丰富度方面显示出一致的改进结果。我们还将我们的方法推广到条件语言建模，并提出了耦合CVAE，这在很大程度上提高了Switchboard数据集上对话生成的多样性。
2020-04-20 cs.CL cs.LG stat.ML
Exploring Variational Autoencoders for Medical Image Generation: A Comprehensive Study
Echahid Cheikh Larbi Tebessi University（埃查希德·谢赫·拉尔比·泰贝西大学）
本文全面回顾了变分自编码器（VAE）在医学图像生成中的应用，探讨其架构方法及通过数据增强提升分割与分类精度的能力，并与GANs等模型进行了比较。
2024-11-11 cs.CV cs.LG eess.IV
ImUnity: a generalizable VAE-GAN solution for multicenter MR image harmonization
Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inserm U1216（法国国家健康与医学研究院 U1216）；Grenoble Institut for Neurosciences（格勒诺布尔神经科学研究所）
ImUnity是一种原创的深度学习模型，旨在实现高效灵活的MR图像协调。VAE-GAN网络与混淆模块和可选的生物保存模块相结合，使用从训练数据库的每个受试者的不同解剖位置获取的多个2D切片，以及用于其自我监督训练的图像对比度变换。它最终生成“校正”的MR图像，可用于各种多中心人群研究。使用3个开源数据库（ABIDE，OASIS和SRPBS），其中包含来自多种采集扫描仪类型或供应商和大范围受试者年龄的MR图像，我们表明ImUnity：（1）在使用旅行受试者生成的图像质量方面优于最先进的方法;（2）在改善患者分类的同时消除了部位或扫描仪偏差;（3）协调来自新站点或扫描器的数据，而不需要额外的微调，以及（4）允许根据期望的应用选择多个MR重建图像。在T1加权图像上进行测试，ImUnity可用于协调其他类型的医学图像。
2021-09-14 cs.CV cs.LG eess.IV
Foundation Model for Lossy Compression of Spatiotemporal Scientific Data
University of Florida（佛罗里达大学）
提出结合VAE、超先验和超分辨率模块的科学数据有损压缩基础模型，通过2D/3D交替卷积高效捕捉时空相关性，泛化性强且压缩比最高提升4倍。
2024-12-22 cs.LG
Repurformer: Transformers for Repurposing-Aware Molecule Generation
UNIST（蔚山国家科学技术研究所）；Korea University（高丽大学）
针对药物发现中生成分子多样性不足的样本偏差问题，提出Repurformer模型，利用蛋白质-化合物多跳关系、双向预训练及FFT和低通滤波，在BindingDB上验证能生成多样替代物。
2024-07-16 cs.AI cs.LG q-bio.BM
Exponential Tilting of Generative Models: Improving Sample Quality by Training and Sampling from Latent Energy
University of Chicago（芝加哥大学）
在本文中，我们提出了一种通用的方法，可以提高样本质量的预训练的似然生成模型。我们的方法在潜在变量空间上构造能量函数，该能量函数在由预训练的生成模型产生的样本上产生能量函数。通过最大化数据似然性来有效地训练基于能量的模型，并且在训练之后，从基于能量的模型生成潜在空间中的新样本，并通过生成器以在观察空间中产生样本。我们表明，使用我们提出的方法，我们可以大大提高流行的基于似然的生成模型，如规范化流和VAE，与非常小的计算开销的样本质量。
2020-06-15 cs.LG stat.ML
Out-of-Distribution Radar Detection in Compound Clutter and Thermal Noise through Variational Autoencoders
本文提出基于变分自编码器的雷达目标检测方法，用于在复合高斯杂波与热噪声中识别分布外目标，仿真显示其性能优于匹配滤波器等经典自适应检测器。
2025-03-06 cs.LG stat.ML
Improving Normative Modeling for Multi-modal Neuroimaging Data using mixture-of-product-of-experts variational autoencoders
Department of Computer Science and Engineering, Washington University in St. Louis, USA（计算机科学与工程系，华盛顿大学圣路易斯分校）；Institute for Informatics, Data Science and Biostatistics, Washington University in St.Louis, USA（信息学、数据科学与生物统计研究所，华盛顿大学圣路易斯分校）；Department of Radiology, Washington University in St.Louis, USA（放射学系，华盛顿大学圣路易斯分校）
本文提出利用混合专家积变分自编码器改进多模态神经影像数据的规范建模，以更准确地识别异常个体及异常脑区。
2023-12-02 cs.LG
VAE with Hyperspherical Coordinates: Improving Anomaly Detection from Hypervolume-Compressed Latent Space
School of Electrical Engineering and Robotics（电气工程与机器人学学院）；Queensland University of Technology（昆士兰理工大学）；Data61；CSIRO（澳大利亚联邦科学与工业研究组织）
本文提出利用超球坐标压缩潜在空间，提升VAE在无条件和条件异常检测中的表现，优于现有方法。
2026-07-21 cs.LG
Deep Dive into Semi-Supervised ELBO for Improving Classification Performance
Agency Lab（机构实验室）；Independent University Bangladesh（孟加拉国独立大学）
对VAE用于密度估计的证据下限（ELBO）目标进行分解，揭示了VAE用于表示学习的不足，并提出了改进方法。在本文中，我们研究是否可以通过使用VAE模型分解ELBO进行半监督分类来获得类似的见解。具体来说，我们表明，输入和类标签之间的互信息减少ELBO目标的最大化。我们提出了一种方法来解决这个问题。我们还强制集群假设，以帮助分类。在不同数据集上的实验表明，该方法可以提高现有基于VAE的半监督模型的分类性能。实验还表明，这可以在不牺牲模型生成能力的情况下实现。
2022-11-21 cs.LG
Robust Disentanglement of a Few Factors at a Time
Institute of Neuroinformatics, ETH Zurich（苏黎世联邦理工学院神经信息学研究所）
解纠缠是无监督学习的最前沿，因为解纠缠的数据表示可以提高下游任务的泛化性、可解释性和性能。目前的无监督方法仍然不适用于真实世界的数据集，因为它们的性能变化很大，并且无法达到（半）监督方法的解纠缠水平。我们引入了基于群体的训练（PBT），以提高训练变分自编码器（VAE）的一致性，并证明了这种方法在监督设置（PBT-VAE）的有效性。然后，我们使用无监督解纠缠排名（UDR）作为无监督启发式算法，在PBT-VAE训练中对模型进行评分，并展示了以这种方式训练的模型如何始终只解纠缠生成因子的子集。在此基础上，我们引入了递归rPU-VAE方法。我们训练模型直到收敛，从数据集中删除学习的因素并重复。在这样做的时候，我们可以用学习到的因子来标记数据集的子集，并连续使用这些标签来训练一个完全解开整个数据集的模型。通过这种方法，我们在多个数据集和指标上显示出最先进的无监督解纠缠性能和鲁棒性的显着改善。
2020-10-26 cs.CV cs.LG stat.ML
Diversity-Aware Coherence Loss for Improving Neural Topic Models
University of British Columbia（不列颠哥伦比亚大学）；University of Fraser Valley（弗雷泽谷大学）
本文提出多样性感知连贯性损失，在保持主题多样性的同时学习语料库级连贯性得分，无需预训练或额外参数即可显著提升神经主题模型性能。
2023-05-26 cs.CL cs.LG
Dynamic User Interface Generation for Enhanced Human-Computer Interaction Using Variational Autoencoders
University of Southern California（南加州大学）；School of Visual Arts（视觉艺术学院）；Georgia Institute of Technology（佐治亚理工学院）；Carnegie Mellon University（卡内基梅隆大学）；New York University（纽约大学）
本研究提出基于变分自编码器（VAE）的动态用户界面生成与优化方法，利用RICO数据集训练并整合实时用户行为数据，实验证明其生成质量与精度优于AE、GAN等基线方法。
2024-12-19 cs.HC cs.LG
DeepRHP: A Hybrid Variational Autoencoder for Designing Random Heteropolymers as Protein Mimics
DeepRHP: A Hybrid Variational Autoencoder for Designing Random Heteropolymers as Protein Mimics（DeepRHP：一种用于设计随机杂合聚合物作为蛋白质模拟物的混合变分自编码器）
提出混合变分自编码器DeepRHP，在半监督框架下结合特征VAE与经典VAE，通过潜在空间捕获关键化学特征与序列模式，指导随机异聚合物设计，实验验证其稳定膜蛋白的有效性。
2026-06-11 cs.LG q-bio.QM stat.AP
Improving VAE-based Representation Learning
University of Tübingen（蒂宾根大学）；IMPRS-IS（国际马克斯·普朗克智能系统研究学院）；Centre for Artificial Intelligence（人工智能中心）；University College London（伦敦大学学院）
像变分自动编码器（VAE）这样的潜变量模型通常用于学习图像的表示。然而，对于像语义分类这样的下游任务，VAE学习的表示比其他非潜在变量模型的竞争力更低。这导致了一些猜测，潜在变量模型可能根本不适合表示学习。在这项工作中，我们研究了良好的表示所需的属性，以及不同的VAE结构选择如何影响学习的属性。我们表明，通过使用倾向于学习局部特征的解码器，其余的全局特征可以很好地被潜在特征捕获，这显著提高了下游分类任务的性能。我们进一步将所提出的模型应用于半监督学习任务，并证明了数据效率的提高。
2022-05-28 cs.LG stat.ML
