Disentangled Latent Spaces for Reduced Order Models using Deterministic Autoencoders
Institute for Fluid Dynamics and Ship Theory, Hamburg University of Technology（汉堡工业大学流体动力学与船舶理论研究所）；Institute of Mathematics, Hamburg University of Technology（汉堡工业大学数学研究所）
针对自编码器降阶模型可解释性不足的问题，提出两种非概率确定性自编码器解耦方法，在基准数据集上取得与β-VAE相当的效果，且超参数鲁棒性更强，还可识别活跃潜变量，并验证了其在飞机着水载荷降维中的工业应用价值。
2025-02-20 cs.LG
Adversarial Jamming for Autoencoder Distribution Matching
Imperial College London（伦敦帝国学院）
本文提出利用对抗性干扰作为辅助目标，实现自编码器潜在空间中高斯分布的匹配。
2025-12-02 cs.IT cs.LG math.IT
Interpreting Rate-Distortion of Variational Autoencoder and Using Model Uncertainty for Anomaly Detection
University of Florida（佛罗里达大学）
通过表示学习构建用于无监督异常检测的可扩展机器学习系统是非常可取的。其中一种流行的方法是通过最大化证据下限来利用变分自编码器（VAE）的重构误差。本文从信息论的角度对VAE进行了重新审视，为重构误差的应用提供了理论基础，并最终得到了一个更简单、更有效的异常检测模型。此外，为了提高检测异常的有效性，我们将一个实用的模型不确定性度量的度量。我们经验表明，我们的方法在基准数据集上的竞争力表现。
2020-05-07 cs.IT cs.LG math.IT
Towards a Theoretical Understanding of the Robustness of Variational Autoencoders
University of Oxford（牛津大学）；Alan Turing Institute（艾伦·图灵研究所）
我们在理解变分自编码器（VAE）对对抗性攻击和其他输入扰动的鲁棒性方面取得了进展。虽然以前的工作已经开发了攻击和防御VAE的算法方法，但仍然缺乏形式化的VAE是健壮的。为了解决这个问题，我们开发了一个新的概率模型的鲁棒性标准：$r$ -鲁棒性。然后，我们用它来构建VAE的鲁棒性的第一个理论结果，在输入空间中推导出的利润，我们可以提供保证所得到的重建。非正式地，我们能够定义一个区域，在该区域内，任何扰动都将产生与原始重建类似的重建。为了支持我们的分析，我们表明，使用解纠缠方法训练的VAE不仅在我们的鲁棒性指标下得分很高，而且可以通过我们的理论结果解释其原因。
2021-01-29 cs.LG stat.ML
Theoretical Convergence Guarantees for Variational Autoencoders
CNRS（法国国家科学研究中心）；LOPF, Califrais’ Machine Learning Lab（LOPF，Califrais机器学习实验室）
本文提出变分自编码器的非渐近收敛保证，分析了不同优化算法和超参数对收敛的影响，为VAE的理论理解提供了新见解。
2025-12-22 cs.LG stat.ML
PRI-VAE: Principle-of-Relevant-Information Variational Autoencoders
University of Florida（佛罗里达大学）；NEC Laboratories Europe（NEC欧洲实验室）
虽然大量的努力已经取得了学习解纠缠表示下的变分自编码器（VAE）的框架，大多数VAE模型的学习动力学的基本属性仍然是未知的和调查不足。在这项工作中，我们首先提出了一个新的学习目标，称为相关信息的原则变分自编码器（PRI-VAE），学习解开表示。然后，我们提出了一个信息理论的角度来分析现有的VAE模型，通过检查一些关键的信息理论量在训练时期的演变。我们的观察揭示了与VAE相关的一些基本性质。实证结果也证明了PRI-VAE的有效性在四个基准数据集。
2020-07-13 cs.LG stat.ML
Information Theoretic-Learning Auto-Encoder
University of Florida（佛罗里达大学）
提出了神经网络变分正则化的信息理论学习（ITL）发散测度。我们还探索了ITL正则化自编码器作为变分自编码贝叶斯，对抗性自编码器和生成对抗网络的替代方案，用于随机生成样本数据，而无需显式定义分区函数。本文还形式化，生成矩匹配网络下的ITL框架。
2016-03-22 cs.LG
GEE: A Gradient-based Explainable Variational Autoencoder for Network Anomaly Detection
National University of Singapore（新加坡国立大学）；Trustwave（Trustwave（特鲁斯特威）公司）
本文探讨了通过分析NetFlow记录来检测网络异常的问题。虽然许多以前的工作已经以监督的方式使用统计模型和机器学习技术，但这些解决方案具有限制，即它们需要大量的标记数据进行训练，并且不太可能检测到零日攻击。现有的异常检测解决方案也没有提供解释或识别异常流量中的攻击的简单方法。为了解决这些局限性，我们开发并提出了GEE，一个框架，用于检测和解释网络流量中的异常。GEE包括两个组件：（i）变分自编码器（VAE）-一种用于检测异常的无监督深度学习技术，以及（ii）用于解释异常的基于梯度的指纹识别技术。在最近的UGR数据集上对GEE的评估表明，我们的方法在检测不同的异常以及识别这些各种攻击的良好代表的指纹方面是有效的。
2019-03-15 cs.LG stat.ML
Interpretable Anomaly Detection in Cellular Networks by Learning Concepts in Variational Autoencoders
Ericsson Services GmbH（爱立信服务有限公司）；Ostwestfalen-Lippe University of Applied Sciences（东威斯特法伦-利普应用技术大学）
本文提出一种基于变分自编码器（VAEs）的蜂窝网络异常检测方法，通过学习关键性能指标（KPI）潜在空间的可解释表示并利用K-means质心增强表示学习，实现了基于重构损失和Z分数的快速、自主且可解释的异常检测。
2023-06-28 cs.AI cs.LG cs.NI
Beyond Vanilla Variational Autoencoders: Detecting Posterior Collapse in Conditional and Hierarchical Variational Autoencoders
FPT Software AI Center（FPT软件AI中心）；National University of Singapore（新加坡国立大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
本研究针对标准VAE之外后验坍缩理论不完善的问题，拓展了条件VAE和分层VAE的后验坍缩理论，分析了两类模型的坍缩成因，并通过实验验证理论对线性及非线性场景的有效性。
2024-05-13 cs.LG stat.ML
Trading Information between Latents in Hierarchical Variational Autoencoders
University of Tübingen（图宾根大学）；IMPRS-IS（马克斯·普朗克智能系统研究所国际马克斯·普朗克研究学院）
变分自动编码器（VAE）最初的动机（Kingma & Welling，2014）是概率生成模型，其中执行近似贝叶斯推断。$β$ -VAE的提议（Higgins等人，2017）打破了这种解释，并将VAE推广到生成建模之外的应用领域（例如，表示学习、聚类或有损数据压缩），通过引入允许从业者在潜在表示的信息内容（“比特率”）和重构数据的失真之间进行权衡的目标函数（Alemi等人，2018年）。在本文中，我们在分层VAE的背景下重新考虑这种速率/失真权衡，即，具有多个潜在变量层的VAE。我们确定了一类一般的推理模型，其中一个可以分裂成从每一层的贡献率，然后可以独立调整。我们推导出下游任务性能的理论界限作为各个层的速率的函数，并在大规模实验中验证了我们的理论发现。我们的研究结果为从业者提供了指导，指导他们针对给定的应用程序在速率空间中的哪个区域。
2023-02-09 cs.CV cs.IT cs.LG
Variational Information Bottleneck on Vector Quantized Autoencoders
KTH Royal Institute of Technology（瑞典皇家理工学院）
本文对矢量量化-变分自编码器（VQ-VAE）进行了信息论解释。我们表明，原始VQ-VAE的损失函数可以从变分确定性信息瓶颈（VDIB）原则。另一方面，由期望最大化（EM）算法训练的VQ-VAE可以被视为变分信息瓶颈（VIB）原理的近似。
2018-08-02 cs.LG stat.ML
Enhanced uncertainty quantification variational autoencoders for the solution of Bayesian inverse problems
本文提出一种新型损失函数训练变分自编码器，用于贝叶斯逆问题的实时不确定性量化，在仿射正向映射下证明其潜在状态收敛到后验分布，并通过数值测试和拉普拉斯方程实验验证了其准确性和泛化性能。
2025-09-24 cs.LG cs.NA math.NA
PhyloVAE: Unsupervised Learning of Phylogenetic Trees via Variational Autoencoders
School of Mathematical Sciences, Peking University（北京大学数学科学学院）；Center for Statistical Science, Peking University（北京大学统计科学中心）；Computational Biology Program, Fred Hutchinson Cancer Research Center（弗雷德·哈钦森癌症研究中心计算生物学项目）；Howard Hughes Medical Institute（霍华德·休斯医学研究所）
本文提出无监督框架PhyloVAE，结合自回归编码与潜变量生成模型，实现系统发育树拓扑的高分辨率表示学习和快速生成。
2025-02-07 cs.LG q-bio.PE stat.ML
Hidden Talents of the Variational Autoencoder
Institute for Advanced Study（高等研究院）；Tsinghua University（清华大学）；University of Cambridge（剑桥大学）；Microsoft Research（微软研究院）
变分自编码器（VAE）代表了一种流行的、灵活的深度生成模型形式，该模型可以使用真实底层分布上的信息论变分界限来随机拟合来自给定随机过程的样本。一旦如此获得，该模型可以被直接用于从该分布生成新的样本，或者提供现有样本的低维潜在表示。虽然在许多应用领域中相当有效，但某些重要的机制（其支配VAE的行为）被所涉及的棘手积分和由此产生的随机近似所混淆。此外，作为一个高度非凸模型，仍然不清楚底层能量的最小值与原始设计目的的关系。我们试图更好地量化这些问题，通过分析一系列易于处理的特殊情况下，越来越复杂。在这样做的过程中，我们揭示了与更传统的降维模型的有趣联系，以及在估计潜在流形时鲁棒地忽略稀疏离群值的内在但未被充分认识的倾向。对于后者，我们证明了VAE可以被视为最近强大的PCA模型的自然演变，能够学习未知维度的非线性流形模糊的总腐败。
2019-10-07 cs.LG
A lower bound for the ELBO of the Bernoulli Variational Autoencoder
Fraunhofer ITWM（弗劳恩霍夫工业数学研究所）；Technical University of Kaiserslautern（凯泽斯劳滕工业大学）
我们考虑一个二进制数据的变分自编码器（VAE）。我们的主要创新是其训练目标的可解释的下限，这种VAE的修改的初始化和架构，导致更快的训练，以及通过使用PCA找到潜在空间的适当维度的决策支持。数值例子说明了我们的理论结果和性能的新架构。
2020-03-26 cs.LG math.ST stat.ML
A Case for the Score: Identifying Image Anomalies using Variational Autoencoder Gradients
German Cancer Research Center (DKFZ)（德国癌症研究中心）
通过对未标记数据的训练，异常检测有可能通过勾勒可疑区域来影响计算机辅助诊断。以前关于基于深度学习的异常检测的工作主要集中在重建误差上。相反，我们认为，从基于变分自动编码器的分数近似得到的像素异常评级在理论上更有根据，更可靠。在我们的实验中，基于变分自动编码器梯度的评级在BraTS-2017数据集上的无监督像素肿瘤检测方面优于其他方法，ROC-AUC为0.94。
2019-11-28 cs.LG eess.IV stat.ML
Noise Contrastive Variational Autoencoders
我们采取措施，了解“后崩溃（PC）”的困难，在变分自编码器（VAE），即退化的最佳，其中的潜在代码变得独立于其相应的输入。我们依靠变分法，并从理论上探讨了一些流行的VAE模型，PC总是发生在非参数编码器和解码器。受流行的噪声对比估计算法的启发，我们提出了NC-VAE，其中编码器区分真实数据和一些人工生成的噪声的潜在代码，除了鼓励良好的数据重建能力。理论上，我们证明了我们的模型不能达到PC，并提供了新的下界。我们的方法很容易实现，并且具有与vanilla VAE相同的运行时。从经验上讲，我们展示了它对流行的图像和文本数据集的好处。
2019-07-31 cs.LG stat.ML
A Statistical Analysis of Wasserstein Autoencoders for Intrinsically Low-dimensional Data
UC Berkeley（加州大学伯克利分校）；Google DeepMind（谷歌DeepMind）
本文从统计学习理论角度分析Wasserstein自编码器，证明在合适网络架构下其期望超额风险收敛速率仅依赖数据内在维度而非高维特征维度，为低维结构数据上的应用提供了理论保证。
2024-02-24 cs.LG math.ST stat.ML
Matching aggregate posteriors in the variational autoencoder
Scientific Computing and Imaging Institute, The University of Utah（犹他大学科学计算与成像研究所）
针对变分自编码器（VAE）因无法匹配聚合后验导致的潜分布缺陷与后坍缩问题，提出用核密度估计建模高维聚合后验、重构目标函数的聚合变分自编码器（AVAE），经多基准数据集验证其效果优于现有SOTA方法。
2024-10-04 cs.LG
Data-driven Nonlinear Parametric Model Order Reduction Framework using Deep Hierarchical Variational Autoencoder
Seoul National University（首尔国立大学）；Jeonbuk National University（全北国立大学）；Institute of Advanced Aerospace Technology, Seoul National University（首尔国立大学高等航空技术研究所）
提出基于LSH-VAE与潜流形球面线性插值的数据驱动参数化非线性MOR框架，并在流固耦合、极限环振荡和三维流动中验证其精度、稳定性与加速效果。
2023-07-10 cs.LG physics.data-an physics.flu-dyn
Assessing glaucoma in retinal fundus photographs using Deep Feature Consistent Variational Autoencoders
Duke University（杜克大学）
失明的主要原因之一是青光眼，这是具有挑战性的检测，因为它保持无症状，直到症状严重。因此，诊断通常是可能的，直到标记物易于识别，即，损害已经发生了。青光眼的早期识别通常基于功能、结构和临床评估。然而，由于疾病的性质，研究人员仍然争论哪些标志物有资格作为一致的青光眼指标。深度学习方法通过绕过标记识别阶段并直接分析高级信息来对数据进行分类，部分解决了这一困境。虽然这些方法是有利的，但它们使专家分析变得困难，因为它们无法深入了解模型判别过程。在本文中，我们使用深度生成网络克服了这一点，这是一种学习复杂的高维概率分布的深度学习模型。我们训练了一个深度特征一致的变分自编码器（DFC-VAE）来重建视盘图像。我们发现，一个小尺寸的潜在空间从DFC-VAE可以学习高维青光眼数据分布，并提供正常和青光眼之间的歧视性证据。当使用支持向量分类器进行训练时，我们模型中大小低至128的潜在表示在接收器操作特征曲线下获得了0.885的面积。
2021-10-04 cs.CV cs.LG eess.IV
AI Giving Back to Statistics? Discovery of the Coordinate System of Univariate Distributions by Beta Variational Autoencoder
BMO Financial Group（蒙特利尔银行金融集团）
分布是基本的统计要素，在理论和实践中起着重要的作用。本文讨论了训练神经网络对单变量经验分布进行分类并基于累积分布函数（CDF）的输入将其表示在二维潜空间上的经验。潜空间表示已被执行使用无监督的β变分自编码器（β-VAE）。它分离不同形状的分布，同时重叠相似的分布，并根据经验实现理论上已知的分布之间的关系。已进行了具有不同样本大小和参数的生成的单变量连续和离散（伯努利）分布的合成实验以支持该研究。潜在二维坐标系上的表示可以被视为真实世界数据的附加元数据，其解开重要的分布特征，例如CDF的形状、基础理论分布的分类概率及其参数、信息熵和偏度。熵的变化，提供了一个“时间的箭头”，确定动态轨迹沿着潜在空间上的分布表示。此外，基于后验与标准同位素二维正态密度的证据权重（WOE）的潜在空间的后β-VAE无监督分割已被应用于检测区分异常CDF输入的可分配原因的存在。
2020-04-06 cs.LG stat.ML
From Variational to Deterministic Autoencoders
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of California, Los Angeles（加州大学洛杉矶分校）
变分自编码器（VAE）为深度生成模型提供了一个有理论支持的流行框架。然而，从数据中学习VAE仍然存在未回答的理论问题和相当大的实际挑战。在这项工作中，我们提出了一个替代框架生成建模，更简单，更容易训练，和确定性，但有许多VAE的优点。我们观察到，在高斯VAE中对随机编码器进行采样可以被解释为简单地将噪声注入到确定性解码器的输入中。我们研究如何取代这种随机性，与其他显式和隐式正则化计划，可以导致一个同样光滑和有意义的潜在空间，而不强迫它符合任意选择的先验。为了检索生成机制来采样新数据，我们引入了一个事后密度估计步骤，该步骤也可以很容易地应用于现有的VAE，从而提高其样本质量。我们表明，在一个严格的实证研究中，建议正则化确定性自动编码器能够生成的样本是可比的，或更好的，VAE和更强大的替代品时，适用于图像以及结构化数据，如分子。\footnote{An implementation is available at: \url{https://github.com/ParthaEth/Regularized_autoencoders-RAE-}}
2020-05-29 cs.LG stat.ML
Adversarial Variational Bayes: Unifying Variational Autoencoders and Generative Adversarial Networks
MPI Tübingen（图宾根马普研究所）；Microsoft Research Cambridge（微软剑桥研究院）；ETH Zürich（苏黎世联邦理工学院）
变分自编码器（VAE）是一种表达性的潜变量模型，可用于从训练数据中学习复杂的概率分布。然而，最终模型的质量主要依赖于推理模型的表达能力。我们介绍了对抗变分贝叶斯（AVB），一种用于训练具有任意表达推理模型的变分自编码器的技术。我们通过引入一个辅助判别网络来实现这一目标，该网络允许将最大似然问题重新表述为两人游戏，从而在VAE和生成对抗网络（GANs）之间建立原则性联系。我们表明，在非参数限制，我们的方法产生一个确切的最大似然分配的生成模型的参数，以及确切的后验分布的潜变量给定的观察。与将VAE与GANs相结合的竞争方法相反，我们的方法具有明确的理论依据，保留了标准变分自编码器的大多数优点，并且易于实现。
2018-06-11 cs.LG
Reconstruction of neuromorphic dynamics from a single scalar time series using variational autoencoder and neural network map
Kotelnikov Institute of Radio-Engineering and Electronics of Russian Academy of Sciences, Saratov Branch（俄罗斯科学院科捷尔尼科夫无线电工程与电子研究所萨拉托夫分部）；HSE University（高等经济大学）
本文利用单一标量时间序列，通过变分自编码器降维和神经网络映射两步法，重建神经形态动力系统，并验证了其状态与控制参数变化下的高度一致性。
2024-11-11 cs.LG nlin.PS physics.bio-ph
Concurrent Density Estimation with Wasserstein Autoencoders: Some Statistical Insights
Indian Statistical Institute（印度统计研究所）
本文从统计学角度将 WAE 建模为神经网络诱导变换下的并发密度估计问题，给出实际误差的确定性上界，并分析对抗条件下随机误差传播及大样本性质与模型韧性。
2023-12-11 cs.LG stat.ML
Hierarchical Variational Autoencoder for Visual Counterfactuals
Ghent University（根特大学）
条件变分自动编码器（VAE）作为一种可解释的人工智能（XAI）工具正受到广泛关注。潜在空间中的代码提供了一种理论上合理的方式来产生反事实，即由于对目标语义特征的干预而导致的改变。为了应用于真实图像，需要更复杂的模型，例如分层CVAE。这带来了一个挑战，因为天真的条件作用不再有效。在本文中，我们将展示如何放松后验的影响，导致成功的反事实，我们介绍了VAEX的层次VAE设计这种方法，可以在应用程序中的视觉审计分类。
2021-02-01 cs.LG
Perturbation theory approach to study the latent space degeneracy of Variational Autoencoders
University of Cambridge（剑桥大学）
变分自编码器在不同机器学习任务中的使用在过去几年中急剧增加。它们已被开发为去噪，聚类和生成工具，突出了在广泛领域的巨大潜力。它们的嵌入能够从高维输入中提取相关信息，但收敛模型可能会有很大差异，并导致潜在空间的退化。我们利用理论物理和机器学习之间的关系来解释这种行为，并引入一种新的方法来纠正退化使用微扰理论。将嵌入重新表述为多维生成分布，允许映射到一组新的函数及其相应的能量谱。我们优化的扰动哈密顿量，与一个额外的能源潜力，是有关的未观察到的拓扑结构的数据。我们的研究结果显示了一种新的理论方法的潜力，可用于解释潜在的空间和生成性质的无监督学习，而由扰动定义的能量景观可以进一步用于建模和动力学的目的。
2019-07-10 cs.LG physics.data-an stat.ML
CEPAE: Conditional Entropy-Penalized Autoencoders for Time Series Counterfactuals
Novartis（诺华）；Novartis Barcelona Supercomputing Center（诺华巴塞罗那超级计算中心）；Barcelona Supercomputing Center（巴塞罗那超级计算中心）
CEPAE通过条件熵惩罚机制提升时间序列反事实推断的准确性，适用于金融、医疗等领域的决策分析。
2026-02-17 cs.LG
Analyzing noise in autoencoders and deep networks
Stanford University（斯坦福大学）
自动编码器已经成为内部表示的无监督学习的有用框架，并且已经提出了各种各样的明显概念上不同的正则化技术来生成有用的特征。在这里，我们扩展了现有的去噪自动编码器，在非线性之前和隐藏单元激活时额外注入噪声。我们表明，各种各样的以前的方法，包括去噪，收缩和稀疏自动编码器，以及辍学可以使用这个框架来解释。这种噪声注入框架通过提供统一的策略来开发新的内部表示，通过设计注入噪声的性质，从而获得实际好处。我们表明，噪声自动编码器在去噪的任务上优于去噪自动编码器，并且与MNIST和CIFAR-10上的其他单层技术相比具有竞争力。我们还表明，除dropout之外的其他类型的噪声通过稀疏化、去相关和跨表示传播信息来提高深度网络的性能。
2014-06-06 cs.LG cs.NE
Posterior Collapse as a Phase Transition in Variational Autoencoders
Department of Complexity Science and Engineering, Graduate School of Frontier Sciences, The University of Tokyo（复杂科学与工程系，前沿科学研究生学校，东京大学）；Department of Human and Engineered Environmental Studies, Graduate School of Frontier Sciences, The University of Tokyo（人类与工程环境研究系，前沿科学研究生学校，东京大学）
研究通过统计物理视角揭示变分自编码器中后验崩溃是数据结构与模型超参数共同作用的相变现象，并提出基于稳定性分析的临界准则。
2025-11-22 cs.LG
Multi-Facet Clustering Variational Autoencoders
University of Oxford（牛津大学）；University of Cambridge（剑桥大学）；University College London（伦敦大学学院）；Health Data Research UK（英国健康数据研究中心）；The Alan Turing Institute（艾伦·图灵研究所）；University of Manchester（曼彻斯特大学）
深度集群的工作重点是找到数据的单个分区。然而，高维数据（如图像）通常具有多个可以聚类的有趣特征。例如，在背景上的物体图像可以在物体的形状上聚类，并根据背景的颜色单独聚类。在本文中，我们介绍了多方面聚类变分自编码器（MFCVAE），这是一类新型的变分自编码器，具有一系列潜在变量，每个变量都具有混合高斯先验，可以同时学习多个聚类，并且完全无监督和端到端训练。MFCVAE使用渐进式训练的梯形架构，导致高度稳定的性能。我们提供了新的理论结果优化ELBO分析方面的分类变分后验分布，纠正早期有影响力的理论工作。在图像基准测试中，我们证明了我们的方法可以以一种解脱的方式分离和聚类数据的不同方面。我们还展示了我们的模型的其他优点：其潜在空间的组合性，它提供了控制生成的样本。
2021-10-29 cs.CV cs.LG stat.ME
Latent Variable Modelling Using Variational Autoencoders: A survey
概率分布允许从业者发现数据中隐藏的结构，并建立模型来使用有限的数据解决监督学习问题。本报告的重点是变分自编码器，一种学习大型复杂数据集概率分布的方法。该报告提供了一个理论上的理解变分自编码器，并巩固了目前的研究领域。该报告分为多个章节，第一章介绍了问题，描述了变分自编码器，并确定了该领域的关键研究方向。第2、3、4和5章深入讨论了每个关键研究领域的细节。第6章是报告的结论，并提出了今后工作的方向。对机器学习有基本了解但又想了解机器学习研究中一般主题的读者可以从本报告中受益。该报告解释了学习概率分布的中心思想，人们做了什么来使其易于处理，并详细介绍了深度学习目前如何应用。该报告也为那些希望为这个子领域做出贡献的人提供了一个温和的介绍。
2022-06-20 cs.AI cs.LG
Perceptual Generative Autoencoders
University of Calgary（卡尔加里大学）；MILA, Université de Montréal（蒙特利尔大学MILA）；Wuhan University（武汉大学）
现代生成模型通常被设计为直接在数据空间中匹配目标分布，其中数据的内在维度可能远低于环境维度。我们认为，这种差异可能有助于在训练生成模型的困难。因此，我们建议使用标准自动编码器的编码器将生成的分布和目标分布映射到潜在空间，并训练生成器（或解码器）以匹配潜在空间中的目标分布。具体来说，我们在理论上合理的数据和潜在的重建损失的数据空间和潜在的空间的一致性。生成的模型，我们称之为感知生成自动编码器（PGA），然后用最大似然或变分自编码器（VAE）目标进行训练。利用最大似然法，PGA将可逆生成模型的思想推广到无限制的神经网络架构和任意数量的潜在维度。当与VAE联合使用时，PGA在样本质量方面明显优于基线VAE。与其他使用简单先验的基于自动编码器的生成模型相比，PGA在CIFAR-10和CelebA上实现了最先进的FID分数。
2020-07-01 cs.LG stat.ML
Conditional Electrocardiogram Generation Using Hierarchical Variational Autoencoders
Sber AI Lab（Sber AI实验室）
本文提出cNVAE-ECG模型，通过生成多病理心电图提升诊断准确性，在迁移学习中实现AUROC提升2%。
2025-04-28 cs.CV cs.LG eess.SP
On the Convergence Analysis of Over-Parameterized Variational Autoencoders: A Neural Tangent Kernel Perspective
CSIRO Space and Astronomy（澳大利亚联邦科学与工业研究组织空间与天文学部门）；RIKEN AIP（理化学研究所人工智能项目）
本文从 NTK 视角分析过参数化 VAE 中随机神经网络的优化轨迹，在温和假设下证明其收敛性，并建立其与 KRR 的新联系，实验验证了理论结论。
2024-09-09 cs.LG
Alleviating Adversarial Attacks on Variational Autoencoders with MCMC
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；Universiteit van Amsterdam（阿姆斯特丹大学）
变分自编码器（VAE）是一种隐变量模型，可以生成复杂对象并提供有意义的隐表示。此外，它们还可以进一步用于下游任务，如分类。正如以前的工作所示，人们可以很容易地欺骗VAE，为视觉上稍微修改的输入产生意想不到的潜在表示和重建。在这里，我们研究了几个目标函数的对抗攻击建设提出了一个解决方案，以减轻这些攻击的影响。我们的方法利用马尔可夫链蒙特卡罗（MCMC）技术的推理步骤，我们激励与理论分析。因此，我们在训练过程中不包含任何额外的成本，并且在非攻击输入上的性能不会降低。我们在各种数据集（MNIST，Fashion MNIST，Color MNIST，CelebA）和VAE配置（$β$ -VAE，NVAE，$β$ -TCVAE）上验证了我们的方法，并表明我们的方法始终提高了模型对对抗攻击的鲁棒性。
2022-10-12 cs.LG
Learning Deep-Latent Hierarchies by Stacking Wasserstein Autoencoders
University College London（伦敦大学学院）；Faculty（学院）
具有分层潜在变量结构的概率模型在非自回归、无监督的基于密度的模型中提供了最先进的结果。然而，基于变分自编码器（VAE）训练此类模型的最常见方法通常无法利用深层层次结构;成功的方法需要复杂的推理和优化方案。最优运输是一种替代的，非基于似然的框架，用于训练具有吸引人的理论属性的生成模型，原则上允许分布之间更容易的训练收敛。在这项工作中，我们提出了一种新的方法来训练模型的基础上最优运输的深层层次结构，而不需要高度定制的模型和推理网络。我们表明，我们的方法使生成模型能够充分利用其深层的潜在层次结构，避免了VAE的众所周知的“潜在变量崩溃”问题;因此，提供了质量更好的样本生成以及比原始Wasserstein Autoencoder更具可解释性的潜在表示。
2020-10-07 cs.CV cs.LG stat.ML
Learning Representations by Maximizing Mutual Information in Variational Autoencoders
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
变分自编码器（VAE）开创了复杂分布无监督学习方法的新时代。虽然这些技术在方法上很优雅，但它们通常对表示学习没有用处。在这项工作中，我们提出了一个简单而强大的VAE类，同时导致有意义的学习表示。我们的解决方案是将传统的VAE与互信息最大化相结合，目标是利用信息论技术增强VAE中的摊销推理。我们称这种方法为InfoMax-VAE，这种方法可以显着提高学习的高级表示的质量。我们实现这一点，通过显式最大化的信息措施与代表。通过对不同数据集和设置的广泛实验，我们表明InfoMax-VAE优于当代流行的方法，包括Info-VAE和$β$ -VAE。
2020-01-07 cs.CV cs.LG stat.ML
MAE: Mutual Posterior-Divergence Regularization for Variational AutoEncoders
Carnegie Mellon University（卡内基梅隆大学）
变分自编码器（VAE）是一种简单有效的深度生成模型，已经取得了许多令人印象深刻的经验成功，并催生了许多先进的变体和理论研究。然而，最近的研究表明，当配备了表达生成分布（又名。解码器），VAE遭受学习无信息的潜在表示与观察称为KL清漆，在这种情况下，VAE崩溃成一个无条件的生成模型。在这项工作中，我们引入了相互后向发散正则化，这是一种新的正则化，能够控制潜在空间的几何形状，以完成有意义的表示学习，同时实现可比或优越的密度估计能力。在三个图像基准数据集上的实验表明，当配备强大的解码器时，我们的模型在密度估计和表示学习方面都表现良好。
2019-01-06 cs.CV cs.LG stat.ML
Robust Spectral Anomaly Detection in EELS Spectral Images via Three Dimensional Convolutional Variational Autoencoders
University of Illinois Chicago（伊利诺伊大学芝加哥分校）
提出三维卷积变分自编码器（3D-CVAE）用于 EELS-SI 数据的无监督异常检测，利用三维结构保留空间与光谱相关性，在 Fe L 边缘峰移测试中表现优于 PCA，实现正常与异常光谱的可靠分类。
2024-12-16 cond-mat.mtrl-sci cs.CV cs.LG
Training a Hopfield Variational Autoencoder with Equilibrium Propagation
IDLab, Ghent University – imec（根特大学-IDLab（校际微电子中心））
本文提出使用平衡传播训练 Hopfield 变分自编码器进行生成建模，利用网络对称性实现编码器与解码器共享单一模型，可将芯片尺寸减半，为高效模拟硬件配置提供新方案。
2023-11-25 cs.LG cs.NE
Distributional Learning of Variational AutoEncoder: Application to Synthetic Data Generation
University of Seoul（首尔市立大学）
本文提出用非对称拉普拉斯分布无限混合作为VAE解码器，以突破高斯性假设限制，并建立其与分位估计的理论联系，在合成数据生成中展现出灵活调节数据隐私水平的优势。
2023-10-27 cs.LG stat.ML
Bridging the inference gap in Mutimodal Variational Autoencoders
Inria Paris（法国国家信息与自动化研究所巴黎分部）；Inserm（法国国家健康与医学研究院）
本文提出一种无需专家混合聚合的多模态变分自编码器，通过多阶段训练结合变分推断与归一化流，并利用模态间共享信息提升条件生成质量，在多个基准上达到最优性能。
2025-02-06 cs.LG stat.ML
Stochastic Wasserstein Autoencoder for Probabilistic Sentence Generation
University of Waterloo（滑铁卢大学）；ByteDance AI Lab（字节跳动人工智能实验室）
变分自编码器（VAE）在潜在空间上施加概率分布（通常为高斯分布），并且惩罚后验和先验之间的Kullback-Leibler（KL）发散。在NLP中，由于KL崩溃为零的问题，VAE非常难以训练。人们必须以精心设计的方式实现各种语法学，如KL权重退火和字丢弃，以成功地训练文本VAE。在本文中，我们建议使用Wasserstein自动编码器（WAE）的概率句子生成，编码器可以是随机的或确定性的。我们从理论上和经验表明，在原来的WAE，随机编码的高斯分布往往成为一个Dirac-delta函数，我们提出了一个变体的WAE，鼓励随机性的编码器。实验结果表明，WAE学习的潜在空间具有VAE的连续性和平滑性，同时获得更高的BLEU分数用于句子重建。
2019-04-12 cs.CL cs.LG stat.ML
Quasi-symplectic Langevin Variational Autoencoder
Inria Sophia Antipolis（索菲亚·安提波利斯法国国家信息与自动化研究所）；University Côte d’Azur（蔚蓝海岸大学）
变分自编码器（VAE）是神经学习研究中一个非常流行和研究的生成模型。为了将VAE应用于处理大规模数据集的实际任务中，需要处理低方差证据下限（ELBO）的困难。马尔可夫链蒙特卡罗（MCMC）是一种有效的方法来收紧ELBO近似的后验分布和汉密尔顿变分自动编码器（HVAE）是一种有效的MCMC启发的方法来构建一个低方差ELBO，是服从重新参数化技巧。HVAE适应的哈密顿动态流到变分推断，显着提高后验估计的性能。在这项工作中，我们提出了一个Langevin动态流为基础的推理方法，通过Langevin动态，这是一种基于MCMC的方法类似于HVAE的推理过程中的梯度信息。具体地说，我们采用了一个准辛积分，以应付在朴素朗之万流的海森计算的禁止问题。我们展示了所提出的框架与其他基于梯度流的方法的理论和实际有效性。
2021-05-27 cs.AI cs.LG stat.ML
Analyzing Visual Aircraft Representations with Sparse Autoencoders
Jain University（耆那大学）
本文通过稀疏自编码器分解ConvNeXt模型在FGVC-Aircraft数据集上的中间表示，发现可解释的飞机结构特征，并通过消融实验验证其类别相关性。
2026-06-16 cs.CV cs.LG
Transportation analysis of denoising autoencoders: a novel method for analyzing deep neural networks
Waseda University（早稻田大学）
通过确定DAE的传输动力学来研究从去噪自动编码器（DAE）获得的特征图，这是深度学习的基石。尽管在其应用中发展迅速，但深度神经网络仍然无法解析，因为特征映射是嵌套的，参数不可靠。在本文中，我们解决的问题，制定嵌套复杂的参数，把特征图作为一个运输地图。即使特征映射在输入和输出之间具有不同的维度，我们也可以将其视为运输映射，因为输入和输出空间都嵌入在一个共同的高维空间中。此外，轨迹是几何对象，因此与参数化无关。通过这种方式，传输可以被视为深度神经网络的通用特征。通过确定和分析运输动力学，我们可以理解深层神经网络的行为。在本文中，我们研究了深度神经网络的一个基本案例：DAE。我们推导了DAE的输运图，揭示了无限深DAE的输运质量会降低数据分布的一定量，如熵。这些结果虽然在分析上很简单，但揭示了深层神经网络和Wasserstein梯度流之间的对应关系。
2017-12-12 cs.LG stat.ML
Analyzing Hierarchical Structure in Vision Models with Sparse Autoencoders
Intel Labs（英特尔实验室）；Oregon State University（俄勒冈州立大学）
本研究利用稀疏自编码器分析视觉模型如何编码ImageNet层次结构，发现其隐式编码分类关系，并在DINOv2各层中验证一致性，建立了层次分析框架。
2025-05-21 cs.CV cs.LG
Understanding Autoencoders with Information Theoretic Concepts
University of Florida（佛罗里达大学）
尽管它们在实际应用中取得了巨大的成功，但仍然缺乏理论和系统的方法来分析深层神经网络。在本文中，我们说明了一种先进的信息理论方法，以了解学习的动态和自动编码器的设计，这是一种特殊类型的深度学习架构，类似于通信信道。通过将信息平面推广到任何成本函数，并使用逐层信息量检查不同层的角色和动态，我们强调了互信息在量化数据学习中的作用。我们进一步建议，并通过实验验证，均方误差训练，三个基本属性的逐层信息流和内在维度的瓶颈层，分别使用的数据处理不等式和识别的分叉点的信息平面中，是由给定的数据控制。我们的观察结果对自动编码器的优化设计，替代前馈训练方法的设计，甚至泛化问题都有直接影响。
2019-05-08 cs.IT cs.LG math.IT
LEDA: Log-Euclidean Diffeomorphism Autoencoder for Efficient Statistical Analysis of Diffeomorphisms
Scientific Computing and Imaging Institute, University of Utah（科学计算与成像研究所，犹他大学）；Kahlert School of Computing, University of Utah（Kahlert计算学院，犹他大学）；Biomedical Engineering Department, University of Utah（生物医学工程系，犹他大学）
本文提出对数欧几里得微分同胚自编码器 LEDA，通过在线性化潜在空间中预测连续平方根来计算变形场主对数，并引入逆一致性损失，在 OASIS-1 数据集上实现了对复杂非线性变形的高效准确统计分析。
2025-07-03 cs.CV cs.LG
Stabilizing Multimodal Autoencoders: A Theoretical and Empirical Analysis of Fusion Strategies
本文研究多模态自编码器的稳定性与鲁棒性，提出基于理论分析的正则化注意力融合方法，通过实验验证其在一致性、收敛速度和精度上的优势。
2025-12-23 cs.AI cs.LG
On the Information Plane of Autoencoders
Department of Electrical Engineering Universidad de Chile（智利大学电气工程系）
深度学习中隐藏层的训练动态在理论上知之甚少。近年来，基于信息论中的互信息（互信息）概念，提出了信息平面（IP）来分析它们。信息瓶颈（IB）理论预测层最大化相关信息并压缩不相关信息。由于样本MI估计的局限性，监督学习情况下IP的属性一直存在争议。在这项工作中，我们推导出一个理论收敛的IP自动编码器。该理论预测，具有大瓶颈层大小的理想自动编码器不会压缩输入信息，而小尺寸仅在编码器层中引起压缩。对于实验，我们使用一个基于克矩阵的MI估计最近提出的文献。我们提出了一个新的规则来调整其参数，补偿规模和维度的影响。使用我们提出的规则，我们得到的实验IP更接近理论。我们的自动编码器的理论IP可以作为一个基准，以验证新的方法来估计MI的神经网络。通过这种方式，实验的局限性可以被认识和纠正，有助于正在进行的关于监督学习案例的辩论。
2020-10-03 cs.IT cs.LG math.IT
