Scalable Sparse Autoregressive Variational Inference for Non-Gaussian Spatial Fields
The Ohio State University（俄亥俄州立大学）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
本文针对非高斯空间场后验分布难以解析求解的问题，提出一种可扩展稀疏自回归变分推断框架，结合归一化流与双重随机优化，实现高效近似推断。
2026-10-12 cs.LG stat.CO stat.ME
Identifiable Autoregressive Variational Autoencoders for Nonlinear and Nonstationary Spatio-Temporal Blind Source Separation
Department of Mathematics and Statistics, University of Jyvaskyla, Finland（数学与统计学系，于韦斯屈埃理工大学，芬兰）；Department of Mathematics and Statistics, University of Helsinki, Finland（数学与统计学系，赫尔辛基大学，芬兰）
本文提出可识别的自回归变分自编码器，用于非线性和非平稳时空盲源分离，通过模拟研究验证其有效性。
2025-09-15 cs.LG stat.ME stat.ML
Solving Statistical Mechanics Using Variational Autoregressive Networks
Peking University（北京大学）；Institute of Physics, Chinese Academy of Sciences（中国科学院物理研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Songshan Lake Materials Laboratory（松山湖材料实验室）；Institute of Theoretical Physics, Chinese Academy of Sciences（中国科学院理论物理研究所）
我们提出了一个解决有限尺寸系统的统计力学的一般框架。该方法扩展了著名的变分平均场方法，使用自回归神经网络，支持直接采样和精确计算的归一化概率的配置。它计算变分自由能，估计物理量，如熵，磁化和相关性，并产生不相关的样本一次。网络的训练采用强化学习中的策略梯度方法，该方法无偏地估计变化参数的梯度。我们将我们的方法应用于几个经典的系统，包括二维伊辛模型，Hopfield模型，Sherrington-Kirkpatrick模型，和逆伊辛模型，以证明其优于现有的变分平均场方法。我们的方法揭示了使用现代深度生成神经网络解决统计物理问题。
2019-02-18 cond-mat.dis-nn cond-mat.stat-mech cs.LG
AR-Flow VAE: A Structured Autoregressive Flow Prior Variational Autoencoder for Unsupervised Blind Source Separation
Hong Kong Polytechnic University（香港理工大学）；Wuhan University of Technology（武汉理工大学）；The University of Hong Kong（香港大学）
本文提出AR-Flow VAE，通过自回归流先验提升潜变量建模灵活性，有效捕捉复杂非高斯行为和结构依赖，验证了其在盲源分离中的有效性。
2026-03-18 cs.LG stat.ML
A$^{2}$V-SLP: Alignment-Aware Variational Modeling for Disentangled Sign Language Production
Hacettepe University Computer Engineering Department Ankara, Türkiye（哈切特佩大学计算机工程系安卡拉）
A$^{2}$V-SLP通过变分建模实现手势生成的解耦，结合分布式潜在建模和词素注意力机制，提升回译性能和动作真实感。
2026-02-12 cs.CL cs.LG
VESPO: Variational Sequence-Level Soft Policy Optimization for Stable Off-Policy LLM Training
Xiaohongshu Inc（小红书公司）
本文提出VESPO，通过变分方法减少反政策更新中的方差，提升大语言模型在严重反政策条件下的稳定性，实验显示其在数学推理和代码生成任务中优于现有基线方法。
2026-05-08 cs.AI cs.LG
Solving Statistical Mechanics on Sparse Graphs with Feedback Set Variational Autoregressive Networks
Institute of Theoretical Physics, Chinese Academy of Sciences（中国科学院理论物理研究所）；University of Chinese Academy of Sciences（中国科学院大学）
提出了一种求解定义在稀疏图上的统计力学问题的方法。它从稀疏图中提取一个小的反馈顶点集（FVS），将稀疏系统转换为一个更小的系统，该系统具有多体和密集的相互作用，在FVS的每个配置上具有有效能量，然后使用神经网络学习参数化的变分分布来近似原始玻尔兹曼分布。该方法是能够估计自由能，计算可观，并通过直接采样无自相关产生无偏样本。大量的实验表明，我们的方法是更准确的稀疏自旋玻璃比现有的方法。在随机图和真实世界的网络上，我们的方法显着优于稀疏系统的标准方法，如置信传播算法;在结构化稀疏系统，如二维网格上，我们的方法比最近提出的变分自回归网络使用卷积神经网络显着更快，更准确。
2020-05-22 cond-mat.dis-nn cond-mat.stat-mech cs.LG
A Mixture Autoregressive Image Generative Model on Quadtree Regions for Gaussian Noise Removal via Variational Bayes and Gradient Methods
Gunma University（群马大学）；Waseda University（早稻田大学）
本文提出一种结合四叉树区域划分模型与混合自回归模型的图像生成模型，通过变分下界最大化实现图像去噪，采用变分贝叶斯与梯度方法交替优化，推导出解析的梯度更新规则，验证了去噪效果及未来改进方向。
2026-08-25 cs.CV cs.LG
Latent Memory Palace: Reasoning for Control as Autoregressive Variational Inference
University of Washington（华盛顿大学）；Toyota Research Institute（丰田研究院）
研究将语言模型的推理能力应用于连续控制策略的问题，提出潜在记忆宫殿（LMP）方法，通过自回归潜在空间组织信息进行变分推理，推导强化学习技术优化下限，该方法在模拟和现实领域表现良好，还产生高性能动作分词器，为控制的潜在推理提供新视角。
2026-07-10 cs.LG cs.RO
VARADE: a Variational-based AutoRegressive model for Anomaly Detection on the Edge
Politecnico di Torino（都灵理工大学）；University of Verona（维罗纳大学）
针对工业4.0云架构异常检测的延迟与带宽问题，提出基于变分推断的轻量级自回归边缘框架VARADE，在机械臂上验证并在精度、功耗与推理频率间取得最佳权衡。
2024-09-26 cs.AI cs.LG
Variational Quantum Transformer Architecture for Synthetic Language Generation
Institute of Informatics, LMU Munich（慕尼黑大学信息学院 (LMU Munich 信息学院)）
本文提出一种NISQ兼容的变分量子Transformer架构用于合成语言生成，通过量子编码器和解码器块实现自回归建模，在语法生成任务上验证了可训练性，但性能不及经典基线，不声称量子优势。
2026-09-17 cs.CL cs.LG quant-ph
Discrete Diffusion Models via Evolving Variational Autoregressive Networks
Institute of Fundamental and Frontier Sciences, University of Electronic Science and Technology of China（电子科技大学基础与前沿研究院）；School of Physics, University of Electronic Science and Technology of China（电子科技大学物理学院）；Key Laboratory of Quantum Physics and Photonic Quantum Information, Ministry of Education, University of Electronic Science and Technology of China（电子科技大学教育部量子物理与光子量子信息重点实验室）；Non-classical Information Science Basic Discipline Research Center of Sichuan Province, University of Electronic Science and Technology of China（电子科技大学四川省非经典信息科学基础学科研究中心）
本文提出一种基于变分自回归网络的离散扩散模型，通过显式马尔可夫跳跃算子实现归一化分布，应用于高维伊辛模型，准确计算热力学量，并与蒙特卡洛采样结合提升低温采样效率。
2026-09-24 cond-mat.dis-nn cs.LG stat.ML
Flow++: Improving Flow-Based Generative Models with Variational Dequantization and Architecture Design
UC Berkeley（加州大学伯克利分校）
基于流的生成模型是具有高效采样和推理的强大精确似然模型。尽管它们的计算效率，基于流的模型通常具有比最先进的自回归模型差得多的密度建模性能。在本文中，我们研究和改进了先前工作中基于流的模型所采用的三种限制性设计选择：使用均匀噪声进行去量化，使用无表情仿射流，以及在耦合层中使用纯卷积条件网络。基于我们的研究结果，我们提出了Flow++，这是一种新的基于流的模型，现在是最先进的非自回归模型，用于标准图像基准的无条件密度估计。我们的工作已经开始缩小自回归模型和基于流的模型之间迄今存在的显著性能差距。我们的实现可以在https://github.com/aravindsrinivas/flowpp上获得
2019-05-15 cs.LG cs.NE stat.ML
Message Passing Variational Autoregressive Network for Solving Intractable Ising Models
Henan Key Laboratory of Network Cryptography Technology（河南省网络密码技术重点实验室）；TuringQ Co., Ltd.（图灵量子有限公司）
本文提出一种结合消息传递机制的变分自回归网络，并在退火框架下训练，显著缓解模式坍塌，在低温大系统伊辛模型求解中优于现有方法，扩展了无监督神经网络求解组合优化问题的计算极限。
2024-04-09 cond-mat.dis-nn cond-mat.stat-mech cs.LG
BARNN: A Bayesian Autoregressive and Recurrent Neural Network
sissa（国际先进研究学院）；uva（阿姆斯特丹大学）
本文提出BARNN，一种基于变分dropout和时间版VAMP先验的贝叶斯自回归与循环神经网络，可将任意自回归或循环模型转化为贝叶斯版本，并在PDE建模与分子生成中展现出优越的精度与不确定性量化能力。
2025-07-18 cs.AI cs.LG
Split Hierarchical Variational Compression
Huawei Technologies R&D UK（华为英国研发部）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
变分自动编码器（VAE）在图像数据集压缩方面取得了巨大的成功。这一成功，使比特回编码框架成为可能，在许多基准测试中产生了有竞争力的压缩性能。然而，尽管如此，VAE架构目前受到编码实用性和压缩比的组合的限制。也就是说，不仅最先进的方法（例如标准化流）通常表现出超出性能的情况，而且编码中所需的初始位使得单个和并行图像压缩具有挑战性。为了解决这个问题，我们引入了分裂分层变分压缩（SHVC）。SHVC引入了两个新特性。首先，我们提出了一个有效的自回归先验，自回归子像素卷积，它允许每像素自回归和全因子概率模型之间的泛化。其次，我们定义了我们的编码框架，自回归初始位，灵活地支持并行编码，并避免-第一次-许多常见的实用性与位回编码。在我们的实验中，我们证明了SHVC能够在全分辨率无损图像压缩任务中实现最先进的压缩性能，模型参数比竞争VAE方法少100倍。
2022-04-05 cs.CV cs.LG eess.IV
NVAE: A Deep Hierarchical Variational Autoencoder
NVIDIA（英伟达）
规范化流、自回归模型、变分自编码器（VAE）和基于深度能量的模型是深度生成学习的竞争性基于可能性的框架。其中，VAE具有快速易处理的采样和易于访问的编码网络的优点。然而，它们目前的表现优于其他模型，如正常化流量和自回归模型。虽然大多数VAE的研究都集中在统计挑战上，但我们探索了仔细设计分层VAE神经架构的正交方向。我们提出了新的VAE（NVAE），一个深层次的VAE图像生成使用深度可分离卷积和批量归一化。NVAE配备有正态分布的残差参数化，并且其训练通过谱正则化来稳定。我们表明，NVAE在MNIST、CIFAR-10、CelebA 64和CelebA HQ数据集上的非自回归似然模型中取得了最先进的结果，并为FFHQ提供了强有力的基线。例如，在CIFAR-10上，NVAE将最先进的每维从2.98位提升到2.91位，并在CelebA HQ上生成高质量的图像。据我们所知，NVAE是第一个成功应用于最大为256 $\times$ 256像素的自然图像的VAE。源代码可在https://github.com/NVlabs/NVAE上获得。
2021-01-08 cs.CV cs.LG stat.ML
Graph Generation with Variational Recurrent Neural Network
Virginia Tech（弗吉尼亚理工学院）；Borealis AI；Simon Fraser University（西蒙弗雷泽大学）
图结构的生成是一个具有挑战性的问题，由于不同的表示和节点之间的复杂依赖关系。在本文中，我们介绍了图变分循环神经网络（GraphVRNN），一个概率自回归模型的图形生成。通过对图数据的隐变量进行建模，GraphVRNN可以捕获图结构和底层节点属性的联合分布。我们在图结构学习和属性生成任务中对所提出的GraphVRNN进行了实验。评估结果表明，变分组件使我们的网络能够模拟复杂的分布，以及生成合理的结构和节点属性。
2019-10-02 cs.LG stat.ML
Deep autoregressive models for the efficient variational simulation of many-body quantum systems
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Flatiron Institute（弗莱提荣研究所）
人工神经网络最近被证明是一种有效的表示高度纠缠的多体量子态。在实际应用中，神经网络状态继承了变分蒙特卡罗中使用的数值方案，最值得注意的是使用马尔可夫链蒙特卡罗（MCMC）采样来估计量子期望。MCMC中的局部随机采样以两种方式限制了神经网络的潜在优势：（i）其固有的计算成本对网络的宽度和深度设置了严格的实际限制，因此限制了它们的表达能力;（ii）其难以生成精确和不相关的样本可能导致对观测值的估计与其真实值相差甚远。受机器学习中使用的最先进的生成模型的启发，我们提出了一种专门的神经网络架构，支持高效和精确的采样，完全避免了对马尔可夫链采样的需求。我们展示了二维相互作用自旋模型的方法，展示了在比目前神经网络量子态可访问的系统尺寸更大的系统尺寸上获得准确结果的能力。
2020-01-19 cond-mat.dis-nn cond-mat.str-el cs.LG
Discovering Non-monotonic Autoregressive Orderings with Variational Inference
University of California, Berkeley（加州大学伯克利分校）；Tsinghua University（清华大学）
语言建模的主要方法是从左到右处理序列，但这消除了一个信息源：序列生成的顺序。恢复此信息的一种策略是解码令牌的内容和排序。现有的方法通过设计问题特定的损失函数和预先选择的排序进行预训练来监督内容和排序。最近的其他工作使用迭代搜索来发现特定于问题的训练顺序，但具有高时间复杂度并且无法高效并行化。我们解决这些限制与无监督的并行学习，发现高质量的生成订单纯粹从训练数据-没有领域知识的要求。学习器包含一个编码器网络和解码器语言模型，它们以自回归阶数（表示为置换矩阵）作为潜在变量执行变分推理。相应的ELBO是不可微的，所以我们开发了一个实用的算法使用策略梯度的端到端优化。我们将编码器实现为具有非因果注意力的Transformer，其在一次向前传递中输出排列。然后，排列用作训练基于插入的Transformer语言模型的目标生成顺序。语言建模任务的实证结果表明，我们的方法是上下文感知的，并发现有竞争力的，甚至比固定的顺序更好的顺序。
2021-10-27 cs.AI cs.CL cs.LG
Empirical Variational Autoencoder
The University of Tokyo（东京大学）
本文提出经验变分自编码器（EVA），通过经验学习自回归潜在先验替代标准高斯约束，缓解先验-后验分布差距，实现高保真序列生成，在图像和声音合成上达到与扩散模型相当的质量且推理更快。
2026-10-06 cs.LG
Dueling Decoders: Regularizing Variational Autoencoder Latent Spaces
Google Research（谷歌研究院）
变分自编码器学习无监督的数据表示，但这些模型经常收敛到最小值，无法保留有意义的语义信息。例如，具有自回归解码器的变分自编码器通常会崩溃为自解码器，在自解码器中，它们学会忽略编码器输入。在这项工作中，我们证明了添加辅助解码器来正则化潜在空间可以防止这种崩溃，但成功的辅助解码任务是依赖于域的。辅助解码器可以增加潜在空间中编码的语义信息量，并在重建中可见。变分自编码器的表示中的语义信息仅与其速率、失真或证据下限弱相关。与其他修改训练目标的流行策略相比，我们对潜在空间的正则化通常增加了语义信息内容。
2019-05-17 cs.LG stat.ML
Accelerating Parallel Sampling of Diffusion Models
School of Science and Engineering, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）理工学院）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Shenzhen Research Institute of Big Data（深圳大数据研究院）
提出ParaTAA，一种无需训练的并行采样算法，通过将扩散模型采样转化为求解三角非线性方程组并利用不动点迭代，将推理步数减少4至14倍，显著加速采样。
2024-05-27 cs.LG stat.ML
Variational Autoregressive Networks with probability priors
Institute of Applied Computer Science, Jagiellonian University（贾科夫斯基大学应用计算机科学研究所）；Institute of Theoretical Physics, Jagiellonian University（贾科夫斯基大学理论物理研究所）
本文提出利用物理先验改进变分自回归网络，通过引入概率分布先验降低训练负担，提升离散自旋模型的模拟效率。
2026-05-15 cond-mat.dis-nn cs.LG hep-lat
Variational Annealing on Graphs for Combinatorial Optimization
ELLIS Unit Linz（欧洲学习与智能系统实验室林茨分部）；LIT AI Lab（LIT人工智能实验室）；Institute for Machine Learning, Johannes Kepler University Linz（林茨约翰内斯·开普勒大学机器学习研究所）；Johannes Kepler University Linz（林茨约翰内斯·开普勒大学）
针对独立变量假设在困难组合优化实例上的性能局限，提出基于子图分词的自回归方法以捕捉变量依赖，并引入退火熵正则化实现高效稳定的学习。
2023-11-23 cs.AI cs.DM cs.LG
Arch-VQ: Discrete Architecture Representation Learning with Autoregressive Priors
AI, Optimization and Pattern Recognition Research Group, Dept. of Mechanical Eng., University of Melbourne, Australia（墨尔本大学人工智能、优化与模式识别研究组）；School of Electronics and Computer Science, University of Southampton, UK（南安普顿大学电子与计算机科学学院）；KINDI Computing Research Center, College of Engineering, Qatar University, Doha, Qatar（卡塔尔大学工程学院KINDI计算研究中心）
本文提出Arch-VQ，通过向量量化变分自编码器和自回归Transformer模型，学习离散的神经架构表示，提升生成架构的有效性和唯一性，实验表明其在多个搜索空间中表现优于现有方法。
2026-03-18 cs.LG
Learning-Order Autoregressive Models with Application to Molecular Graph Generation
Google DeepMind（谷歌DeepMind）；University College London（伦敦大学学院）
提出一种动态决定自回归顺序的ARM变体，通过顺序策略和变分下界优化，在分子图生成等任务上取得最先进结果。
2025-07-13 cs.AI cs.LG stat.ML
Latent Thought Models with Variational Bayes Inference-Time Computation
UCLA（加州大学洛杉矶分校）；Lambda, Inc.（Lambda公司）；Salesforce Research（Salesforce研究院）
提出 Latent Thought Models（LTM），通过显式潜在思维向量、变分贝叶斯双速率训练和推理时计算，提升语言模型的样本与参数效率及推理能力。
2025-06-06 cs.CL cs.LG stat.ML
Learnable Explicit Density for Continuous Latent Space and Variational Inference
MILA, Université de Montréal（蒙特利尔大学MILA）；Imagia Inc.（Imagia公司）；HEC Montréal（蒙特利尔高等商学院）
本文研究了变分自编码器（VAE）的两个方面：隐变量的先验分布及其相应的后验分布。首先，我们将VAE的学习分解为逐层的密度估计，并认为具有灵活的先验对样本生成和推理都是有益的。其次，我们分析了逆自回归流（逆AF）的家庭，并表明，通过进一步的改进，逆AF可以被用来作为任何复杂的后验的通用近似。我们的分析结果在一个统一的方法来参数化的VAE，而不需要限制自己使用阶乘高斯在潜在的真实空间。
2017-10-06 cs.AI cs.LG stat.ML
Latent-Autoregressive GP-VAE Language Model
Conservatoire National des Arts et Métiers（法国国家艺术与工艺 conservatoire）
该研究提出了一种基于高斯过程和变分自编码器的潜在自回归模型，通过概率几何支持语言模型的时间结构，而非显式神经运算。
2025-12-15 cs.LG
Continuous Autoregressive Modeling with Stochastic Monotonic Alignment for Speech Synthesis
The Hong Kong Polytechnic University（香港理工大学）
该研究提出结合多模态潜在空间VAE与GMM条件自回归模型的语音合成方法，引入随机单调对齐机制，以VALL-E 10.3%的参数实现更优性能，为量化语音语言模型提供高效替代方案。
2025-02-13 cs.LG cs.SD eess.AS
Nonlinear time-series embedding by monotone variational inequality
Georgia Institute of Technology（佐治亚理工学院）
本文提出一种基于单调变分不等式和低秩约束的无监督非线性时间序列嵌入方法，可学习整个域几何及个体序列动力学表示，并在文本建模和RNA聚类中验证了有效性。
2024-06-11 cs.LG stat.ML
Incorporating Reinforced Adversarial Learning in Autoregressive Image Generation
Institute for Infocomm Research, A*STAR（新加坡科技研究局信息通信研究院）；Adobe Research（Adobe研究院）
自回归模型最近在矢量量化变分自编码器（VQ-VAE）的帮助下取得了与最先进的生成对抗网络（GANs）相当的结果。然而，自回归模型有几个局限性，如曝光偏差，其训练目标不能保证视觉保真度。为了解决这些限制，我们建议使用基于策略梯度优化的自回归模型的强化对抗学习（RAL）。通过应用RAL，我们可以实现类似的培训和测试过程，以解决暴露偏倚问题。此外，视觉保真度得到了进一步优化，对抗性损失受到其强大对手的启发：GANs。由于自回归模型的采样速度慢，我们建议使用部分生成来加快训练速度。RAL还支持VQ-VAE框架不同模块之间的协作。据我们所知，所提出的方法是第一个在自回归模型中实现对抗学习以生成图像的方法。在合成数据集和真实世界数据集上的实验表明，MLE训练的模型有所改进。所提出的方法改进了负对数似然（NLL）和Fréchet起始距离（FID），这表明在视觉质量和多样性方面的改进。所提出的方法实现了国家的最先进的结果Celeba为64 $\times$ 64图像分辨率，显示大规模图像生成的承诺。
2020-07-20 cs.CV cs.LG eess.IV
A conditional latent autoregressive recurrent model for generation and forecasting of beam dynamics in particle accelerators
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
提出无监督深度学习框架CLARM，结合CVAE与LSTM学习加速器中带电粒子时空动力学，实现多模块束流相空间投影生成与未来状态预测。
2024-03-19 cs.CV cs.LG physics.acc-ph
PhyloVAE: Unsupervised Learning of Phylogenetic Trees via Variational Autoencoders
School of Mathematical Sciences, Peking University（北京大学数学科学学院）；Center for Statistical Science, Peking University（北京大学统计科学中心）；Computational Biology Program, Fred Hutchinson Cancer Research Center（弗雷德·哈钦森癌症研究中心计算生物学项目）；Howard Hughes Medical Institute（霍华德·休斯医学研究所）
本文提出无监督框架PhyloVAE，结合自回归编码与潜变量生成模型，实现系统发育树拓扑的高分辨率表示学习和快速生成。
2025-02-07 cs.LG q-bio.PE stat.ML
Attention Based Molecule Generation via Hierarchical Variational Autoencoder
本文提出一种分层结合循环神经网络与卷积网络的变分自编码器方法，用于从SMILES字符串生成分子，在保持长程依赖的同时将已知分子重建有效率提升至约95%，并取得平均0.6的Tanimoto相似度，优于此前类似方法。
2024-01-18 cs.LG q-bio.BM
Retentive Neural Quantum States: Efficient Ansätze for Ab Initio Quantum Chemistry
University of Michigan（密歇根大学）；SandboxAQ；New York University（纽约大学）
本研究提出将保持网络（RetNet）作为神经量子态的拟设，用于从头算量子化学，通过并行训练与循环推理克服变压器的时间复杂度瓶颈，并利用变分神经退火弥补表达能力差距，实现不牺牲精度的效率提升。
2024-11-06 cs.CE cs.LG quant-ph
Latent Bayesian Optimization via Autoregressive Normalizing Flows
Department of Computer Science and Engineering, Korea University（韩国大学计算机科学与工程系）；School of Computing, KAIST（韩国科学技术院计算机科学学院）
针对潜在贝叶斯优化中的价值差异问题，提出基于归一化流的NF-BO方法，通过SeqFlow自回归流消除重构差距，并采用动态探索概率采样策略，在分子生成任务上显著优于现有方法。
2025-04-21 cs.AI cs.LG
Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness
University of Science and Technology of China（中国科学技术大学）；Baidu Talent Intelligence Center（百度人才智库中心）；Rutgers, The State University of New Jersey（罗格斯大学新泽西州立大学）
变分自编码器（VAE）是最流行的生成模型之一，它基于摊销变分推理来逼近隐变量的后验。然而，当解码器网络具有足够的表达能力时，VAE可能会导致后验崩溃;也就是说，可能会学习到无信息的潜在表示。为此，在本文中，我们提出了一种替代模型，DU-VAE，用于学习更多样化和更少不确定性的潜在空间，从而可以以有意义和紧凑的方式学习表示。具体来说，我们首先从理论上证明，它会导致更好的潜在空间，高多样性和低不确定性的意识，通过相应地控制整个数据的后验参数的分布。然后，在不引入新的损失项或修改训练策略的情况下，我们建议同时利用方差上的Dropout和均值上的Batch-Normalization来隐式地正则化它们的分布。此外，为了评估推广效果，我们还利用DU-VAE的逆自回归流为基础的VAE（VAE-IAF）经验。最后，在三个基准数据集上进行的大量实验清楚地表明，我们的方法在可能性估计和底层分类任务上的表现都优于最先进的基线。
2021-10-24 cs.LG
Discrete Autoregressive Transformer for Generative Mechanism Synthesis
Computer-Aided Design and Innovation Lab, Department of Mechanical Engineering, Stony Brook University（石溪大学机械工程系计算机辅助设计与创新实验室）
提出离散自回归变压器，将平面路径综合转化为条件序列建模，通过VAE潜在变量和机构类型令牌生成关节坐标，实现多样准确机构设计。
2026-06-17 cs.AI cs.LG
A Batch Normalized Inference Network Keeps the KL Vanishing Away
University of Florida（佛罗里达大学）；Tencent AI Lab（腾讯人工智能实验室）；AI Institute, Tongdun Technology（同盾科技人工智能研究院）
变分自编码器（Variational Autoencoder，VAE）是一种广泛使用的生成模型，通过结合摊销变分推理和深度神经网络来逼近模型对潜在变量的后验。然而，当与强自回归解码器配对时，VAE经常收敛到退化的局部最优，称为“后验崩溃”。以前的方法考虑每个数据点的Kullback Leibler散度（KL）个体。我们建议让KL在整个数据集上遵循一个分布，并分析说，通过保持KL分布的期望值为正，就足以防止后验崩溃。然后，我们提出了批量归一化-VAE（BN-VAE），一个简单而有效的方法来设置一个下限的期望，通过正则化的近似后验的参数的分布。在不引入任何新的模型成分或修改目标的情况下，我们的方法可以有效地避免后崩溃。我们进一步表明，建议的BN-VAE可以扩展到条件VAE（CVAE）。从经验上讲，我们的方法在语言建模，文本分类和对话生成方面超越了强大的自回归基线，并且可以与更复杂的方法竞争，同时保持与VAE几乎相同的训练时间。
2020-06-01 cs.CL cs.LG
Learning Generation Orders for Masked Discrete Diffusion Models via Variational Inference
University of Bristol（布里斯托尔大学）；Mistral AI
本文提出了一种基于变分推断的学习框架，用于优化掩码离散扩散模型的并行生成顺序，通过实验展示了其在生成效率与质量上的竞争力。
2026-02-27 cs.LG
DiffWave: A Versatile Diffusion Model for Audio Synthesis
UCSD（加州大学圣迭戈分校）；Baidu Research（百度研究院）；NVIDIA（英伟达）
在这项工作中，我们提出了DiffWave，一个通用的扩散概率模型的条件和无条件的波形生成。该模型是非自回归的，通过马尔可夫链将白噪声信号转换为结构化波形，合成时具有恒定的步数。它是通过优化数据似然的变分界限的变体来有效训练的。DiffWave在不同的波形生成任务中生成高保真音频，包括基于mel频谱图的神经声编码，类条件生成和无条件生成。我们证明了DiffWave在语音质量方面与强大的WaveNet声码器相匹配（MOS：4.44与4.43），同时合成速度更快。特别是，在具有挑战性的无条件生成任务中，它在音频质量和来自各种自动和人工评估的样本多样性方面明显优于自回归和基于GAN的波形模型。
2021-03-30 cs.CL cs.LG cs.SD
Improved Ground State Estimation in Quantum Field Theories via Normalising Flow-Assisted Neural Quantum States
Durham University（杜伦大学）
本研究提出归一化流辅助神经量子态的混合变分框架，解耦采样与变分拟设，在横场Ising模型中实现高精度基态估计，为高维希尔伯特空间量子态学习提供新方法。
2025-06-13 cs.LG hep-lat hep-ph
Variational Learning for Insertion-based Generation
University of Cambridge（剑桥大学）
提出插入过程（IP）模型，通过排列变分推断联合学习插入位置、内容和终止条件，支持变长生成并提升非自回归序列建模质量。
2026-06-12 cs.AI cs.LG
Evo: Autoregressive-Diffusion Large Language Models with Evolving Balance
University of Oxford（牛津大学）；National University of Singapore（新加坡国立大学）；Technical University of Munich（慕尼黑技术大学）；Carnegie Mellon University（卡内基梅隆大学）
Evo通过进化平衡机制，结合自回归和扩散模型，实现高效且高质量的语言生成。
2026-02-20 cs.AI cs.LG
Global Context with Discrete Diffusion in Vector Quantised Modelling for Image Generation
Nanyang Technological University（南洋理工大学）；Sensetime Research（商汤科技研究院）
本文提出 VQ-DDM，将 VQ-VAE 的离散视觉码本与离散扩散模型结合，以低复杂度生成具有全局上下文的高保真图像，并在图像修复中优于向量量化自回归方法。
2021-12-03 cs.CV cs.LG
Parallel Scan Recurrent Neural Quantum States for Scalable Variational Monte Carlo
Department of Physics；Astronomy, University of California, Davis, California 95616, USA；Astronomy, San Jos\'e State University, San Jos\'e, California 95192, USA；Department of Applied Mathematics, University of Waterloo, Waterloo, ON N2L 3G1, Canada；Vector Institute, Toronto, Ontario, M5G 0C6, Canada
本文提出并行扫描循环神经量子态，通过并行化递归结构实现高效变分蒙特卡洛计算，在一维和二维空间中实现大规模自旋晶格模拟。
2026-05-13 cond-mat.dis-nn cond-mat.str-el cs.LG
VTBench: Evaluating Visual Tokenizers for Autoregressive Image Generation
Rochester Institute of Technology（罗切斯特理工学院）；University of Rochester（罗切斯特大学）；Stevens Institute of Technology（史蒂文斯理工学院）
针对现有基准无法单独衡量视觉分词器性能的问题，研究团队推出VTBench综合基准，从多任务多场景系统评估视觉分词器，证实连续VAE表征优于离散VT，并探讨了GPT-4o的潜在自回归特性，已开源相关资源。
2026-10-05 cs.AI cs.CV cs.LG
