Step-unrolled Denoising Autoencoders for Text Generation
DeepMind（深度思维）
在本文中，我们提出了一种新的文本生成模型，步进展开去噪自编码器（SUNDAE），它不依赖于自回归模型。与去噪扩散技术类似，SUNDAE重复应用于一系列令牌，从随机输入开始，每次改进，直到收敛。我们提出了一个简单的新的改进算子，收敛在更少的迭代比扩散方法，同时定性产生更好的样本自然语言数据集。SUNDAE在WMT'14英语到德语翻译任务上取得了最先进的结果（在非自回归方法中），在Colossal Cleaned Common Crawl数据集和GitHub的Python代码数据集上取得了良好的无条件语言建模定性结果。SUNDAE的非自回归性质通过在模板中填充任意空白模式，打开了从左到右提示生成之外的可能性。
2022-04-19 cs.CL cs.LG
Empirical Variational Autoencoder
The University of Tokyo（东京大学）
本文提出经验变分自编码器（EVA），通过经验学习自回归潜在先验替代标准高斯约束，缓解先验-后验分布差距，实现高保真序列生成，在图像和声音合成上达到与扩散模型相当的质量且推理更快。
2026-10-06 cs.LG
AR-Flow VAE: A Structured Autoregressive Flow Prior Variational Autoencoder for Unsupervised Blind Source Separation
Hong Kong Polytechnic University（香港理工大学）；Wuhan University of Technology（武汉理工大学）；The University of Hong Kong（香港大学）
本文提出AR-Flow VAE，通过自回归流先验提升潜变量建模灵活性，有效捕捉复杂非高斯行为和结构依赖，验证了其在盲源分离中的有效性。
2026-03-18 cs.LG stat.ML
DLM-Scope: Mechanistic Interpretability of Diffusion Language Models via Sparse Autoencoders
The University of Hong Kong（香港大学）；Tongyi Lab, Alibaba Group Inc（阿里云实验室）
DLM-Scope通过稀疏自编码器首次实现扩散语言模型的机制可解释性，展示了其在特征提取和干预中的有效性。
2026-02-05 cs.AI cs.CL cs.LG
Music2Latent2: Audio Compression with Summary Embeddings and Autoregressive Decoding
Queen Mary University London（伦敦玛丽女王大学）；Sony Computer Science Laboratories Paris（索尼计算机科学实验室巴黎分部）
提出Music2Latent2音频自编码器，利用一致性模型和摘要嵌入实现高压缩比与高保真度，并通过自回归解码处理任意长度音频，在质量和下游任务上优于现有方法。
2025-01-29 cs.AI cs.LG cs.SD
Learning deep autoregressive models for hierarchical data
Uppsala University（乌普萨拉大学）
我们提出了一个分层结构化数据模型作为随机时间卷积网络的扩展。该模型结合了自回归模型与分层变分自编码器和下采样，以实现卓越的计算复杂性。我们评估两种不同类型的序列数据：语音和手写文本的模型。结果是有希望的，所提出的模型实现国家的最先进的性能。
2021-07-01 cs.LG cs.SY eess.SY
Deterministic Non-Autoregressive Neural Sequence Modeling by Iterative Refinement
New York University（纽约大学）
提出了一种基于迭代精化的条件非自回归神经序列模型。该模型基于隐变量模型和去噪自编码器的原理设计，一般适用于任何序列生成任务。我们广泛评估了所提出的模型对机器翻译（En-De和En-Ro）和图像字幕生成，并观察到它显着加快解码，同时保持生成质量相媲美的自回归对应。
2018-08-27 cs.CL cs.LG stat.ML
NVAE: A Deep Hierarchical Variational Autoencoder
NVIDIA（英伟达）
规范化流、自回归模型、变分自编码器（VAE）和基于深度能量的模型是深度生成学习的竞争性基于可能性的框架。其中，VAE具有快速易处理的采样和易于访问的编码网络的优点。然而，它们目前的表现优于其他模型，如正常化流量和自回归模型。虽然大多数VAE的研究都集中在统计挑战上，但我们探索了仔细设计分层VAE神经架构的正交方向。我们提出了新的VAE（NVAE），一个深层次的VAE图像生成使用深度可分离卷积和批量归一化。NVAE配备有正态分布的残差参数化，并且其训练通过谱正则化来稳定。我们表明，NVAE在MNIST、CIFAR-10、CelebA 64和CelebA HQ数据集上的非自回归似然模型中取得了最先进的结果，并为FFHQ提供了强有力的基线。例如，在CIFAR-10上，NVAE将最先进的每维从2.98位提升到2.91位，并在CelebA HQ上生成高质量的图像。据我们所知，NVAE是第一个成功应用于最大为256 $\times$ 256像素的自然图像的VAE。源代码可在https://github.com/NVlabs/NVAE上获得。
2021-01-08 cs.CV cs.LG stat.ML
MADE: Masked Autoencoder for Distribution Estimation
Université de Sherbrooke（舍布鲁克大学）；Google DeepMind（谷歌DeepMind）；University of Edinburgh（爱丁堡大学）
最近，人们对设计神经网络模型来从一组示例中估计分布有很大的兴趣。我们介绍了一个简单的修改自动编码器神经网络，产生强大的生成模型。我们的方法屏蔽了自编码器的参数，以遵守自回归约束：每个输入仅根据给定顺序的先前输入进行重建。以这种方式约束，自动编码器输出可以被解释为一组条件概率及其乘积，即全联合概率。我们还可以训练单个网络，该网络可以将联合概率分解为多个不同的顺序。我们的简单框架可以应用于多种架构，包括深度架构。矢量化实现，例如在GPU上，简单而快速。实验表明，这种方法是有竞争力的国家的最先进的易处理的分布估计。在测试时，该方法明显比其他自回归估计更快，更好地扩展。
2015-06-05 cs.LG cs.NE stat.ML
Variational Lossy Autoencoder
UC Berkeley（加州大学伯克利分校）；OpenAI
表示学习试图在学习的表示中暴露观察到的数据的某些方面，这种表示可以用于分类等下游任务。例如，2D图像的良好表示可能是仅描述全局结构并丢弃有关详细纹理的信息的表示。在本文中，我们提出了一种简单但有原则的方法，通过将变分自编码器（VAE）与神经自回归模型（如RNN，MADE和PixelRNN/CNN）相结合来学习这种全局表示。我们提出的VAE模型允许我们控制全局潜在代码可以学习什么，并且通过相应地设计架构，我们可以迫使全局潜在代码丢弃不相关的信息，例如2D图像中的纹理，因此VAE仅以有损方式“自动编码”数据。此外，通过利用自回归模型作为先验分布$p(z)$和解码分布$p(x|z)$，我们可以大大提高VAE的生成建模性能，在MNIST，OMNIGLOT和Caltech-101 Silhouettes密度估计任务上实现新的最先进的结果。
2017-03-04 cs.LG stat.ML
AVTR-1: Open Stack for Real-Time Interactive Avatars
Avaturn Live
AVTR-1提出开源实时交互虚拟形象技术栈，含1.53亿参数流匹配运动生成器，实现同步音视频流，并引入R-DGG指标验证说话者语音对运动的预测贡献。
2026-09-22 cs.AI cs.CV cs.LG
Video Compression With Rate-Distortion Autoencoders
Qualcomm AI Research（高通人工智能研究院）
在本文中，我们提出了一个深度生成模型的有损视频压缩。我们采用的模型，包括一个3D的自编码器与离散的潜在空间和自回归先验用于熵编码。自动编码器和先验都被联合训练以最小化率失真损失，这与变分自动编码器中使用的ELBO密切相关。尽管它很简单，我们发现我们的方法优于最先进的学习视频压缩网络的基础上运动补偿或插值。我们系统地评估各种设计选择，如使用基于帧的或时空自编码器，以及自回归先验的类型。此外，我们提出了三个扩展的基本方法，证明了传统的方法压缩的好处。首先，我们引入语义压缩，其中模型被训练为将更多的比特分配给感兴趣的对象。其次，我们研究自适应压缩，其中模型适应于具有有限可变性的域，例如，从自动驾驶汽车拍摄的视频，以实现该领域的卓越压缩。最后，我们介绍了多模态压缩，在那里我们证明了我们的模型在联合压缩非标准成像传感器（如四摄像头）捕获的多种模态中的有效性。我们相信，这开辟了新的视频压缩应用，这是不可行的经典编解码器。
2019-11-13 cs.LG eess.IV stat.ML
Arch-VQ: Discrete Architecture Representation Learning with Autoregressive Priors
AI, Optimization and Pattern Recognition Research Group, Dept. of Mechanical Eng., University of Melbourne, Australia（墨尔本大学人工智能、优化与模式识别研究组）；School of Electronics and Computer Science, University of Southampton, UK（南安普顿大学电子与计算机科学学院）；KINDI Computing Research Center, College of Engineering, Qatar University, Doha, Qatar（卡塔尔大学工程学院KINDI计算研究中心）
本文提出Arch-VQ，通过向量量化变分自编码器和自回归Transformer模型，学习离散的神经架构表示，提升生成架构的有效性和唯一性，实验表明其在多个搜索空间中表现优于现有方法。
2026-03-18 cs.LG
Deep Generative Modelling: A Comparative Review of VAEs, GANs, Normalizing Flows, Energy-Based and Autoregressive Models
深度生成模型是一类训练深度神经网络以对训练样本的分布进行建模的技术。研究已经分裂成各种相互关联的方法，其中每一种方法都需要权衡包括运行时、多样性和架构限制。特别是，本概要涵盖了基于能量的模型，变分自编码器，生成对抗网络，自回归模型，规范化流，以及许多混合方法。这些技术进行了比较和对比，解释了每个背后的前提以及它们是如何相互关联的，同时回顾了当前最先进的进展和实现。
2022-03-28 cs.CV cs.LG stat.ML
Autoregressive latent diffusion for 3D molecule generation
研究3D分子生成问题，提出KRONOS潜自回归扩散框架，联合建模分子图拓扑和几何，引入混合训练策略。实验表明其在自回归方法中无条件生成性能领先，与扩散模型竞争，单一架构可支持两种生成范式。
2026-10-05 cs.LG
Deep AutoRegressive Networks
Google DeepMind（谷歌DeepMind）
我们引入了一个深度的，生成式的自动编码器，能够从数据中学习分布式表示的层次结构。连续的深随机隐藏层配备有自回归连接，这使得模型能够通过祖先采样快速准确地采样。我们推导出一个有效的近似参数估计方法的基础上的最小描述长度（MDL）的原则，这可以被看作是最大化的变分下界的对数似然，与前馈神经网络实现近似推理。我们在一些经典数据集上展示了最先进的生成性能：几个UCI数据集，MNIST和Atari 2600游戏。
2014-05-20 cs.LG stat.ML
A domain decomposition-based autoregressive deep learning model for unsteady and nonlinear partial differential equations
Ansys, Inc.（安sys公司）
提出 transient-CoMLSim 区域分解深度学习框架，结合 CNN 自编码器、潜空间自回归与课程学习，提升非稳态非线性 PDE 预测的精度、外推性和稳定性。
2025-02-20 cs.LG physics.flu-dyn
Parallelizing Autoregressive Generation with Variational State Space Models
Montefiore Institute, University of Liège（列日大学蒙泰菲奥雷研究所）
针对自回归序列模型无法并行生成的问题，提出编码器和解码器均为状态空间模型的变分自编码器VSSM，实现训练与生成全并行，且自回归变体仍支持并行生成，在速度和生成质量上表现优异。
2024-07-11 cs.LG stat.ML
Attention Based Molecule Generation via Hierarchical Variational Autoencoder
本文提出一种分层结合循环神经网络与卷积网络的变分自编码器方法，用于从SMILES字符串生成分子，在保持长程依赖的同时将已知分子重建有效率提升至约95%，并取得平均0.6的Tanimoto相似度，优于此前类似方法。
2024-01-18 cs.LG q-bio.BM
LAViG-FLOW: Latent Autoregressive Video Generation for Fluid Flow Simulations
LAViG-FLOW通过潜在自回归视频生成框架高效模拟流体流动，实现比传统方法快百倍的饱和度和压力场生成。
2026-02-16 cs.LG physics.flu-dyn
Incorporating Reinforced Adversarial Learning in Autoregressive Image Generation
Institute for Infocomm Research, A*STAR（新加坡科技研究局信息通信研究院）；Adobe Research（Adobe研究院）
自回归模型最近在矢量量化变分自编码器（VQ-VAE）的帮助下取得了与最先进的生成对抗网络（GANs）相当的结果。然而，自回归模型有几个局限性，如曝光偏差，其训练目标不能保证视觉保真度。为了解决这些限制，我们建议使用基于策略梯度优化的自回归模型的强化对抗学习（RAL）。通过应用RAL，我们可以实现类似的培训和测试过程，以解决暴露偏倚问题。此外，视觉保真度得到了进一步优化，对抗性损失受到其强大对手的启发：GANs。由于自回归模型的采样速度慢，我们建议使用部分生成来加快训练速度。RAL还支持VQ-VAE框架不同模块之间的协作。据我们所知，所提出的方法是第一个在自回归模型中实现对抗学习以生成图像的方法。在合成数据集和真实世界数据集上的实验表明，MLE训练的模型有所改进。所提出的方法改进了负对数似然（NLL）和Fréchet起始距离（FID），这表明在视觉质量和多样性方面的改进。所提出的方法实现了国家的最先进的结果Celeba为64 $\times$ 64图像分辨率，显示大规模图像生成的承诺。
2020-07-20 cs.CV cs.LG eess.IV
HART: Efficient Visual Generation with Hybrid Autoregressive Transformer
MIT（麻省理工学院）；NVIDIA（英伟达公司）；Tsinghua University（清华大学）
HART提出混合自回归Transformer和混合分词器，结合离散与连续token直接生成1024px图像，在质量超越扩散模型的同时大幅提升效率并降低计算成本。
2024-10-14 cs.AI cs.CV cs.LG
Latent Autoregressive Source Separation
Sapienza University of Rome（罗马第一大学）；Ca’ Foscari University of Venice（威尼斯大学）
自回归模型在发电质量和下游任务性能方面在广泛的领域取得了令人印象深刻的结果。在连续域中，这种成功背后的关键因素是量化潜在空间的使用（例如，通过VQ-VAE自动编码器获得），这允许降维和更快的推理时间。然而，使用现有的预训练模型来执行新的非平凡任务是困难的，因为它需要额外的微调或广泛的训练来引发提示。本文介绍了LASS作为执行矢量量化潜在自回归声源分离（即，将输入信号去混合成其组成源），而不需要对现有模型进行附加的基于梯度的优化或修改。我们的分离方法依赖于贝叶斯公式，其中自回归模型是先验的，通过对加数令牌的潜在和进行频率计数来构建离散（非参数）似然函数。我们使用多种采样策略（例如，祖先的、束搜索）在分离质量方面显示出与现有方法竞争的结果，同时在推理时间和对更高维数据的可扩展性方面提供显著的加速。
2023-01-09 cs.LG cs.SD eess.AS
A conditional latent autoregressive recurrent model for generation and forecasting of beam dynamics in particle accelerators
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
提出无监督深度学习框架CLARM，结合CVAE与LSTM学习加速器中带电粒子时空动力学，实现多模块束流相空间投影生成与未来状态预测。
2024-03-19 cs.CV cs.LG physics.acc-ph
Latent Behavior Diffusion for Sequential Reaction Generation in Dyadic Setting
Chonnam National University（全南国立大学）
本文提出Latent Behavior Diffusion Model，通过上下文感知自编码器与潜在空间扩散条件生成器，非自回归地合成贴合说话者行为、多样且逼真的双人面部反应。
2025-05-12 cs.AI cs.LG
Time-varying Factor Augmented Vector Autoregression with Grouped Sparse Autoencoder
University College London（伦敦大学学院）；AI Centre, Department of Computer Science, University College London（伦敦大学学院计算机科学系人工智能中心）
针对线性FAVAR模型的局限性，提出采用Spike-and-Slab Lasso先验的分组稀疏自编码器实现半可识别性与可解释性，并结合时变参数VAR以捕捉经济动态，在美国经济预测和脉冲响应分析中表现优越。
2025-03-06 cs.LG stat.ML
MAGE: Multi-scale Autoregressive Generation for Offline Reinforcement Learning
Xiamen University（厦门大学）；Hong Kong University of Science and Technology（香港科技大学）；National University of Defense Technology（国防科技大学）；Jimei University（集美大学）
MAGE通过多尺度自回归生成方法，有效解决离线强化学习中长horizon稀疏奖励任务的轨迹生成问题。
2026-02-27 cs.LG
Architect of the Bits World: Masked Autoregressive Modeling for Circuit Generation Guided by Truth Table
The Chinese University of Hong Kong（香港中文大学）；Shanghai Artificial Intelligent Laboratory（上海人工智能实验室）；Noah’s Ark Lab, Huawei（华为诺亚实验室）
本文提出CircuitVQ分词器与CircuitAR掩码自回归模型，结合可微架构搜索从真值表生成电路，解决了传统逻辑综合的次优问题和DAS的计算与优化难题。
2025-07-18 cs.LG
Beyond Reconstruction Error: Analytical and Data-Driven Action Tokenization for Autoregressive Vision-Language-Action Models
Southwest University（西南大学）；Zhejiang University（浙江大学）；Tianfu Securities Co., Ltd.（天府证券股份有限公司）
本研究针对自回归视觉-语言-动作模型，通过对比分析式与数据驱动式动作分词化方法，发现重建误差无法可靠选择动作表示，提出需联合评估几何保真度、序列可预测性、解码器稳定性与闭环性能。
2026-09-23 cs.LG cs.RO
PhyloVAE: Unsupervised Learning of Phylogenetic Trees via Variational Autoencoders
School of Mathematical Sciences, Peking University（北京大学数学科学学院）；Center for Statistical Science, Peking University（北京大学统计科学中心）；Computational Biology Program, Fred Hutchinson Cancer Research Center（弗雷德·哈钦森癌症研究中心计算生物学项目）；Howard Hughes Medical Institute（霍华德·休斯医学研究所）
本文提出无监督框架PhyloVAE，结合自回归编码与潜变量生成模型，实现系统发育树拓扑的高分辨率表示学习和快速生成。
2025-02-07 cs.LG q-bio.PE stat.ML
A real-time anomaly detection method for robots based on a flexible and sparse latent space
Department of Computer Science, Hanyang University（韩雅大学计算机科学系）；Korea Institute of Science and Technology (KIST)（韩国科学技术院）
本文提出一种基于稀疏掩码自回归流对抗自编码器的机器人实时异常检测方法，通过灵活潜空间和稀疏特征聚焦，在拾放和碰撞场景中显著提升检测精度，并实现毫秒级推理。
2025-06-22 cs.LG cs.RO
Gravitational-wave parameter estimation with autoregressive neural network flows
Max Planck Institute for Gravitational Physics (Albert Einstein Institute)（马克斯·普朗克引力物理研究所（阿尔伯特·爱因斯坦研究所））；University of Edinburgh（爱丁堡大学）
我们介绍了使用自回归归一化流，通过深度神经网络从引力波数据中快速无似然地推断二元黑洞系统参数。规范化流是样本空间上的可逆映射，可以用于将简单概率分布转换为更复杂的概率分布：如果简单分布可以快速采样并评估其密度，那么复杂分布也可以。我们的第一个应用程序引力波使用的自回归流，探测器应变数据的条件下，映射到系统参数的后验分布的多元标准正态分布。我们在人工应变数据上训练模型，该数据由从具有固定功率谱密度的五参数$(m_1, m_2, ϕ_0, t_c, d_L)$先验和平稳高斯噪声实现中绘制的IMRPhenomPv2波形组成。这提供了与当前最好的深度学习方法相媲美的性能来估计引力波参数。然后，我们建立了一个更强大的潜变量模型，将自回归流变分自编码器框架内。该模型的性能与马尔可夫链蒙特卡罗法相当，特别是成功地模拟了多模态$ϕ_0$后验。最后，我们训练的自回归潜变量模型在一个扩展的参数空间，包括对齐的自旋$(χ_{1z}, χ_{2z})$和二元倾角$θ_{JN}$，并表明，所有的参数和退化恢复良好。在所有情况下，采样速度都非常快，只需不到两秒即可绘制$10^4$后验样本。
2020-02-18 astro-ph.IM cs.LG gr-qc
Circuit Tracing in Autoregressive Protein Language Models
Stanford University（斯坦福大学）
提出ProGenMech框架，通过跨层稀疏编码器忠实恢复ProGen3的生成计算，并零样本发现与蛋白质生成和适应性预测相关的稀疏电路，揭示生物意义基序。
2026-06-16 cs.LG q-bio.QM
A Pre-trained Variational Autoencoder for Gyrokinetic Plasma Turbulence Surrogate Modeling
Oak Ridge National Laboratory（橡树岭国家实验室）；Grand Valley State University（大峡谷州立大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出PreVAE-Turb，利用预训练VAE与ConvLSTM构建湍流代理模型，通过谱损失微调并验证于陀动动力学湍流，实现高效加速模拟。
2026-10-01 cs.LG physics.plasm-ph
The challenge of realistic music generation: modelling raw audio at scale
DeepMind（深度思维）
现实的音乐生成是一项具有挑战性的任务。当构建从数据中学习的音乐生成模型时，通常使用诸如乐谱或乐谱之类的高级表示来抽象特定表演的特质。但这些细微差别对于我们对音乐性和现实主义的感知非常重要，因此在这项工作中，我们开始在原始音频领域对音乐进行建模。已经表明，自回归模型擅长生成语音的原始音频波形，但当应用于音乐时，我们发现它们偏向于捕获本地信号结构，而牺牲了对远程相关性的建模。这是有问题的，因为音乐在许多不同的时间尺度上表现出结构。在这项工作中，我们探索自回归离散自编码器（ADA）作为一种手段，使自回归模型捕捉波形中的长程相关性。我们发现，它们允许我们无条件地直接在原始音频域中生成钢琴音乐，这在几十秒内显示出风格的一致性。
2018-06-26 cs.LG cs.SD eess.AS
Megapixel Image Generation with Step-Unrolled Denoising Autoencoders
Durham University（杜伦大学）
生成建模研究的一个持续趋势是提高样本分辨率，同时降低训练和采样的计算要求。我们的目标是通过技术组合进一步推动这一趋势-每个组件都代表了各自领域当前效率的顶峰。其中包括矢量量化GAN（VQ-GAN），一种能够进行高级别有损压缩（但在感知上无关紧要）的矢量量化（VQ）模型;沙漏Transformers，一种高度可扩展的自注意力模型;以及步进展开去噪自动编码器（SUNDAE），一种非自回归（NAR）文本生成模型。出乎意料的是，我们的方法突出了沙漏Transformers的原始配方时，应用到多维数据的弱点。有鉴于此，我们提出了修改的rescovery机制，适用于任何任务应用层次Transformers的多维数据。此外，我们证明了SUNDAE的可扩展性长序列长度-比以前的工作长四倍。我们提出的框架可扩展到高分辨率（$1024 \times 1024$）和快速训练（2-4天）。至关重要的是，经过训练的模型在消费级GPU（GTX 1080Ti）上大约2秒内生成多样化和逼真的百万像素样本。总的来说，该框架是灵活的：支持任意数量的采样步骤，样本自停止，自校正功能，条件生成，以及允许任意修复掩模的NAR公式。我们在FFHQ 256上获得了10.56的FID分数-在不到一半的采样步骤中接近原始VQ-GAN-在FFHQ 1024上仅用了100个采样步骤就获得了21.85。
2022-06-24 cs.CV cs.LG
Symbolic Music Generation with Diffusion Models
University of California, Berkeley（加州大学伯克利分校）；Google Brain（谷歌大脑）
基于得分的生成模型和扩散概率模型已经成功地在诸如图像和音频的连续域中生成高质量样本。然而，由于它们的Langevin启发的采样机制，它们对离散和连续数据的应用受到限制。在这项工作中，我们提出了一种技术，用于训练扩散模型的连续数据参数化的离散域中的一个预先训练的变分自编码器的潜在空间。我们的方法是非自回归的，并通过反向过程学习生成潜在嵌入序列，并提供具有恒定数量的迭代细化步骤的并行生成。我们应用这种技术来模拟符号音乐，并表现出强大的无条件生成和事后条件填充结果相比，自回归语言模型在相同的连续嵌入操作。
2021-11-25 cs.LG cs.SD eess.AS
Classification Accuracy Score for Conditional Generative Models
DeepMind（深度思维）
图像的深度生成模型（DGMs）现在已经足够成熟，它们可以生成近乎真实感的样本，并获得类似于Frechet Inception Distance（FID）等几何学数据分布的分数。这些结果，特别是在ImageNet这样的大规模数据集上，表明DGM正在感知有意义的空间中学习数据分布，并可用于下游任务。为了测试后一个假设，我们使用来自许多模型类的类条件生成模型-变分自编码器，自回归模型和生成对抗网络（GANs）-来推断真实数据的类标签。我们通过仅使用合成数据训练图像分类器并使用分类器来预测真实数据上的标签来执行此推断。这项任务的性能，我们称之为分类准确度得分（CAS），揭示了一些传统指标无法识别的令人惊讶的结果，并构成了我们的贡献。首先，当使用最先进的GAN（BigGAN-deep）时，与原始数据相比，Top-1和Top-5的准确度分别下降了27.9%和41.6%;来自其他模型类的条件生成模型，如矢量量化变分自编码器（VQ-VAE-2）和分层自回归模型（HAM），在此基准测试中的表现大大优于GANs。其次，CAS自动表面生成模型未能捕获数据分布的特定类，并且以前在文献中是未知的。第三，我们发现传统的GAN指标，如初始得分（IS）和FID既不能预测CAS，也不能用于评估非GAN模型。此外，为了便于更好地诊断生成模型，我们开源了所提出的度量。
2019-10-28 cs.LG stat.ML
LaDiR: Latent Diffusion Enhances LLMs for Text Reasoning
University of California, San Diego（加州大学圣迭戈分校）；Apple（苹果公司）
LaDiR通过结合连续潜在表示的表达力与潜在扩散模型的迭代精炼能力，提升大语言模型在文本推理中的准确性、多样性和可解释性。
2026-04-23 cs.AI cs.CL cs.LG
Global Context with Discrete Diffusion in Vector Quantised Modelling for Image Generation
Nanyang Technological University（南洋理工大学）；Sensetime Research（商汤科技研究院）
本文提出 VQ-DDM，将 VQ-VAE 的离散视觉码本与离散扩散模型结合，以低复杂度生成具有全局上下文的高保真图像，并在图像修复中优于向量量化自回归方法。
2021-12-03 cs.CV cs.LG
A Batch Normalized Inference Network Keeps the KL Vanishing Away
University of Florida（佛罗里达大学）；Tencent AI Lab（腾讯人工智能实验室）；AI Institute, Tongdun Technology（同盾科技人工智能研究院）
变分自编码器（Variational Autoencoder，VAE）是一种广泛使用的生成模型，通过结合摊销变分推理和深度神经网络来逼近模型对潜在变量的后验。然而，当与强自回归解码器配对时，VAE经常收敛到退化的局部最优，称为“后验崩溃”。以前的方法考虑每个数据点的Kullback Leibler散度（KL）个体。我们建议让KL在整个数据集上遵循一个分布，并分析说，通过保持KL分布的期望值为正，就足以防止后验崩溃。然后，我们提出了批量归一化-VAE（BN-VAE），一个简单而有效的方法来设置一个下限的期望，通过正则化的近似后验的参数的分布。在不引入任何新的模型成分或修改目标的情况下，我们的方法可以有效地避免后崩溃。我们进一步表明，建议的BN-VAE可以扩展到条件VAE（CVAE）。从经验上讲，我们的方法在语言建模，文本分类和对话生成方面超越了强大的自回归基线，并且可以与更复杂的方法竞争，同时保持与VAE几乎相同的训练时间。
2020-06-01 cs.CL cs.LG
