Latent-Autoregressive GP-VAE Language Model
Conservatoire National des Arts et Métiers（法国国家艺术与工艺 conservatoire）
该研究提出了一种基于高斯过程和变分自编码器的潜在自回归模型，通过概率几何支持语言模型的时间结构，而非显式神经运算。
2025-12-15 cs.LG
Geometry-aware Latent Autoregressive Generative Model for PDEs in Complex Domains
Stanford University（斯坦福大学）
本文针对复杂几何下PDE求解难题，提出GeoLAMP模型，通过双编码器、流匹配Transformer与灵活解码器实现稳定预测，构建多物理场基准数据集并取得最优性能。
2026-10-01 cs.AI cs.LG
Latent Block-Diffusion Temporal Point Processes: A Semi-Autoregressive Framework for Asynchronous Event Sequence Generation
Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；Department of Data Science, City University of Hong Kong（香港城市大学数据科学系）；Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）
提出潜在块扩散时间点过程（LBDTPP），通过潜在空间中的块级自回归和块内高斯扩散，实现可变长度、高质量的事件序列生成，理论证明可减少误差累积，实验优于现有方法。
2026-06-25 cs.LG stat.ML
A conditional latent autoregressive recurrent model for generation and forecasting of beam dynamics in particle accelerators
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
提出无监督深度学习框架CLARM，结合CVAE与LSTM学习加速器中带电粒子时空动力学，实现多模块束流相空间投影生成与未来状态预测。
2024-03-19 cs.CV cs.LG physics.acc-ph
Multi-scale Autoregressive Models are Laplacian, Discrete, and Latent Diffusion Models in Disguise
University of Cambridge（剑桥大学）
本文将多尺度自回归模型重新诠释为拉普拉斯、离散和潜在扩散模型，通过分析其设计选择揭示其效率与质量的权衡，并展示其在不同任务中的应用。
2026-02-16 cs.LG
Identifiable Autoregressive Variational Autoencoders for Nonlinear and Nonstationary Spatio-Temporal Blind Source Separation
Department of Mathematics and Statistics, University of Jyvaskyla, Finland（数学与统计学系，于韦斯屈埃理工大学，芬兰）；Department of Mathematics and Statistics, University of Helsinki, Finland（数学与统计学系，赫尔辛基大学，芬兰）
本文提出可识别的自回归变分自编码器，用于非线性和非平稳时空盲源分离，通过模拟研究验证其有效性。
2025-09-15 cs.LG stat.ME stat.ML
Latent Bayesian Optimization via Autoregressive Normalizing Flows
Department of Computer Science and Engineering, Korea University（韩国大学计算机科学与工程系）；School of Computing, KAIST（韩国科学技术院计算机科学学院）
针对潜在贝叶斯优化中的价值差异问题，提出基于归一化流的NF-BO方法，通过SeqFlow自回归流消除重构差距，并采用动态探索概率采样策略，在分子生成任务上显著优于现有方法。
2025-04-21 cs.AI cs.LG
Latent Normalizing Flows for Discrete Sequences
Harvard University（哈佛大学）
规范化流是连续随机变量的一类强大的生成模型，显示出强大的模型灵活性和非自回归生成的潜力。当对诸如文本的离散随机变量建模时，也期望这些益处，但是将归一化流直接应用于离散序列会带来显著的额外挑战。我们提出了一个基于VAE的生成模型，该模型联合学习潜在空间中基于流的归一化分布和到观察到的离散空间的随机映射。在这种情况下，我们发现，这是至关重要的基于流量的分布是高度多模态。为了捕捉这个属性，我们提出了几个规范化的流架构，以最大限度地提高模型的灵活性。实验考虑字符级语言建模和复调音乐生成的常见离散序列任务。我们的研究结果表明，一个自回归流为基础的模型可以匹配一个可比较的自回归基线的性能，和一个非自回归流为基础的模型可以提高生成速度与性能的惩罚。
2019-06-04 cs.CL cs.LG stat.ML
Improving Variational Inference with Inverse Autoregressive Flow
OpenAI；University of Amsterdam（阿姆斯特丹大学）；University of California Irvine（加利福尼亚大学尔湾分校）；Canadian Institute for Advanced Research（加拿大高等研究院）
规范化流的框架提供了一个通用的策略，灵活的变分推理的后验的潜在变量。我们提出了一种新的类型的归一化流，逆自回归流（IAF），与早期发表的流量，规模以及高维潜在空间。所提出的流程由一系列可逆变换组成，其中每个变换都基于自回归神经网络。在实验中，我们表明，IAF显着改善对角高斯近似后验。此外，我们证明了一种新型的变分自编码器，再加上IAF，是有竞争力的神经自回归模型在自然图像上获得的对数似然，同时允许显着更快的合成。
2017-01-30 cs.LG stat.ML
AR-Flow VAE: A Structured Autoregressive Flow Prior Variational Autoencoder for Unsupervised Blind Source Separation
Hong Kong Polytechnic University（香港理工大学）；Wuhan University of Technology（武汉理工大学）；The University of Hong Kong（香港大学）
本文提出AR-Flow VAE，通过自回归流先验提升潜变量建模灵活性，有效捕捉复杂非高斯行为和结构依赖，验证了其在盲源分离中的有效性。
2026-03-18 cs.LG stat.ML
Hyperspherical Latents Improve Continuous-Token Autoregressive Generation
DP Technology（DP技术公司）；Microsoft Research（微软研究院）
SphereAR通过超球面约束解决自回归生成中的方差崩溃问题，在ImageNet生成中达到新的SOTA，超越了扩散和掩码生成模型。
2026-03-05 cs.CV cs.LG
Closed-Loop Transformers: Autoregressive Modeling as Iterative Latent Equilibrium
University of Tartu（塔尔图大学）；S Holding OÜ（3S控股公司）
本文提出均衡变换器（EqT），通过迭代细化潜在表示实现自洽均衡，解决自回归模型中错误传播问题，提升长序列推理和多步规划能力。
2025-11-26 cs.CV cs.LG
Towards Latent Diffusion Suitable For Text
University of Amsterdam（阿姆斯特丹大学）
本文提出神经流扩散模型，用于高效生成文本，通过改进连续扩散模型在离散空间的应用，提升语言生成的连贯性和效率。
2026-01-07 cs.CL cs.LG stat.ML
PixelVAE: A Latent Variable Model for Natural Images
Department of Computer Science and Engineering, IIT Kanpur（印度理工学院坎普尔分校计算机科学与工程系）；Computer Vision Center & Universitat Autonoma de Barcelona（计算机视觉中心与巴塞罗那自治大学）；Politecnico di Milano（米兰理工大学）；CIFAR（加拿大高等研究院）
自然图像建模是无监督学习的一个重要挑战。变分自编码器（VAE）学习有用的潜在表示并很好地建模全局结构，但难以捕获小细节。PixelCNN模型细节非常好，但缺乏潜在代码，并且难以扩展以捕获大型结构。我们提出了PixelVAE，一个基于PixelCNN的自回归解码器的VAE模型。与PixelCNN相比，我们的模型需要很少的昂贵自回归层，并且学习比标准VAE更压缩的潜在代码，同时仍然捕获大多数非平凡结构。最后，我们将我们的模型扩展到不同尺度的潜变量层次结构。我们的模型在二值化MNIST上实现了最先进的性能，在64x64 ImageNet上实现了具有竞争力的性能，并在LSUN卧室数据集上实现了高质量的样本。
2016-11-15 cs.LG
LGDC: Latent Graph Diffusion via Spectrum-Preserving Coarsening
University College London（伦敦大学学院）；MediaTek Research（联发科研究）；University of Oxford（牛津大学）
LGDC通过结合自回归和扩散模型的优点，提出一种谱保持粗化的方法，实现高效图生成。
2025-12-01 cs.LG
Discrete Autoregressive Transformer for Generative Mechanism Synthesis
Computer-Aided Design and Innovation Lab, Department of Mechanical Engineering, Stony Brook University（石溪大学机械工程系计算机辅助设计与创新实验室）
提出离散自回归变压器，将平面路径综合转化为条件序列建模，通过VAE潜在变量和机构类型令牌生成关节坐标，实现多样准确机构设计。
2026-06-17 cs.AI cs.LG
Scalable Sparse Autoregressive Variational Inference for Non-Gaussian Spatial Fields
The Ohio State University（俄亥俄州立大学）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
本文针对非高斯空间场后验分布难以解析求解的问题，提出一种可扩展稀疏自回归变分推断框架，结合归一化流与双重随机优化，实现高效近似推断。
2026-10-12 cs.LG stat.CO stat.ME
CAFLOW: Conditional Autoregressive Flows
University of Cambridge（剑桥大学）
我们介绍CAFLOW，一个新的多样化的图像到图像的翻译模型，同时利用自回归建模的力量和建模效率的条件规范化流。我们使用多尺度归一化流程将条件图像转换为一系列潜在编码，并对条件图像重复该过程。我们通过使用高效的多尺度归一化流对自回归分布进行建模来对潜在编码的条件分布进行建模，其中每个调节因素在其各自的分辨率尺度上影响图像合成。我们提出的框架在一系列图像到图像的翻译任务上表现良好。它优于以前的设计条件流，因为它的表达自回归结构。
2021-06-04 cs.AI cs.CV cs.LG
Autoregressive Adversarial Post-Training for Real-Time Interactive Video Generation
ByteDance Seed（字节跳动 Seed）；The Chinese University of Hong Kong（香港中文大学）；ByteDance Intelligent Creation Lab（字节跳动智能创作实验室）
针对现有视频生成模型计算量大难适配实时交互场景的问题，提出自回归对抗后训练方法，将预训练潜空间扩散模型改造为高效自回归生成器，实现单卡/多卡H100上的高分辨率实时流式交互式视频生成。
2025-10-01 cs.AI cs.CV cs.LG
Flexible Language Modeling in Continuous Space with Transformer-based Autoregressive Flows
Apple（苹果公司）
本文提出TarFlowLM框架，将语言建模从离散token空间转向连续潜在空间，利用基于Transformer的自回归归一化流实现双向上下文建模、灵活分块生成和分层多遍生成，并在语言建模基准上验证了其灵活性和性能。
2025-07-01 cs.CL cs.LG
LaDiR: Latent Diffusion Enhances LLMs for Text Reasoning
University of California, San Diego（加州大学圣迭戈分校）；Apple（苹果公司）
LaDiR通过结合连续潜在表示的表达力与潜在扩散模型的迭代精炼能力，提升大语言模型在文本推理中的准确性、多样性和可解释性。
2026-04-23 cs.AI cs.CL cs.LG
Flash-Split: 2D Reflection Removal with Flash Cues and Latent Diffusion Separation
University of Maryland（马里兰大学）
本文提出Flash-Split框架，利用闪光/无闪光图像对在潜在空间中进行双阶段扩散分离与跨潜在解码，有效去除透明表面反射并恢复高分辨率细节，在真实场景中显著超越现有方法。
2024-12-31 cs.CV cs.LG
Reasoning with Latent Tokens in Diffusion Language Models
Carnegie Mellon University（卡内基梅隆大学）
本文提出通过引入潜在令牌提升扩散语言模型在需要全局一致性和前瞻性的推理任务中的性能。
2026-02-03 cs.LG
Stop-Think-AutoRegress: Language Modeling with Latent Diffusion Planning
Department of Computer Science, Cornell University（计算机科学系，康奈尔大学）
STAR-LDM通过引入思考阶段的潜在扩散规划，实现了更高效的全局规划和生成，显著提升了语言理解和叙事连贯性任务的表现。
2026-02-24 cs.CL cs.LG
PixelGAN Autoencoders
University of Toronto（多伦多大学）
在本文中，我们描述了“Pixel GAN autoencoder”，一种生成式自动编码器，其中生成路径是以潜在代码为条件的像素卷积自回归神经网络（PixelCNN），识别路径使用生成对抗网络（GAN）对潜在代码施加先验分布。我们发现，不同的先验导致不同的分解之间的信息的潜在代码和自回归解码器。例如，通过将高斯分布作为先验，我们可以实现全局与局部分解，或者通过将分类分布作为先验，我们可以以无监督的方式解开图像的风格和内容信息。我们进一步展示了具有分类先验的PixelGAN自动编码器如何直接用于半监督设置，并在MNIST，SVHN和NORB数据集上实现有竞争力的半监督分类结果。
2017-06-02 cs.LG
Multimodal Latent Language Modeling with Next-Token Diffusion
Microsoft Research（微软研究院）；Tsinghua University（清华大学）
针对多模态生成需统一处理离散与连续数据的问题，本研究提出LatentLM，结合VAE、下一词元扩散及σ-VAE，在图像生成、多模态大模型集成、语音合成等任务上实现更优性能与可扩展性。
2024-12-11 cs.CL cs.CV cs.LG
LDMol: A Text-to-Molecule Diffusion Model with Structurally Informative Latent Space Surpasses AR Models
本文提出文本到分子生成的潜在扩散模型 LDMol，通过对比学习构建结构信息潜在空间，在基准上超越自回归模型，并支持分子检索与编辑等下游任务。
2025-06-04 cs.AI cs.LG
On the Discrepancy between Density Estimation and Sequence Generation
New York University（纽约大学）；Google AI（谷歌人工智能）；Facebook AI Research（脸书人工智能研究院）
许多序列到序列生成任务，包括机器翻译和文本到语音，可以假定为在给定输入x的情况下估计输出y的密度：p（y| x）。考虑到这种解释，在测试集上使用条件对数似然来评估序列到序列模型是很自然的。然而，序列到序列生成（或结构化预测）的目标是在给定输入x的情况下找到最佳输出y *，并且每个任务具有其自己的下游度量R，其通过与一组参考y* 进行比较来对模型输出进行评分：|x）。虽然我们希望在密度估计方面表现出色的模型在下游指标上也表现良好，但尚未研究序列生成任务的确切相关性。在本文中，通过比较几个密度估计在五个机器翻译任务，我们发现，基于对数似然和BLEU的模型的排名之间的相关性变化显着取决于被比较的模型家族的范围。首先，当我们考虑同一家族中的模型（例如自回归模型或具有相同先验参数化的潜变量模型）时，对数似然与BLEU高度相关。然而，我们没有观察到不同家族的模型排名之间的相关性：（1）在非自回归潜变量模型中，灵活先验分布在密度估计方面更好，但产生质量比简单先验更差，以及（2）自回归模型总体上提供最好的转换性能，而具有归一化流先验的潜变量模型在所有数据集上给出了最高的保留对数似然。因此，我们建议使用一个简单的前隐变量非自回归模型时，需要快速生成速度。
2020-02-17 cs.LG stat.ML
Gravitational-wave parameter estimation with autoregressive neural network flows
Max Planck Institute for Gravitational Physics (Albert Einstein Institute)（马克斯·普朗克引力物理研究所（阿尔伯特·爱因斯坦研究所））；University of Edinburgh（爱丁堡大学）
我们介绍了使用自回归归一化流，通过深度神经网络从引力波数据中快速无似然地推断二元黑洞系统参数。规范化流是样本空间上的可逆映射，可以用于将简单概率分布转换为更复杂的概率分布：如果简单分布可以快速采样并评估其密度，那么复杂分布也可以。我们的第一个应用程序引力波使用的自回归流，探测器应变数据的条件下，映射到系统参数的后验分布的多元标准正态分布。我们在人工应变数据上训练模型，该数据由从具有固定功率谱密度的五参数$(m_1, m_2, ϕ_0, t_c, d_L)$先验和平稳高斯噪声实现中绘制的IMRPhenomPv2波形组成。这提供了与当前最好的深度学习方法相媲美的性能来估计引力波参数。然后，我们建立了一个更强大的潜变量模型，将自回归流变分自编码器框架内。该模型的性能与马尔可夫链蒙特卡罗法相当，特别是成功地模拟了多模态$ϕ_0$后验。最后，我们训练的自回归潜变量模型在一个扩展的参数空间，包括对齐的自旋$(χ_{1z}, χ_{2z})$和二元倾角$θ_{JN}$，并表明，所有的参数和退化恢复良好。在所有情况下，采样速度都非常快，只需不到两秒即可绘制$10^4$后验样本。
2020-02-18 astro-ph.IM cs.LG gr-qc
StrEBM: A Structured Latent Energy-Based Model for Blind Source Separation
PolyU（理工学院）
本文提出StrEBM，一种结构化潜在能量模型，用于源级结构化表示学习。通过盲源分离作为测试平台，验证了潜在维度向不同底层组件演化的有效性，并揭示了优化特性。
2026-04-19 cs.LG stat.ML
Limitations of Autoregressive Models and Their Alternatives
Johns Hopkins University（约翰斯·霍普金斯大学）；Facebook AI（脸书人工智能）；Carnegie Mellon University（卡内基梅隆大学）
标准自回归语言模型仅执行多项式时间计算以计算下一符号的概率。虽然这很有吸引力，但这意味着他们无法建模下一个符号概率难以计算的分布。事实上，他们甚至不能很好地对它们进行建模，以解决工程师可能想要咨询语言模型的相关简单决策问题。无论使用多少计算和数据来训练模型，这些限制都适用，除非模型可以访问在序列长度上超多项式增长的oracle参数。因此，简单地训练更大的自回归语言模型并不是NLP的灵丹妙药。替代方案包括基于能量的模型（放弃有效采样）和潜变量自回归模型（放弃给定字符串的有效评分）。两者都足够强大，可以摆脱上述限制。
2021-05-31 cs.CL cs.LG stat.ML
Can Latent Alignments Improve Autoregressive Machine Translation?
The Blavatnik School of Computer Science（布拉瓦特尼克计算机科学学院）；Tel Aviv University（特拉维夫大学）
潜在的对齐目标，如CTC和AXE显着改善非自回归机器翻译模型。他们也能改进自回归模型吗？我们探讨了训练具有潜在对齐目标的自回归机器翻译模型的可能性，并观察到，在实践中，这种方法会导致退化模型。我们为这些实证结果提供了一个理论解释，并证明潜在的对齐目标是不相容的教师强迫。
2021-04-19 cs.AI cs.CL cs.LG
Non-Autoregressive Machine Translation with Latent Alignments
Google Research（谷歌研究院）
本文提出了两种强有力的方法，CTC和输入，非自回归机器翻译模型潜在的对齐与动态规划。我们重新CTC的机器翻译，并证明了一个简单的CTC模型可以实现最先进的单步非自回归机器翻译，与以前的工作表明。此外，我们还将Imputer模型用于非自回归机器翻译，并证明了只有4个生成步骤的Imputer可以匹配自回归Transformer基线的性能。我们的潜在对齐模型比许多现有的非自回归翻译基线更简单;例如，我们不需要使用自回归模型进行目标长度预测或重新评分。在竞争性的WMT'14 En $\rightarrow$ De任务中，我们的CTC模型使用单个生成步骤实现了25.7 BLEU，而Imputer使用2个生成步骤实现了27.5 BLEU，使用4个生成步骤实现了28.0 BLEU。这与27.8 BLEU的自回归Transformer基线相比具有优势。
2020-11-16 cs.CL cs.LG
Latent-Variable Non-Autoregressive Neural Machine Translation with Deterministic Inference Using a Delta Posterior
The University of Tokyo（东京大学）；New York University（纽约大学）；Facebook AI Research（脸书人工智能研究院）
虽然神经机器翻译模型达到了高翻译质量，但自回归性质使得推理难以并行化，并导致高翻译延迟。受最近基于精化的方法的启发，我们提出了LaNMT，一个具有连续潜变量和确定性推理过程的潜变量非自回归模型。与现有的方法相比，我们使用一个确定性的推理算法来找到目标序列，最大限度地降低了对数概率。在推理过程中，翻译的长度会自动调整。我们的实验表明，通过运行推理算法，可以大大提高下限，从而显着提高翻译质量。我们提出的模型缩小了ASPEC Ja-En数据集上非自回归和自回归方法之间的性能差距，解码速度提高了8.6倍。在WMT'14 En-De数据集上，我们的模型将自回归基线的差距缩小到2.0个BLEU点，加速12.5倍。通过并行解码多个初始隐变量并使用教师模型重新评分，该模型进一步将WMT'14 En-De任务的差距缩小到1.0 BLEU点，加速比为6.8倍。
2019-11-21 cs.CL cs.LG
Stepwise-Refining Speech Separation Network via Fine-Grained Encoding in High-order Latent Domain
Harbin Institute of Technology at Shenzhen（深圳哈尔滨工业大学）；The Chinese University of Hong Kong at Shenzhen（香港中文大学（深圳））
单通道语音分离的关键是如何将混合信号编码到一个隐嵌入空间中，以使来自不同说话人的信号能够被精确分离。现有的语音分离方法要么将语音信号变换到频域进行分离，要么通过构造基于卷积滤波器的潜在域来学习可分离的嵌入空间。虽然后一种学习嵌入空间的方法实现了语音分离的实质性改进，但我们认为，仅由一个潜在域定义的嵌入空间不足以为语音分离提供完全可分离的编码空间。在本文中，我们提出了逐步细化语音分离网络（SRSSN），它遵循一个由粗到细的分离框架。它首先学习1阶潜在域来定义编码空间，从而在粗阶段执行粗分离。然后，建议SRSSN学习一个新的潜在域沿每个基函数的现有的潜在域，以获得一个高阶的潜在域在细化阶段，这使得我们的模型进行细化分离，以实现更精确的语音分离。我们通过进行广泛的实验来证明我们的SRSSN的有效性，包括在WSJ 0 -2/3 mix数据集上的干净（无噪声）设置中的语音分离以及在WHAM！/哇！数据集。此外，我们也利用我们的模型对分离后的语音信号进行语音识别实验，以间接评估语音分离的效能。
2022-01-31 cs.LG cs.SD eess.AS
Latent Memory Palace: Reasoning for Control as Autoregressive Variational Inference
University of Washington（华盛顿大学）；Toyota Research Institute（丰田研究院）
研究将语言模型的推理能力应用于连续控制策略的问题，提出潜在记忆宫殿（LMP）方法，通过自回归潜在空间组织信息进行变分推理，推导强化学习技术优化下限，该方法在模拟和现实领域表现良好，还产生高性能动作分词器，为控制的潜在推理提供新视角。
2026-07-10 cs.LG cs.RO
Shared Latent Space by Both Languages in Non-Autoregressive Neural Machine Translation
Handong Global University（韩东全球大学）
针对非自回归机器翻译的多模态问题及辅助后验模型缺陷，本文提出跨语言共享潜在空间的双重重构分层潜在变量方法，显著提升翻译质量。
2024-09-09 cs.CL cs.LG
Learning Vector Autoregressive Models with Latent Processes
Coordinated Science Laboratory, University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校协调科学实验室）；Department of ISE, University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校工业与系统工程系）；Department of ECE, University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校电气与计算机工程系）；Department of Philosophy, Carnegie Mellon University（卡内基梅隆大学哲学系）
研究了向量自回归（VAR）模型中，当过程的子集是潜在的时，从样本中学习过程间转移矩阵的支持度问题。众所周知，忽略潜在过程的影响可能会导致对观测过程之间影响的非常不同的估计，我们关心的是识别观测过程之间的影响，潜在过程之间的影响，以及从潜在过程到观测过程的影响。我们证明了在VAR模型上，在一定的条件下，可以成功地确定观测过程之间的转移矩阵的支持度和任意两个观测过程之间的所有潜在路径的长度.从潜在路径的长度，我们重建的潜在子图（代表的潜在过程之间的影响），唯一的最小数量的变量，如果它的拓扑结构是一个有向树。此外，我们提出了一个算法，找到所有可能的最小潜在图的潜在路径的长度在一定的条件下。我们的结果适用于非高斯和高斯的情况下，各种合成和真实世界的数据集上的实验结果验证了我们的理论结果。
2017-11-10 cs.LG stat.ML
PepALD: Macrocyclic Peptide Generation via Autoregressive Latent Diffusion
College of Computer Science, Sichuan University（四川大学计算机科学学院）；School of Mathematics, Sichuan University（四川大学数学学院）；School of Artificial Intelligence, Sichuan University（四川大学人工智能学院）；Lingang Laboratory（临港实验室）
提出PepALD模型，结合自回归潜在扩散与化学嵌入，实现从头设计大环肽，并利用偏好优化提升亲和力，在生成质量和奖励优化上优于基线。
2026-06-19 cs.LG q-bio.BM
Fast Decoding in Sequence Models using Discrete Latent Variables
Google Brain（谷歌大脑）
基于深度神经网络（如RNN、Wavenet和Transformer）的自回归序列模型在许多任务上获得了最先进的结果。然而，它们很难并行化，因此在处理长序列时很慢。RNN在训练和解码过程中都缺乏并行性，而WaveNet和Transformer等架构在训练过程中的并行性要高得多，但在解码过程中仍然按顺序操作。受[arxiv：1711.00937]的启发，我们提出了一种使用离散潜变量扩展序列模型的方法，使解码更具并行性。我们首先将目标序列自动编码为一个较短的离散潜变量序列，该序列在推理时自回归生成，最后并行地从这个较短的潜序列解码输出序列。为此，我们介绍了一种新的方法来构建一个序列的离散潜变量，并将其与以前介绍的方法进行比较。最后，我们在神经机器翻译的任务上对我们的模型进行端到端的评估，其中它在解码时比可比的自回归模型快一个数量级。虽然BLEU比纯自回归模型低，但我们的模型比以前提出的非自回归翻译模型获得了更高的分数。
2018-06-07 cs.LG
Fast Autoregressive Models for Continuous Latent Generation
Microsoft Research Asia（微软亚洲研究院）
针对自回归模型在连续图像生成中推理慢的问题，提出FAR框架，用轻量捷径头替代扩散头，实现少步采样，推理速度提升2.3倍，保持图像质量。
2025-04-24 cs.CV cs.LG
Multivariate Scientific Data Compression with Learned Cross-Variable Latent Decorrelation and Autoregressive Entropy Modeling
University of Florida（佛罗里达大学）
该研究提出CAESAR-LDAR压缩器，通过正交变换与自回归先验结合，在多元科学数据压缩中实现优异率失真性能，为多元科学压缩提供了实用设计原则。
2026-09-01 cs.LG
Bidirectional Autoregressive Latent Diffusion for Forward and Inverse Magnetohydrodynamics
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
提出双向自回归潜扩散方法预测磁流体动力学多场演化，利用双向流作为自监督一致性度量估计不确定性，并展示其作为非侵入式等离子体诊断的潜力。
2026-06-28 cs.LG nlin.AO physics.plasm-ph
Stabilizing autoregressive forecasts in chaotic systems via multi-rate latent recurrence
Department of Mechanical & Aerospace Engineering University of Tennessee, Knoxville（机械与航空航天工程系 田纳西大学）
通过多速率潜在递归方法，MSR-HINE在混沌系统中显著提升了长周期自回归预测的精度和稳定性。
2026-01-20 cs.LG
LaSAFT: Latent Source Attentive Frequency Transformation for Conditioned Source Separation
Korea University（高丽大学）；Korea National Open University（韩国国立开放大学）
最近的深度学习方法表明，频率变换（FT）模块可以通过捕获频率模式来显着改进基于频谱的单声源分离模型。本文的目标是扩展FT块，以适应多源任务。我们提出了潜在源注意频率变换（LaSAFT）块捕获源相关的频率模式。我们还提出了门控逐点卷积调制（GPoCM），逐点线性调制（FILM）的扩展，调制内部功能。通过采用这两种新的方法，我们扩展了条件U-Net（CUNet）的多声源分离，实验结果表明，我们的LaSAFT和GPoCM可以提高CUNet的性能，实现了最先进的SDR性能在几个MUSDB 18声源分离任务。
2021-04-14 cs.LG cs.SD eess.AS
LS-AR: Future-Predictive Latent Steering in Autoregressive LLMs
University College London（伦敦大学学院）
LS-AR通过双通道架构将连续目标引导与离散令牌解码解耦，在长程检索和规划任务中显著提升性能与效率，并增强对提示注入的防御。
2026-10-05 cs.LG
Latent-DARM: Bridging Discrete Diffusion And Autoregressive Models For Reasoning
EPFL（苏黎世联邦理工学院）；MBZUAI（马克斯·普朗克人工智能研究所）；ETH Zürich（苏黎世联邦理工学院）；Microsoft Research Asia（微软亚洲研究院）
Latent-DARM通过结合离散扩散模型与自回归模型，提升多智能体系统在推理任务中的表现和协作效率。
2026-03-10 cs.AI cs.LG
LAViG-FLOW: Latent Autoregressive Video Generation for Fluid Flow Simulations
LAViG-FLOW通过潜在自回归视频生成框架高效模拟流体流动，实现比传统方法快百倍的饱和度和压力场生成。
2026-02-16 cs.LG physics.flu-dyn
Learning Latent Protein Languages for Autoregressive Generation
University of Missouri（密苏里大学）；University of Southern California（南加州大学）
本文提出两种潜在蛋白质语言（PLL和SLL），通过自回归Transformer预训练，在序列生成、结构预测和骨架生成上显著优于氨基酸模型，并支持快速采样。
2026-10-06 cs.LG q-bio.BM
When Latent Geometry Is Not Enough: Draft-Conditioned Latent Refinement for Non-Autoregressive Text Generation
Technical Report v1, May 2026（技术报告v1，2026年5月）
本文提出通过草稿条件潜在细化模型提升非自回归文本生成效果，发现潜在几何本身不足以保证生成质量，需结合解码器可读性与结构保持。
2026-05-15 cs.CL cs.LG
What Should Embeddings Embed? Autoregressive Models Represent Latent Generating Distributions
Department of Computer Science（计算机科学系）；Princeton University（普林斯顿大学）；Stanford University（斯坦福大学）；Department of Linguistics and Wu Tsai Institute（语言学系和吴泰教授研究所）；Yale University（耶鲁大学）；Anthropic（Anthropic公司）；Departments of Psychology and Computer Science（心理学系和计算机科学系）
本文探讨了自回归模型中嵌入应代表的潜在生成分布，并通过实验证明了其在不同场景下的有效性。
2026-01-07 cs.AI cs.CL cs.LG
Unsupervised Source Separation via Bayesian Inference in the Latent Domain
Sapienza University of Rome（罗马第一大学）；Ca' Foscari University of Venice（威尼斯大学）；University of Lugano（卢加诺大学）
现有技术的音频声源分离模型依赖于受监督的数据驱动方法，这在标记资源方面可能是昂贵的。另一方面，在没有任何直接监督的情况下训练这些模型的方法通常在内存和时间要求方面要求很高，并且在推理时仍然不切实际。我们的目标是解决这些限制，提出一个简单而有效的无监督分离算法，它直接对时域信号的潜在表示。我们的算法依赖于预先训练的自回归网络形式的深度贝叶斯先验来模拟每个源的概率分布。我们利用离散潜在空间的低基数，用一个新的损失项对其进行训练，在不依赖近似策略的情况下执行精确的贝叶斯推理。我们在Slakh数据集arXiv：1909.08494上验证了我们的方法，证明了结果符合最先进的监督方法，同时相对于其他无监督方法需要更少的资源。
2022-03-30 cs.LG cs.SD eess.AS
Learning Neural Operators from Partial Observations via Latent Autoregressive Modeling
本文提出LANO模型，通过潜在自回归建模从部分观测中学习神经算子，有效降低误差并提升在现实应用中的性能。
2026-01-27 cs.AI cs.LG
Autoregressive Hidden Markov Models with partial knowledge on latent space applied to aero-engines prognostics
Department of Applied Mechanics（应用力学系）；Institut FEMTO-ST, UBFC/UFC/ENSMM/CNRS/UTBM（FEMTO-ST 研究所，UBFC/UFC/ENSMM/CNRS/UTBM）
[This论文最初发表在2016年的PHME会议上，被选为进一步发表在国际预后与健康管理杂志上。提出了一种基于传感器数据的设备故障检测与故障诊断的自回归部分隐马尔可夫模型（ARPHMM）。它是一种特殊的动态贝叶斯网络，允许通过隐马尔可夫模型（HMM）和自回归（AR）过程来表示系统的动态。马尔可夫链假设系统在内部状态之间来回切换，而AR过程确保传感器测量的时间相干性。基于极大似然的标准ARHMM的良好学习过程允许同时迭代地估计所有参数。本文提出了一种修改的学习过程，考虑到一个可能有先验知识的结构，成为部分隐藏。先验的整合是基于加权分布理论，该理论与期望最大化算法在收敛性质仍然满足的意义上兼容。我们将展示如何应用该模型来估计剩余的使用寿命的健康指标的基础上。自回归参数确实可以用于预测，而潜在结构可以用于获得有关退化水平的信息。CMAPSS数据集上证明了所提出的方法的性能和健康评估的兴趣。
2021-05-01 cs.LG stat.AP stat.ME
