Bayesian Volumetric Autoregressive generative models for better semisupervised learning
Institute of Neurology, UCL（伦敦大学学院神经病学研究所）；School of Biomedical Engineering and Imaging Sciences, Kings College London（伦敦国王学院生物医学工程与成像科学学院）
深度生成模型在医学成像中迅速获得牵引力。尽管如此，大多数生成架构都难以捕获体积数据的潜在概率分布，存在收敛问题，并且没有提供模型不确定性的鲁棒指数。相比之下，自回归生成模型PixelCNN可以相对容易地扩展到体积数据，它很容易尝试学习真实的潜在概率分布，并且仍然允许贝叶斯重构，为模型不确定性的推理提供了原则性框架。我们在本文中的贡献有两个方面：首先，我们扩展了PixelCNN，使其能够处理体积脑磁共振成像数据。其次，我们表明，重新制定这个模型，以近似深高斯过程产生的不确定性的措施，提高性能的半监督学习，特别是分类性能的设置中的标记数据的比例是低的。我们在分类、回归和语义分割任务中量化了这种改进，并对包括T1加权和扩散加权序列的临床磁共振脑成像数据进行了训练和测试。
2019-07-26 cs.CV cs.LG eess.IV
Probabilistic Wildfire Spread Prediction Using an Autoregressive Conditional Generative Adversarial Network
Ajou University（亚洲大学）
本文提出基于自回归条件生成对抗网络的野火传播预测方法，通过对抗学习提升预测准确性和物理可解释性，以应对野火的复杂非线性动态。
2025-11-26 cs.AI cs.CE cs.CV
SPATE-GAN: Improved Generative Modeling of Dynamic Spatio-Temporal Patterns with an Autoregressive Embedding Loss
University of Warwick（华威大学）；New York University（纽约大学）；London School of Economics（伦敦政治经济学院）；ETH Zurich（苏黎世联邦理工学院）
从生态学到大气科学，许多学科都处理具有复杂时空复杂性的数据，其建模通常需要专门的方法。这些数据的生成模型特别令人感兴趣，因为它们能够实现一系列有影响力的下游应用，如模拟或创建合成训练数据。最近的工作突出了生成对抗网络（GANs）用于生成时空数据的潜力。受因果最优传输理论的启发，提出了一种新的GAN算法COT-GAN.然而，学习更复杂的时空模式的任务需要额外的知识，其特定的数据结构。在这项研究中，我们提出了一种新的损失目标结合COT-GAN基于自回归嵌入，以加强时空动态的学习。我们设计了SPATE（时空关联），一个新的度量测量时空自相关性，通过使用偏离其期望值的观测。我们计算真实和合成数据样本的SPATE，并使用它来计算考虑时空相互作用的嵌入损失，推动GAN学习忠实于观察到的动态的输出。我们测试这个新的目标上的一组复杂的时空模式：湍流，对数高斯考克斯过程和全球天气数据。我们表明，我们的新型嵌入损失在不改变COT-GAN骨干网架构的情况下提高了性能，突出了我们的模型捕获自回归结构的能力。我们还将我们的工作与物理学深度学习的最新进展以及将神经网络与地理和地球物理科学联系起来的跨学科工作联系起来。
2021-09-30 cs.CV cs.LG
JetFormer: An Autoregressive Generative Model of Raw Images and Text
Google DeepMind（谷歌DeepMind）
本研究提出无需独立预训练组件的自回归多模态模型JetFormer，通过联合训练归一化流与Transformer实现图像文本的理解与生成，在图像生成质量与理解能力上表现优异，是首个兼具高保真图像生成与强对数似然界的模型。
2025-05-19 cs.AI cs.CV cs.LG
Latent Normalizing Flows for Discrete Sequences
Harvard University（哈佛大学）
规范化流是连续随机变量的一类强大的生成模型，显示出强大的模型灵活性和非自回归生成的潜力。当对诸如文本的离散随机变量建模时，也期望这些益处，但是将归一化流直接应用于离散序列会带来显著的额外挑战。我们提出了一个基于VAE的生成模型，该模型联合学习潜在空间中基于流的归一化分布和到观察到的离散空间的随机映射。在这种情况下，我们发现，这是至关重要的基于流量的分布是高度多模态。为了捕捉这个属性，我们提出了几个规范化的流架构，以最大限度地提高模型的灵活性。实验考虑字符级语言建模和复调音乐生成的常见离散序列任务。我们的研究结果表明，一个自回归流为基础的模型可以匹配一个可比较的自回归基线的性能，和一个非自回归流为基础的模型可以提高生成速度与性能的惩罚。
2019-06-04 cs.CL cs.LG stat.ML
Radioactive Watermarks in Diffusion and Autoregressive Image Generative Models
CISPA Helmholtz Center for Information Security（CISPA 欧洲信息安全中心）；Warsaw University of Technology（华沙技术大学）；NASK-National Research Institute（国家研究机构）
针对扩散模型水印易在训练中丢失且自回归模型缺乏放射性水印的问题，借鉴大语言模型技术提出首个专为图像自回归模型设计的放射性水印方法，有效实现来源追踪并防止未授权使用。
2025-06-30 cs.CV cs.LG
HGAN: Hybrid Generative Adversarial Network
West Virginia University（西弗吉尼亚大学）
在本文中，我们提出了一种简单的方法来训练生成对抗网络（GANs），以避免\textit {模式坍塌}问题。与在易处理的数据可能性上训练的显式模型相比，GANs等隐式模型往往会生成更好的样本。然而，GANs忽略了显式的数据密度特性，这导致了不期望的定量评估和模式坍塌。为了弥合这一差距，我们提出了一种混合生成对抗网络（HGAN），我们可以通过自回归模型来执行数据密度估计，并以联合训练的方式支持对抗和似然框架，从而使估计的密度多样化，以覆盖不同的模式。我们建议使用对抗网络将\textit {将知识}从自回归模型（教师）转移到GAN模型的生成器（学生）。除了简单的GAN训练方法之外，还开发了GAN公式中的一种新的深度架构来对抗地提取自回归模型信息。我们对真实世界的数据集进行了广泛的实验（即，MNIST，CIFAR-10，STL-10），以证明所提出的HGAN在定性和定量评价下的有效性。实验结果表明，我们的方法相比基线的优越性和竞争力。
2021-02-07 cs.CV cs.LG
Semi-Autoregressive Energy Flows: Exploring Likelihood-Free Training of Normalizing Flows
Cornell University（康奈尔大学）；Carnegie-Mellon University（卡内基梅隆大学）；Tsinghua University（清华大学）；Cornell Tech（康奈尔理工学院）
本文提出无需计算雅可比行列式的能量目标，用于训练归一化流，并引入半自回归能量流模型，在样本质量、推断和速度上媲美似然流，质疑了最大似然的必要性。
2023-06-22 cs.LG stat.ML
Discrete Autoregressive Transformer for Generative Mechanism Synthesis
Computer-Aided Design and Innovation Lab, Department of Mechanical Engineering, Stony Brook University（石溪大学机械工程系计算机辅助设计与创新实验室）
提出离散自回归变压器，将平面路径综合转化为条件序列建模，通过VAE潜在变量和机构类型令牌生成关节坐标，实现多样准确机构设计。
2026-06-17 cs.AI cs.LG
Probabilistic Prediction of Neural Dynamics via Autoregressive Flow Matching
Department of Machine Learning and Neural Computing, Donders Institute for Brain, Cognition and Behaviour, Radboud University, Nijmegen, the Netherlands（荷兰奈梅亨拉德堡德大学唐德斯脑、认知与行为研究所机器学习和神经计算系）；Department of Cognitive Neuroscience, Maastricht University, Maastricht, the Netherlands（荷兰马斯特里赫特大学认知神经科学系）；Maastricht Brain Imaging Center, Maastricht University, Maastricht, the Netherlands（荷兰马斯特里赫特大学马斯特里赫特脑成像中心）
本文提出基于自回归流匹配的生成预测框架，用于建模神经动态，通过多模态感觉输入预测短期血氧水平依赖(BOLD)活动，展示出改进的泛化能力和广泛皮层预测性能。
2026-04-13 cs.LG q-bio.NC
Haar Wavelet based Block Autoregressive Flows for Trajectories
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Bosch Center for Artificial Intelligence（博世人工智能中心）；CISPA Helmholtz Center for Information Security（亥姆霍兹信息安全中心）
预测的轨迹，如行人是至关重要的自主智能体的性能。虽然以前的工作已经利用条件生成模型（如GANs和VAE）来学习可能的未来轨迹，但准确地建模这些多模态分布的依赖结构，特别是在长时间范围内仍然具有挑战性。基于生成模型的规范化流可以对允许精确推理的复杂分布进行建模。这些包括具有分裂耦合可逆变换的变体，与自回归对应物相比，这些变体更容易并行化。为此，我们引入了一种新的基于Haar小波的块自回归模型，利用分裂耦合，条件是从基于Haar小波的变换在不同级别的粒度获得的粗轨迹。这产生了一个精确的推理方法，模型的轨迹在不同的时空分辨率在一个层次的方式。我们说明了我们的方法在两个真实世界的数据集-斯坦福无人机和交叉无人机上生成多样化和准确的轨迹的优势。
2020-09-21 cs.CV cs.LG
Probabilistic Forecasting via Autoregressive Flow Matching
Department of Machine Learning and Neural Computing, Donders Institute for Brain, Cognition and Behaviour（机器学习与神经计算系，大脑、认知与行为研究所）
本文提出FlowTime模型，通过自回归流匹配实现多变量时间序列的概率预测，结合流匹配框架提升模型性能与不确定性估计。
2026-02-08 cs.LG
Probabilistic Classification by Density Estimation Using Gaussian Mixture Model and Masked Autoregressive Flow
University of Waterloo（滑铁卢大学）；Drexel University（德雷塞尔大学）
本文提出利用高斯混合模型和掩码自回归流进行密度估计，以建模类别似然实现分类，优于线性判别分析，为概率分类器开辟新方向。
2023-10-16 cs.LG cs.NE stat.ML
Insights from Generative Modeling for Neural Video Compression
University of California Irvine（加州大学欧文分校）；DeepMind
本文以深度自回归和潜变量生成模型统一审视神经视频编解码器，提出改进的时间变换、结构化熵模型和可变比特率架构，实现高分辨率视频压缩的最优性能。
2023-07-09 cs.CV cs.LG eess.IV
Spatiotemporal Satellite Image Downscaling with Transfer Encoders and Autoregressive Generative Models
University of Toronto（多伦多大学）；Harvard T.H. Chan School of Public Health（哈佛大学T.H. Chan公共卫生学院）；Harvard Medical School（哈佛医学院）；VA Healthcare System Boston, U.S. Department of Veterans Affairs（美国退伍军人事务部波士顿医疗系统）
本文提出基于迁移学习和自回归生成模型的时空卫星图像降尺度方法，通过预训练U-Net编码器和扩散模型，实现高分辨率图像重建，提升环境监测效果。
2025-12-01 cs.CV cs.LG stat.ML
Autoregressive Diffusion Model for Graph Generation
Georgia Institute of Technology（佐治亚理工学院）
针对现有基于扩散的图生成模型训练难、采样慢等问题，提出基于节点吸收扩散过程的自回归扩散图生成模型，通过扩散排序网络和去噪网络联合训练，在多数据集上实现性能与速度的双提升。
2023-07-17 cs.AI cs.LG
UNCAGE: Contrastive Attention Guidance for Masked Generative Transformers in Text-to-Image Generation
针对掩码生成Transformer在组合文本到图像生成中的属性绑定失败问题，提出无需训练的对比注意力引导方法UNCAGE，利用注意力图优先去掩码清晰对象令牌，提升组合保真度且开销极小。
2025-08-07 cs.AI cs.CV cs.LG
PixelGAN Autoencoders
University of Toronto（多伦多大学）
在本文中，我们描述了“Pixel GAN autoencoder”，一种生成式自动编码器，其中生成路径是以潜在代码为条件的像素卷积自回归神经网络（PixelCNN），识别路径使用生成对抗网络（GAN）对潜在代码施加先验分布。我们发现，不同的先验导致不同的分解之间的信息的潜在代码和自回归解码器。例如，通过将高斯分布作为先验，我们可以实现全局与局部分解，或者通过将分类分布作为先验，我们可以以无监督的方式解开图像的风格和内容信息。我们进一步展示了具有分类先验的PixelGAN自动编码器如何直接用于半监督设置，并在MNIST，SVHN和NORB数据集上实现有竞争力的半监督分类结果。
2017-06-02 cs.LG
Discriminator Guidance for Autoregressive Diffusion Models
Linköping University（林雪平大学）
本文在自回归扩散模型中引入判别器引导方法，推导了离散情况下结合判别器与预训练模型的机制，证明最优判别器可实现精确采样，并提出序列蒙特卡洛算法应对次优判别器场景，在分子图生成任务上提升了生成性能。
2024-09-21 cs.AI cs.LG stat.ML
Autoregressive Frontier Expansion: Growing Trees with Graph Machine Learning
ETH Zurich（苏黎世联邦理工学院）；Leipzig University（莱比锡大学）
提出自回归前沿扩展框架，利用SO(2)等变图神经网络和流匹配模型迭代扩展树结构，在神经元和树木生成中实现高保真形态。
2026-10-05 cs.LG q-bio.NC
WaveFit: An Iterative and Non-autoregressive Neural Vocoder based on Fixed-Point Iteration
Google Research（谷歌研究院）；Tokyo University of Agriculture and Technology（东京农工大学）
去噪扩散概率模型（DDPM）和生成对抗网络（GANs）是用于神经声码器的流行生成模型。DDPM和GANs可以分别由迭代去噪框架和对抗训练来表征。本文提出了一种快速、高质量的神经声码器\textit{WaveFit}，它将GANs的本质集成到基于定点迭代的类DDPM迭代框架中。WaveFit迭代地对输入信号进行去噪，并训练深度神经网络（DNN），以最小化从所有迭代的中间输出计算的对抗损失。主观（并排）听力测试显示，人类自然语音与WaveFit五次迭代合成的语音之间的自然度没有统计学显著差异。此外，WaveFit的推理速度比WaveRNN快240倍。音频演示可在\url{google.github.io/df-conformer/wavefit/}上获得。
2022-10-03 cs.LG cs.SD eess.AS
Neural Autoregressive Modeling of Brain Aging
Department of Electrical Engineering, Stanford University, Stanford, CA, USA Dept. of Psychiatry \& Behavioral Sciences, Stanford University, Stanford, CA, USA Department of Radiation Oncology, Stanford University, Stanford, CA, USA Department of Biomedical Data Science, Stanford University, Stanford, CA, USA Department of Computer Science, Stanford University, Stanford, CA, USA
针对脑衰老合成面临的数据高维、结构变化细微等挑战，提出基于生成式自回归Transformer的NeuroAR模型，通过自回归估计离散token图合成衰老大脑，在老年与青少年人群中图像保真度优于LDM等现有最优模型。
2025-07-29 cs.LG eess.IV q-bio.NC
HiFi-GAN: Generative Adversarial Networks for Efficient and High Fidelity Speech Synthesis
Kakao Enterprise（Kakao企业（Kakao Enterprise））
最近几项关于语音合成的工作采用了生成对抗网络（GANs）来产生原始波形。虽然这些方法提高了采样效率和内存使用率，但它们的样本质量尚未达到自回归和基于流的生成模型。在这项工作中，我们提出了HiFi-GAN，它实现了高效和高保真的语音合成。由于语音音频由具有不同周期的正弦信号组成，我们证明了对音频的周期性模式进行建模对于提高样本质量至关重要。单个说话者数据集的主观人类评价（平均意见得分，MOS）表明，我们提出的方法与人类质量相似，同时在单个V100 GPU上生成22.05 kHz高保真音频的速度比实时快167.9倍。我们进一步展示了HiFi-GAN对看不见的说话者的梅尔频谱图反转和端到端语音合成的通用性。最后，HiFi-GAN的小尺寸版本生成的样本比CPU上的实时速度快13.4倍，质量与自回归对应物相当。
2020-10-23 cs.LG cs.SD eess.AS
Scalable Autoregressive 3D Molecule Generation
Department of Chemistry, University of Toronto, Toronto, ON, Canada；Department of Computer Science, University of Toronto, Toronto, ON, Canada；Vector Institute for Artificial Intelligence, Toronto, ON, Canada；Department of Chemistry；Chemical Biology, Rutgers University, Piscataway, NJ, USA；Department of Materials Science \& Engineering, University of Toronto, Toronto, ON, Canada；Department of Chemical Engineering \& Applied Chemistry, University of Toronto, Toronto, ON, Canada；Senior Fellow, Canadian Institute for Advanced Research (CIFAR), Toronto, ON, Canada；NVIDIA
本文提出Quetzal，一种可扩展的自回归三维分子生成模型，结合因果Transformer与扩散MLP，逐原子构建分子，在生成质量上媲美扩散模型，并显著提升生成速度，支持精确似然计算及可变大小任务。
2025-09-08 cs.LG physics.chem-ph
Autoregressive Quantile Networks for Generative Modeling
DeepMind（深度思维）
我们引入了自回归隐式分位数网络（AIQN），这是一种与常用方法根本不同的生成建模方法，它使用分位数回归隐式地捕获分布。AIQN能够实现卓越的感知质量和评估指标的改进，而不会导致样本多样性的损失。该方法可以应用于许多现有的模型和架构。在这项工作中，我们使用AIQN扩展了PixelCNN模型，并使用Inception score，FID，非樱桃挑选样本和修复结果在CIFAR-10和ImageNet上展示了结果。我们一直观察到，AIQN产生了一个高度稳定的算法，提高了感知质量，同时保持了高度多样化的分布。
2018-06-14 cs.LG stat.ML
Look Ahead or Look Around? A Theoretical Comparison Between Autoregressive and Masked Pretraining
Peking University（北京大学）；Sun Yat-Sen University（中山大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）
本文从理论上比较自回归与掩码两种生成式自监督预训练范式，揭示二者在分类和生成任务上的优劣，并提出多样性增强自回归目标与变长掩码目标以互补改进。
2024-07-01 cs.CL cs.LG
Generative Pre-Training for Speech with Autoregressive Predictive Coding
从未注释的语音中学习适用于广泛任务的有意义的和一般的表示仍然具有挑战性。在本文中，我们建议使用自回归预测编码（APC），最近提出的自我监督的目标，作为一种生成的预训练方法学习有意义的，非特定的，可转移的语音表示。我们在大规模未标记数据上预训练APC，并在三个语音应用程序上进行迁移学习实验，这些应用程序需要关于语音特征的不同信息才能表现良好：语音识别，语音翻译和说话人识别。大量的实验表明，APC不仅优于表面特征（例如，log Mel spectrograms）和其他流行的表示学习方法，但在减少下游标记数据大小和模型参数方面也很有效。我们还研究了使用Transformers对APC进行建模，并发现它优于RNN。
2020-01-26 cs.CL cs.LG cs.SD
Flowtron: an Autoregressive Flow-based Generative Network for Text-to-Speech Synthesis
NVIDIA（英伟达）
在本文中，我们提出了Flowtron：一个自回归流为基础的生成网络的文本到语音合成控制语音变化和风格转移。Flowtron借鉴了IAF的见解，并对Tacotron进行了改造，以提供高质量和富有表现力的熔体光谱图合成。Flowtron通过最大化训练数据的可能性进行优化，这使得训练简单而稳定。Flowtron学习数据到潜在空间的可逆映射，可以操纵该潜在空间来控制语音合成的许多方面（音高、音调、语速、节奏、口音）。我们的平均意见得分（MOS）显示，Flowtron在语音质量方面与最先进的TTS模型相匹配。此外，我们还提供了控制语音变化，样本之间的插值和训练过程中看到和看不到的扬声器之间的风格转移的结果。代码和预训练模型将在https://github.com/NVIDIA/flowtron上公开提供
2020-07-16 cs.CL cs.LG cs.SD
CoGenCast: A Coupled Autoregressive-Flow Generative Framework for Time Series Forecasting
State Key Laboratory of Cognitive Intelligence, University of Science and Technology of China（认知智能国家重点实验室，中国科学技术大学）
针对时间序列预测需兼顾语义理解与随机建模的问题，提出CoGenCast框架，将预训练大语言模型与流匹配机制结合，通过修改注意力拓扑重配置模型，集成流匹配机制捕捉动态，实现多模态预测和跨域统一训练，实验显示性能具竞争力。
2026-07-14 cs.LG
Scaling the Vocabulary of Non-autoregressive Models for Efficient Generative Retrieval
Microsoft Research, India（微软研究院（印度））；Microsoft, India（微软（印度））；Microsoft, USA（微软（美国））
本文提出PIXAR，通过将NAR生成式检索模型词表扩展至最多500万个多词实体和短语并优化推理，在低延迟成本下显著提升检索效果与商业收益。
2024-06-10 cs.CL cs.IR cs.LG
A Mixture Autoregressive Image Generative Model on Quadtree Regions for Gaussian Noise Removal via Variational Bayes and Gradient Methods
Gunma University（群马大学）；Waseda University（早稻田大学）
本文提出一种结合四叉树区域划分模型与混合自回归模型的图像生成模型，通过变分下界最大化实现图像去噪，采用变分贝叶斯与梯度方法交替优化，推导出解析的梯度更新规则，验证了去噪效果及未来改进方向。
2026-08-25 cs.CV cs.LG
Autoregressive Generative Modeling with Noise Conditional Maximum Likelihood Estimation
Yale University（耶鲁大学）
我们介绍了一个简单的修改标准的最大似然估计（MLE）框架。而不是一个单一的无条件的模型下的数据的可能性最大化，我们最大限度地提高了家庭的\textit{noise conditional}的可能性，由一个连续的噪声水平扰动的数据。我们发现，以这种方式训练的模型对噪声更具鲁棒性，获得更高的测试可能性，并生成更高质量的图像。它们也可以通过一种新的基于分数的采样方案进行采样，该方案可以解决自回归模型中样本生成过程中出现的经典\textit{covariate shift}问题。将这种增强应用于自回归图像模型，我们在ImageNet 64 x64数据集上获得了每维3.32位，并在CIFAR-10数据集上从37.50到12.09的Frechet Inception距离（FID）方面大幅提高了生成样本的质量。
2022-10-19 cs.LG stat.ML
PixelSNAIL: An Improved Autoregressive Generative Model
Embodied Intelligence（具身智能）；UC Berkeley（加州大学伯克利分校）
自回归生成模型在涉及高维数据（如图像或音频）的密度估计任务中始终实现最佳结果。他们将密度估计作为序列建模任务，其中递归神经网络（RNN）以所有先前元素为条件，对下一个元素的条件分布进行建模。在这种范式中，瓶颈是RNN可以对长距离依赖关系建模的程度，而最成功的方法依赖于因果卷积，这比传统的RNN更好地访问序列的早期部分。从最近的Meta强化学习工作中获得灵感，其中处理长程依赖关系也是必不可少的，我们引入了一种新的生成模型架构，将因果卷积与自注意力相结合。在本文中，我们描述了所得到的模型，并在CIFAR-10（每暗2.85位）和$32 \times 32$ ImageNet（每暗3.80位）上给出了最先进的对数似然结果。我们的实现可以在https://github.com/neocxi/pixelsnail-public上获得
2017-12-28 cs.LG stat.ML
Generative Model with Dynamic Linear Flow
Jilin University（吉林大学）；Zhuhai College of Jilin University（吉林大学珠海学院）
基于流的生成模型是一类精确的对数似然模型，具有易处理的采样和潜变量推断，因此在概念上对复杂分布的建模很有吸引力。然而，与最先进的自回归模型相比，基于流的模型受到密度估计性能问题的限制。自回归模型，这也属于家庭的似然为基础的方法，然而，遭受有限的并行化。在本文中，我们提出了动态线性流（DLF），一个新的家庭的可逆变换的部分自回归结构。我们的方法受益于基于流的方法的高效计算和自回归方法的高密度估计性能。我们证明，在所有基于流的方法中，所提出的DLF在ImageNet 32x32和64x64上产生了最先进的性能，并且与最好的自回归模型竞争。此外，我们的模型收敛速度比Glow快10倍（Kingma和Dhariwal，2018）。该代码可在https://github.com/naturomics/DLF上获得。
2019-05-08 cs.LG stat.ML
Generative Autoregressive Networks for 3D Dancing Move Synthesis from Music
Seoul National University（首尔国立大学）；Delft University of Technology（代尔夫特理工大学）
本文提出了一个框架，它是能够产生一个序列的三维人体舞蹈姿势为给定的音乐。该框架由三个部分组成：一个音乐特征编码器，一个姿势生成器，和一个音乐流派分类器。我们专注于集成这些组件，从音乐中生成一个逼真的3D人类舞蹈动作，它可以应用于人工代理和人形机器人。经过训练的舞蹈姿势生成器是一个生成自回归模型，能够合成超过5,000个姿势帧的舞蹈序列。实验结果表明，该方法可以根据给定的音乐生成类人的舞蹈动作。此外，生成的3D舞蹈序列被应用到一个人形机器人，表明所提出的框架可以使机器人跳舞只是听音乐。
2019-11-11 cs.LG cs.RO eess.AS
GEPARD - Generative, Prosody-aware, Autoregressive text-to-speech model for Realtime Dialogue
本研究提出面向实时对话的流式TTS模型GEPARD，以vLLM为骨干，通过将辅助机制移至预填充或蒸馏至权重实现高效推理，单流实时因子约0.067，256并发流总加速比约204倍，还解决了短寄存器失效等问题。
2026-09-07 cs.CL cs.LG cs.SD
Document Informed Neural Autoregressive Topic Models
Siemens AG（西门子股份公司）；University of Munich (LMU)（慕尼黑大学（LMU））
单词周围的上下文信息有助于确定它们的实际含义，例如在人工神经网络或生物神经网络的上下文中使用的“网络”。生成主题模型推断主题词分布，不考虑或只考虑很少的上下文。在这里，我们扩展了神经自回归主题模型，以语言建模的方式利用文档中单词周围的完整上下文信息。这导致在泛化、可解释性和适用性方面的性能提高。我们将我们的建模方法应用于来自各个领域的七个数据集，并证明我们的方法始终优于最先进的生成主题模型。使用学习的表示，我们在检索分数为0.02和F1的文本分类中平均获得了9.6%（0.57 Vs 0.52）的精度和7.2%（0.582 Vs 0.543）的精度。
2018-08-11 cs.CL cs.IR cs.LG
Scaling Laws for Autoregressive Generative Modeling
Johns Hopkins University（约翰斯·霍普金斯大学）；OpenAI
我们确定经验缩放定律的交叉熵损失在四个领域：生成图像建模，视频建模，多模态图像$\leftrightarrow$文本模型，和数学问题的解决。在所有情况下，自回归Transformers的性能随着模型大小和计算预算的增加而平滑地提高，遵循幂律加上常数缩放律。最佳模型大小还取决于幂律的计算预算，其指数在所有数据域中几乎是通用的。交叉熵损失有一个信息论解释为$S($ True $) + D_{\mathrm{KL}}($ True $||$ Model $)$，经验缩放定律建议预测真实数据分布的熵和真实分布与模型分布之间的KL散度。通过这种解释，十亿参数Transformers是下采样到$8\times 8$分辨率的YFCC 100 M图像分布的近乎完美的模型，并且我们可以预测在nats/图像中实现任何给定的可减少损失（即$D_{\mathrm{KL}}$）所需的模型大小。我们发现了一些额外的缩放定律在特定的领域：（a）我们确定了多模态模型中的标题和图像之间的互信息的缩放关系，并展示了如何回答这个问题“是一张图片值得一千字？";（b）在数学问题解决的情况下，当外推超出训练分布时，我们确定了模型性能的缩放定律;（c）我们微调了ImageNet分类的生成图像模型，并发现分类损失和错误率的平滑缩放，即使生成损失趋于平稳。总之，这些结果加强了缩放定律对神经网络性能（包括下游任务）具有重要影响的情…
2020-11-06 cs.CL cs.CV cs.LG
End-to-End Autoregressive Image Generation with 1D Semantic Tokenizer
California Institute of Technology（加州理工学院）；Stanford University（斯坦福大学）
本文提出端到端训练 pipeline，结合重建与生成优化，改进1D分词器，实现自回归图像生成的高FID分数结果。
2026-05-01 cs.CV cs.LG
Scalable Deep Generative Modeling for Sparse Graphs
Google Research（谷歌研究院）；DeepMind
学习图生成模型对于深度学习来说是一项具有挑战性的任务，并且在化学、生物学和社会科学等一系列领域具有广泛的适用性。然而，当前的深度神经方法具有有限的可扩展性：对于具有$n$节点和$m$边的图，现有的深度神经方法需要通过建立邻接矩阵来实现$Ω(n^2)$复杂度。另一方面，许多现实世界的图实际上是稀疏的，在这个意义上，$m\ll n^2$。在此基础上，我们开发了一种新的自回归模型，命名为BiGG，利用这种稀疏性，以避免生成完整的邻接矩阵，并大大降低了图形生成的时间复杂度$O((n + m)\log n)$。此外，在训练期间，该自回归模型可以与$O(\log n)$同步阶段并行化，这使得它比需要$Ω(n)$的其他自回归模型更有效。在几个基准上的实验表明，所提出的方法不仅可以扩展到比以前的深度自回归图生成模型更大的图形数量级，而且可以产生更好的图形生成质量。
2020-06-28 cs.LG stat.ML
Barriers to Counterfactual Credit Attribution for Autoregressive Models
研究自回归模型中反事实信用归因的挑战，发现信用归因不具有自回归性，且基于弱最优性要求的反事实归因需指数级查询复杂度。
2026-05-02 cs.LG
Generative AI for End-to-End Limit Order Book Modelling: A Token-Level Autoregressive Generative Model of Message Flow Using a Deep State Space Network
University of Oxford（牛津大学）；Oxford-Man Institute of Quantitative Finance（牛津-曼量化金融研究院）；Alan Turing Institute（艾伦·图灵研究所）；Man Group（英仕曼集团）；Foerster Lab for AI Research（福斯特人工智能研究实验室）
本文提出首个端到端自回归生成模型，通过深度状态空间网络生成令牌化限价订单簿消息，实现高频订单流建模，并验证了其分布近似与条件预测性能。
2023-08-23 cs.AI cs.LG q-fin.CP
Autoregressive One-Step Generative Modeling for Dynamical System Forecasting
The Center for Computational Science（计算科学中心）
本文提出MeLISA模型，通过块状随机转移核实现高效自回归生成，结合窗口一致性与时间增量一致性损失，提升长期统计准确性与推理速度。
2026-07-28 cs.LG physics.flu-dyn
Auto-FEDUS: Autoregressive Generative Modeling of Doppler Ultrasound Signals from Fetal Electrocardiograms
Emory University（埃默里大学）；Georgia Institute of Technology（佐治亚理工学院）
针对DUS信号数据集不足和数据不平衡问题，提出Auto-FEDUS自回归生成模型，将FECG映射到DUS波形，在时域频域评估中优于传统架构，合成信号质量高且心率估计结果与真实数据可比，为基于DUS的胎儿模型训练提供支持。
2025-04-17 cs.LG
Quantization-Free Autoregressive Action Transformer
University of Tübingen（图宾根大学）；Google DeepMind（谷歌DeepMind）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
无量化自回归动作变压器通过生成无限词汇变换器直接参数化连续策略，简化流程并提升在模拟机器人任务中的性能。
2025-12-08 cs.LG cs.RO
SEGB: Self-Evolved Generative Bidding with Local Autoregressive Diffusion
Beijing China（中国北京）
SEGB通过自适应生成性竞价与局部自回归扩散，实现动态市场中的高效竞价策略，显著提升广告效果与商业价值。
2025-12-31 cs.IR cs.LG
PolyGen: An Autoregressive Generative Model of 3D Meshes
DeepMind（深度思维）
多边形网格是三维几何的有效表示，在计算机图形学、机器人技术和游戏开发中具有核心重要性。现有的基于学习的方法避免了使用3D网格的挑战，而是使用与神经架构和训练方法更兼容的替代对象表示。我们提出了一种方法，模型的网格直接，预测网格顶点和面顺序使用基于变换器的架构。我们的模型可以对一系列输入进行调节，包括对象类、体素和图像，并且由于模型是概率性的，因此它可以生成在模糊场景中捕获不确定性的样本。我们证明该模型能够生成高质量、可用的网格，并为网格建模任务建立对数似然基准。我们还评估了表面重建指标与替代方法的条件模型，并证明了竞争力的表现，尽管没有直接在这项任务上进行训练。
2020-02-23 cs.CV cs.GR cs.LG
Hierarchical Autoregressive Image Models with Auxiliary Decoders
DeepMind（深度思维）
图像的自回归生成模型往往偏向于捕捉局部结构，因此它们经常产生缺乏大尺度相干性的样本。为了解决这个问题，我们提出了两种方法来学习图像的离散表示，抽象掉局部细节。我们表明，这些表示条件下的自回归模型可以产生高保真度的图像重建，我们可以训练自回归先验这些表示，产生大规模的一致性样本。我们可以递归地应用学习过程，产生一个层次结构的渐进更抽象的图像表示。我们在ImageNet数据集上训练分层类条件自回归模型，并证明它们能够以128 $\times$ 128和256 $\times$ 256像素的分辨率生成逼真的图像。我们还进行了一项人类评估研究，将我们的模型与基于对抗和可能性的最先进的生成模型进行比较。
2019-10-08 cs.CV cs.LG stat.ML
RITA: a Study on Scaling Up Generative Protein Sequence Models
LightOn（LightOn公司）；University of Oxford（牛津大学）；Harvard Medical School（哈佛医学院）
在这项工作中，我们介绍RITA：一套自回归生成模型的蛋白质序列，高达12亿参数，超过2.8亿蛋白质序列属于UniRef-100数据库的训练。这样的生成模型有望大大加速蛋白质设计。我们进行了第一次系统的研究能力如何演变与模型大小的自回归Transformers在蛋白质领域：我们评估RITA模型在下一个氨基酸预测，zero-shot健身，酶功能预测，从增加规模的好处。为了研究社区的利益，我们公开发布RITA模型。
2022-07-14 cs.LG q-bio.QM
Fluid: Scaling Autoregressive Text-to-image Generative Models with Continuous Tokens
Google DeepMind（谷歌DeepMind）；MIT（麻省理工学院）
本文研究文本到图像生成中自回归模型的扩展问题，发现连续令牌和随机生成顺序能显著提升视觉质量与GenEval分数，据此提出Fluid模型，在MS-COCO 30K上取得零样本FID 6.16的新最优结果。
2024-10-17 cs.CV cs.LG
DAMNETS: A Deep Autoregressive Model for Generating Markovian Network Time Series
University of Oxford（牛津大学）；University of Glasgow（格拉斯哥大学）；The Alan Turing Institute（艾伦·图灵研究所）
本文提出DAMNETS，一种可扩展的深度自回归生成模型，用于生成马尔可夫网络时间序列，并在真实与合成数据集上全面超越现有方法。
2023-10-31 cs.LG q-fin.ST stat.AP
Flow++: Improving Flow-Based Generative Models with Variational Dequantization and Architecture Design
UC Berkeley（加州大学伯克利分校）
基于流的生成模型是具有高效采样和推理的强大精确似然模型。尽管它们的计算效率，基于流的模型通常具有比最先进的自回归模型差得多的密度建模性能。在本文中，我们研究和改进了先前工作中基于流的模型所采用的三种限制性设计选择：使用均匀噪声进行去量化，使用无表情仿射流，以及在耦合层中使用纯卷积条件网络。基于我们的研究结果，我们提出了Flow++，这是一种新的基于流的模型，现在是最先进的非自回归模型，用于标准图像基准的无条件密度估计。我们的工作已经开始缩小自回归模型和基于流的模型之间迄今存在的显著性能差距。我们的实现可以在https://github.com/aravindsrinivas/flowpp上获得
2019-05-15 cs.LG cs.NE stat.ML
An Improved Training Procedure for Neural Autoregressive Data Completion
Stanford University（斯坦福大学）；Brown University（布朗大学）
神经自回归模型是显式密度估计器，可实现生成建模的最新似然。根据链式法则，将D维数据分布分解为一维条件分布的自回归积。数据完成是一个比数据生成更复杂的任务：模型必须推断任何部分观察到的输入向量的缺失变量。以前的工作介绍了一个顺序不可知的训练过程，数据完成自回归模型。在任何部分观测的输入向量中的缺失变量可以通过选择观测维度先于未观测维度的顺序并按此顺序计算自回归积来有效地估算。在本文中，我们提供的证据表明，顺序不可知（OA）的训练过程是次优的数据完成。我们提出了一个替代的过程（OA++），达到更好的性能在更少的计算。它可以处理所有的数据完成查询，同时训练比OA过程更少的一维条件分布。此外，这些一维条件分布的训练与其在推理时的预期使用成比例，从而减少过拟合。最后，我们的OA++过程可以利用先验知识的分布推理完成查询，而不是OA。我们支持这些说法与用于评估自回归生成模型的标准数据集的定量实验。
2017-11-23 cs.LG stat.ML
Deep AutoRegressive Networks
Google DeepMind（谷歌DeepMind）
我们引入了一个深度的，生成式的自动编码器，能够从数据中学习分布式表示的层次结构。连续的深随机隐藏层配备有自回归连接，这使得模型能够通过祖先采样快速准确地采样。我们推导出一个有效的近似参数估计方法的基础上的最小描述长度（MDL）的原则，这可以被看作是最大化的变分下界的对数似然，与前馈神经网络实现近似推理。我们在一些经典数据集上展示了最先进的生成性能：几个UCI数据集，MNIST和Atari 2600游戏。
2014-05-20 cs.LG stat.ML
