NEAT-POCKET: Pocket-Conditioned Autoregressive 3D Molecular Generation with a Neighborhood-Guided Set Transformer
University of Vienna（维也纳大学）；Christian Doppler Laboratory for Molecular Informatics in the Biosciences（克里斯蒂安·多普勒生物科学分子信息学实验室）
NEAT-POCKET是基于口袋条件的三维分子生成框架，在CrossDocked和SPINDR数据集上性能有竞争力且采样更快，可用于全分子生成及口袋条件下的片段补全，适用于基于结构的药物设计。
2026-09-07 cs.AI cs.LG
InertialAR: Autoregressive 3D Molecule Generation with Inertial Frames
The Chinese University of Hong Kong（香港中文大学）；Alibaba DAMO Academy（阿里巴巴达摩院）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；University of Ottawa（渥太华大学）
研究探索基于Transformer的自回归模型在3D分子生成上的应用。提出InertialAR，通过规范标记化、几何位置编码及分层自回归范式应对挑战，在无条件和可控生成任务中表现出色，多个指标达领先水平。
2026-07-21 cs.AI cs.LG
CCGG: A Deep Autoregressive Model for Class-Conditional Graph Generation
Amirkabir University of Technology（阿米尔卡比尔理工大学）；Sharif University of Technology（谢里夫理工大学）
图数据结构是研究连通实体的基础。随着以图形表示数据的应用越来越多，图形的生成问题已成为一个热门话题。然而，尽管它的意义，条件图生成，创建所需的功能图是相对较少的探索在以前的研究。通过引入类条件图生成器（CCGG），解决了以类标签为生成约束的类条件图生成问题。我们通过将类信息作为额外的输入注入到图生成器模型中，并在其总损失中包含分类损失以及梯度传递技巧来构建CCGG。我们的实验表明，CCGG优于现有的条件图生成方法在各种数据集上。它还设法在基于分布的评估指标方面保持生成的图形的质量。
2022-04-25 cs.AI cs.LG
SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking
Stanford University（斯坦福大学）
本文提出 SequenceMatch，将自回归序列生成建模为模仿学习问题，并引入退格动作实现回溯，以缓解复合误差，在文本生成和算术任务上优于 MLE。
2024-05-06 cs.AI cs.LG
Autoregressive latent diffusion for 3D molecule generation
研究3D分子生成问题，提出KRONOS潜自回归扩散框架，联合建模分子图拓扑和几何，引入混合训练策略。实验表明其在自回归方法中无条件生成性能领先，与扩散模型竞争，单一架构可支持两种生成范式。
2026-10-05 cs.LG
Learning-Order Autoregressive Models with Application to Molecular Graph Generation
Google DeepMind（谷歌DeepMind）；University College London（伦敦大学学院）
提出一种动态决定自回归顺序的ARM变体，通过顺序策略和变分下界优化，在分子图生成等任务上取得最先进结果。
2025-07-13 cs.AI cs.LG stat.ML
Fast Graph Generation via Autoregressive Noisy Filtration Modeling
Max Planck Institute of Biochemistry（马克斯·普朗克生物化学研究所）
ANFM通过自回归噪声过滤建模实现高质量且高速的图生成。
2026-02-15 cs.LG
DocSynthv2: A Practical Autoregressive Modeling for Document Generation
Computer Vision Center, UAB（计算机视觉中心，巴塞罗那自治大学）；Adobe Research（奥多比研究院）
本文提出DocSynthv2，一种融合布局与文本线索的自回归结构化模型，在不依赖视觉组件的情况下生成连贯文档，实验证明其能有效提升文档生成质量与相关性。
2024-06-12 cs.AI cs.CV cs.LG
Wavelets Are All You Need for Autoregressive Image Generation
本文提出利用小波图像编码将图像按由粗到细的位平面顺序标记化，并设计优化的小波语言变换器学习子带间统计相关性，实现高质量自回归图像生成。
2024-11-19 cs.AI cs.CV cs.LG
End-to-End Autoregressive Image Generation with 1D Semantic Tokenizer
California Institute of Technology（加州理工学院）；Stanford University（斯坦福大学）
本文提出端到端训练 pipeline，结合重建与生成优化，改进1D分词器，实现自回归图像生成的高FID分数结果。
2026-05-01 cs.CV cs.LG
Fast Autoregressive Models for Continuous Latent Generation
Microsoft Research Asia（微软亚洲研究院）
针对自回归模型在连续图像生成中推理慢的问题，提出FAR框架，用轻量捷径头替代扩散头，实现少步采样，推理速度提升2.3倍，保持图像质量。
2025-04-24 cs.CV cs.LG
HALO: Enhancing Time Series Generation via Hyperspherical Latents and Masked AutoregRessive Modeling
East China Normal University（华东师范大学）
HALO提出超球面VAE约束连续潜变量并采用掩码自回归模型，解决时间序列生成中信息丢失与误差累积问题，实现最先进性能并大幅提升推理效率。
2026-09-30 cs.LG
PointNSP: Autoregressive 3D Point Cloud Generation with Next-Scale Level-of-Detail Prediction
PointNSP通过多尺度分解和下一尺度预测，实现自回归3D点云生成，首次在该范式中达到最先进的生成质量，并在效率和可扩展性上超越扩散基线。
2025-11-26 cs.AI cs.CV cs.LG
Autoregressive Text Generation Beyond Feedback Loops
ETH Zürich（苏黎世联邦理工学院）；University of California, Irvine（加州大学欧文分校）
自回归状态转换（其中预测以过去的预测为条件）是确定性和随机序列模型的主要选择。然而，自回归反馈暴露了隐藏状态轨迹的演变，从众所周知的训练测试差异的潜在偏见。在本文中，我们结合了潜在的状态空间模型与CRF观测模型。我们认为，这样的自回归观测模型形成了一个有趣的中间立场，表示当地的相关性在字的水平，但保持状态演变的非自回归。在无条件句子生成方面，与RNN和GAN基线相比，我们显示了性能改进，同时避免了自回归模型的一些典型故障模式。
2019-08-30 cs.CL cs.LG stat.ML
AR-Omni: A Unified Autoregressive Model for Any-to-Any Generation
The Hong Kong Polytechnic University（香港理工大学）；University of Science and Technology of China（中国科学技术大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
AR-Omni提出一种无需专家解码器的统一自回归模型，实现多模态任意到任意生成，解决模态不平衡、视觉保真度和稳定性与创造力平衡问题。
2026-01-25 cs.AI cs.CL cs.LG
Protein Autoregressive Modeling via Multiscale Structure Generation
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出了一种多尺度自回归框架PAR，用于通过粗到细的下一尺度预测生成蛋白质主链结构。核心方法包括多尺度下采样操作、自回归Transformer和基于流的主链解码器，通过噪声上下文学习和调度采样缓解曝光偏差，实现高质量主链生成，并展示了强大的零样本泛化能力。
2026-05-18 cs.AI cs.LG q-bio.BM
Autoregressive Adversarial Post-Training for Real-Time Interactive Video Generation
ByteDance Seed（字节跳动 Seed）；The Chinese University of Hong Kong（香港中文大学）；ByteDance Intelligent Creation Lab（字节跳动智能创作实验室）
针对现有视频生成模型计算量大难适配实时交互场景的问题，提出自回归对抗后训练方法，将预训练潜空间扩散模型改造为高效自回归生成器，实现单卡/多卡H100上的高分辨率实时流式交互式视频生成。
2025-10-01 cs.AI cs.CV cs.LG
Condition Errors Refinement in Autoregressive Image Generation with Diffusion Loss
SKL-IOTSC, CIS, University of Macau（澳门大学SKL-IOTSC、CIS、大学）
本研究提出基于最优传输理论的条件细化方法，通过理论分析和实验验证，有效缓解条件不一致问题并提升图像生成稳定性。
2026-02-02 cs.CV cs.LG eess.IV
ToolACE-MT: Non-Autoregressive Generation for Agentic Multi-Turn Interaction
Huawei Technologies Co., Ltd（华为技术有限公司）；Shanghai Jiao Tong University（上海交通大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
ToolACE-MT通过非自回归生成方法高效构建高质量多轮代理对话，解决传统自回归方法效率低下的问题。
2026-02-13 cs.AI cs.CL cs.LG
Projected Autoregression: Autoregressive Language Generation in Continuous State Space
IBM Research（IBM研究院）
本文提出投影自回归方法，通过连续预测和离散投影实现语言生成，展示连续状态空间在生成文本结构和动态方面的独特优势。
2026-04-06 cs.AI cs.CL cs.LG
Parallelizing Autoregressive Generation with Variational State Space Models
Montefiore Institute, University of Liège（列日大学蒙泰菲奥雷研究所）
针对自回归序列模型无法并行生成的问题，提出编码器和解码器均为状态空间模型的变分自编码器VSSM，实现训练与生成全并行，且自回归变体仍支持并行生成，在速度和生成质量上表现优异。
2024-07-11 cs.LG stat.ML
Non-Autoregressive Machine Translation with Latent Alignments
Google Research（谷歌研究院）
本文提出了两种强有力的方法，CTC和输入，非自回归机器翻译模型潜在的对齐与动态规划。我们重新CTC的机器翻译，并证明了一个简单的CTC模型可以实现最先进的单步非自回归机器翻译，与以前的工作表明。此外，我们还将Imputer模型用于非自回归机器翻译，并证明了只有4个生成步骤的Imputer可以匹配自回归Transformer基线的性能。我们的潜在对齐模型比许多现有的非自回归翻译基线更简单;例如，我们不需要使用自回归模型进行目标长度预测或重新评分。在竞争性的WMT'14 En $\rightarrow$ De任务中，我们的CTC模型使用单个生成步骤实现了25.7 BLEU，而Imputer使用2个生成步骤实现了27.5 BLEU，使用4个生成步骤实现了28.0 BLEU。这与27.8 BLEU的自回归Transformer基线相比具有优势。
2020-11-16 cs.CL cs.LG
Reward-Forcing: Autoregressive Video Generation with Reward Feedback
University of California, San Diego（加利福尼亚大学圣迭戈分校）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文提出一种利用奖励信号指导生成的自回归视频生成方法，提升了生成效率和可扩展性，实验表明其性能与现有自回归模型相当，甚至在某些情况下超越了双向模型。
2026-04-02 cs.CV cs.LG
Evaluation of Large Language Models via Coupled Token Generation
Max Planck Institute of Biochemistry（马克斯·普朗克生物化学研究所）；Hasso Plattner Institute（哈索·platzer研究所）；Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）；Aalto University（阿尔托大学）
本文提出通过耦合自回归生成评估大语言模型，发现其在基准数据集和人机对比中产生不同排名，表明生成过程中的随机性可能影响评估结果。
2026-03-24 cs.AI cs.CL cs.LG
DiTAR: Diffusion Transformer Autoregressive Modeling for Speech Generation
ByteDance Seed（字节跳动种子）
DiTAR通过结合语言模型和扩散变换器，提出一种基于补丁的自回归框架，有效提升连续语音生成的效率与质量。
2025-12-08 cs.AI cs.CL cs.LG
FlowSeq: Non-Autoregressive Conditional Sequence Generation with Generative Flow
Carnegie Mellon University（卡内基梅隆大学）；Facebook AI（Facebook人工智能）
大多数序列到序列（seq 2seq）模型是自回归的;它们通过对先前生成的令牌进行调节来生成每个令牌。相比之下，非自回归seq 2seq模型在一次通过中生成所有令牌，这导致通过诸如GPU的硬件上的并行处理来提高效率。然而，同时直接建模所有令牌的联合分布是具有挑战性的，即使模型结构越来越复杂，准确性也明显落后于自回归模型。在本文中，我们提出了一个简单的，高效的，有效的非自回归序列生成模型，使用潜变量模型。具体来说，我们转向生成流，一个优雅的技术来模拟复杂的分布使用神经网络，并设计了几个层次的流定制建模的条件密度的顺序潜变量。我们在三个神经机器翻译（NMT）基准数据集上评估了该模型，实现了与最先进的非自回归NMT模型相当的性能，并且序列长度的解码时间几乎恒定。
2019-10-09 cs.CL cs.LG
Fast Generation for Convolutional Autoregressive Models
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
卷积自回归模型最近在许多生成任务上表现出最先进的性能。虽然快速、并行的训练方法对于它们的成功至关重要，但生成通常是以一种天真的方式实现的，其中不必要地重复冗余计算。这会导致生成速度缓慢，使此类模型不适用于生产环境。在这项工作中，我们描述了一种方法来加快生成卷积自回归模型。其关键思想是缓存隐藏状态以避免冗余计算。我们将我们的快速生成方法应用于Wavenet和PixelCNN ++模型，并分别实现了$21\times$和$183\times$的加速。
2017-04-20 cs.CV cs.LG stat.ML
Non-autoregressive Transformer by Position Learning
Nanjing University（南京大学）；ByteDance AI Lab（字节跳动人工智能实验室）
非自回归模型在各种文本生成任务中很有前途。以前的工作很少考虑显式建模生成的单词的位置。然而，位置建模是非自回归文本生成中的一个基本问题。在这项研究中，我们提出PNAT，它将位置作为一个潜在的变量到文本生成过程。实验结果表明，PNAT在机器翻译和释义生成任务上取得了最好的结果，优于几个强基线。
2019-11-25 cs.CL cs.LG
Unifying Autoregressive and Diffusion-Based Sequence Generation
ServiceNow Research（ServiceNow研究）
本文通过引入超调度和混合加噪过程，统一了自回归与扩散序列生成，实现了最先进的困惑度和高质量生成。
2025-10-06 cs.LG
FLAGG: Flexible Autoregressive Graph Generation
Department of Mathematics, University of Padova（帕多瓦大学数学系）；Fondazione Bruno Kessler (FBK)（布鲁诺·克瑟研究所）；Department of Information Engineering and Computer Science, University of Trento（特伦托大学信息工程与计算机科学系）
提出FLAGG框架，通过将一次性模型与自回归顺序生成相结合，灵活处理不同规模和拓扑的图生成任务，在多个数据集上优于纯一次性或纯自回归基线。
2026-06-03 cs.LG
Latent Block-Diffusion Temporal Point Processes: A Semi-Autoregressive Framework for Asynchronous Event Sequence Generation
Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；Department of Data Science, City University of Hong Kong（香港城市大学数据科学系）；Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）
提出潜在块扩散时间点过程（LBDTPP），通过潜在空间中的块级自回归和块内高斯扩散，实现可变长度、高质量的事件序列生成，理论证明可减少误差累积，实验优于现有方法。
2026-06-25 cs.LG stat.ML
SkexGen: Autoregressive Generation of CAD Construction Sequences with Disentangled Codebooks
Simon Fraser University（西蒙弗雷泽大学）；Autodesk Research（欧特克研究院）
我们提出了SkexGen，一种新的自回归生成模型的计算机辅助设计（CAD）施工序列包含草图和挤压建模操作。我们的模型利用不同的Transformer架构编码的拓扑，几何和挤出的建设序列到解开码本的变化。自回归Transformer解码器生成共享由码本向量指定的某些属性的CAD构造序列。大量的实验表明，我们解开码本表示生成多样化和高质量的CAD模型，增强用户控制，并使设计空间的有效探索。该代码可在https://samxuxiang.github.io/skexgen上获得。
2022-07-11 cs.CV cs.LG
Masked Audio Generation using a Single Non-Autoregressive Transformer
Meta；FAIR Team（FAIR团队）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Kyutai
本研究提出单阶段非自回归掩码音频生成模型MAGNeT，搭配重打分机制与混合解码策略，在文本生成音乐、文本生成音频任务上性能媲美基线且速度快7倍。
2024-03-05 cs.AI cs.LG cs.SD
Octree Transformer: Autoregressive 3D Shape Generation on Hierarchically Structured Sequences
RWTH Aachen University（亚琛工业大学）
自回归模型在NLP文本生成任务中已经被证明是非常强大的，最近也在图像生成中得到了普及。然而，到目前为止，它们在3D形状合成中的应用有限。这主要是由于缺乏一种直接的方法来线性化3D数据，以及在描述复杂形状时所产生的序列长度的缩放问题。在这项工作中，我们解决这两个问题。我们使用八叉树作为紧凑的分层形状表示，可以通过遍历排序来顺序化。此外，我们引入了一个自适应压缩方案，显着减少序列长度，从而使他们的有效生成与Transformer，同时仍然允许完全自回归采样和并行训练。我们展示了我们的模型的性能，通过比较对国家的最先进的形状生成。
2021-11-24 cs.CV cs.GR cs.LG
Population-based wind farm monitoring based on a spatial autoregressive approach
University of Sheffield（谢菲尔德大学）
本文提出GP-SPARX模型，一种基于高斯过程的空间自回归方法，用于风电场群体监测，捕捉尾流效应引起的时空相关性，以降低运维成本并支持健康监测。
2023-10-16 cs.LG physics.flu-dyn
Deterministic Non-Autoregressive Neural Sequence Modeling by Iterative Refinement
New York University（纽约大学）
提出了一种基于迭代精化的条件非自回归神经序列模型。该模型基于隐变量模型和去噪自编码器的原理设计，一般适用于任何序列生成任务。我们广泛评估了所提出的模型对机器翻译（En-De和En-Ro）和图像字幕生成，并观察到它显着加快解码，同时保持生成质量相媲美的自回归对应。
2018-08-27 cs.CL cs.LG stat.ML
Cascaded Text Generation with Markov Transformers
Harvard University（哈佛大学）；Cornell University（康奈尔大学）
神经文本生成的两种主要方法是使用串行束搜索解码的完全自回归模型和使用没有输出依赖性的并行解码的非自回归模型。本文提出了一个具有次线性并行时间生成的自回归模型。注意到有界上下文的条件随机场可以并行解码，我们提出了一种高效的级联解码方法，用于生成高质量的输出。为了参数化这个级联，我们引入了一个马尔可夫Transformer，一个流行的完全自回归模型的变体，允许我们同时解码特定的自回归上下文截止。这种方法只需要对标准自回归训练进行很小的修改，同时与五个机器翻译数据集上的现有方法相比，显示出具有竞争力的准确性/速度权衡。
2020-12-05 cs.CL cs.LG cs.NE
PepALD: Macrocyclic Peptide Generation via Autoregressive Latent Diffusion
College of Computer Science, Sichuan University（四川大学计算机科学学院）；School of Mathematics, Sichuan University（四川大学数学学院）；School of Artificial Intelligence, Sichuan University（四川大学人工智能学院）；Lingang Laboratory（临港实验室）
提出PepALD模型，结合自回归潜在扩散与化学嵌入，实现从头设计大环肽，并利用偏好优化提升亲和力，在生成质量和奖励优化上优于基线。
2026-06-19 cs.LG q-bio.BM
Incorporating Reinforced Adversarial Learning in Autoregressive Image Generation
Institute for Infocomm Research, A*STAR（新加坡科技研究局信息通信研究院）；Adobe Research（Adobe研究院）
自回归模型最近在矢量量化变分自编码器（VQ-VAE）的帮助下取得了与最先进的生成对抗网络（GANs）相当的结果。然而，自回归模型有几个局限性，如曝光偏差，其训练目标不能保证视觉保真度。为了解决这些限制，我们建议使用基于策略梯度优化的自回归模型的强化对抗学习（RAL）。通过应用RAL，我们可以实现类似的培训和测试过程，以解决暴露偏倚问题。此外，视觉保真度得到了进一步优化，对抗性损失受到其强大对手的启发：GANs。由于自回归模型的采样速度慢，我们建议使用部分生成来加快训练速度。RAL还支持VQ-VAE框架不同模块之间的协作。据我们所知，所提出的方法是第一个在自回归模型中实现对抗学习以生成图像的方法。在合成数据集和真实世界数据集上的实验表明，MLE训练的模型有所改进。所提出的方法改进了负对数似然（NLL）和Fréchet起始距离（FID），这表明在视觉质量和多样性方面的改进。所提出的方法实现了国家的最先进的结果Celeba为64 $\times$ 64图像分辨率，显示大规模图像生成的承诺。
2020-07-20 cs.CV cs.LG eess.IV
Autoregressive Generation Strategies for Top-K Sequential Recommendations
Sber AI Lab（Sber AI实验室）；Skoltech, HSE University（斯克里普钦科技大学，俄罗斯联邦经济大学）
本文研究生成式Transformer在Top-K序列推荐中的应用，提出基于温度采样与多序列聚合的RRA和RA策略，在多个数据集上验证其在较长时间范围内优于传统Top-K预测和单序列自回归生成方法。
2024-09-26 cs.IR cs.LG
Instruction-Guided Autoregressive Neural Network Parameter Generation
KAIST AI（韩国科学技术院人工智能学院）
本文提出IGPG，一个指令引导的自回归神经网络参数生成框架，通过VQ-VAE和自回归模型在token级别生成参数，解决了现有方法可扩展性差和层间不连贯的问题，在大型架构上表现优异。
2025-04-02 cs.LG
Rethinking Training Dynamics in Scale-wise Autoregressive Generation
Australian Institute for Machine Learning, Adelaide University（澳大利亚机器学习研究所，阿德莱德大学）；Adobe Research（Adobe研究）
本文提出SAR方法，通过引入SSR机制和CSFL损失，解决自回归生成模型中的曝光偏差问题，提升生成质量并降低计算开销。
2025-12-06 cs.AI cs.CL cs.CV
Bidirectional Representations Augmented Autoregressive Biological Sequence Generation
Fudan University（复旦大学）；University of British Columbia（不列颠哥伦比亚大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Zhejiang University（浙江大学）
本文提出混合框架，通过结合非自回归机制与自回归生成，提升生物序列生成的双向依赖建模能力。
2025-12-11 cs.LG
Let There Be Order: Rethinking Ordering in Autoregressive Graph Generation
Virginia Tech（弗吉尼亚理工大学）
本文研究自回归图生成中的排序问题，提出将排序视为降维问题的理论框架，并引入基于学习的latent sort排序方案，在多种图生成任务中验证了其有效性。
2023-05-24 cs.CV cs.LG
Discrete Stochastic Localization for Non-autoregressive Generation
本文提出了一种连续状态框架，通过单位球体令牌嵌入实现离散随机定位，以提高离散序列生成的分布忠实度，并展示了在OpenWebText上改进MAUVE指标的效果。
2026-05-20 cs.LG
Active Exploration via Autoregressive Generation of Missing Data
Columbia University（哥伦比亚大学）；Imperial College London（帝国理工学院）
将在线决策中的不确定性量化和探索问题转化为自回归序列模型的训练与生成，通过预测缺失结果而非潜在参数来建模不确定性，理论证明在线学习可归约为离线下一结果预测，并在新闻推荐中验证有效性。
2026-07-15 cs.LG stat.ML
Accelerating Training of Autoregressive Video Generation Models via Local Optimization with Representation Continuity
SKL-IOTSC, CIS, University of Macau（澳门大学智慧城市物联网国家重点实验室及计算机与信息科学系）
本文提出局部优化与表征连续性方法，通过减少误差传播和提升生成视频一致性，使自回归视频生成模型训练效率提升一倍而不牺牲质量。
2026-04-08 cs.LG eess.IV
DP-TBART: A Transformer-based Autoregressive Model for Differentially Private Tabular Data Generation
Stanford University（斯坦福大学）；Bloomberg（彭博社）
针对差分隐私表格数据生成中深度学习方法表现落后于边际方法的问题，提出基于Transformer的DP-TBART自回归模型，性能可比肩甚至超越最优边际方法，并提供理论框架分析两类方法的适用场景。
2023-07-19 cs.CR cs.LG
FourierNAT: A Fourier-Mixing-Based Non-Autoregressive Transformer for Parallel Sequence Generation
School of Information, University of California, Berkeley（加州大学伯克利分校信息学院）
针对传统非自回归Transformer（NAT）捕捉全局依赖的挑战，提出FourierNAT架构，通过解码器中的傅里叶混合与频域门控实现并行生成，在机器翻译和摘要任务上取得竞争性结果且速度更快，还能自适应关注长/短程依赖并缓解连贯性差距。
2025-04-15 cs.CL cs.LG
An EM Approach to Non-autoregressive Conditional Sequence Generation
Carnegie Mellon University（卡内基梅隆大学）
自回归（AR）模型一直是条件序列生成的主要方法，但存在高推理延迟的问题。最近提出了非自回归（NAR）模型，通过并行生成所有输出令牌来减少延迟，但与自回归模型相比，只能实现较差的准确性，这主要是由于难以处理序列生成中的多模态。本文提出了一种新的方法，联合优化AR和NAR模型在一个统一的期望最大化（EM）框架。在E步骤中，AR模型学习近似NAR模型的正则化后验。在M步中，NAR模型在新的后验上更新，并为下一个AR模型选择训练样本。这种迭代过程可以有效地指导系统去除输出序列中的多模态。据我们所知，这是NAR序列生成的第一个EM方法。我们评估我们的方法上的任务机器翻译。在基准数据集上的实验结果表明，该方法与现有的NAR模型相比，即使没有更好的性能，也具有竞争力，并显着降低了推理延迟。
2020-06-29 cs.CL cs.LG stat.ML
Unified Autoregressive Visual Generation and Understanding with Continuous Tokens
Google DeepMind（谷歌DeepMind）；MIT（麻省理工学院）
本文提出 UniFluid 统一自回归框架，用连续图像 token 与离散文本 token 同时支持视觉生成和理解，并通过损失平衡、强 LLM 与随机顺序生成取得可比或超越单任务基线的性能。
2025-03-17 cs.CV cs.LG
SSD-LM: Semi-autoregressive Simplex-based Diffusion Language Model for Text Generation and Modular Control
University of Washington（华盛顿大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出SSD-LM，一种半自回归且基于单纯形的扩散语言模型，通过在自然词汇空间上迭代生成文本块，结合现成分类器实现模块化控制，在文本生成质量与多样性上匹敌GPT-2并大幅超越现有扩散基线。
2023-06-26 cs.CL cs.LG
ACDC: Autoregressive Coherent Multimodal Generation using Diffusion Correction
KAIST（韩国科学技术院）
本研究提出零样本多模态生成方法ACDC，在推理阶段结合自回归模型的全局建模能力与扩散模型的局部生成优势，通过LLM记忆模块动态调整条件文本，有效缓解长序列误差累积，提升生成质量且不依赖特定模型架构。
2024-10-07 cs.CV cs.LG
MixAR: Mixture Autoregressive Image Generation
Tsinghua University（清华大学）；Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（Mohamed bin Zayed人工智能大学）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Carnegie Mellon University（卡内基梅隆大学）
针对离散AR图像生成保真度受限、连续AR建模难度高的问题，提出MixAR混合自回归框架，设计多种离散-连续混合策略与TI-Mix机制，平衡效率与保真度并实现训练推理分布一致。
2025-11-15 cs.CV cs.LG
