Parallel and Flexible Sampling from Autoregressive Models via Langevin Dynamics
University of Washington（华盛顿大学）
本文介绍了一种从自回归模型中抽样的替代方法。自回归模型通常根据模型定义的转换动态顺序采样。相反，我们提出了一个采样过程，将一个序列与白噪声，并遵循一个马尔可夫链定义的朗之万动力学的全球对数似然序列。这种方法将采样过程并行化，并推广到条件采样。使用自回归模型作为贝叶斯先验，我们可以使用条件似然或约束来引导生成模型的输出。我们将这些技术应用于视觉和音频领域的自回归模型，在音频声源分离、超分辨率和图像修复方面具有竞争力。
2021-12-16 cs.LG cs.SD eess.AS
Blockwise Parallel Decoding for Deep Autoregressive Models
University of California, Berkeley（加州大学伯克利分校）；Google Brain（谷歌大脑）
近年来，深度自回归序列到序列模型在各种任务中表现出令人印象深刻的性能。虽然常见的架构类，如递归、卷积和自注意网络，在每层所需的计算量和训练时的关键路线长度之间做出了不同的权衡，但生成仍然是一个固有的顺序过程。为了克服这一限制，我们提出了一种新的分块并行解码方案，在该方案中，我们并行地对多个时间步进行预测，然后返回到由评分模型验证的最长前缀。这允许在生成速度方面的实质性理论改进，当应用于可以并行处理输出序列的架构时。我们通过一系列实验经验验证了我们的方法，使用最先进的自注意力模型进行机器翻译和图像超分辨率，实现迭代减少高达2倍的基线贪婪解码器，没有质量损失，或高达7倍，以换取性能略有下降。在挂钟时间方面，我们最快的模型表现出比标准贪心解码高出4倍的实时加速。
2018-11-07 cs.CL cs.LG stat.ML
Adversarial Attacks on Probabilistic Autoregressive Forecasting Models
Department of Computer Science, ETH Zürich（苏黎世联邦理工学院计算机科学系）；Department of Computer Science, ETH Zürich, Switzerland（苏黎世联邦理工学院计算机科学系）
我们开发了一种有效的生成对抗攻击的神经模型，输出一个序列的概率分布，而不是一个序列的单一值。这种设置包括最近提出的深度概率自回归预测模型，该模型估计给定其过去的时间序列的概率分布，并在不同的应用领域中实现最先进的结果。我们解决的关键技术挑战是有效地区分通过蒙特卡洛估计的统计输出序列的联合分布。此外，我们扩展以前的工作概率预测贝叶斯设置，允许条件对未来的观察，而不是只对过去的观察。我们证明，我们的方法可以成功地产生攻击，在两个具有挑战性的任务，其中强大的决策是至关重要的小输入扰动：股票市场交易和预测的电力消耗。
2020-03-08 cs.LG stat.ML
Generative Autoregressive Networks for 3D Dancing Move Synthesis from Music
Seoul National University（首尔国立大学）；Delft University of Technology（代尔夫特理工大学）
本文提出了一个框架，它是能够产生一个序列的三维人体舞蹈姿势为给定的音乐。该框架由三个部分组成：一个音乐特征编码器，一个姿势生成器，和一个音乐流派分类器。我们专注于集成这些组件，从音乐中生成一个逼真的3D人类舞蹈动作，它可以应用于人工代理和人形机器人。经过训练的舞蹈姿势生成器是一个生成自回归模型，能够合成超过5,000个姿势帧的舞蹈序列。实验结果表明，该方法可以根据给定的音乐生成类人的舞蹈动作。此外，生成的3D舞蹈序列被应用到一个人形机器人，表明所提出的框架可以使机器人跳舞只是听音乐。
2019-11-11 cs.LG cs.RO eess.AS
Aligned Cross Entropy for Non-Autoregressive Machine Translation
Facebook AI Research（Facebook人工智能研究院）
非自回归机器翻译模型通过允许对整个目标序列的并行预测来显著地加速解码。然而，由于模型中缺乏自回归因子，因此建模词序更具挑战性。这个困难在训练过程中与交叉熵损失相结合，交叉熵损失可以严重惩罚词序中的小变化。在本文中，我们提出对齐交叉熵（AXE）作为一个替代的损失函数的非自回归模型的训练。AXE使用可微动态程序来基于目标令牌和模型预测之间的最佳可能单调对齐来分配损失。基于AXE的条件掩蔽语言模型（CMLM）训练大大提高了主要WMT基准测试的性能，同时为非自回归模型设定了新的最新技术水平。
2020-04-03 cs.CL cs.LG stat.ML
Deep Autoregressive Models with Spectral Attention
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）；Health Research Institute Gregorio Marañón（格雷戈里奥·马拉尼翁健康研究所）；CIBERSAM, ISCIII（西班牙生物医学研究网络中心（卡洛斯三世健康研究所））
时间序列预测是一个跨领域的重要问题，在许多实际应用中发挥着至关重要的作用。在本文中，我们提出了一种预测架构，将深度自回归模型与频谱注意力（SA）模块相结合，该模块在模型的嵌入空间中合并了全局和局部频域信息。通过在谱域中将时间序列的嵌入表征为随机过程的发生，我们的方法可以识别全局趋势和季节性模式。两个频谱注意力模型，全球和本地的时间序列，集成此信息的预测和执行频谱滤波，以消除时间序列的噪声。所提出的架构有一些有用的属性：它可以有效地纳入众所周知的预测架构，需要少量的参数，并产生可解释的结果，提高预测精度。我们在几个众所周知的预测数据集上测试了光谱注意力自回归模型（SAAM），一致表明我们的模型与最先进的方法相比是有利的。
2021-12-26 cs.LG stat.ML
Sparsity-Induced Global Matrix Autoregressive Model with Auxiliary Network Data
The University of Hong Kong（香港大学）；Faculty of Business and Economics, The University of Hong Kong（香港大学商学院）；Department of Statistics and Actuarial Science, The University of Hong Kong（香港大学统计与精算学系）
本文提出一种带稀疏成分的全局矩阵自回归模型扩展，同时建模国际依赖关系和贸易网络影响，并给出似然估计与偏差校正交替最小化方法及理论实证分析。
2025-03-11 cs.LG stat.ME stat.ML
On the Efficient Marginalization of Probabilistic Sequence Models
University of California, Irvine（加利福尼亚大学欧文分校）
本研究针对现实序列数据的复杂长程概率查询需求，提出一类模型无关的高效序列模型边缘化近似技术，可适配离散序列模型、标记时间点过程等多类模型，仅需预训练自回归模型的下一步条件分布即可实现。
2024-03-06 cs.LG stat.ML
A test for counting sequences of integer-valued autoregressive models
针对INAR模型中计数序列分布未经统计验证的问题，提出基于均值-方差关系的检验方法，具有渐近正确性，并通过模拟和实际数据验证其有效性。
2024-02-02 math.ST stat.ME stat.TH
Low-Rank Autoregressive Tensor Completion for Multivariate Time Series Forecasting
McGill University（麦吉尔大学）
时间序列预测是一个长期的研究课题，在许多领域都有重要的应用。从传感器网络收集的现代时间序列（例如，能量消耗和交通流量）通常是大规模的和不完整的，具有相当大的破坏和缺失值，使得难以执行准确的预测。在本文中，我们提出了一个低秩自回归张量完成（LATC）框架来建模多元时间序列数据。LATC的关键是将原始多变量时间序列矩阵（例如，传感器$\times$时间点）到三阶张量结构（例如，传感器$\times$一天中的时间$\times$一天），这允许我们将时间序列的固有节奏和季节性建模为全局模式。利用张量结构，我们可以将时间序列预测和缺失数据填补问题转化为一个通用的低秩张量补全问题。除了最小化张量秩，我们还集成了一个新的自回归范数的原始矩阵表示到目标函数。这两个组成部分发挥不同的作用。低秩结构使我们能够有效地捕捉所有三个维度的全球一致性和趋势（即，传感器之间的相似性、不同日期的相似性以及当前时间与历史上的同一天）。自回归范数可以更好地模拟局部时间趋势。我们在三个真实数据集上的数值实验表明，在缺失数据插补和滚动预测任务中，LATC中全局和局部趋势的集成具有优越性。
2020-06-18 cs.LG stat.ML
Changepoint detection in random coefficient autoregressive models
我们提出了一个家庭的基于统计的随机系数自回归（RCA）序列中的自回归参数的确定性部分中检测变化点的存在。为了确保能够检测到样本端点处的突变，我们深入研究了加权的CRAUM统计，分析了几乎所有可能的加权方案的渐近性，包括标准化的CRAUM过程（我们推导出Darling-Erdos定理）和更大的权重（研究所谓的Rényi统计）。我们的结果是有效的，无论序列是否是平稳的或不，不需要先验知识的平稳性或缺乏。从技术上讲，我们的结果需要强近似，在非平稳的情况下，是全新的。同样，我们允许未知形式的异方差的误差项和自回归系数的随机部分，提出了一个家庭的检验统计量是强大的异方差，而不需要任何先验知识的存在或类型。仿真结果表明，我们的程序在有限的样本工作得很好。我们补充我们的理论与金融，经济和流行病学时间序列的应用。
2021-04-27 econ.EM math.ST stat.OT
The different asymptotic regimes of nearly unstable autoregressive processes
我们将关于几乎不稳定AR（p）过程收敛性的经典结果推广到无限阶情形。为了做到这一点，我们继续在最近的工作霍克斯过程中使用极限定理的一些精心挑选的几何和。证明了当系数序列具有轻尾时，无穷阶近似不稳定自回归过程表现为Ornstein-Uhlenbeck模型。然而，在重尾的情况下，我们表明，分数扩散出现的限制法律，这样的过程。
2015-02-23 math.ST stat.TH
Generalized Autoregressive Neural Network Models
时间序列是按时间顺序进行的观测序列。自回归积分移动平均是一类多用于时间序列数据的模型。然而，这类模型有两个关键的限制。它只适用于具有线性相关结构的高斯数据.在这里，我提出了一个新的模型命名为广义自回归神经网络，GARNN。GARNN是广义线性模型的扩展，其中通过在链接函数中包含神经网络，平均边际取决于滞后值。该模型的实际应用是使用Zeger和Qaqish（1988）分析的一个著名的脊髓灰质炎病例数，
2020-02-13 stat.ME
Weak convergence in the functional autoregressive model
函数自回归模型是一个马尔可夫模型泰勒为函数性质的数据。它在尝试对相依随机曲线样本建模时显示出了丰硕的成果，并在过去几年中得到了广泛的研究。本文旨在通过解决模型估计的弱收敛性这一关键问题来完成模型的理论研究。主要的困难源于一个基本的逆问题，以及从数据之间的依赖性。关于非参数模型弱收敛的传统事实出现了：归一化序列是o（$sqrt{n}$），出现了偏差项。指出了功能框架的几个原始特征。
2005-09-12 math.ST stat.TH
Deterministic Non-Autoregressive Neural Sequence Modeling by Iterative Refinement
New York University（纽约大学）
提出了一种基于迭代精化的条件非自回归神经序列模型。该模型基于隐变量模型和去噪自编码器的原理设计，一般适用于任何序列生成任务。我们广泛评估了所提出的模型对机器翻译（En-De和En-Ro）和图像字幕生成，并观察到它显着加快解码，同时保持生成质量相媲美的自回归对应。
2018-08-27 cs.CL cs.LG stat.ML
An EM Approach to Non-autoregressive Conditional Sequence Generation
Carnegie Mellon University（卡内基梅隆大学）
自回归（AR）模型一直是条件序列生成的主要方法，但存在高推理延迟的问题。最近提出了非自回归（NAR）模型，通过并行生成所有输出令牌来减少延迟，但与自回归模型相比，只能实现较差的准确性，这主要是由于难以处理序列生成中的多模态。本文提出了一种新的方法，联合优化AR和NAR模型在一个统一的期望最大化（EM）框架。在E步骤中，AR模型学习近似NAR模型的正则化后验。在M步中，NAR模型在新的后验上更新，并为下一个AR模型选择训练样本。这种迭代过程可以有效地指导系统去除输出序列中的多模态。据我们所知，这是NAR序列生成的第一个EM方法。我们评估我们的方法上的任务机器翻译。在基准数据集上的实验结果表明，该方法与现有的NAR模型相比，即使没有更好的性能，也具有竞争力，并显着降低了推理延迟。
2020-06-29 cs.CL cs.LG stat.ML
FlowSeq: Non-Autoregressive Conditional Sequence Generation with Generative Flow
Carnegie Mellon University（卡内基梅隆大学）；Facebook AI（Facebook人工智能）
大多数序列到序列（seq 2seq）模型是自回归的;它们通过对先前生成的令牌进行调节来生成每个令牌。相比之下，非自回归seq 2seq模型在一次通过中生成所有令牌，这导致通过诸如GPU的硬件上的并行处理来提高效率。然而，同时直接建模所有令牌的联合分布是具有挑战性的，即使模型结构越来越复杂，准确性也明显落后于自回归模型。在本文中，我们提出了一个简单的，高效的，有效的非自回归序列生成模型，使用潜变量模型。具体来说，我们转向生成流，一个优雅的技术来模拟复杂的分布使用神经网络，并设计了几个层次的流定制建模的条件密度的顺序潜变量。我们在三个神经机器翻译（NMT）基准数据集上评估了该模型，实现了与最先进的非自回归NMT模型相当的性能，并且序列长度的解码时间几乎恒定。
2019-10-09 cs.CL cs.LG
SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking
Stanford University（斯坦福大学）
本文提出 SequenceMatch，将自回归序列生成建模为模仿学习问题，并引入退格动作实现回溯，以缓解复合误差，在文本生成和算术任务上优于 MLE。
2024-05-06 cs.AI cs.LG
Uncertainty Estimation in Autoregressive Structured Prediction
Yandex（扬德克斯）；Higher School of Economics（高等经济学院）；University of Cambridge（剑桥大学）
不确定性估计对于确保AI系统的安全性和鲁棒性非常重要。虽然该领域的大多数研究都集中在非结构化预测任务，有限的工作已经调查了一般的不确定性估计方法的结构化预测。因此，这项工作的目的是研究在一个统一的和可解释的概率集成为基础的框架内的自回归结构化预测任务的不确定性估计。我们认为：在令牌级和完整的序列级序列数据的不确定性估计;解释，和应用，各种措施的不确定性;并讨论与获得它们相关的理论和实践挑战。这项工作还为标记级和序列级错误检测以及WMT'14英法和WMT'17英德翻译和LibriSpeech语音识别数据集上的序列级域外输入检测提供了基线。
2021-02-11 cs.AI cs.LG stat.ML
SutraNets: Sub-series Autoregressive Networks for Long-Sequence, Probabilistic Forecasting
Huawei Cloud, Alkaid Lab Canada（华为云，Alkaid 实验室加拿大）
SutraNets通过将长序列预测转化为子序列上的多变量自回归，减少误差累积和路径距离，在六个真实数据集上显著提升预测精度。
2023-12-22 cs.AI cs.LG
Advancing Sequential Numerical Prediction in Autoregressive Models
ByteDance Inc.（字节跳动公司）；City University of Hong Kong（香港城市大学）
针对自回归模型忽略数值序列结构的问题，提出数值Token完整性损失（NTIL），在token和序列双重层面优化数值预测，有效融入大模型并显著提升性能。
2025-05-28 cs.AI cs.CL cs.LG
Latent Normalizing Flows for Discrete Sequences
Harvard University（哈佛大学）
规范化流是连续随机变量的一类强大的生成模型，显示出强大的模型灵活性和非自回归生成的潜力。当对诸如文本的离散随机变量建模时，也期望这些益处，但是将归一化流直接应用于离散序列会带来显著的额外挑战。我们提出了一个基于VAE的生成模型，该模型联合学习潜在空间中基于流的归一化分布和到观察到的离散空间的随机映射。在这种情况下，我们发现，这是至关重要的基于流量的分布是高度多模态。为了捕捉这个属性，我们提出了几个规范化的流架构，以最大限度地提高模型的灵活性。实验考虑字符级语言建模和复调音乐生成的常见离散序列任务。我们的研究结果表明，一个自回归流为基础的模型可以匹配一个可比较的自回归基线的性能，和一个非自回归流为基础的模型可以提高生成速度与性能的惩罚。
2019-06-04 cs.CL cs.LG stat.ML
SkexGen: Autoregressive Generation of CAD Construction Sequences with Disentangled Codebooks
Simon Fraser University（西蒙弗雷泽大学）；Autodesk Research（欧特克研究院）
我们提出了SkexGen，一种新的自回归生成模型的计算机辅助设计（CAD）施工序列包含草图和挤压建模操作。我们的模型利用不同的Transformer架构编码的拓扑，几何和挤出的建设序列到解开码本的变化。自回归Transformer解码器生成共享由码本向量指定的某些属性的CAD构造序列。大量的实验表明，我们解开码本表示生成多样化和高质量的CAD模型，增强用户控制，并使设计空间的有效探索。该代码可在https://samxuxiang.github.io/skexgen上获得。
2022-07-11 cs.CV cs.LG
FourierNAT: A Fourier-Mixing-Based Non-Autoregressive Transformer for Parallel Sequence Generation
School of Information, University of California, Berkeley（加州大学伯克利分校信息学院）
针对传统非自回归Transformer（NAT）捕捉全局依赖的挑战，提出FourierNAT架构，通过解码器中的傅里叶混合与频域门控实现并行生成，在机器翻译和摘要任务上取得竞争性结果且速度更快，还能自适应关注长/短程依赖并缓解连贯性差距。
2025-04-15 cs.CL cs.LG
Diffusion In Diffusion: Reclaiming Global Coherence in Semi-Autoregressive Diffusion
Noah’s Ark Lab, Huawei Montreal, Canada & Beijing, China（华为蒙特利尔实验室及北京）
Diffusion in Diffusion通过'草稿-然后细化'框架，利用块扩散生成草稿并用全局双向扩散进行细化，提升离散扩散模型的全局一致性与性能。
2026-01-21 cs.AI cs.LG
Continuous Autoregressive Models with Noise Augmentation Avoid Error Accumulation
Queen Mary University（伦敦玛丽女王大学）；Sony Computer Science Laboratories（索尼计算机科学实验室）
针对连续自回归模型（CAMs）长序列生成中因误差累积导致质量下降的问题，提出训练时注入随机噪声提升鲁棒性、推理时引入低水平噪声减少误差累积的方法，音乐音频生成实验显示其优于现有方法并保持长序列质量。
2024-11-27 cs.AI cs.LG cs.SD
Handling and Interpreting Missing Modalities in Patient Clinical Trajectories via Autoregressive Sequence Modeling
Brown University（布朗大学）
本文通过自回归序列建模方法处理医疗数据中缺失模态的问题，提出对比预训练目标并验证了其在MIMIC-IV和eICU数据集上的有效性，提升了模型可解释性。
2026-05-06 cs.AI cs.LG
SpectralAR: Spectral Autoregressive Visual Generation
Tsinghua University（清华大学）
针对现有自回归视觉生成用空间图像块违背因果性的问题，提出SpectralAR框架，通过嵌套谱分词生成有序谱token并以由粗到细方式生成，在ImageNet-1K上以低参数量和少量token实现了优异的生成效果。
2025-06-12 cs.AI cs.CV cs.LG
Beyond Autoregressive RTG: Conditioning via Injection Outside Sequential Modeling in Decision Transformer
School of Computer Science Peking University（计算机科学学院，北京大学）
本文提出SlimDT，通过在序列建模前将RTG信息注入状态表示，减少序列长度并提升效率，在D4RL基准上优于标准DT并达到现有最佳性能。
2026-05-07 cs.AI cs.LG
Who Needs Decoders? Efficient Estimation of Sequence-level Attributes
University of Cambridge（剑桥大学）
针对序列级属性预测，提出非自回归代理（NAP）模型，直接从编码预测标量指标，绕过昂贵自回归解码，在MT的OOD检测和性能预测中优于深度集成且推理高效。
2023-05-09 cs.AI cs.CL cs.LG
Characterizing and addressing the issue of oversmoothing in neural autoregressive sequence modeling
New York University（纽约大学）；Genentech（基因泰克）；CIFAR Fellow in LMB（CIFAR LMB研究员）
神经自回归序列模型模糊了许多可能的序列之间的概率，包括简并序列，如空序列或重复序列。在这项工作中，我们解决了一个特定的情况下，模型分配一个高概率不合理的短序列。我们定义过平滑率来量化这个问题。在确认神经机器翻译中的高度过平滑之后，我们建议在训练期间显式地最小化过平滑率。我们进行了一组实验，研究所提出的正则化模型分布和解码性能的影响。我们使用神经机器翻译任务作为测试平台，并考虑三个不同大小的数据集。我们的实验揭示了三个主要发现。首先，我们可以通过调整正则化的强度来控制模型的过平滑率。第二，通过增强过平滑损失贡献，令牌的概率和秩<eos>在不应该出现的位置严重下降。第三，所提出的正则化影响束搜索的结果，特别是当使用大束时。大光束的平移质量（以BLEU测量）的退化随着过平滑率的降低而显著减轻，但与较小光束尺寸相比的退化仍然存在。从这些观察，我们得出结论，高度的过平滑是神经自回归模型中的过度可能的短序列退化的情况下背后的主要原因。
2021-12-22 cs.CL cs.LG
Predictive Querying for Autoregressive Neural Sequence Models
University of California, Irvine（加州大学欧文分校）
在推理顺序事件时，很自然地提出概率查询，例如“事件A下一次何时发生”或“A在B之前发生的概率是多少”，应用于用户建模，医学和金融等领域。然而，随着机器学习转向神经自回归模型，如RNN和Transformers，概率查询在很大程度上被限制在简单的情况下，如下一个事件预测。这部分是由于这样的事实，即未来的查询涉及边缘化的大路径空间，这是不直接有效地在这样的模型。在本文中，我们介绍了神经自回归序列模型中的预测查询的一般类型，并表明这种查询可以系统地表示由基本积木集。我们利用这种类型开发新的查询估计方法的基础上束搜索，重要性采样，和混合。在四个大规模的序列数据集，从不同的应用领域，以及GPT-2语言模型，我们证明了查询应答听话的任意查询指数大的预测路径空间的能力，并找到明确的差异，搜索和采样方法之间的成本精度权衡。
2022-11-04 cs.AI cs.LG
Mode recovery in neural autoregressive sequence modeling
New York University（纽约大学）；University of Washington（华盛顿大学）；CIFAR（加拿大高等研究院）
尽管它的广泛使用，最近的研究已经揭示了用最大似然训练的神经自回归序列模型的意想不到的和不期望的特性，例如训练后对短序列的不合理的高亲和力和在解码时对无限长序列的不合理的高亲和力。我们建议研究这些现象，通过调查的模式，或局部最大值，分布是如何保持在整个学习链的地面真理，经验，学习和解码诱导的分布，通过新提出的模式恢复成本。我们设计了一个易于处理的测试平台，在这里我们构建了三种类型的地面实况分布：（1）基于LSTM的结构化分布，（2）序列的概率不依赖于其内容的非结构化分布，以及（3）这两种分布的乘积，我们称之为半结构化分布。我们的研究揭示了预期和意外的发现。首先，从数据汇集开始，模式恢复成本强烈依赖于地面实况分布，并且半结构化分布的成本最高。其次，在学习之后，与数据汇集相比，来自地面实况分布的模式恢复成本可能增加或减少，其中最大的成本降级发生在半结构化地面实况分布的情况下。最后，解码诱导的分布从学习的分布中恢复模式的能力受到学习链中早期做出的选择的高度影响。我们的结论是，未来的研究必须考虑整个学习链，以充分了解的潜力和危险，并进一步改善神经自回归序列模型。
2021-06-10 cs.LG stat.ML
Transformers are RNNs: Fast Autoregressive Transformers with Linear Attention
Idiap Research Institute（伊迪亚普研究所）；EPFL（洛桑联邦理工学院）；University of Washington（华盛顿大学）；University of Geneva（日内瓦大学）
Transformers在几个任务中实现了卓越的性能，但由于其二次复杂性，相对于输入的长度，它们对于非常长的序列是非常慢的。为了解决这一问题，我们将自注意力表示为核特征映射的线性点积，并利用矩阵积的结合性将复杂度从$\mathcal{O}\left(N^2\right)$降低到$\mathcal{O}\left(N\right)$，其中$N$是序列长度.我们表明，这种提法允许迭代实现，大大加快自回归Transformers，并揭示了它们的关系，经常性的神经网络。我们的线性Transformers实现了与vanilla Transformers相似的性能，并且在对非常长的序列进行自回归预测时，它们的速度快达4000倍。
2020-08-31 cs.LG stat.ML
Unifying Autoregressive and Diffusion-Based Sequence Generation
ServiceNow Research（ServiceNow研究）
本文通过引入超调度和混合加噪过程，统一了自回归与扩散序列生成，实现了最先进的困惑度和高质量生成。
2025-10-06 cs.LG
Octree Transformer: Autoregressive 3D Shape Generation on Hierarchically Structured Sequences
RWTH Aachen University（亚琛工业大学）
自回归模型在NLP文本生成任务中已经被证明是非常强大的，最近也在图像生成中得到了普及。然而，到目前为止，它们在3D形状合成中的应用有限。这主要是由于缺乏一种直接的方法来线性化3D数据，以及在描述复杂形状时所产生的序列长度的缩放问题。在这项工作中，我们解决这两个问题。我们使用八叉树作为紧凑的分层形状表示，可以通过遍历排序来顺序化。此外，我们引入了一个自适应压缩方案，显着减少序列长度，从而使他们的有效生成与Transformer，同时仍然允许完全自回归采样和并行训练。我们展示了我们的模型的性能，通过比较对国家的最先进的形状生成。
2021-11-24 cs.CV cs.GR cs.LG
Logit-Based Ensemble Distribution Distillation for Robust Autoregressive Sequence Uncertainties
University of Cambridge（剑桥大学）；Imperial College London（帝国理工学院）
本文研究了大规模自然语言序列到序列任务中的集成分布蒸馏（EDD），提出通过对集成logits而非softmax概率进行建模，显著提升了学生模型的不确定性估计性能，并在分布外检测上超越Deep Ensembles约10% AUROC。
2023-05-17 cs.CL cs.LG
Autoregressive model path dependence near Ising criticality
University of Waterloo（滑铁卢大学）；Perimeter Institute for Theoretical Physics（圆周理论物理研究所）
本文研究二维Ising模型临界相关性的重构，发现使用具有长1D线段的路径训练RNNs和transformers比空间填充曲线更高效，强调了物理任务中语言模型选择最优自回归序列排序的重要性。
2024-08-28 cond-mat.dis-nn cs.LG
Align-Refine: Non-Autoregressive Speech Recognition via Iterative Realignment
Stanford University（斯坦福大学）；Amazon AWS AI（亚马逊AWS人工智能）
非自回归模型大大提高了解码速度超过典型的序列到序列模型，但遭受性能下降。填充和迭代细化模型通过编辑非自回归模型的输出来弥补这一差距，但它们可以进行的编辑受到限制。我们提出迭代重新对齐，其中细化发生在潜在对齐而不是输出序列空间上。我们证明了这一点，在语音识别与Align-Refine，一个端到端的转换器为基础的模型，细化连接时间分类（CTC）的路线，允许长度变化的插入和删除。Align-Refine的性能优于Imputer和Mask-CTC，在WSJ上以1/14的实时因子匹配自回归基线，并在没有LM的情况下获得了9.0%的LibriSpeech测试-其他WER。我们的模型是强大的，即使在一个迭代与浅解码器。
2020-10-24 cs.CL cs.LG cs.SD
Sequence-Level Training for Non-Autoregressive Neural Machine Translation
WeChat AI, Tencent Inc（腾讯公司微信AI）
近年来，神经机器翻译（NMT）在各种翻译任务中取得了显著的成绩。然而，由自回归机制决定的逐词生成方式导致了NMT的高翻译延迟，限制了其低延迟应用。非自回归神经机器翻译（NAT）消除了自回归机制，通过同时独立地生成目标词，实现了显著的解码加速。然而，NAT仍然以词级交叉熵损失作为训练目标，这不是最优的，因为NAT的输出由于多模态问题而不能被正确地评估。在这篇文章中，我们提出使用序列级训练目标来训练NAT模型，它从整体上评估NAT输出，并与真实的翻译质量很好地相关。首先，我们提出了训练NAT模型来优化序列级评估指标（例如，BLEU）基于几种新的NAT增强算法，通过减小梯度估计的方差，获得了比传统方法更好的增强效果。其次，我们为NAT模型引入了一个新的训练目标，旨在最大限度地减少模型输出和参考句子之间的Bag-of-Ngrams（BoN）差异。BoN训练目标是可微的，并且可以在不进行任何近似的情况下有效地计算。最后，我们采用一个三阶段的训练策略，将这两种方法结合起来，对NAT模型进行训练。我们验证了我们的方法在四个翻译任务（WMT 14 En $\leftrightarrow$ De，WMT 16 En $\leftrightarrow$ Ro），这表明，我们的方法大大优于NAT基线，并在所有翻译任务上实现了卓越的性能。源代码可在https://github.com/ictnlp/Seq…
2021-09-01 cs.CL cs.LG
Fast Decoding in Sequence Models using Discrete Latent Variables
Google Brain（谷歌大脑）
基于深度神经网络（如RNN、Wavenet和Transformer）的自回归序列模型在许多任务上获得了最先进的结果。然而，它们很难并行化，因此在处理长序列时很慢。RNN在训练和解码过程中都缺乏并行性，而WaveNet和Transformer等架构在训练过程中的并行性要高得多，但在解码过程中仍然按顺序操作。受[arxiv：1711.00937]的启发，我们提出了一种使用离散潜变量扩展序列模型的方法，使解码更具并行性。我们首先将目标序列自动编码为一个较短的离散潜变量序列，该序列在推理时自回归生成，最后并行地从这个较短的潜序列解码输出序列。为此，我们介绍了一种新的方法来构建一个序列的离散潜变量，并将其与以前介绍的方法进行比较。最后，我们在神经机器翻译的任务上对我们的模型进行端到端的评估，其中它在解码时比可比的自回归模型快一个数量级。虽然BLEU比纯自回归模型低，但我们的模型比以前提出的非自回归翻译模型获得了更高的分数。
2018-06-07 cs.LG
Non-Autoregressive Diffusion-based Temporal Point Processes for Continuous-Time Long-Term Event Prediction
针对自回归事件预测的误差累积问题，提出基于扩散的非自回归时间点过程，通过双向映射和新型去噪网络整体预测未来事件序列，并在实验中优于现有方法。
2023-11-02 cs.AI cs.LG cs.SI
Parallelizing Autoregressive Generation with Variational State Space Models
Montefiore Institute, University of Liège（列日大学蒙泰菲奥雷研究所）
针对自回归序列模型无法并行生成的问题，提出编码器和解码器均为状态空间模型的变分自编码器VSSM，实现训练与生成全并行，且自回归变体仍支持并行生成，在速度和生成质量上表现优异。
2024-07-11 cs.LG stat.ML
Data-Efficient Autoregressive Document Retrieval for Fact Verification
KAIST AI（韩国科学技术院人工智能学院）
文档检索是许多知识密集型自然语言处理任务公式化的核心组件，例如事实验证和问答。文本知识的来源，如维基百科的文章，从模型中生成答案的条件。检索的最新进展使用序列到序列模型来递增地预测给定查询的适当维基百科页面的标题。然而，这种方法需要以人工注释的形式进行监督，以标记哪些维基百科页面包含适当的上下文。本文介绍了一种远程监督方法，不需要任何注释，训练自回归检索器，达到竞争力的R-精度和召回在zero-shot设置。此外，我们表明，与特定任务的监督微调，两个基于维基百科的事实验证任务的自回归检索性能可以接近，甚至超过完全监督使用不到$1/4$的注释数据指示可能的方向，数据高效的自回归检索。
2022-11-17 cs.AI cs.CL cs.IR
LeaPformer: Enabling Linear Transformers for Autoregressive and Simultaneous Tasks via Learned Proportions
Oregon State University（俄勒冈州立大学）
提出LeaPformer，通过将重加权函数从依赖序列长度泛化为依赖序列比例，并引入动态比例模块，使线性Transformer适用于自回归和同步任务，在多项基准上取得最佳质量-吞吐量权衡和竞争性结果。
2024-05-18 cs.CL cs.LG
Bidirectional Representations Augmented Autoregressive Biological Sequence Generation
Fudan University（复旦大学）；University of British Columbia（不列颠哥伦比亚大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Zhejiang University（浙江大学）
本文提出混合框架，通过结合非自回归机制与自回归生成，提升生物序列生成的双向依赖建模能力。
2025-12-11 cs.LG
Non-Autoregressive Semantic Parsing for Compositional Task-Oriented Dialog
Facebook（脸书）
与传统的基于单词标记的模型相比，使用序列到序列模型的语义解析允许解析更深的表示。尽管有这些优势，但这些模型在实时会话用例中的广泛采用受到更高计算要求和更高延迟的阻碍。在这项工作中，我们提出了一个非自回归的方法来预测语义解析树与一个有效的seq2seq模型架构。通过将非自回归预测与卷积神经网络相结合，与传统的RNN模型相比，我们实现了显着的延迟增益和参数大小减小。我们的新架构在TOP数据集上实现了高达81%的延迟减少，并在三个不同的语义解析数据集上保持了与非预训练模型的竞争性能。我们的代码可在https://github.com/facebookresearch/pytext上获得
2021-04-11 cs.CL cs.LG
AutoRegressive Generation with B-rep Holistic Token Sequence Representation
Northwestern Polytechnical University（西北工业大学）；National University of Singapore（新加坡国立大学）
本文提出BrepARG，首次将B-表示的几何与拓扑转化为整体令牌序列，通过自回归架构实现B-表示生成，实验表明其达到最先进的性能。
2026-03-30 cs.CV cs.LG
Edit Flows: Flow Matching with Edit Operations
FAIR at Meta（Meta 的 FAIR）
针对非自回归生成模型难以生成变长序列的问题，提出编辑流模型，通过编辑操作定义离散流并结合连续时间马尔可夫链建模，实现灵活生成，在图像描述、文本及代码生成任务中性能优于现有模型。
2025-11-12 cs.AI cs.LG
Active Exploration via Autoregressive Generation of Missing Data
Columbia University（哥伦比亚大学）；Imperial College London（帝国理工学院）
将在线决策中的不确定性量化和探索问题转化为自回归序列模型的训练与生成，通过预测缺失结果而非潜在参数来建模不确定性，理论证明在线学习可归约为离线下一结果预测，并在新闻推荐中验证有效性。
2026-07-15 cs.LG stat.ML
Gumbel Straight Flow: Distilling Autoregressive Models into One-step Flow Maps
Google DeepMind Amsterdam（谷歌深度思维阿姆斯特丹）
提出Gumbel Straight Flow（GSF），利用自回归模型的噪声-数据耦合构建连续流映射，通过流映射半群目标实现高质量少步采样，在多项基准上超越现有少步语言生成方法。
2026-10-02 cs.AI cs.LG
A Study of Non-autoregressive Model for Sequence Generation
Zhejiang University（浙江大学）；Microsoft Research Asia（微软亚洲研究院）；Microsoft STC Asia（微软亚洲互联网工程院）
非自回归（NAR）模型并行生成序列的所有标记，与自回归（AR）模型相比，生成速度更快，但精度较低。已经提出了包括知识蒸馏和源-目标对准的不同技术，以在诸如神经机器翻译（NMT）、自动语音识别（ASR）和文本到语音（TTS）的各种任务中弥合AR和NAR模型之间的差距。在这些技术的帮助下，NAR模型在某些任务中可以赶上AR模型的准确性，但在另一些任务中则不然。在这项工作中，我们进行了研究，以了解NAR序列生成的困难，并试图回答：（1）为什么NAR模型可以赶上AR模型在某些任务，但不是所有？(2)为什么像知识蒸馏和源目标对齐这样的技术可以帮助NAR模型。由于AR和NAR模型之间的主要区别在于NAR模型不使用目标标记之间的依赖性，而AR模型使用，因此直观地，NAR序列生成的难度在很大程度上取决于目标标记之间的依赖性的强度。为了量化这种依赖关系，我们提出了一个分析模型，称为CoMMA来描述不同的NAR序列生成任务的难度。我们有几个有趣的发现：1）在NMT，ASR和TTS任务中，ASR具有最大的目标-令牌依赖性，而TTS具有最小的目标-令牌依赖性。2)知识蒸馏降低了目标序列中的目标-标记依赖性，从而提高了NAR模型的精度。3)源-目标对齐约束鼓励目标标记对源标记的依赖性，从而简化了NAR模型的训练。
2020-05-11 cs.CL cs.LG cs.SD
Global Tropical Cyclone Intensity Forecasting with Multi-modal Multi-scale Causal Autoregressive Model
University of Science and Technology of China（中国科学技术大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本文提出多模态多尺度因果自回归模型MSCAR，首次融合因果关系与大规模多模态数据进行全球热带气旋强度预报，并构建SETCD数据集，实验显示全球和区域预报误差分别最大降低9.52%和6.74%。
2024-02-16 cs.AI cs.LG physics.ao-ph
Scaling Novel Graph Generation via Lightweight Structure-Guided Autoregressive Models
Boise State University（博伊州立大学）；Oak Ridge National Laboratory（橡树岭国家实验室）
提出一种轻量级自回归框架，利用结构引导拓扑排序和两阶段训练策略，在分子和非分子基准上实现高新颖性、有效性和唯一性的图生成。
2026-09-21 cs.AI cs.LG
