Enhancing Auto-regressive Chain-of-Thought through Loop-Aligned Reasoning
Peking University（北京大学）；ByteDance Inc.（字节跳动公司）
针对自回归思维链生成长且正确轨迹的挑战，该研究提出RELAY方法，将思维链推理步骤与循环Transformer的迭代对齐并施加中间监督，提升其泛化性以生成超长推理链，进而微调自回归模型并显著提升其性能。
2025-02-12 cs.AI cs.CL cs.LG
Pre-trained Language Models Do Not Help Auto-regressive Text-to-Image Generation
Stanford University（斯坦福大学）；OpenAI；Apple ML Research（苹果机器学习研究部门）
研究探索将预训练语言模型适配于自回归文本到图像生成，发现其帮助有限，原因在于图像token与文本token语义差异大且图文数据集文本过于简单导致模型能力退化。
2024-09-25 cs.AI cs.CL cs.CV
Two-Layer Linear Auto-Regressive Models Estimate Latent States
Cornell（康奈尔大学）；Washington（华盛顿大学）；Imperial College London（伦敦帝国理工学院）；Amazon（亚马逊）
本文证明两层线性自回归模型通过经验风险最小化训练时，能近似卡尔曼滤波，恢复潜在状态估计，并提供有限样本保证。
2026-08-11 cs.AI cs.LG cs.SY
Generalization of Auto-Regressive Hidden Markov Models to Non-Linear Dynamics and Unit Quaternion Observation Space
University of Verona（维罗纳大学）
本文提出ARHMM的两种推广：用非线性基函数线性组合描述笛卡尔空间自回归动力学，以及在单位四元数空间中建立线性动力学以处理姿态，从而提升对复杂观测动态的建模能力。
2023-06-08 cs.LG cs.RO
Discrete Auto-regressive Variational Attention Models for Text Modeling
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；The Chinese University of Hong Kong（香港中文大学）
变分自编码器（VAE）已广泛应用于文本建模。然而，在实践中，他们受到两个挑战的困扰：信息代表性不足和后验崩溃。前者的出现是因为只有LSTM编码器的最后一个隐藏状态被转换到潜在空间中，这通常不足以总结数据。后者是VAE训练过程中的一个长期存在的问题，因为优化被困在灾难性的局部最优。在本文中，我们提出了离散自回归变分注意力模型（DAVAM），以解决这一挑战。具体来说，我们引入了一个自回归变分注意方法，以丰富的潜在空间，有效地捕捉语义依赖的输入。我们进一步设计了离散的潜在空间的变分注意力和数学证明，我们的模型是免费的后验崩溃。语言建模任务的大量实验表明DAVAM对几个VAE同行的优越性。
2021-06-16 cs.CL cs.LG
Lossless Vocabulary Reduction for Auto-Regressive Language Models
NTT Computer and Data Science Laboratories, NTT Corporation（NTT计算机与数据科学实验室，NTT集团）；NTT Human Informatics Laboratories, NTT Corporation（NTT人类信息学实验室，NTT集团）
本文提出了一种无损词汇缩减框架，使不同分词方式的语言模型能通过最大公共词汇高效合作，提升模型集成效率。
2026-02-18 cs.AI cs.CL cs.LG
VAR-3D: View-aware Auto-Regressive Model for Text-to-3D Generation via a 3D Tokenizer
School of Computer Science and Technology（计算机科学与技术学院）；Soochow University（苏州大学）；Harbin Institute of Technology（哈尔滨工业大学）
VAR-3D通过视图感知的3D标记器和渲染监督训练策略，提升文本到3D生成的质量和对齐性能。
2026-02-14 cs.CV cs.LG
Multimodal Auto-regressive Transformer Surrogate for Modeling Variable Operations and Quantifying Uncertainty in Geological Carbon Storage
Stanford University（斯坦福大学）
本研究提出多模态自回归Transformer代理模型，用于地质碳封存中可变操作建模与不确定性量化，经4000次GEOS流模拟训练后，可精准预测相关参数并降低关键元参数的不确定性。
2026-08-05 cs.AI cs.LG
A Generalized Formalism of Auto-Regressive Decoding for Speech Processing
Knowledge Technology, Department of Informatics, University of Hamburg, Germany（德国汉堡大学信息学系知识技术实验室）
针对语音处理中自回归解码策略缺乏统一框架的问题，提出广义理论形式化，明确分类标准并简化基准设计，支持聚焦搜索策略的消融研究。
2026-06-23 cs.LG cs.SD eess.AS
Physics-informed Temporal Alignment for Auto-regressive PDE Foundation Models
University of Science and Technology of China（中国科学技术大学）
针对自回归PDE基础模型因捷径问题导致误差累积及分布外泛化差的挑战，提出受逆问题启发的自监督框架PITA，通过在自监督信号中引入物理信息约束以对齐不同时间步的物理动态，显著提升了模型在时间相关PDE数据上的准确性与鲁棒性。
2025-05-31 cs.LG
Benchmarking Long Roll-outs of Auto-regressive Neural Operators for the Compressible Navier-Stokes Equations with Conserved Quantity Correction
Graduate Researcher, Computer Science and Engineering（计算机科学与工程研究生）；Postdoctoral Researcher, Mechanical and Aerospace Engineering（机械与航空航天工程博士后）；Glenn Chair Professor, Mechanical and Aerospace Engineering（机械与航空航天工程 Glenn 教授）；Professor, Computer Science and Engineering（计算机科学与工程教授）
本文提出守恒量校正技术，提升自回归神经算子模型在长预测中的稳定性，并分析了现有神经算子架构的局限性。
2026-01-30 cs.LG
TabularARGN: A Flexible and Efficient Auto-Regressive Framework for Generating High-Fidelity Synthetic Data
MOSTLY AI
本文提出TabularARGN自回归生成框架，通过训练所有条件概率支持公平性生成、缺失填补和任意列条件生成，在保证高合成质量的同时显著降低训练与推理时间。
2025-02-06 cs.LG
A new approach for combined model class selection and parameters learning for auto-regressive neural models
本文提出了一种新方法，用于自回归神经模型中模型类别选择与参数学习的联合优化，提升了模型的准确性和鲁棒性。
2026-01-24 cs.LG cs.SY eess.SY
Batch Multi-Fidelity Bayesian Optimization with Deep Auto-Regressive Networks
University of Utah（犹他大学）
贝叶斯优化（BO）是一种强大的方法，用于优化黑盒，昂贵的评估功能。为了在成本和精度之间实现灵活的权衡，许多应用允许在不同的精度下对函数进行评估。为了降低优化成本，同时最大限度地提高效益-成本比，本文提出了基于深度自回归网络的批量多保真度贝叶斯优化（BMBO-DARN）。我们使用一组贝叶斯神经网络来构建一个完全自回归模型，该模型具有足够的表达能力，可以捕获所有属性之间强大而复杂的关系，从而提高代理学习和优化性能。此外，为了提高查询的质量和多样性，我们开发了一个简单而有效的批量查询方法，没有任何组合搜索的相似性。我们提出了一个基于最大值熵搜索（MES）的原则，惩罚高度相关的查询和鼓励多样性的批量采集功能。我们使用后验样本和矩匹配来实现采集函数的有效计算，并对每个概率输入对进行交替优化，这保证了每一步的改进。我们证明了我们的方法在四个现实世界的超参数优化应用的优势。
2021-10-25 cs.LG stat.ML
Cactus: Accelerating Auto-Regressive Decoding with Constrained Acceptance Speculative Sampling
Dept. Computing Science & Alberta Machine Intelligence Institute (Amii), University of Alberta（阿尔伯塔大学计算机科学系与阿尔伯塔机器智能研究所）；Canada CIFAR AI Chair（加拿大CIFAR人工智能讲席）
本文提出Cactus方法，通过受约束优化框架，在保证与验证器分布可控差异的同时提升接受率，有效解决传统推测采样在分布匹配上的限制问题。
2026-04-05 cs.AI cs.LG math.OC
Non-Stationary Latent Auto-Regressive Bandits
针对无预算的非平稳多臂赌博机问题，提出LARL算法，通过隐式预测潜在自回归状态形成奖励预测，近似稳态卡尔曼滤波，实现次线性遗憾并优于基线。
2025-02-28 cs.AI cs.LG
CAFLOW: Conditional Autoregressive Flows
University of Cambridge（剑桥大学）
我们介绍CAFLOW，一个新的多样化的图像到图像的翻译模型，同时利用自回归建模的力量和建模效率的条件规范化流。我们使用多尺度归一化流程将条件图像转换为一系列潜在编码，并对条件图像重复该过程。我们通过使用高效的多尺度归一化流对自回归分布进行建模来对潜在编码的条件分布进行建模，其中每个调节因素在其各自的分辨率尺度上影响图像合成。我们提出的框架在一系列图像到图像的翻译任务上表现良好。它优于以前的设计条件流，因为它的表达自回归结构。
2021-06-04 cs.AI cs.CV cs.LG
Painter: Teaching Auto-regressive Language Models to Draw Sketches
Qualcomm AI Research（高通人工智能研究院）
本文提出 Painter，通过微调预训练 LLM 使其自回归生成画笔笔触，实现文本到草图生成、对象移除及草图对象检测分类。
2023-08-16 cs.CV cs.LG
Auto-Regressive Next-Token Predictors are Universal Learners
Harvard University（哈佛大学）；Kempner Institute for the Study of Natural and Artificial Intelligence（坎普纳自然与人工智能研究所）
本文提出研究自回归下一词元预测器的理论框架，证明在CoT数据上训练的简单线性预测器即可近似图灵机计算的任意函数，并引入长度复杂度，揭示了LLM的强大能力主要源于自回归训练方案而非特定架构。
2024-07-29 cs.CL cs.LG
Neural Approximation of an Auto-Regressive Process through Confidence Guided Sampling
Clova AI Research, NAVER Corp.（NAVER公司Clova AI研究中心）
我们提出了一个通用的基于置信度的近似，可以插入和简化的自回归生成过程中证明收敛。我们首先假设未来样本的先验可以在独立同分布（i.i.d.）使用高效的预测器。给定过去样本和未来先验信息，母AR模型可以对先验信息进行后处理，而伴随的置信预测器决定当前样本是否需要重新建模。多亏了身份证。假设，后处理可以并行地更新每个样本，这显著地加速了母模型。我们在不同数据域（包括序列和图像）上的实验表明，该方法可以成功地捕获数据的复杂结构，并以较低的计算代价生成有意义的未来样本，同时保持数据的序列关系。
2019-10-15 cs.CV cs.LG stat.ML
XSpecMesh: Quality-Preserving Auto-Regressive Mesh Generation Acceleration via Multi-Head Speculative Decoding
Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China, Xiamen University（教育部多媒体可信感知与高效计算重点实验室，厦门大学）；Shandong Inspur Database Technology Co.,Ltd（山东浪潮数据库技术有限公司）
针对自动回归网格生成推理延迟高的问题，提出XSpecMesh方法，采用多头投机解码并行预测词元，结合验证重采样与蒸馏策略，实现1.7倍加速且不损失生成质量。
2025-08-06 cs.CV cs.GR cs.LG
Rethinking Molecular Design: Integrating Latent Variable and Auto-Regressive Models for Goal Directed Generation
ETH, Zurich（苏黎世联邦理工学院）；University of Zurich（苏黎世大学）；ETH AI Center（苏黎世联邦理工学院AI中心）
本文针对目标导向分子生成，提出融合 VAE 与自回归模型优势的新型正则化混合模型，以提升分子序列有效性、条件生成与风格迁移，并反思经典模型的隐含假设。
2024-09-06 cs.LG q-bio.BM
Deep Switching Auto-Regressive Factorization:Application to Time Series Forecasting
Northeastern University（东北大学）
我们引入了深度开关自回归因子分解（DSARF），这是一种时空数据的深度生成模型，能够解开数据中的重复模式，并执行强大的短期和长期预测。与其他因子分析方法类似，DSARF通过时间相关权重和空间相关因子之间的乘积来近似高维数据。这些权重和因子又表示为使用随机变分推理推断的低维潜变量。DSARF与现有技术的不同之处在于，它根据马尔可夫先验的深度切换向量自回归似然来参数化权重，该似然能够捕获权重之间的非线性相互依赖性以表征多模态时间动态。这导致了一个灵活的分层深度生成因子分析模型，该模型可以扩展为（i）提供从过程动态中抽象的潜在可解释状态的集合，以及（ii）在复杂的多关系设置中执行短期和长期向量时间序列预测。我们广泛的实验，其中包括模拟数据和实际数据，从广泛的应用，如气候变化，天气预报，交通，传染病传播和非线性物理系统证明了优越的性能DSARF的长期和短期的预测误差，与国家的最先进的方法相比。
2020-09-10 cs.LG stat.ML
Auto-Regressive Moving Diffusion Models for Time Series Forecasting
Shanghai Jiao Tong University（上海交通大学）；Ningbo Institute of Digital Twin, Eastern Institute of Technology（东方理工大学宁波数字孪生研究院）
针对现有扩散时间序列预测模型忽略序列连续性、与预测目标错位的问题，受ARMA理论启发提出带先验链式扩散的ARMD模型，在7个数据集上取得SOTA性能。
2024-12-12 cs.AI cs.LG stat.AP
X-Prompt: Towards Universal In-Context Image Generation in Auto-Regressive Vision Language Foundation Models
Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）；Tsinghua University（清华大学）；The Chinese University of Hong Kong（香港中文大学）；CPII under InnoHK（创新香港科技促进会）；MThreads AI
本文提出纯自回归视觉语言模型X-Prompt，通过高效压缩上下文示例特征和统一文本图像预测训练，在统一框架内实现通用图像生成，并能泛化到未见任务。
2025-08-27 cs.AI cs.CV cs.LG
Learning from Suboptimal Data in Continuous Control via Auto-Regressive Soft Q-Network
Tsinghua University（清华大学）
本文提出基于价值的强化学习算法ARSQ，通过由粗到细的自回归方式建模Q值，有效利用次优演示与在线数据进行连续控制，在D4RL和RLBench上显著超越基线。
2025-05-29 cs.LG cs.RO
TNPAR: Topological Neural Poisson Auto-Regressive Model for Learning Granger Causal Structure from Event Sequences
Guangdong University of Technology（广东工业大学）；Peng Cheng Laboratory（鹏城实验室）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Huawei（华为）；Shantou University（汕头大学）
针对事件序列非独立同分布导致格兰杰因果学习困难的问题，提出融合拓扑网络与因果结构的TNPAR模型，通过生成-推理双过程实现端到端因果发现，实验验证了其有效性。
2024-03-12 cs.AI cs.LG
Auto-Regressive U-Net for Full-Field Prediction of Shrinkage-Induced Damage in Concrete
Czech Technical University in Prague（布拉格捷克技术大学）；Eindhoven University of Technology（埃因霍温理工大学）
本文提出自回归U-Net和CNN结合的方法，用于预测混凝土收缩损伤及力学性能，提升计算效率并优化混凝土配比。
2026-03-06 cs.LG
CART: Compositional Auto-Regressive Transformer for Image Generation
针对图像自回归生成因空间依赖性面临的挑战，提出组合式自回归Transformer（CART），通过分层语义分解迭代添加图像细节，在三种分解策略上验证其灵活性，优于传统方法，提升可控性与可解释性。
2025-11-12 cs.CV cs.LG
Wasserstein multivariate auto-regressive models for modeling distributional time series
Université Grenoble Alpes, CNRS, Inria, Grenoble INP, LJK（格勒诺布尔阿尔卑斯大学、国家科学研究中心、法国国家信息与自动化研究所、格勒诺布尔INP、LJK研究中心）；Institut de Mathématiques de Bordeaux, Université de Bordeaux（波尔多数学研究所、波尔多大学）
本文提出基于Wasserstein空间的多变量自回归模型，用于分析分布时间序列，通过稀疏结构学习时间依赖图。
2026-01-19 cs.LG stat.ML
Non-Stationary Bandits with Auto-Regressive Temporal Dependency
Operations Research Center, Massachusetts Institute of Technology（麻省理工学院运营研究中心）；Sloan School of Management, Massachusetts Institute of Technology（麻省理工学院斯隆管理学院）；IBM Research（IBM研究院）
针对传统多臂老虎机忽略现实场景时间动态的问题，提出融合交替与重启机制的自回归奖励非平稳MAB框架，实现接近下界的遗憾上界，并通过旅游需求预测案例验证了有效性与适用性。
2023-12-12 cs.DS cs.LG
Auto-Regressive Masked Diffusion Models
School of Computer Science University of Waterloo, ON, Canada（计算机科学学院，滑铁卢大学，加拿大）；Google Research（谷歌研究）
本文提出自回归掩码扩散模型，通过结合自回归模型的训练效率与扩散模型的并行生成能力，实现高效且灵活的语言建模，提升性能并减少训练步骤。
2026-01-23 cs.LG
Structured Thoughts Automaton: First Formalized Execution Model for Auto-Regressive Language Models
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
本文提出首个形式化语言模型执行模型，通过新采样算法构建可靠可检查的执行框架，并引入低级认知编程语言，以推动该领域研究。
2023-06-16 cs.AI cs.CL cs.FL
PRRS Outbreak Prediction via Deep Switching Auto-Regressive Factorization Modeling
University of California, Davis（加州大学戴维斯分校）；Northeastern University（东北大学）
我们提出了一个流行病学分析框架，在畜牧业的爆发预测，重点研究在养猪业中最昂贵的病毒性传染病-PRRS病毒。使用这个框架，我们可以预测PRRS疫情在所有农场的养猪生产系统通过捕获感染传播的时空动态的基础上，农场内的猪级病毒传播动力学，和农场间的猪运输网络。我们模拟了PRRS感染流行病的基础上的运输网络和SEIR流行病模型，使用从养猪业提供的实际数据中提取的统计数据。我们开发了一个分层因子分解的深度生成模型，该模型通过时间相关权重和空间相关低维因子之间的乘积来近似高维数据，以执行每个农场的时间序列预测。预测结果表明，该模型具有较好的预测能力，平均误差为2.5%.
2021-10-07 cs.LG
Large-Scale Auto-Regressive Modeling Of Street Networks
KAUST（阿卜杜拉国王科技大学）
我们提出了一种新的生成方法，用于创建城市规模的道路布局。虽然最近的方法的输出是有限的覆盖区域和多样性的大小，我们的框架产生大的可遍历的高质量的顶点和边缘组成的图，代表完整的街道网络覆盖400平方公里或更多。虽然我们的框架可以处理一般的2D嵌入式图形，但由于训练数据的广泛可用性，我们专注于街道网络。我们的生成框架由一个Transformer解码器组成，该解码器以滑动窗口的方式用于预测一个索引字段，每个索引对局部邻域的表示进行编码。每个索引的语义由上下文向量的字典确定。然后将索引字段输入到解码器以计算街道图。使用OpenStreetMap的数据，我们对整个城市甚至美国等大国的系统进行训练，并最终将其与最先进的系统进行比较。
2022-09-01 cs.LG
SQLformer: Deep Auto-Regressive Query Graph Generation for Text-to-SQL Translation
University of Cambridge（剑桥大学）
SQLformer是一种新型Transformer架构，通过自回归生成SQL查询的抽象语法树并融入结构归纳偏置，在六个文本到SQL基准上取得最先进性能。
2024-05-27 cs.CL cs.LG
HMAR: Efficient Hierarchical Masked Auto-Regressive Image Generation
Stanford University（斯坦福大学）；NVIDIA；CUHK（中国香港大学）；HKU（香港大学）；NTU（国立新加坡大学）；UCSD（加州大学圣地亚哥分校）；Together AI
HMAR 提出分层掩码自回归建模，将下一尺度预测改为仅依赖直接前驱尺度的马尔可夫过程，并结合多步掩码生成，在 ImageNet 上匹配或超越 VAR 等基线，同时实现更快的训练推理速度和更低内存占用，且无需重训练即可调整采样调度并支持零样本图像编辑。
2025-06-04 cs.AI cs.CV cs.LG
Polygonizer: An auto-regressive building delineator
Technical University of Denmark（丹麦技术大学）；Otovo AS（Otovo公司）
提出一种Image-to-Sequence自回归模型Polygonizer，直接从遥感图像推断建筑形状并输出矢量格式，避免了传统语义分割的复杂后处理，在使用真实边界框时实现了最低的最大切线角度误差。
2023-04-08 cs.CV cs.LG
CarPlanner: Consistent Auto-regressive Trajectory Planning for Large-scale Reinforcement Learning in Autonomous Driving
Zhejiang University（浙江大学）；Cainiao Network（菜鸟网络）
针对自动驾驶强化学习轨迹规划训练效率低、难适配大规模真实场景的问题，提出带一致性机制、生成-选择框架的CarPlanner，首次在nuPlan数据集上超越IL及规则类SOTA方法。
2025-03-24 cs.CV cs.LG cs.RO
Modeling the Dynamics of PDE Systems with Physics-Constrained Deep Auto-Regressive Networks
University of Notre Dame（圣母大学）
近年来，深度学习已被证明是大量物理系统的替代建模和不确定性量化的可行方法。然而，在其传统形式中，这些模型可能需要大量的训练数据。这对于获得数据可能极其昂贵的各种工程和科学应用特别重要。为了克服这个缺点，物理约束的深度学习提供了一种很有前途的方法，因为它只利用控制方程。在这项工作中，我们提出了一种新的自回归密集编码器-解码器卷积神经网络，用于在没有训练数据的情况下求解和建模非线性动态系统，其计算成本可能低于标准数值求解器。该模型包括一个贝叶斯框架，允许在每个时间步预测的感兴趣的量的不确定性量化。我们严格测试这个模型上的几个非线性瞬态偏微分方程系统，包括湍流的Kuramoto-Sivashinsky方程，多激波的形成和相互作用与一维Burgers方程和二维波动动力学耦合Burgers方程。对于每一个系统，预测结果和不确定性，并讨论了从传统的数值分析方法得到的结果进行比较。
2019-12-03 cs.LG physics.comp-ph stat.ML
Brain dynamics via Cumulative Auto-Regressive Self-Attention
Tri-institutional Center for Translational Research in Neuroimaging and Data Science (TReNDS)（神经影像与数据科学转化研究三机构中心（TReNDS））；Georgia State University（佐治亚州立大学）；Georgia Tech（佐治亚理工学院）；Emory（埃默里大学）
多变量动态过程通常可以通过代表每个单独时间序列的组件之间的加权连接图来直观地描述。即使是一个简单的表示为皮尔逊相关矩阵的图形可以提供信息和预测，在脑成像文献中证明。然而，有一个共识期望，强大的图神经网络（GNN）应该在类似的设置中表现得更好。在这项工作中，我们提出了一个比深度GNN浅得多的模型，但在脑成像应用中的预测准确性方面优于它们。我们的模型学习个体时间序列的自回归结构，并通过自注意力机制以端到端的方式估计学习到的表示之间的有向连接图。作为患者和对照之间的分类器的模型的监督训练导致生成有向连接图并突出显示对每个受试者具有预测性的时间序列的分量的模型。我们展示了我们的结果对功能神经影像数据集分类精神分裂症患者和对照。
2022-02-14 cs.LG
Enhanced accuracy through ensembling of randomly initialized auto-regressive models for time-dependent PDEs
Department of Civil and Systems Engineering, Johns Hopkins University（土木与系统工程系，约翰霍普金斯大学）
本文提出一种深度集成框架，通过并行训练多个随机初始化的自回归ML代理模型并在推断时聚合，缓解时间相关PDE预测中的误差累积，在三个动力系统上验证了其精度与效率优势。
2025-07-05 cs.AI cs.LG physics.comp-ph
COBART: Controlled, Optimized, Bidirectional and Auto-Regressive Transformer for Ad Headline Generation
Amazon（亚马逊）
研究针对广告标题生成难题，提出用前缀控制令牌结合BART微调的方法，可控制标题长度，适应不同格式与要求，实验显示该方法能提升Rouge-L和估计CTR，相比基线有显著提高。
2026-07-10 cs.AI cs.CL cs.LG
Diffusion-nested Auto-Regressive Synthesis of Heterogeneous Tabular Data
Broad Institute of MIT and Harvard（麻省理工学院与哈佛大学布罗德研究所）；University of Illinois Chicago（芝加哥伊利诺伊大学）
针对自回归模型难以处理异质表格数据及列排列不变性的问题，提出扩散嵌套自回归模型TabDAR，通过扩散模型参数化连续特征分布、带双向注意力的掩码Transformer支持任意列生成顺序，在10个数据集上多项指标显著优于现有最优方法。
2024-10-28 cs.LG
Generating diverse and natural text-to-speech samples using a quantized fine-grained VAE and auto-regressive prosody prior
Google Brain（谷歌大脑）
最近的神经文本转语音（TTS）模型与细粒度的潜在功能，使合成语音的韵律精确控制。这样的模型通常结合细粒度变分自动编码器（VAE）结构，提取每个输入令牌处的潜在特征（例如，音素）。然而，使用标准VAE先验生成样本通常会导致不自然和不连续的语音，令牌之间具有戏剧性的韵律变化。本文提出了一种离散潜在空间中的序列先验，可以生成更自然的声音样本。这是通过使用矢量量化（VQ）对潜在特征进行离散化，并针对结果单独训练自回归（AR）先验模型来实现的。我们评估的方法，使用听力测试，客观指标的自动语音识别（ASR）的性能，和韵律属性的测量。实验结果表明，该模型显著提高了随机样本生成的自然度。此外，初步的实验表明，从所提出的模型中随机采样可以作为数据增强，以提高ASR的性能。
2020-02-06 cs.LG cs.SD eess.AS
DPOT: Auto-Regressive Denoising Operator Transformer for Large-Scale PDE Pre-Training
Tsinghua University（清华大学）；Caltech（加州理工学院）；RealAI
本文提出DPOT，一种基于Fourier attention的自回归去噪PDE预训练Transformer，在10余个数据集、超100k轨迹上以0.5B参数实现SOTA，并显著提升3D等下游任务性能。
2024-05-07 cs.LG cs.NA math.NA
Finer Behavioral Foundation Models via Auto-Regressive Features and Advantage Weighting
针对前向-后向表示（FB）框架训练行为基础模型（BFMs）的线性编码限制和离线训练问题，引入自回归特征提升表达能力，并适配离线RL技术，在D4RL基准上性能与单任务离线智能体相当。
2024-12-05 cs.LG
Auto-Regressive vs Flow-Matching: a Comparative Study of Modeling Paradigms for Text-to-Music Generation
The Hebrew University（希伯来大学）；Meta Fundamental AI Research（Meta 基础人工智能研究）
本研究聚焦文本到音乐生成的建模范式，通过受控实验系统比较自回归解码与条件流匹配的多维度性能，明确两类范式的优劣，为该领域后续架构与训练决策提供参考。
2025-09-04 cs.AI cs.LG cs.SD
Controlled LLM Decoding via Discrete Auto-regressive Biasing
Purdue University（普渡大学）
本文提出离散自回归偏置受控解码算法，通过在离散文本域中利用梯度并引入联合分布与离散MCMC采样，解决了基于能量的解码在流畅性与约束满足之间的平衡问题，在情感控制、去毒化和关键词生成上以更低成本取得更优效果。
2025-02-06 cs.CL cs.LG stat.ML
BAD: Bidirectional Auto-regressive Diffusion for Text-to-Motion Generation
Amirkabir University of Technology (AUT)（阿米尔卡比尔理工大学）；Iran University of Science and Technology (IUST)（伊朗科技大学）；Concordia University（康考迪亚大学）
针对自回归模型难捕捉双向模式、掩码模型易削弱序列依赖的问题，提出融合二者优势的双向自回归扩散模型BAD，通过排列破坏技术兼顾序列与双向关系，在文本生成动作任务上表现更优，提供新的序列预训练策略。
2024-09-17 cs.CL cs.CV cs.LG
Diffusion Guided Language Modeling
Cornell University（康奈尔大学）
本文提出用引导扩散模型生成潜在提议来引导自回归语言模型，在保持流畅性的同时实现即插即用的属性控制，并在多个基准数据集上优于以往方法。
2024-08-08 cs.CL cs.LG
Zero-Shot Streaming Text to Speech Synthesis with Transducer and Auto-Regressive Modeling
Microsoft Corporation（微软公司）；Shanghai Jiao Tong University（上海交通大学）
本文提出零样本流式 TTS 框架 SMLLE，用 Transducer 实时生成语义 token 和时长对齐，并结合自回归模型逐帧重建语音，通过 Delete < Bos > 机制以最小延迟访问未来文本，性能优于现有流式方法并接近句子级系统。
2025-06-02 cs.LG
BlendServe: Optimizing Offline Inference for Auto-regressive Large Models with Resource-aware Batching
University of California, Berkeley（加州大学伯克利分校）；University of Washington（华盛顿大学）；University of California, Davis（加州大学戴维斯分校）；Rice University（里士满大学）
针对离线批处理中资源重叠与前缀共享的冲突，提出资源感知前缀树来最大化资源利用率，相比vLLM和SGLang吞吐量提升1.44倍。
2026-06-05 cs.LG
A Simple Baseline for Predicting Events with Auto-Regressive Tabular Transformers
University of Maryland（马里兰大学）；Capital One（第一资本金融公司）；Columbia University（哥伦比亚大学）
针对现有事件预测方法成本高、依赖特定场景等问题，提出基于标准自回归LLM风格Transformer的简单灵活基线，在主流数据集上性能更优，可用于多类表格数据任务。
2024-10-31 cs.CE cs.LG stat.ML
