VIVAS: Vitalizing Visual Perception in VLM Pre-training via Vision-language Unified Autoregressive Supervision
Tsinghua University（清华大学）；Tencent Youtu Lab（腾讯优图实验室）；Nanjing University（南京大学）
VIVAS通过统一标记空间和密集结构语义视觉分词器，在预训练中对视觉与语言内容进行统一自回归监督，以增强细粒度视觉感知，在12.4T标记上训练后于7项任务和39个多模态基准上达到最先进性能。
2026-09-24 cs.CV
Autoregressive Semantic Visual Reconstruction Helps VLMs Understand Better
Fudan University（复旦大学）；Shanghai Innovation Institute（上海创新研究院）；AutoLab, Westlake University（西湖大学AutoLab）；Zhejiang University（浙江大学）；Shanghai AI Lab（上海人工智能实验室）；University of Southern California（美国南加州大学）
自回归语义视觉重建通过提升多模态理解能力，改进了VLMs对视觉信息的把握
2026-01-05 cs.AI cs.CL cs.CV
Med-AR: Autoregressive Vision-Language Pretraining for Long-Tailed Chest X-Ray Classification and Uncertainty-Aware Evaluation
本文提出Med-AR自回归视觉-语言预训练模型，在长尾胸部X射线分类中优于对比学习方法，提升尾部标签AUPRC，并改善选择性预测性能。
2026-09-25 cs.AI cs.CV
Analyzing Diffusion and Autoregressive Vision Language Models in Multimodal Embedding Space
Nanyang Technological University（南洋理工大学）；Yale University（耶鲁大学）；NYU Shanghai（纽约大学上海分校）；Alibaba-NTU Singapore Joint Research Institute（阿里-国立新加坡大学联合研究机构）；University of the Chinese Academy of Sciences（中国科学院大学）；Center for Data Science（数据科学中心）；New York University（纽约大学）
本文研究了多模态扩散模型在多模态嵌入任务中的表现，发现其在分类、VQA和检索任务中均逊于自回归VLM。
2026-01-19 cs.AI cs.CL cs.CV
UVU: Improving Multimodal Understanding via Vision-Language Unified Autoregressive Paradigm
Tsinghua University（清华大学）；Tencent Youtu Lab（腾讯优图实验室）；Nanjing University（南京大学）；University of Glasgow（格拉斯哥大学）
针对多模态大语言模型细粒度视觉理解受限于稀疏文本监督的问题，本文提出UVU框架，在预训练阶段引入连续视觉编码与像素级码本，实现像素与文本标记统一自回归生成，显著提升多模态理解性能。
2026-09-24 cs.CV
Masked Non-Autoregressive Image Captioning
Peking University Shenzhen Graduate School（北京大学深圳研究生院）；Nanjing University（南京大学）；Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）；City University of Hong Kong（香港城市大学）
现有的字幕模型通常采用编码器-解码器架构，其中解码器使用自回归解码来生成字幕，使得在给定先前生成的令牌的情况下顺序地生成每个令牌。然而，自回归解码导致诸如顺序错误累积、生成缓慢、语义不正确和缺乏多样性等问题。非自回归解码已经被提出来解决神经机器翻译的缓慢生成，但是由于目标分布的间接建模而遭受多模态问题。在本文中，我们提出了一种屏蔽的非自回归解码来解决自回归解码和非自回归解码的问题。在掩蔽非自回归解码中，我们在训练过程中对输入序列的几种比率进行掩蔽，在推理过程中以合成的方式从完全掩蔽序列到完全非掩蔽序列分几个阶段生成字幕。实验表明，我们提出的模型可以更有效地保留语义内容，并可以生成更多样化的字幕。
2019-06-03 cs.CV
BARD: Bridging AutoRegressive and Diffusion Vision-Language Models Via Highly Efficient Progressive Block Merging and Stage-Wise Distillation
Shanghai Academy of AI for Science（上海人工智能科学研究院）；Shanghai Innovation Institute（上海创新研究院）；Fudan University（复旦大学）；Nanjing University（南京大学）
BARD通过高效渐进块合并与分阶段蒸馏将预训练自回归视觉-语言模型转换为解码高效的扩散视觉-语言模型，实现在大块规模下性能恢复与解码效率提升。
2026-07-14 cs.CV cs.LG
V2Flow: Unifying Visual Tokenization and Large Language Model Vocabularies for Autoregressive Image Generation
Du Xiaoman Financial（度小满金融）
V2Flow提出一种基于流匹配的视觉分词器，通过视觉词表重采样与掩码自回归整流流解码，使离散视觉token与LLM词表对齐，实现高保真重建并支持在现有LLM上进行自回归图像生成。
2025-03-10 cs.AI cs.CV
AutoRad-Lung: A Radiomic-Guided Prompting Autoregressive Vision-Language Model for Lung Nodule Malignancy Prediction
Concordia University（康考迪亚大学）；Thomas Jefferson University Hospital（托马斯杰斐逊大学医院）；Sunnybrook Health Sciences Centre（桑尼布鲁克健康科学中心）
针对CLIP-Lung模型依赖主观注释、推理时无法用文本及忽略先验知识等局限，提出AutoRad-Lung，结合自回归预训练VLM与放射组学提示，捕捉像素级差异并动态优化提示，提升肺结节恶性预测性能。
2025-03-26 cs.CV cs.LG eess.IV
SwimBird: Eliciting Switchable Reasoning Mode in Hybrid Autoregressive MLLMs
Huazhong University of Science and Technology（华中科技大学）；Accio Team, Alibaba Group（阿里集团Accio团队）
SwimBird通过动态切换三种推理模式，提升多模态大语言模型在视觉密集任务中的性能，同时保持文本推理能力。
2026-02-05 cs.CV
Handling and Interpreting Missing Modalities in Patient Clinical Trajectories via Autoregressive Sequence Modeling
Brown University（布朗大学）
本文通过自回归序列建模方法处理医疗数据中缺失模态的问题，提出对比预训练目标并验证了其在MIMIC-IV和eICU数据集上的有效性，提升了模型可解释性。
2026-05-06 cs.AI cs.LG
Advancing Sequential Numerical Prediction in Autoregressive Models
ByteDance Inc.（字节跳动公司）；City University of Hong Kong（香港城市大学）
针对自回归模型忽略数值序列结构的问题，提出数值Token完整性损失（NTIL），在token和序列双重层面优化数值预测，有效融入大模型并显著提升性能。
2025-05-28 cs.AI cs.CL cs.LG
FastVLM: Self-Speculative Decoding for Fast Vision-Language Model Inference
Dept. of IEOR, IIT Bombay（工业工程与运营研究系，印度理工学院班加罗尔）
FastVLM提出基于模仿学习的自推测解码框架，用轻量草稿模型自回归生成令牌并由完整模型非自回归验证，实现1.55-1.85倍加速且性能损失极小。
2025-10-26 cs.AI cs.LG
RecycleGPT: An Autoregressive Language Model with Recyclable Module
Tsinghua University（清华大学）
本文提出RecycleGPT，一种通过回收预生成模型状态来加速解码的自回归语言模型，利用相邻令牌相关性，实现高达1.4倍推理加速并保持高性能。
2024-05-23 cs.AI cs.CL
SuperVoxelGPT: Adaptive and Ordered 3D Tokenization for Autoregressive Shape Generation
University of Texas at Dallas（德克萨斯大学达拉斯分校）；Tencent America（腾讯美国）
提出SuperVoxelGPT框架，通过自适应且有序的超体素令牌化解决自回归3D生成中序列长度与空间顺序的矛盾，实现高质量、高效率的形状生成。
2026-09-22 cs.CV cs.GR
A Survey on Vision Autoregressive Model
本文系统性回顾了视觉自回归模型，构建了涵盖图像与视频生成、医学图像分析等多任务的分类体系，全面评估现有方法并提出了未来研究的挑战与方向。
2024-11-16 cs.AI cs.CV
Object-Centric Temporal Consistency via Conditional Autoregressive Inductive Biases
Delft University of Technology（代尔夫特理工大学）；The University of Tokyo（东京大学）；Mila, University of Montreal（蒙特利尔大学米拉研究所）；Google DeepMind（谷歌DeepMind）；Agency for Science, Technology and Research（新加坡科技研究局）；Nanyang Technological University（南洋理工大学）
本文提出条件自回归槽注意力（CA-SA）框架，通过自回归先验网络和一致性损失函数增强视频中以对象为中心表示的时间一致性，并在视频预测和视觉问答任务上优于基线方法。
2024-10-21 cs.CV cs.LG
Data-Efficient Autoregressive Document Retrieval for Fact Verification
KAIST AI（韩国科学技术院人工智能学院）
文档检索是许多知识密集型自然语言处理任务公式化的核心组件，例如事实验证和问答。文本知识的来源，如维基百科的文章，从模型中生成答案的条件。检索的最新进展使用序列到序列模型来递增地预测给定查询的适当维基百科页面的标题。然而，这种方法需要以人工注释的形式进行监督，以标记哪些维基百科页面包含适当的上下文。本文介绍了一种远程监督方法，不需要任何注释，训练自回归检索器，达到竞争力的R-精度和召回在zero-shot设置。此外，我们表明，与特定任务的监督微调，两个基于维基百科的事实验证任务的自回归检索性能可以接近，甚至超过完全监督使用不到$1/4$的注释数据指示可能的方向，数据高效的自回归检索。
2022-11-17 cs.AI cs.CL cs.IR
Separators in Enhancing Autoregressive Pretraining for Vision Mamba
Huazhong University of Science and Technology（华中科技大学）
本文提出STAR方法，通过引入分隔符技术扩展视觉Mamba的输入序列长度，提升其在ImageNet-1k上的准确率至83.5%
2026-09-23 cs.AI cs.CV
Exploring Stochastic Autoregressive Image Modeling for Visual Representation
SenseTime Research（商汤科技研究院）
自回归语言建模（ALM）已成功地应用于自然语言处理（NLP）中的自监督预训练。然而，这种范例还没有实现与计算机视觉中的其他自监督方法（例如，对比学习、掩模图像建模）。在本文中，我们试图找到自回归建模不能很好地用于视觉任务的原因。为了解决这个问题，我们充分分析了视觉自回归方法的局限性，并提出了一种新的随机自回归图像建模（SAIM）的两个简单的设计。首先，我们采用随机置换策略来生成有效和鲁棒的图像上下文，这是视觉任务的关键。其次，我们创建了一个并行的编码器-解码器训练过程，其中编码器充当类似于标准视觉Transformer的角色，专注于学习整个上下文信息，同时解码器预测当前位置的内容，以便编码器和解码器可以相互加强。通过引入随机预测和并行编解码器，SAIM显著提高了自回归图像建模的性能。在仅使用ImageNet-1 K数据的方法中，我们的方法在vanilla ViT-Base模型上实现了最佳准确率（83.9%）。在下游任务的传输性能也表明，我们的模型达到了竞争力的性能。
2022-12-03 cs.AI cs.CV
MAP: Unleashing Hybrid Mamba-Transformer Vision Backbone's Potential with Masked Autoregressive Pretraining
IIIS, Tsinghua University（清华大学人工智能研究院）；Shanghai Qi Zhi Institute（上海启智研究院）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
针对混合Mamba-Transformer视觉骨干网络，提出掩码自回归预训练（MAP），结合MAE与自回归优势，统一提升Mamba和Transformer模块性能，在2D和3D数据集上达到最先进水平。
2025-05-23 cs.AI cs.CV
Vision Foundation Models as Effective Visual Tokenizers for Autoregressive Image Generation
The University of Hong Kong（香港大学）；StepFun；Dexmal；MEGVII Technology（MEGVII科技）
提出基于冻结视觉基础模型的图像分词器VFMTok，通过区域自适应量化和语义重建目标，提升自回归图像生成质量与效率，在ImageNet上gFID达1.36，收敛加速3倍。
2025-10-25 cs.AI cs.CV
Autoregressive Models in Vision: A Survey
The University of Hong Kong（香港大学）；Tsinghua University（清华大学）；Duke University（杜克大学）；University of Rochester（罗切斯特大学）；The Ohio State University（俄亥俄州立大学）；Bytedance（字节跳动）；The University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；Apple（苹果公司）；The Hong Kong Polytechnic University（香港理工大学）；Princeton University（普林斯顿大学）
该综述系统梳理了视觉自回归模型，按像素级、token级和尺度级表示策略分类基础框架，并覆盖图像、视频、3D及多模态生成等应用，同时讨论挑战与未来方向。
2025-05-31 cs.CL cs.CV
HAAP: Vision-context Hierarchical Attention Autoregressive with Adaptive Permutation for Scene Text Recognition
College of Physics and Information Engineering, Fuzhou University（福州大学物理与信息工程学院）；Faculty of Engineering, Monash University（莫纳什大学工程学院）；Department of Computer Science and Engineering, Santa Clara University（圣克拉拉大学计算机科学与工程系）
HAAP通过自适应排列和跨模态分层注意力机制，提升场景文本识别的准确性和效率。
2026-02-03 cs.AI cs.CV
Autoregressive Pretraining with Mamba in Vision
Johns Hopkins University（约翰斯·霍普金斯大学）；UC Santa Cruz（加州大学圣克鲁兹分校）；Alibaba Group（阿里巴巴集团）；ByteDance（字节跳动）
本文提出面向视觉 Mamba 的自回归预训练方法 ARM，提升训练效率与 ImageNet 性能，并释放其向超大模型扩展的能力。
2024-06-11 cs.CV
Multimodal Autoregressive Pre-training of Large Vision Encoders
Apple（苹果公司）
本文提出AIMV2系列视觉编码器，通过将视觉编码器与多模态自回归解码器配对，同时生成图像块和文本标记，在大规模预训练中实现了在ImageNet-1k上89.5%的准确率，并持续超越CLIP、SigLIP等对比学习模型。
2024-11-21 cs.CV cs.LG
Devol-ONE: One Autoregressive Mixture of Transformers to Unify Vision-Language-Action and Latent World Modeling
Devol-ONE提出一种Transformer混合体架构，在单一自回归框架内统一视觉语言理解、潜在世界动态预测和动作生成，通过跨流联合预测和逐层注意力，在LIBERO等基准及真实机器人上验证了有效性。
2026-10-02 cs.CV
A Spark of Vision-Language Intelligence: 2-Dimensional Autoregressive Transformer for Efficient Finegrained Image Generation
Peking University（北京大学）；Alibaba Group（阿里巴巴集团）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；Beijing Institute of Technology（北京理工大学）
本文提出二维自回归Transformer（DnD-Transformer），通过在序列长度之外引入模型深度方向的自回归，以端到端方式缓解VQ自回归图像生成的信息丢失问题，在相同模型规模下实现更高质量的图像生成，并首次展示自监督训练下对图文组合模态的理解能力。
2024-10-02 cs.AI cs.CL cs.CV
NARAIM: Native Aspect Ratio Autoregressive Image Models
University of Amsterdam（阿姆斯特丹大学）
针对视觉Transformer预训练未展现语言模型缩放定律、自回归模型因方形图像训练丢失信息的问题，提出NARAIM模型，通过原生纵横比自回归预训练保留空间上下文，提升下游分类任务性能。
2024-12-04 cs.CV
FASTer: Toward Efficient Autoregressive Vision Language Action Modeling via Neural Action Tokenization
Tsinghua University（清华大学）；Fudan University（复旦大学）；Shanghai Innovation Institute（上海创新研究院）；Galaxea AI；Tianjin University（天津大学）；Hong Kong University（香港大学）；UCSD（加州大学圣地亚哥分校）
FASTer通过神经动作分词实现高效自回归视觉语言动作建模，提升机器人学习的推理效率和任务性能。
2025-12-08 cs.CV cs.RO
SpectralAR: Spectral Autoregressive Visual Generation
Tsinghua University（清华大学）
针对现有自回归视觉生成用空间图像块违背因果性的问题，提出SpectralAR框架，通过嵌套谱分词生成有序谱token并以由粗到细方式生成，在ImageNet-1K上以低参数量和少量token实现了优异的生成效果。
2025-06-12 cs.AI cs.CV cs.LG
SkexGen: Autoregressive Generation of CAD Construction Sequences with Disentangled Codebooks
Simon Fraser University（西蒙弗雷泽大学）；Autodesk Research（欧特克研究院）
我们提出了SkexGen，一种新的自回归生成模型的计算机辅助设计（CAD）施工序列包含草图和挤压建模操作。我们的模型利用不同的Transformer架构编码的拓扑，几何和挤出的建设序列到解开码本的变化。自回归Transformer解码器生成共享由码本向量指定的某些属性的CAD构造序列。大量的实验表明，我们解开码本表示生成多样化和高质量的CAD模型，增强用户控制，并使设计空间的有效探索。该代码可在https://samxuxiang.github.io/skexgen上获得。
2022-07-11 cs.CV cs.LG
Spanning Tree Autoregressive Visual Generation
Yonsei University（延世大学）；Korea Institute of Science and Technology（韩国科学技术院）；LG AI Research（LG人工智能研究）；University of Michigan（密歇根大学）；Seoul National University（首尔国立大学）
提出生成树自回归（STAR）建模，通过均匀生成树的遍历顺序在保持采样性能的同时提供灵活序列顺序，支持图像编辑。
2026-07-03 cs.AI cs.CV
MENTOR: Efficient Multimodal-Conditioned Tuning for Autoregressive Vision Generation Models
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Tsinghua University（清华大学）；Peking University（北京大学）；Microsoft（微软公司）
提出MENTOR框架，通过两阶段训练范式实现自回归图像生成器与多模态输入的细粒度token级对齐，无需辅助适配器或交叉注意力模块，在DreamBench++上取得优异性能。
2026-05-28 cs.AI cs.CL cs.CV
Pose Transformers (POTR): Human Motion Prediction with Non-Autoregressive Transformers
École Polytechnique Fédéral de Lausanne（洛桑联邦理工学院）；Idiap Research Institute（IDIAP研究所）
我们建议利用Transformer架构进行非自回归人体运动预测。我们的方法从查询序列中并行解码元素，而不是以先前的预测为条件，例如最先进的基于RNN的方法。通过这种方式，我们的方法的计算密集度较低，并且可能避免序列中长期元素的错误累积。在这种背景下，我们的贡献是四方面的：（i）我们框架的人体运动预测作为一个序列到序列的问题，并提出了一个非自回归Transformer并行推断的姿态序列;（ii）我们提出了解码序列的三维姿态从查询序列中预先生成的元素从输入序列;（iii）我们建议从编码器存储器执行基于信标的活动分类，希望识别活动可以改进预测;（iv）我们表明，尽管它很简单，但我们的方法在两个公共数据集上取得了有竞争力的结果，尽管令人惊讶的是，短期预测比长期预测更多。
2021-09-15 cs.CV
WorldVLN: Autoregressive World Action Model for Aerial Vision-Language Navigation
Tsinghua University（清华大学）；Shandong University（山东大学）；Manifold AI；Beijing Institute of Technology（北京理工大学）；Northeastern University（东北大学）
WorldVLN提出一种自回归世界动作模型，通过预测潜在世界演变并生成可执行的航点动作，提升空域视觉-语言导航性能，优于现有基线模型。
2026-05-15 cs.CV cs.RO
Unified-IO 2: Scaling Autoregressive Multimodal Models with Vision, Language, Audio, and Action
Allen Institute for AI（艾伦人工智能研究所）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Washington（华盛顿大学）
Unified-IO 2是首个统一处理图像、文本、音频和动作的自回归多模态模型，通过共享语义空间和架构改进，在GRIT及35多个基准上取得领先性能。
2023-12-28 cs.AI cs.CL cs.CV
Autoregressive High-Order Finite Difference Modulo Imaging: High-Dynamic Range for Computer Vision Applications
Universidad Industrial de Santander（桑坦德工业大学）；Universidad del Cauca（考卡大学）
本文将无限制采样框架建模为自回归相位解缠问题，结合高阶有限差分与去跨步算法，在离散余弦域高效重建二维HDR图像，无需重训练即可提升自动驾驶目标检测性能。
2025-04-05 cs.CV eess.IV
Autoregressive Image Generation with Vision Full-view Prompt
University of Science and Technology of China（中国科学技术大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；East China Normal University（华东师范大学）
本文提出视觉全视角提示（VF prompt），通过让自回归图像生成模型先感知整体分布并增加推理步骤，模拟人类创作过程，从而提升生成稳定性与准确性，相较无提示方法性能提升约20%。
2025-03-12 cs.CV
NesTok: Nested Self-Aligned 1D Tokenizer for Autoregressive Image Generation
North China Electric Power University（华北电力大学）；University of Science and Technology of China（中国科学技术大学）；Stanford University（斯坦福大学）
NesTok提出嵌套自对齐框架，通过跨长度训练提升一维变长分词器的重建与生成性能，在ImageNet上取得rFID 0.98和gFID 1.46的领先结果。
2026-10-02 cs.AI cs.CV
i-Code V2: An Autoregressive Generation Framework over Vision, Language, and Speech Data
Microsoft Azure Cognitive Services Research（微软Azure认知服务研究院）
i-Code V2是首个能从视觉、语言和语音数据任意组合生成自然语言的框架，通过单模态编码器与模态融合编码器结合，利用自回归解码器生成，在7个多模态任务上表现优异。
2023-05-21 cs.AI cs.CL cs.CV
Implementing Adaptations for Vision AutoRegressive Model
cispa（CISPA信息安全研究中心）
本文针对视觉自回归模型 VAR 实现并评测多种普通与差分隐私微调适配策略，发现其非隐私适配优于扩散模型，但隐私适配性能仍需改进。
2025-07-28 cs.CV cs.LG
Towards Unifying Understanding and Generation in the Era of Vision Foundation Models: A Survey from the Autoregression Perspective
Peking University（北京大学）；Chinese Academy of Sciences（中国科学院）；Tsinghua University（清华大学）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）
本综述聚焦视觉基础模型理解与生成统一趋势，从自回归视角梳理其进展、定义优势、按分词器与骨干分类，探讨挑战方向，是该领域首篇全面综述并配套资源库。
2024-10-30 cs.CV
Octree Transformer: Autoregressive 3D Shape Generation on Hierarchically Structured Sequences
RWTH Aachen University（亚琛工业大学）
自回归模型在NLP文本生成任务中已经被证明是非常强大的，最近也在图像生成中得到了普及。然而，到目前为止，它们在3D形状合成中的应用有限。这主要是由于缺乏一种直接的方法来线性化3D数据，以及在描述复杂形状时所产生的序列长度的缩放问题。在这项工作中，我们解决这两个问题。我们使用八叉树作为紧凑的分层形状表示，可以通过遍历排序来顺序化。此外，我们引入了一个自适应压缩方案，显着减少序列长度，从而使他们的有效生成与Transformer，同时仍然允许完全自回归采样和并行训练。我们展示了我们的模型的性能，通过比较对国家的最先进的形状生成。
2021-11-24 cs.CV cs.GR cs.LG
Visual Self-Refinement for Autoregressive Models
Rochester Institute of Technology（罗切斯特理工大学）；Bosch Research（博世研究）；DEVCOM Army Research Laboratory（美国陆军研究实验室）
针对自回归模型视觉信号空间特性与序列预测依赖冲突导致生成效果不佳的问题，提出即插即用的预训练后精炼模块，通过联合精炼生成词元、利用全局上下文缓解误差累积，提升视觉-语言生成质量与语义一致性。
2025-10-01 cs.CV
Fast Sequence Generation with Multi-Agent Reinforcement Learning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
自回归序列生成模型在机器翻译和图像描述等领域已经达到了最先进的性能。这些模型是自回归的，因为它们通过调节先前生成的单词来生成每个单词，这导致推理过程中的严重延迟。最近，在机器翻译中已经提出了非自回归解码，以通过并行地生成所有单词来加快推理时间。通常，这些模型使用单词级交叉熵损失来独立地优化每个单词。然而，这样的学习过程中没有考虑的一致性，从而导致这些非自回归模型的生成质量较差。在本文中，我们提出了一种简单有效的非自回归序列生成（NAG）模型，并采用了一种新型训练范式：反事实临界多智能体学习（CMAL）。CMAL将NAG表述为一个多智能体强化学习系统，在该系统中，目标序列中的元素位置被视为学习合作最大化奖励水平的智能体。在MSCOCO图像描述基准测试中，我们的NAG方法达到了与最先进的自回归模型相当的性能，同时带来了13.9倍的解码加速比。在WMT 14 EN-DE机器翻译数据集上，我们的方法比交叉熵训练的基线提高了6.0个BLEU点，同时实现了17.46倍的最大解码加速比。
2021-01-24 cs.AI cs.CL cs.CV
Towards Sequence Modeling Alignment between Tokenizer and Autoregressive Model
University of Science and Technology of China（中国科学技术大学）；Tongyi Lab（通义实验室）
AliTok通过双向编码器与因果解码器设计，解决图像生成中分词器与自回归模型的对齐问题，实现高保真度和可预测性，模型在ImageNet-256和ImageNet-512上取得SOTA结果。
2026-02-15 cs.CV
Autoregressive Image Diffusion: Generation of Image Sequence and Application in MRI
University Medical Center Göttingen（哥廷根大学医学中心）；Shenzhen Technology University（深圳科技大学）；Graz University of Technology（格拉茨技术大学）
针对MRI成像速度与质量的权衡问题，提出自回归图像扩散（AID）模型，结合欠采样k空间和已有信息，在fastMRI数据集上评估显示其可生成连贯图像序列，优于标准扩散模型并减少幻觉，提升加速MRI重建效果。
2025-01-06 cs.AI cs.CV eess.IV
Autoregressive Sequence Modeling for 3D Medical Image Representation
The University of Hong Kong（香港大学）；Peking University（北京大学）；Deepwise AI Lab（深睿医疗AI实验室）
针对三维医学图像表示学习，提出自回归序列建模预训练框架，利用空间、对比度和语义相关性排序视觉标记并预测下一个标记，在九项下游任务上表现优越。
2025-05-23 cs.CV
AutoRegressive Generation with B-rep Holistic Token Sequence Representation
Northwestern Polytechnical University（西北工业大学）；National University of Singapore（新加坡国立大学）
本文提出BrepARG，首次将B-表示的几何与拓扑转化为整体令牌序列，通过自回归架构实现B-表示生成，实验表明其达到最先进的性能。
2026-03-30 cs.CV cs.LG
SketchGPT: Autoregressive Modeling for Sketch Generation and Recognition
Computer Vision Center（计算机视觉中心）；Universitat Autònoma de Barcelona（巴塞罗那自治大学）
SketchGPT 提出将草图映射为抽象基元序列，利用序列到序列自回归模型统一实现草图生成、补全与识别，并通过定性与定量实验及人类评估验证其多样性和竞争力。
2024-05-06 cs.CV
Masked AutoDecoder is Effective Multi-Task Vision Generalist
S-Lab, Nanyang Technological University（南洋理工大学S-Lab）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Sensetime Research（商汤科技研究院）；College of Computer Science and Technology, Zhejiang University of Technology（浙江工业大学计算机科学与技术学院）
针对自回归Transformer在视觉任务序列预测中的不足，提出掩码自动解码器（MAD），采用并行解码与掩码序列建模统一多视觉任务，性能优于自回归方法且与任务特定模型相当。
2024-03-14 cs.CV
LongStream: Long-Sequence Streaming Autoregressive Visual Geometry
HKUST (GZ)（香港科技大学（广州））；Horizon Robotics；ZJU（浙江大学）；CSU（中国科学技术大学）
LongStream通过抛弃首帧锚点、引入正交尺度学习和缓存一致性训练，解决长序列流式3D重建中的姿态漂移和注意力偏差问题，实现千帧级稳定重建。
2026-03-13 cs.CV
ActionPiece: Rethinking Action Tokenization for Autoregressive Vision-Language-Action Models
Huazhong University of Science and Technology（华中科技大学）；Zhongguancun Academy（中关村学院）；DeepCybo；Harbin Institute of Technology（哈尔滨工业大学）；Beihang University（北京航空航天大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Zhengzhou University（郑州大学）；Zhongguancun Institute of Artificial Intelligence（中关村人工智能研究院）
针对自回归VLA模型动作分词保真度不足问题，提出物理秩一致性指标和ActionPiece方法，通过联合监督表示学习与量化保留动作关系，在多个基准上显著提升策略成功率。
2026-09-17 cs.AI cs.CL cs.CV
