Towards Sequence Modeling Alignment between Tokenizer and Autoregressive Model
University of Science and Technology of China(中国科学技术大学);Tongyi Lab(通义实验室)
AliTok通过双向编码器与因果解码器设计,解决图像生成中分词器与自回归模型的对齐问题,实现高保真度和可预测性,模型在ImageNet-256和ImageNet-512上取得SOTA结果。
2026-02-15 cs.CV
Rethinking Discrete Tokens: Treating Them as Conditions for Continuous Autoregressive Image Synthesis
School of Artificial Intelligence, Jilin University(吉林大学人工智能学院);Shanghai Innovation Institute(上海创新研究院);Institute of Trustworthy Embodied AI, Fudan University(复旦大学可信具身人工智能研究院);Department of Computer Science, The University of Hong Kong(香港大学计算机科学系)
本文提出DisCon框架,将离散令牌作为条件信号而非生成目标,对连续表示进行条件概率建模,在ImageNet 256×256生成上取得1.38的gFID,显著超越现有自回归方法。
2025-07-22 cs.CV
QuadTok: Quadtree Visual Tokenizer for Autoregressive Image Generation
University of California, San Diego(加州大学圣迭戈分校)
QuadTok提出了一种层次化四叉树视觉分词器,动态分配表示能力,节省约10%的标记,并利用树结构因果性实现自回归图像生成,在ImageNet上达到2.08 gFID,支持零样本空间控制生成。
2026-10-08 cs.CV
Improving Autoregressive Image Generation through Coarse-to-Fine Token Prediction
National University of Singapore(新加坡国立大学);Shanghai AI Lab(上海人工智能实验室)
针对自回归图像生成中大码本会增加建模难度的问题,提出从粗到细的token预测框架,在ImageNet上Inception Score较基线平均提升59分,且采样速度更快。
2025-03-20 cs.CV
Improved Masked Image Generation with Token-Critic
Google Research(谷歌研究院)
非自回归生成Transformers最近表现出令人印象深刻的图像生成性能,以及比自回归对应物快几个数量级的采样。然而,从视觉标记的真实联合分布的最佳并行采样仍然是一个开放的挑战。在本文中,我们介绍了令牌批评,一个辅助模型,以指导采样的非自回归生成Transformer。给定一个被掩蔽和重建的真实图像,Token-Critic模型被训练以区分哪些视觉标记属于原始图像,哪些是由生成Transformer采样的。在非自回归迭代采样期间,Token-Critic用于选择接受哪些令牌以及拒绝和重新采样哪些令牌。结合Token-Critic,最先进的生成Transformer显着提高了其性能,并在具有挑战性的类条件ImageNet生成中,在生成图像质量和多样性之间的权衡方面优于最近的扩散模型和GANs。
2022-09-09 cs.CV
Attribute Token Arithmetic: Disentangled and Continuous Semantic Control for Visual Autoregressive Models
Monash University(莫纳什大学)
本文提出ATA方法,在预训练自回归隐空间中学习视觉属性语义方向,通过简单算术操作实现连续多属性调整,在可控性等指标上优于现有基线。
2026-08-31 cs.CV
NextStep-1: Toward Autoregressive Image Generation with Continuous Tokens at Scale
NextStep-Team(NextStep团队)
本文提出 NextStep-1,一个 14B 自回归模型搭配 157M 流匹配头,直接在连续图像令牌上训练,在文本到图像生成和图像编辑任务中达到自回归模型最先进水平。
2025-08-18 cs.CV
SSD: Spatially Speculative Decoding Accelerates Autoregressive Image Generation
Rutgers University(罗格斯大学)
提出空间推测解码(SSD),利用二维空间相关性同时预测相邻水平与下方令牌,突破视觉推理中的内存瓶颈,实现高达13.3倍的自回归图像生成加速。
2026-09-29 cs.CV
InsightTok: Improving Text and Face Fidelity in Discrete Tokenization for Autoregressive Image Generation
Tsinghua University(清华大学);Microsoft Research(微软研究院)
InsightTok通过局部内容感知损失提升文本和面部保真度,在不牺牲通用重建质量的情况下优于现有分词器,从而推动离散图像生成的发展。
2026-05-14 cs.CV
Parallelized Autoregressive Visual Generation
University of Hong Kong(香港大学);ByteDance(字节跳动);Peking University(北京大学)
针对自回归视觉生成推理慢的问题,提出基于视觉 token 依赖性的并行生成策略,对弱依赖远距离 token 并行生成、强依赖局部 token 序列生成,无需修改模型架构即可在图像和视频任务中实现最高 9.5 倍加速。
2025-04-03 cs.CV
FastSTAR: Spatiotemporal Token Pruning for Efficient Autoregressive Video Synthesis
Korea Advanced Institute of Science and Technology(韩国科学技术院)
FastSTAR通过时空令牌修剪和部分更新机制,实现高效视频生成,在保持质量的同时提升处理速度。
2026-03-07 cs.CV
SJD-PV: Speculative Jacobi Decoding with Phrase Verification for Autoregressive Image Generation
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学深圳学院)
SJD-PV通过短语级推测验证提升自回归图像生成的解码效率,减少函数评估次数并提升生成质量。
2026-03-02 cs.CV
SJD-SV: Speculative Jacobi Decoding with Semantics Verification for Autoregressive Image Generation
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Pengcheng Laboratory(鹏城实验室)
针对SJD加速自回归图像生成中的令牌歧义问题,本文提出SJD-SV方法,通过语义感知令牌子序列级验证替代逐令牌验证,即插即用,显著提升现有SJD方法的性能。
2026-09-15 cs.CV
ResTok: Learning Hierarchical Residuals in 1D Visual Tokenizers for Autoregressive Image Generation
Vision Lab, Nanjing University(南京大学视觉实验室);Kolors Team, Kuaishou Technology(快手技术Kolors团队)
ResTok通过引入层次化残差机制提升自回归图像生成效果,实现更高效的潜在分布建模与生成过程。
2026-01-07 cs.CV
Improving Flexible Image Tokenizers for Autoregressive Image Generation
Nanyang Technological University(南洋理工大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校);Harbin Institute of Technology(哈尔滨工业大学);Meta AI
ReToK通过冗余标记填充和层次语义正则化改进灵活图像标记器,提升自回归图像生成效果。
2026-10-28 cs.CV
REAR: Rethinking Visual Autoregressive Models via Generator-Tokenizer Consistency Regularization
National University of Singapore(新加坡国立大学);Stanford University(斯坦福大学);The Chinese University of Hong Kong(香港中文大学)
针对视觉自回归模型与扩散模型的性能差距,该研究发现核心瓶颈为生成器-分词器不一致,提出reAR训练策略,无需改动原有架构即可显著提升生成效果,在ImageNet上实现与大参数扩散模型相当的性能。
2025-10-06 cs.CV
EVATok: Adaptive Length Video Tokenization for Efficient Visual Autoregressive Generation
EVATok通过自适应分块器提升视频重建和自回归生成的效率与质量,实现令牌使用量减少24.4%。
2026-03-12 cs.CV
Autoregressive Image Generation without Vector Quantization
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Google DeepMind(谷歌DeepMind);Tsinghua University(清华大学)
该研究打破自回归图像生成需依赖向量量化的传统认知,提出用扩散过程建模token概率、以扩散损失替代交叉熵损失的方法,实现了连续空间下的自回归图像生成,效果优异且兼具速度优势。
2024-11-01 cs.CV
3D representation in 512-Byte:Variational tokenizer is the key for autoregressive 3D generation
AMAP, Alibaba(阿里巴巴AMAP)
针对3D数据无序且难以高压缩建模的问题,本文提出VAT变分分词器,通过高斯残差量化与多尺度潜token支持由粗到细自回归3D生成,最高实现2000倍压缩并保持92% F-score。
2024-12-03 cs.CV
ScaleMoGen: Autoregressive Next-Scale Prediction for Human Motion Generation
Seoul National University(首尔国立大学);Snap Inc.(Snap公司);Meta Reality Labs(Meta现实实验室)
ScaleMoGen提出了一种多尺度自回归框架,通过自回归预测生成动作,实现了更精细的动作生成,同时在HumanML3D和SnapMoGen数据集上取得最佳性能。
2026-07-22 cs.CV
ARINAR: Bi-Level Autoregressive Feature-by-Feature Generative Models
Australian National University(澳大利亚国立大学)
针对现有自回归图像生成模型在建模高维token分布时过于简单或速度慢的问题,提出双层自回归模型ARINAR,通过逐特征生成token并使用高斯混合模型建模单特征分布,在保持媲美MAR-B性能的同时实现五倍提速。
2025-03-04 cs.CV
DPAR: Dynamic Patchification for Efficient Autoregressive Visual Generation
University of California, San Diego(加州大学圣地亚哥分校);Dolby Laboratories(杜比实验室)
DPAR通过动态分块化技术提升自回归视觉生成效率,减少计算资源消耗并提高生成质量。
2025-12-26 cs.CV
SJD-VP: Speculative Jacobi Decoding with Verification Prediction for Autoregressive Image Generation
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Institute of Perceptual Intelligence, Pengcheng Laboratory, Shenzhen(鹏城实验室感知智能研究所)
本文提出SJD-VP,通过利用token概率变化指导采样,提升验证通过率,加速自回归生成并提高图像质量。
2026-03-28 cs.CV
DiCoDe: Diffusion-Compressed Deep Tokens for Autoregressive Video Generation with Language Models
DiCoDe利用扩散压缩深度标记,通过自回归语言模型生成视频,实现高效压缩与高质量输出,展示了在视频建模中的潜力。
2026-03-15 cs.CV
ControlAR: Controllable Image Generation with Autoregressive Models
School of EIC, Huazhong University of Science and Technology(华中科技大学电子信息与通信学院);The University of Hong Kong(香港大学);vivo AI Lab(vivo人工智能实验室)
本文提出ControlAR框架,通过轻量级控制编码器和条件解码方法将空间控制高效集成到自回归图像生成模型中,在边缘、深度和分割掩码等控制任务上超越了ControlNet++等扩散模型。
2025-03-10 cs.CV
Learning to Expand Images for Efficient Visual Autoregressive Modeling
University of Electronic Science and Technology of China(电子科技大学);School of Computer Science and Engineering, Central South University(中南大学计算机科学与工程学院);Xidian University(西安电子科技大学);SenseTime Research(商汤科技研究院);Shanghai Jiao Tong University(上海交通大学)
本文提出EAR模型,通过中心向外的生成方式提升视觉自回归模型的效率与生成质量,实现保真度与效率的最佳平衡。
2025-11-19 cs.CV
Exploiting Discriminative Codebook Prior for Autoregressive Image Generation
Department of Computer Science and Engineering, The Hong Kong University of Science and Technology(计算机科学与工程系,香港科技大学);Tongyi Lab, Alibaba Group(阿里云实验室);Department of Biomedical Engineering, Duke University(生物医学工程系,杜克大学)
本文提出判别性码本先验提取器(DCPE),通过基于实例的距离和凝聚合并技术替代k-means聚类,有效挖掘码本中的token相似性,加速自回归模型训练42%并提升生成性能。
2025-08-14 cs.CV
IAR2: Improving Autoregressive Visual Generation with Semantic-Detail Associated Token Prediction
Shanghai Jiao Tong University(上海交通大学);Zhejiang University(浙江大学)
提出IAR2框架,通过语义-细节关联双码本和分层预测机制,实现从粗到细的图像生成,在ImageNet上取得FID 1.50的领先性能。
2026-05-27 cs.CV
D2C: Unlocking the Potential of Continuous Autoregressive Image Generation with Discrete Tokens
Beijing Jiaotong University(北京交通大学);Tencent Inc(腾讯科技有限公司)
针对自回归离散令牌图像生成质量差、连续令牌扩散模型效率低的问题,提出两阶段D2C方法,结合离散粗粒度与连续细粒度令牌及融合模块,在ImageNet-256类别条件生成任务上性能更优。
2025-03-21 cs.CV
End-to-End Autoregressive Image Generation with 1D Semantic Tokenizer
California Institute of Technology(加州理工学院);Stanford University(斯坦福大学)
本文提出端到端训练 pipeline,结合重建与生成优化,改进1D分词器,实现自回归图像生成的高FID分数结果。
2026-05-01 cs.CV cs.LG
Residual Decoder Adapter: ID-Preserving Tokenizer Adaption for Autoregressive Text Rendering
Central South University(中南大学);University of Oxford(牛津大学);Microsoft Research(微软研究院)
提出残差解码器适配器(RDA),通过引入配对码本和平行分支学习像素空间残差,在不重新训练分词器和自回归模型的情况下显著提升文本渲染性能。
2026-06-01 cs.CV
Unified Multimodal Autoregressive Modeling with Shared Context-Visual Tokenizer is Key to Unification
Institute of Trustworthy Embodied AI, Fudan University(可信具身AI研究院,复旦大学);Shanghai Innovation Institute(上海创新研究院);Qwen Team, Alibaba Inc.(通义实验室,阿里公司)
提出UniAR框架,通过单一离散视觉分词器桥接视觉理解与生成,采用并行位预测和扩散解码,在图像生成和编辑上达到最优,同时保持多模态理解竞争力。
2026-06-19 cs.CV
TokenAR: Multiple Subject Generation via Autoregressive Token-level enhancement
National University of Singapore(新加坡国立大学);Tencent Youtu Lab(腾讯优图实验室)
针对多参考图像生成中的身份混淆问题,本文提出 TokenAR 的 token 级增强框架,并构建含 28K 训练对的 InstructAR Dataset,实验表明其性能优于现有最先进模型。
2025-10-18 cs.CV
ARSS: Taming Decoder-only Autoregressive Visual Generation for View Synthesis From Single View
Institute for Creative Technologies(创意技术研究所);University of Southern California(南加州大学)
ARSS通过单视角生成视图,利用自回归模型和相机轨迹指导提升生成质量。
2025-12-06 cs.CV
Hierarchical Masked Autoregressive Models with Low-Resolution Token Pivots
HiDream.ai Inc(HiDream.ai 公司);The University of Adelaide(阿德莱德大学)
本文提出Hi-MAR,一种以低分辨率令牌为枢轴的分层掩码自回归模型,通过多阶段建模层次依赖,提升视觉生成性能并降低计算成本。
2025-05-26 cs.CV cs.MM
Next Patch Prediction for Autoregressive Visual Generation
Peking University(北京大学);PengCheng Laboratory(鹏城实验室);NUS(新加坡国立大学);HKUST(香港科技大学);UCF(中佛罗里达大学);Everlyn(埃弗林公司);Rabbitpre AI(睿兔人工智能)
本研究提出下一个补丁预测(NPP)范式,通过多尺度由粗到细的补丁分组策略,在保留原模型架构与推理流程的前提下,降低自回归视觉生成的训练成本并提升生成质量。
2025-03-19 cs.CV
Adaptive Begin-of-Video Tokens for Autoregressive Video Diffusion Models
Zhejiang University(浙江大学);Manycore Tech Inc.(Manycore科技公司)
针对自回归视频扩散模型长视频生成的现有范式缺陷,本文提出ada-BOV自适应视频起始令牌,搭配流式去噪精细化策略与扰动增强训练噪声调度,在多指标上取得优异的长视频生成效果。
2025-11-15 cs.CV
Group Critical-token Policy Optimization for Autoregressive Image Generation
University of Science and Technology of China(中国科学技术大学);Shanghai Innovation Institute(上海创新研究院);Fudan University(复旦大学);CUHK(香港中文大学);Beihang University(北京航空航天大学)
本文提出 GCPO,从因果依赖、熵梯度空间结构和组内 token 多样性识别关键图像 token,并以动态优势权重优化策略,仅用30% token即超越全 token GRPO。
2025-09-26 cs.CV
Infinity: Scaling Bitwise AutoRegressive Modeling for High-Resolution Image Synthesis
ByteDance(字节跳动)
本研究提出按位自回归建模方法Infinity,通过无限词汇表分词器等技术提升生成能力,在多项基准上优于SD3-Medium等扩散模型,生成速度更快,刷新自回归文生图模型纪录。
2025-06-17 cs.CV
DetailFlow: 1D Coarse-to-Fine Autoregressive Image Generation via Next-Detail Prediction
ByteDance Inc.(字节跳动公司)
针对图像生成问题,提出DetailFlow方法,通过1D从粗到精自回归模型与下一细节预测策略,用更少标记实现高质量生成,还提出并行推理机制提升速度,在ImageNet基准上优于VAR等方法,兼具质量与效率优势。
2025-11-11 cs.CV
SSD: Spatial-Semantic Head Decoupling for Efficient Autoregressive Image Generation
Westlake University(西湖大学)
针对自回归图像生成模型内存与计算成本高的问题,提出基于空间局部性与涌现语义汇聚现象的SSD KV缓存压缩框架,通过解耦注意力头实现5倍内存降低与6.6倍吞吐量提升,支持受限硬件上的高效图像生成。
2025-10-21 cs.CV
BAMM: Bidirectional Autoregressive Motion Model
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校);University of Central Florida(中佛罗里达大学)
BAMM提出一种双向自回归运动模型,通过运动分词器与混合掩码自注意力Transformer统一掩码建模和自回归建模,在无需预知运动长度的同时实现高质量文本到运动生成与编辑。
2024-04-01 cs.CV
Head-Aware Key-Value Compression for Efficient Autoregressive Image Generation
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Peng Cheng Laboratory(鹏城实验室)
本文提出HeadKV框架,通过根据注意力头的局部性偏置分配不同的缓存预算,提高自回归图像生成的效率和内存利用率,同时设计分层令牌驱逐策略以保留长距离信息。
2026-05-20 cs.CV
Mirai: Autoregressive Visual Generation Needs Foresight
The University of Tokyo(东京大学);National Institute of Informatics(国立信息学研究所);Peking University(北京大学)
研究探讨前瞻性训练信号对自回归视觉生成的影响,提出Mirai框架通过注入未来信息提升生成质量与收敛速度。
2026-04-13 cs.CV
FlowAR: Scale-wise Autoregressive Image Generation Meets Flow Matching
Johns Hopkins University(约翰斯·霍普金斯大学);ByteDance(字节跳动)
FlowAR提出简化尺度设计的下一尺度预测方法,解决VAR泛化与灵活性限制,支持任意VAE并集成流匹配,在ImageNet-256上实现更优图像生成。
2024-12-19 cs.CV
Frequency Autoregressive Image Generation with Continuous Tokens
University of Science and Technology of China(中国科学技术大学);Alibaba Group, DAMO Academy(阿里巴巴集团,达摩院)
本文提出频率自回归(FAR)范式,通过连续标记器构建图像,利用频谱依赖性提升生成效果,并在ImageNet上验证了其在图像生成中的有效性。
2026-03-18 cs.AI cs.CV
V2Flow: Unifying Visual Tokenization and Large Language Model Vocabularies for Autoregressive Image Generation
Du Xiaoman Financial(度小满金融)
V2Flow提出一种基于流匹配的视觉分词器,通过视觉词表重采样与掩码自回归整流流解码,使离散视觉token与LLM词表对齐,实现高保真重建并支持在现有LLM上进行自回归图像生成。
2025-03-10 cs.AI cs.CV
DC-AR: Efficient Masked Autoregressive Image Generation with Deep Compression Hybrid Tokenizer
NVIDIA
本文提出DC-AR框架,通过深度压缩混合分词器DC-HT实现32倍空间压缩,结合离散与残差token的混合掩码自回归生成,在图像质量与计算效率上超越现有扩散和自回归模型。
2025-07-07 cs.AI cs.CV
NesTok: Nested Self-Aligned 1D Tokenizer for Autoregressive Image Generation
North China Electric Power University(华北电力大学);University of Science and Technology of China(中国科学技术大学);Stanford University(斯坦福大学)
NesTok提出嵌套自对齐框架,通过跨长度训练提升一维变长分词器的重建与生成性能,在ImageNet上取得rFID 0.98和gFID 1.46的领先结果。
2026-10-02 cs.AI cs.CV
Hita: Holistic Tokenizer for Autoregressive Image Generation
The University of Hong Kong(香港大学);NLPR, MAIS, CASIA(国家工程研究中心、人工智能院、中国科学院);Dexmal;StepFun;MEGVII Techonology(MEGVII科技)
提出Hita图像词元化器,通过从整体到局部的词元化方案及序列结构与轻量级融合模块,加速自回归图像生成并提升全局信息捕捉能力,在ImageNet上达到2.59 FID。
2025-07-11 cs.AI cs.CV
Direction-Aware Diagonal Autoregressive Image Generation
School of Intelligence Science and Technology, Peking University(北京大学智能科学与技术学院);Xiaomi Inc.(小米公司)
针对光栅顺序图像令牌序列换行处索引相邻令牌欧氏距离大的问题,提出DAR方法采用对角线扫描顺序,结合4D-RoPE和方向嵌入模块,DAR-XL在ImageNet基准上获1.37的SOTA FID分数。
2025-04-16 cs.AI cs.CV
FastVAR: Linear Visual Autoregressive Modeling via Cached Token Pruning
Tsinghua University(清华大学);ETH Zürich(苏黎世联邦理工学院);Shenzhen University(深圳大学);Peng Cheng Laboratory(鹏城实验室)
FastVAR通过缓存令牌剪枝策略,仅处理关键令牌,实现线性视觉自回归建模加速,支持高分辨率图像生成,性能损失极小。
2025-07-08 cs.CV
MegaParts: Scaling Part-Aware 3D Object Generation to 300 Parts via Token-Efficient Autoregressive Modeling
The University of Hong Kong(香港大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Fudan University(复旦大学);Tongji University(同济大学);University of Science and Technology of China(中国科学技术大学);Shanghai Jiao Tong University(上海交通大学)
MegaParts提出结合结构化序列建模与令牌高效矢量量化形状令牌化器的自回归框架,将部件感知3D生成扩展至300个部件,性能优于基线模型,为大规模部件感知3D生成提供新方案。
2026-08-18 cs.CV cs.GR
LARP: Tokenizing Videos with a Learned Autoregressive Generative Prior
University of Maryland, College Park(马里兰大学 College Park 分校)
本研究提出新型视频令牌化器LARP,通过整体查询方案和训练时集成的轻量级AR transformer先验模型,实现更优的全局语义捕获与自回归生成适配,在UCF101基准上取得SOTA FVD,助力高保真多模态大模型构建。
2025-06-16 cs.AI cs.CV