Deep Generative Modelling: A Comparative Review of VAEs, GANs, Normalizing Flows, Energy-Based and Autoregressive Models
深度生成模型是一类训练深度神经网络以对训练样本的分布进行建模的技术。研究已经分裂成各种相互关联的方法,其中每一种方法都需要权衡包括运行时、多样性和架构限制。特别是,本概要涵盖了基于能量的模型,变分自编码器,生成对抗网络,自回归模型,规范化流,以及许多混合方法。这些技术进行了比较和对比,解释了每个背后的前提以及它们是如何相互关联的,同时回顾了当前最先进的进展和实现。
2022-03-28 cs.CV cs.LG stat.ML
MaskINT: Video Editing via Interpolative Non-autoregressive Masked Transformers
University of California, Irvine(加州大学欧文分校);GenAI, Meta(Meta GenAI部门);National University of Singapore(新加坡国立大学)
本文提出MaskINT,将文本视频编辑分为零样本关键帧编辑与非自回归掩码Transformer帧插值两阶段,在保持与扩散模型相当性能的同时显著提升推理效率。
2024-04-02 cs.CV
Diversity Has Always Been There in Your Visual Autoregressive Models
Southeast University(东南大学);MBZUAI;City University of Hong Kong(香港城市大学);Nankai University(南开大学)
本文提出DiverseVAR方法,通过调整特征图关键组件以恢复视觉自回归模型的生成多样性,提升生成多样性的同时保持高质量合成。
2025-11-21 cs.CV
ScaleErasure: Inference-Time Minimal Intervention for Precise Concept Erasure in Next-Scale Autoregressive Image Generation
提出ScaleErasure方法,通过推理时对与不安全概念最相关的logits进行选择和引导,在下一尺度自回归图像生成中实现精确概念擦除,同时保持生成能力。
2026-06-28 cs.CV
Multimodal Generative AI with Autoregressive LLMs for Human Motion Understanding and Generation: A Way Forward
College of Science and Engineering(科学与工程学院);James Cook University(詹姆斯库克大学);School of Computing(计算学院)
本文系统综述了基于自回归大语言模型的多模态生成式AI在文本驱动人体运动生成中的方法、架构与应用,分析了自回归、扩散、GAN、VAE及Transformer等模型的优劣,并指出其在医疗、游戏、动画等领域的变革潜力与现存挑战。
2025-05-31 cs.AI cs.CV
StraIT: Non-autoregressive Generation with Stratified Image Transformer
Google Research(谷歌研究院);CUHK(香港中文大学);Google Cloud AI(谷歌云人工智能)
我们提出分层图像Transformer(StraIT),一个纯非自回归(NAR)生成模型,表现出优越性,在高质量的图像合成比现有的自回归(AR)和扩散模型(DM)。与现有视觉标记器中视觉特征的开发不足相比,我们利用图像的分层性质将视觉标记编码成具有紧急属性的分层级别。通过提出的图像分层,获得一个互连的令牌对,我们减轻了建模难度,提高了NAR模型的生成能力。我们的实验表明,StraIT显着提高了NAR生成,并优于现有的DM和AR方法,同时速度更快,在ImageNet上以256*256的分辨率实现了3.96的FID分数,而无需利用任何采样或辅助图像分类器的指导。当配备无分类器引导时,我们的方法实现了FID为3.36,IS为259.3。此外,我们说明了StraIT生成的解耦建模过程,显示其令人信服的属性上的应用程序,包括域转移。
2023-03-01 cs.CV
LINA: Linear Autoregressive Image Generative Models with Continuous Tokens
The University of Hong Kong(香港大学);University of Chinese Academy of Sciences(中国科学院大学);Tsinghua University(清华大学);Beijing Academy of Artificial Intelligence(北京人工智能研究院)
LINA是一种基于线性注意力的高效文本到图像生成模型,通过改进归一化和门控机制,在计算效率和生成质量上取得平衡。
2026-01-30 cs.CV
Evaluating Latent Generative Paradigms for High-Fidelity 3D Shape Completion from a Single Depth Image
German Aerospace Center(德国航空航天中心);TU Munich(慕尼黑技术大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
本文比较了扩散模型和自回归模型在单个深度图像生成高保真3D形状补全任务中的性能,发现扩散模型在连续潜在空间中表现更优,而自回归模型在离散潜在空间中可匹敌或超越扩散模型。
2026-01-19 cs.CV
Closing the Loop: Training-Free Revisit Consistency for Autoregressive Generative Rendering
Roblox(罗布乐思);The Pennsylvania State University(宾夕法尼亚州立大学)
研究自回归生成渲染中相机重访位置时的不一致问题,利用3D引擎提供的时间和空间对应关系,将姿态匹配的历史潜在块检索到KV缓存,并使注意力偏向对应区域,在相关数据集上实验,提升了重访一致性且不损失视频质量。
2026-07-28 cs.CV
Self-control: A Better Conditional Mechanism for Masked Autoregressive Model
Nankai University(南开大学);School of Statistics and Data Science(统计与数据科学学院);Key Laboratory of Pure Mathematics and Combinatorics, Ministry of Education(教育部纯数学与组合数学重点实验室)
本文提出用于连续掩码自回归模型的self-control网络,通过自注意力机制串行融合多模态条件,摒弃交叉注意力,统一条件与生成信息,提升图像生成质量与条件控制能力。
2024-12-18 cs.CV
CAR: Controllable Autoregressive Modeling for Visual Generation
School of Electronic and Computer Engineering, Peking University(北京大学电子与计算机工程学院);Tencent Youtu Lab(腾讯优图实验室);Southern University of Science and Technology(南方科技大学);University of Washington(华盛顿大学)
针对自回归视觉生成模型可控性研究不足的问题,提出即插即用的CAR框架,将条件控制融入多尺度隐变量建模,在少训练资源下实现多条件可控生成且图像质量更优,为首款预训练自回归视觉生成控制框架。
2024-10-07 cs.CV
End-to-End Autoregressive Image Generation with 1D Semantic Tokenizer
California Institute of Technology(加州理工学院);Stanford University(斯坦福大学)
本文提出端到端训练 pipeline,结合重建与生成优化,改进1D分词器,实现自回归图像生成的高FID分数结果。
2026-05-01 cs.CV cs.LG
Unified Generative Video Compression with Autoregressive and Bidirectional Video Diffusion
University of Science and Technology of China(中国科学技术大学);Kuaishou Technology(快手科技)
提出统一生成式视频编解码器UniGVC,支持双向模式的高质量解码与自回归模式的低延迟流式传输,在1080p基准测试中实现了优异的压缩性能与解码效率。
2026-10-12 cs.CV
Understand Before You Generate: Self-Guided Training for Autoregressive Image Generation
Shanghai AI Laboratory(上海人工智能实验室);University of Sydney(悉尼大学);Chinese University of Hong Kong(香港中文大学);University of Hong Kong(香港大学)
本文提出自引导训练框架ST-AR,通过在自回归图像生成训练中引入自监督目标解决视觉语义学习缺陷,在不依赖预训练模型的情况下显著提升模型图像理解能力与生成质量。
2025-09-18 cs.CV
Obliviate: Erasing Concepts from Autoregressive Image Generation Models
TU Darmstadt, Germany(图宾根大学);Multimodal AI Lab, TU Darmstadt, Germany(多模态人工智能实验室);Zuse School ELIZA(祖斯学院ELIZA);hessian.AI, Germany(海西斯.AI)
提出Obliviate方法,通过KL散度监督视觉token分布、轨迹级更新和对齐视觉前缀,有效擦除自回归文生图模型中的有害概念,在保持模型效用同时大幅降低不当内容生成。
2026-10-06 cs.CV
Probabilistic Wildfire Spread Prediction Using an Autoregressive Conditional Generative Adversarial Network
Ajou University(亚洲大学)
本文提出基于自回归条件生成对抗网络的野火传播预测方法,通过对抗学习提升预测准确性和物理可解释性,以应对野火的复杂非线性动态。
2025-11-26 cs.AI cs.CE cs.CV
FARMER: Flow AutoRegressive Transformer over Pixels
University of Science and Technology of China(中国科学技术大学);Australian National University(澳大利亚国立大学);National University of Singapore(新加坡国立大学);University of Science(科学技术大学)
针对视觉像素连续自回归建模的长序列高维问题,提出融合归一化流与自回归模型的FARMER框架,搭配自监督降维、一步蒸馏等方案,实现可扩展的精确似然估计与高质量图像生成。
2025-10-30 cs.CV
BAMM: Bidirectional Autoregressive Motion Model
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校);University of Central Florida(中佛罗里达大学)
BAMM提出一种双向自回归运动模型,通过运动分词器与混合掩码自注意力Transformer统一掩码建模和自回归建模,在无需预知运动长度的同时实现高质量文本到运动生成与编辑。
2024-04-01 cs.CV
BitMark: Watermarking Bitwise Autoregressive Image Generative Models
CISPA Helmholtz Center for Information Security(CISPA 河岸信息安全中心)
BitMark通过位级水印技术防止图像生成模型中的模型崩溃,确保生成内容可检测。
2025-12-03 cs.AI cs.CV
SPATE-GAN: Improved Generative Modeling of Dynamic Spatio-Temporal Patterns with an Autoregressive Embedding Loss
University of Warwick(华威大学);New York University(纽约大学);London School of Economics(伦敦政治经济学院);ETH Zurich(苏黎世联邦理工学院)
从生态学到大气科学,许多学科都处理具有复杂时空复杂性的数据,其建模通常需要专门的方法。这些数据的生成模型特别令人感兴趣,因为它们能够实现一系列有影响力的下游应用,如模拟或创建合成训练数据。最近的工作突出了生成对抗网络(GANs)用于生成时空数据的潜力。受因果最优传输理论的启发,提出了一种新的GAN算法COT-GAN.然而,学习更复杂的时空模式的任务需要额外的知识,其特定的数据结构。在这项研究中,我们提出了一种新的损失目标结合COT-GAN基于自回归嵌入,以加强时空动态的学习。我们设计了SPATE(时空关联),一个新的度量测量时空自相关性,通过使用偏离其期望值的观测。我们计算真实和合成数据样本的SPATE,并使用它来计算考虑时空相互作用的嵌入损失,推动GAN学习忠实于观察到的动态的输出。我们测试这个新的目标上的一组复杂的时空模式:湍流,对数高斯考克斯过程和全球天气数据。我们表明,我们的新型嵌入损失在不改变COT-GAN骨干网架构的情况下提高了性能,突出了我们的模型捕获自回归结构的能力。我们还将我们的工作与物理学深度学习的最新进展以及将神经网络与地理和地球物理科学联系起来的跨学科工作联系起来。
2021-09-30 cs.CV cs.LG
Towards End-to-End Generative Modeling of Long Videos with Memory-Efficient Bidirectional Transformers
KAIST(韩国科学技术院);Kakao Brain
本文提出高效记忆双向Transformer(MeBT),通过将上下文token投影为固定数量潜在token并利用交叉注意力并行解码,以线性复杂度端到端学习视频长期依赖,在长视频生成的质量和速度上均优于自回归方法。
2023-05-31 cs.CV
Auto DragGAN: Editing the Generative Image Manifold in an Autoregressive Manner
Foundation Model Research Center, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所基础模型研究中心);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Wuhan AI Research(武汉人工智能研究院)
本文提出 Auto DragGAN,首次采用基于回归的网络学习 StyleGAN 潜在码在拖拽过程中的变化模式,通过自回归方式分解移动过程,在像素级粒度上实现了最先进的推理速度与图像编辑性能。
2024-07-26 cs.CV
Stabilize the Latent Space for Image Autoregressive Modeling: A Unified Perspective
School of Data Science, University of Science and Technology of China(中国科学技术大学数据科学学院);State Key Laboratory of Cognitive Intelligence(认知智能国家重点实验室);School of Computer Science and Technology, University of Science and Technology of China(中国科学技术大学计算机科学与技术学院);Zhejiang University(浙江大学)
该研究针对图像自回归模型性能落后于扩散、掩码模型的问题,从潜在空间稳定性视角出发,提出基于自监督特征K-Means的离散分词器DiGIT,首次让GPT风格图像自回归模型超越LDMs,且具备规模扩展提升特性。
2024-10-31 cs.AI cs.CV
Radioactive Watermarks in Diffusion and Autoregressive Image Generative Models
CISPA Helmholtz Center for Information Security(CISPA 欧洲信息安全中心);Warsaw University of Technology(华沙技术大学);NASK-National Research Institute(国家研究机构)
针对扩散模型水印易在训练中丢失且自回归模型缺乏放射性水印的问题,借鉴大语言模型技术提出首个专为图像自回归模型设计的放射性水印方法,有效实现来源追踪并防止未授权使用。
2025-06-30 cs.CV cs.LG
Fluid: Scaling Autoregressive Text-to-image Generative Models with Continuous Tokens
Google DeepMind(谷歌DeepMind);MIT(麻省理工学院)
本文研究文本到图像生成中自回归模型的扩展问题,发现连续令牌和随机生成顺序能显著提升视觉质量与GenEval分数,据此提出Fluid模型,在MS-COCO 30K上取得零样本FID 6.16的新最优结果。
2024-10-17 cs.CV cs.LG
ICAS: Detecting Training Data from Autoregressive Image Generative Models
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学深圳学院);Shenzhen ShenNong Information Technology Co., Ltd.(深圳深农信息技术有限公司)
ICAS通过隐含分类和自适应得分聚合策略,从自回归图像生成模型中检测训练数据,揭示了大型模型的脆弱性,并展示了在不同场景下的有效性。
2025-11-29 cs.AI cs.CR cs.CV
JetFormer: An Autoregressive Generative Model of Raw Images and Text
Google DeepMind(谷歌DeepMind)
本研究提出无需独立预训练组件的自回归多模态模型JetFormer,通过联合训练归一化流与Transformer实现图像文本的理解与生成,在图像生成质量与理解能力上表现优异,是首个兼具高保真图像生成与强对数似然界的模型。
2025-05-19 cs.AI cs.CV cs.LG
LARP: Tokenizing Videos with a Learned Autoregressive Generative Prior
University of Maryland, College Park(马里兰大学 College Park 分校)
本研究提出新型视频令牌化器LARP,通过整体查询方案和训练时集成的轻量级AR transformer先验模型,实现更优的全局语义捕获与自回归生成适配,在UCF101基准上取得SOTA FVD,助力高保真多模态大模型构建。
2025-06-16 cs.AI cs.CV
NUWA-Infinity: Autoregressive over Autoregressive Generation for Infinite Visual Synthesis
Microsoft Research Asia(微软亚洲研究院);Peking University(北京大学);Microsoft Azure AI(微软Azure人工智能)
在本文中,我们提出了NUWA-Infinity,生成模型的无限视觉合成,这是定义为生成任意大小的高分辨率图像或长时间的视频的任务。提出了一种自回归生成机制来处理这种可变大小的生成任务,其中全局补丁级自回归模型考虑补丁之间的依赖关系,局部令牌级自回归模型考虑每个补丁内视觉令牌之间的依赖关系。引入邻近上下文池(Nearby Context Pool,NCP),将已生成的缓存相关补丁作为当前补丁的上下文,在不牺牲补丁级依赖建模的前提下,显著节省计算成本.一个任意方向控制器(ADC)被用来决定不同的视觉合成任务的适当的生成顺序和学习顺序感知的位置嵌入。与DALL-E、Imagen和Parti相比,NUWA-Infinity可以生成任意尺寸的高分辨率图像,并支持长时间视频生成。与同时涵盖图像和视频的NUWA相比,NUWA-Infinity在分辨率和可变尺寸生成方面具有更出色的视觉合成能力。GitHub链接是https://github.com/microsoft/NUWA。主页链接是https://nuwa-infinity.microsoft.com。
2022-08-12 cs.CV
Generative AI for Video Trailer Synthesis: From Extractive Heuristics to Autoregressive Creativity
Google LLC(谷歌有限责任公司)
本文综述了自动视频预告片生成领域从启发式提取到深度生成合成的转变,探讨了自回归Transformer、LLM协同流程和文本到视频基础模型等生成技术,并讨论了高保真神经合成的伦理挑战。
2026-04-03 cs.AI cs.CV cs.HC
HGAN: Hybrid Generative Adversarial Network
West Virginia University(西弗吉尼亚大学)
在本文中,我们提出了一种简单的方法来训练生成对抗网络(GANs),以避免\textit {模式坍塌}问题。与在易处理的数据可能性上训练的显式模型相比,GANs等隐式模型往往会生成更好的样本。然而,GANs忽略了显式的数据密度特性,这导致了不期望的定量评估和模式坍塌。为了弥合这一差距,我们提出了一种混合生成对抗网络(HGAN),我们可以通过自回归模型来执行数据密度估计,并以联合训练的方式支持对抗和似然框架,从而使估计的密度多样化,以覆盖不同的模式。我们建议使用对抗网络将\textit {将知识}从自回归模型(教师)转移到GAN模型的生成器(学生)。除了简单的GAN训练方法之外,还开发了GAN公式中的一种新的深度架构来对抗地提取自回归模型信息。我们对真实世界的数据集进行了广泛的实验(即,MNIST,CIFAR-10,STL-10),以证明所提出的HGAN在定性和定量评价下的有效性。实验结果表明,我们的方法相比基线的优越性和竞争力。
2021-02-07 cs.CV cs.LG
Haar Wavelet based Block Autoregressive Flows for Trajectories
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Bosch Center for Artificial Intelligence(博世人工智能中心);CISPA Helmholtz Center for Information Security(亥姆霍兹信息安全中心)
预测的轨迹,如行人是至关重要的自主智能体的性能。虽然以前的工作已经利用条件生成模型(如GANs和VAE)来学习可能的未来轨迹,但准确地建模这些多模态分布的依赖结构,特别是在长时间范围内仍然具有挑战性。基于生成模型的规范化流可以对允许精确推理的复杂分布进行建模。这些包括具有分裂耦合可逆变换的变体,与自回归对应物相比,这些变体更容易并行化。为此,我们引入了一种新的基于Haar小波的块自回归模型,利用分裂耦合,条件是从基于Haar小波的变换在不同级别的粒度获得的粗轨迹。这产生了一个精确的推理方法,模型的轨迹在不同的时空分辨率在一个层次的方式。我们说明了我们的方法在两个真实世界的数据集-斯坦福无人机和交叉无人机上生成多样化和准确的轨迹的优势。
2020-09-21 cs.CV cs.LG
Visual Prompt Tuning for Generative Transfer Learning
Google Research(谷歌研究院)
从在大数据集上训练的图像合成模型中转移知识是有效学习来自各个领域的生成图像模型的一个有前途的方向。虽然以前的工作已经研究了GAN模型,但我们提出了一种通过生成知识转移来学习视觉Transformer的方法。我们的框架基于最先进的生成视觉Transformer,它将图像表示为自回归或非自回归Transformers的视觉令牌序列。为了适应一个新的领域,我们采用提示微调,这prepends可学习的令牌称为提示的图像令牌序列,并介绍了一个新的提示设计,我们的任务。我们研究了各种视觉领域,包括视觉任务适应基准~ \cite{zhai2019large},与不同数量的训练图像,并显示有效的知识转移和显着更好的图像生成质量比现有的作品。
2022-10-03 cs.AI cs.CV
Safe-VAR: Safe Visual Autoregressive Model for Text-to-Image Generative Watermarking
Zhejiang University(浙江大学);Shenzhen University(深圳大学);South China University of Technology(华南理工大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Peking University(北京大学);Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)(广东省人工智能与数字经济实验室(深圳))
针对视觉自回归文本到图像生成缺乏适配水印方法的问题,提出Safe-VAR框架,通过自适应尺度交互和跨尺度融合实现高质量、强鲁棒且可泛化的不可见水印。
2025-03-14 cs.CV cs.MM eess.IV
BitDance: Scaling Autoregressive Generative Models with Binary Tokens
BitDance通过二进制令牌生成高熵表示,结合二进制扩散头和next-patch扩散方法,实现高效图像生成,达到最佳FID分数并显著提升推理速度。
2026-03-13 cs.AI cs.CV
Autoregressive Omni-Aware Outpainting for Open-Vocabulary 360-Degree Image Generation
The University of Sydney(悉尼大学);Shanghai AI Laboratory(上海人工智能实验室)
针对窄视场图像与文本条件生成360度图像时细节和提示一致性不足的问题,提出AOG-Net自回归全局-局部全感知外扩框架,实现开放词汇可控生成并达到SOTA。
2024-04-08 cs.AI cs.CV
Spatiotemporal Satellite Image Downscaling with Transfer Encoders and Autoregressive Generative Models
University of Toronto(多伦多大学);Harvard T.H. Chan School of Public Health(哈佛大学T.H. Chan公共卫生学院);Harvard Medical School(哈佛医学院);VA Healthcare System Boston, U.S. Department of Veterans Affairs(美国退伍军人事务部波士顿医疗系统)
本文提出基于迁移学习和自回归生成模型的时空卫星图像降尺度方法,通过预训练U-Net编码器和扩散模型,实现高分辨率图像重建,提升环境监测效果。
2025-12-01 cs.CV cs.LG stat.ML
UNCAGE: Contrastive Attention Guidance for Masked Generative Transformers in Text-to-Image Generation
针对掩码生成Transformer在组合文本到图像生成中的属性绑定失败问题,提出无需训练的对比注意力引导方法UNCAGE,利用注意力图优先去掩码清晰对象令牌,提升组合保真度且开销极小。
2025-08-07 cs.AI cs.CV cs.LG
The Image Local Autoregressive Transformer
School of Data Science(数据科学学院);Fudan University(复旦大学)
最近,由Transformers授权的用于整个图像生成的自回归(AR)模型已经实现了与生成对抗网络(GANs)相当甚至更好的性能。然而,直接应用这种AR模型来编辑/改变局部图像区域,可能遭受全局信息丢失、推理速度慢和局部指导信息泄漏的问题。针对这些局限性,我们提出了一种新的模型--图像局部自回归Transformer(iLAT),以更好地促进局部引导的图像合成。我们的iLAT学习新的本地离散表示,通过新提出的本地自回归(LA)Transformer的注意力掩模和卷积机制。因此,iLAT可以有效地合成局部图像区域的关键指导信息。我们的iLAT在各种本地引导的图像合成上进行评估,例如姿势引导的人物图像合成和面部编辑。定量和定性的结果都显示了我们的模型的有效性。
2021-10-18 cs.CV eess.IV
Training-Free Watermarking for Autoregressive Image Generation
Hong Kong Baptist University(香港 Baptist 大学);Wuhan University(武汉大学);Sun Yat-sen University(中山大学);Peking University(北京大学)
针对自回归图像生成模型水印研究不足的问题,提出免训练水印框架IndexMark,基于码本冗余用匹配-替换法嵌入水印,在图像质量与验证精度上达SOTA,且对多种扰动鲁棒。
2025-05-20 cs.AI cs.CR cs.CV
Pixel-Stega: Generative Image Steganography Based on Autoregressive Models
Tsinghua University(清华大学);University of Chinese Academy of Sciences(中国科学院大学)
在这封信中,我们探讨了基于自回归模型的生成式图像隐写术。提出了Pixel-Stega算法,利用自回归模型和算术编码算法实现像素级信息隐藏。首先,使用自回归模型之一PixelCNN++来产生每个像素的显式条件概率分布。其次,通过基于算术编码的隐写采样(stegosampling)将秘密信息编码到像素的选择上。我们对灰度和彩色图像数据集进行了定性和定量评估。实验结果表明,Pixel-Stega算法能够根据像素的熵自适应地嵌入秘密信息,实现了高嵌入容量(高达4.3bpp)和近乎完美的不可感知性(约50%的检测准确率)。
2021-12-21 cs.CV
Revisiting Autoregressive Models for Generative Image Classification
Yandex Research(Yandex 研究)
本文通过利用任意顺序自回归模型估计边缘化预测,解决了固定token顺序限制,使自回归生成分类器在性能上超越扩散模型,效率提升25倍。
2026-07-02 cs.CV
Generative Autoregressive Ensembles for Satellite Imagery Manipulation Detection
Video and Image Processing Laboratory(视频与图像处理实验室);School of Electrical Engineering(电气工程学院);Purdue University(普渡大学)
由于在轨商业卫星的数量不断增加,卫星图像越来越容易获取。许多应用都使用这种图像:农业管理、气象预测、自然灾害损失评估或制图就是其中的一些例子。不幸的是,这些图像可以很容易地被篡改和修改的图像操纵工具破坏下游应用程序。因为应用于图像的操纵的性质通常是未知的,所以不需要所使用的篡改技术的先验知识的无监督方法是优选的。在本文中,我们使用生成自回归模型的集合来模拟图像的像素分布,以检测潜在的操纵。我们评估所提出的方法获得准确的定位结果相比,以前提出的方法的性能。
2020-10-08 cs.CV
Generative Lane Topology Reasoning via Autoregressive Model with Geometry Prior
Institute of Artificial Intelligence, Beihang University(北京航空航天大学人工智能研究院)
提出TopoGPT生成式框架,通过自回归序列建模学习车道图结构的几何先验,解决现有方法端点不一致和遮挡导致图不完整的问题,在OpenLane-V2上提升6.4/11.6个点。
2026-07-01 cs.CV
Perceive, Understand and Restore: Real-World Image Super-Resolution with Autoregressive Multimodal Generative Models
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);The Hong Kong Polytechnic University(香港理工大学);OPPO Research Institute(OPPO研究院)
本文提出 PURE,将 Lumina-mGPT 通过指令微调改造为可感知退化、理解语义并自回归恢复图像的 Real-ISR 模型,并引入基于熵的 Top-k 采样提升复杂场景结构与细节。
2025-03-14 cs.CV
A Mixture Autoregressive Image Generative Model on Quadtree Regions for Gaussian Noise Removal via Variational Bayes and Gradient Methods
Gunma University(群马大学);Waseda University(早稻田大学)
本文提出一种结合四叉树区域划分模型与混合自回归模型的图像生成模型,通过变分下界最大化实现图像去噪,采用变分贝叶斯与梯度方法交替优化,推导出解析的梯度更新规则,验证了去噪效果及未来改进方向。
2026-08-25 cs.CV cs.LG
ZeroGVC: Zero-Shot Generative Video Compression with Autoregressive Diffusion Priors
University of Science and Technology of China(中国科学技术大学);Huawei Inc(华为公司)
提出ZeroGVC,一种零样本生成式视频压缩框架,利用预训练自回归扩散先验,通过码本引导的自回归潜压缩和双向参考模式,在超低码率下实现高质量感知重建,无需额外训练。
2026-06-24 cs.CV eess.IV
DepthART: Monocular Depth Estimation as Autoregressive Refinement Task
AIRI;HSE University(俄罗斯伏尔加格勒国立大学)
本文提出DepthART方法,将单目深度估计构建为深度自回归细化任务,通过基于模型输出的动态目标和残差最小化训练策略,有效解决了VAR中teacher forcing导致的训练与推理差异,在多个未见基准上取得了优于现有基线的性能。
2025-06-30 cs.CV
HIERAMP: Coarse-to-Fine Autoregressive Amplification for Generative Dataset Distillation
Northeastern University(东北大学);University of Alabama at Birmingham(阿拉巴马大学伯明翰分校);The Ohio State University(俄亥俄州立大学)
HIERAMP通过粗到细自回归放大方法,提升生成数据集的语义多样性与细节聚焦,从而提高蒸馏效果。
2026-03-06 cs.CV
Efficient Autoregressive Shape Generation via Octree-Based Adaptive Tokenization
Carnegie Mellon University(卡内基梅隆大学);Roblox;Stanford University(斯坦福大学)
提出基于八叉树的自适应分词框架,根据形状复杂度调整潜在表示维度,结合自回归生成模型,在减少50%token的同时保持视觉质量,并生成更高质量、更丰富的3D内容。
2025-08-01 cs.CV
ResARC: Residual-Aware AutoRegressive Coding for Ultra-Low Bitrate Image Compression
University of Science and Technology of China(中国科学技术大学);Alibaba Group(阿里巴巴集团)
ResARC通过扩散变换器生成量化残差并学习压缩生成残差,在解码端补偿两种残差,实现超低比特率下高保真图像压缩。
2026-10-01 cs.CV
Auxiliary Guided Autoregressive Variational Autoencoders
Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔国立高等物理、数学与信息学院);LJK(让·库隆实验室)
高维数据的生成式建模是机器学习中的一个关键问题。成功的方法包括潜变量模型和自回归模型。这些方法的互补优势,分别对全局和局部图像统计进行建模,建议混合模型将全局图像结构编码为潜变量,同时自回归建模低级别细节。这种混合模型的以前的方法限制了自回归解码器的能力,以防止退化模型,忽略潜在变量,只依赖于自回归建模。我们的贡献是一个训练过程依赖于一个辅助损失函数,控制哪些信息被捕获的潜变量和什么是留给自回归解码器。我们的方法可以利用任意强大的自回归解码器,在具有潜在变量的模型中实现最先进的定量性能,并生成定性令人信服的样本。
2019-04-18 cs.CV
Bayesian Volumetric Autoregressive generative models for better semisupervised learning
Institute of Neurology, UCL(伦敦大学学院神经病学研究所);School of Biomedical Engineering and Imaging Sciences, Kings College London(伦敦国王学院生物医学工程与成像科学学院)
深度生成模型在医学成像中迅速获得牵引力。尽管如此,大多数生成架构都难以捕获体积数据的潜在概率分布,存在收敛问题,并且没有提供模型不确定性的鲁棒指数。相比之下,自回归生成模型PixelCNN可以相对容易地扩展到体积数据,它很容易尝试学习真实的潜在概率分布,并且仍然允许贝叶斯重构,为模型不确定性的推理提供了原则性框架。我们在本文中的贡献有两个方面:首先,我们扩展了PixelCNN,使其能够处理体积脑磁共振成像数据。其次,我们表明,重新制定这个模型,以近似深高斯过程产生的不确定性的措施,提高性能的半监督学习,特别是分类性能的设置中的标记数据的比例是低的。我们在分类、回归和语义分割任务中量化了这种改进,并对包括T1加权和扩散加权序列的临床磁共振脑成像数据进行了训练和测试。
2019-07-26 cs.CV cs.LG eess.IV
CAFe: Unifying Representation and Generation with Contrastive-Autoregressive Finetuning
Meta;Boston University(波士顿大学)
CAFe提出对比自回归微调框架,统一表示与生成,在多模态检索和生成基准上取得最先进结果,并缓解对象幻觉。
2025-03-25 cs.AI cs.CL cs.CV