Double Descent as a Lens for Sample Efficiency in Autoregressive vs. Discrete Diffusion Models
ETH Zurich(苏黎世联邦理工学院)
该研究借助双重下降现象比较离散扩散与自回归模型,发现自回归模型在小规模数据上样本效率更高,离散扩散模型则需充足容量与计算才具竞争力。
2025-09-29 cs.LG
Mechanism Shift During Post-training from Autoregressive to Masked Diffusion Language Models
Graduate School of Data Science, Seoul National University(首尔国立大学数据科学研究生院);Department of Biosystems & Biomaterials Science and Engineering, Seoul National University(首尔国立大学生物系统与生物材料科学与工程系)
通过比较电路分析,发现后训练得到的掩码扩散模型在结构上根据任务保留或重组自回归电路,在语义上从局部专业化转向分布式整合,表明扩散后训练是内部计算的深度重组。
2026-09-01 cs.AI cs.CL cs.LG
Non-autoregressive Conditional Diffusion Models for Time Series Prediction
The Hong Kong University of Science and Technology(香港科技大学)
针对扩散模型适配时间序列建模的难题,提出带未来混合、自回归初始化两种条件机制的非自回归扩散模型TimeDiff,在9个真实数据集上性能优于现有扩散模型及多种强基线。
2023-06-08 cs.LG
Autoregressive Diffusion Model for Graph Generation
Georgia Institute of Technology(佐治亚理工学院)
针对现有基于扩散的图生成模型训练难、采样慢等问题,提出基于节点吸收扩散过程的自回归扩散图生成模型,通过扩散排序网络和去噪网络联合训练,在多数据集上实现性能与速度的双提升。
2023-07-17 cs.AI cs.LG
Accelerating Video Inverse Problem Solvers with Autoregressive Diffusion Models
KAIST(韩国科学技术院);EverEx
本文提出自回归视频逆问题求解器(AVIS),通过自回归扩散模型实现流式视频恢复,显著降低初始延迟并提高吞吐量,同时保持高质量的恢复效果,并进一步提出加速变体AVIS Flash,实现更高的吞吐量和更优的效率-性能权衡,为实时部署铺平道路。
2026-09-30 cs.AI cs.CV cs.LG
Autoregressive latent diffusion for 3D molecule generation
研究3D分子生成问题,提出KRONOS潜自回归扩散框架,联合建模分子图拓扑和几何,引入混合训练策略。实验表明其在自回归方法中无条件生成性能领先,与扩散模型竞争,单一架构可支持两种生成范式。
2026-10-05 cs.LG
Discriminator Guidance for Autoregressive Diffusion Models
Linköping University(林雪平大学)
本文在自回归扩散模型中引入判别器引导方法,推导了离散情况下结合判别器与预训练模型的机制,证明最优判别器可实现精确采样,并提出序列蒙特卡洛算法应对次优判别器场景,在分子图生成任务上提升了生成性能。
2024-09-21 cs.AI cs.LG stat.ML
Unifying Autoregressive and Diffusion-Based Sequence Generation
ServiceNow Research(ServiceNow研究)
本文通过引入超调度和混合加噪过程,统一了自回归与扩散序列生成,实现了最先进的困惑度和高质量生成。
2025-10-06 cs.LG
Autoregressive fragment-based diffusion for pocket-aware ligand design
University of California, San Francisco(加州大学旧金山分校);Genentech(基因泰克)
本文提出AutoFragDiff,一种基于片段的自回归扩散模型,在蛋白质口袋条件下生成三维分子,通过几何向量感知器预测片段原子类型与坐标,改善局部几何并保持结合亲和力,支持骨架延伸。
2023-12-15 cs.AI cs.LG physics.chem-ph
ReFusion: A Diffusion Large Language Model with Parallel Autoregressive Decoding
Renmin University of China(中国人民大学);Ant Group(蚂蚁集团);Ant International(蚂蚁国际)
ReFusion通过整合序列重组到因果注意框架中,实现并行解码和高效生成,显著提升性能和速度,缩小与传统自回归模型的差距。
2026-03-05 cs.AI cs.CL cs.LG
NAST: Non-Autoregressive Spatial-Temporal Transformer for Time Series Forecasting
虽然Transformer在广泛的领域特别是自然语言处理(NLP)领域取得了突破性的成功,但将其应用于时间序列预测仍然是一个巨大的挑战。在时间序列预测中,对标准Transformer模型进行自回归解码不可避免地会引入巨大的累积误差。此外,利用Transformer处理问题中的时空依赖性仍然面临着困难。为了解决这些限制,这项工作是第一次尝试提出一个非自回归Transformer架构的时间序列预测,旨在克服时间延迟和累积误差的问题,在规范的Transformer。此外,本文提出了一种新的时空注意力机制,通过学习的时间影响图来搭建一座桥梁,填补时空注意力之间的空白,从而实现时空依赖的一体化处理。从经验上讲,我们在以自我为中心的多样化未来定位数据集上评估了我们的模型,并在实时性和准确性方面展示了最先进的性能。
2021-05-29 cs.LG stat.ML
Don't Retrain, Align: Adapting Autoregressive LMs to Diffusion LMs via Representation Alignment
Duke University(杜克大学);AITHYRA
本文提出REPR-ALIGN方法,通过表征对齐将自回归模型转换为扩散模型,实现4倍训练加速,尤其在低数据情况下效果显著。
2026-05-07 cs.AI cs.LG
Self Forcing: Bridging the Train-Test Gap in Autoregressive Video Diffusion
Adobe Research(Adobe研究院);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出 Self Forcing 训练范式,通过在训练时基于自生成输出进行自回归展开和视频级整体损失监督,并配合少步扩散、梯度截断与滚动 KV 缓存,在单 GPU 上实现亚秒级实时视频生成,弥合自回归视频扩散中的训练-测试差距。
2025-11-10 cs.AI cs.CV cs.LG
Clock Diffusion: Efficient Semi-Autoregressive Continuous Diffusion Language Models
NVIDIA(英伟达);Cornell University(康奈尔大学)
提出时钟扩散框架,通过位置相关噪声调度实现半自回归连续扩散语言模型,支持变长生成和键值缓存,在OpenWebText和GSM8K上达到最优性能,并引入高效采样器缓存抓取。
2026-10-02 cs.LG
Latent Block-Diffusion Temporal Point Processes: A Semi-Autoregressive Framework for Asynchronous Event Sequence Generation
Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);Department of Data Science, City University of Hong Kong(香港城市大学数据科学系);Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系)
提出潜在块扩散时间点过程(LBDTPP),通过潜在空间中的块级自回归和块内高斯扩散,实现可变长度、高质量的事件序列生成,理论证明可减少误差累积,实验优于现有方法。
2026-06-25 cs.LG stat.ML
SSD-LM: Semi-autoregressive Simplex-based Diffusion Language Model for Text Generation and Modular Control
University of Washington(华盛顿大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出SSD-LM,一种半自回归且基于单纯形的扩散语言模型,通过在自然词汇空间上迭代生成文本块,结合现成分类器实现模块化控制,在文本生成质量与多样性上匹敌GPT-2并大幅超越现有扩散基线。
2023-06-26 cs.CL cs.LG
Emergent temporal abstractions in autoregressive models enable hierarchical reinforcement learning
Google, Paradigms of Intelligence Team(谷歌,智能范式团队)
自回归模型通过内部强化学习实现时间抽象,提升稀疏奖励下的分层强化学习效率。
2025-12-24 cs.AI cs.LG
TRACE: Temporal Routing with Autoregressive Cross-channel Experts for EEG Representation Learning
Department of Biomedical Informatics and Data Science, Yale University(耶鲁大学生物医学信息学与数据科学系)
TRACE通过自回归跨通道专家实现EEG表示学习,解决多通道非平稳信号的时序路由问题,提升跨通道一致性与时间适应性。
2026-05-12 cs.AI cs.LG
Latent-DARM: Bridging Discrete Diffusion And Autoregressive Models For Reasoning
EPFL(苏黎世联邦理工学院);MBZUAI(马克斯·普朗克人工智能研究所);ETH Zürich(苏黎世联邦理工学院);Microsoft Research Asia(微软亚洲研究院)
Latent-DARM通过结合离散扩散模型与自回归模型,提升多智能体系统在推理任务中的表现和协作效率。
2026-03-10 cs.AI cs.LG
PepALD: Macrocyclic Peptide Generation via Autoregressive Latent Diffusion
College of Computer Science, Sichuan University(四川大学计算机科学学院);School of Mathematics, Sichuan University(四川大学数学学院);School of Artificial Intelligence, Sichuan University(四川大学人工智能学院);Lingang Laboratory(临港实验室)
提出PepALD模型,结合自回归潜在扩散与化学嵌入,实现从头设计大环肽,并利用偏好优化提升亲和力,在生成质量和奖励优化上优于基线。
2026-06-19 cs.LG q-bio.BM
Diffusion Beats Autoregressive in Data-Constrained Settings
Carnegie Mellon University(卡内基梅隆大学);Lambda
本文研究数据受限场景下掩码扩散模型与自回归模型的性能对比,发现计算充足但数据稀缺时扩散模型显著更优,并提出新缩放定律与临界计算阈值公式,归因于其隐式数据增强效应。
2025-10-26 cs.AI cs.CV cs.LG
UNIFUSION: Adapting Autoregressive Language Models into Discrete Diffusion under a Unified Reverse-Rate Objective
Tsinghua University(清华大学);Beijing Institute of Mathematical Sciences and Applications(北京数学科学与应用研究院);Wuhan University(武汉大学);MathonAI(未知(暂未找到合适中文翻译))
研究旨在将预训练的自回归语言模型适配到均匀噪声扩散。通过建立不同模型间联系并推导转换,提出UNIFUSION方法。经实验评估,该方法能改善生成困惑度与单字熵权衡,在相同规模模型中多项指标表现优异。
2026-07-28 cs.AI cs.LG
Autoregressive Diffusion Models
Google Brain(谷歌大脑);Google Research(谷歌研究院);uva(阿姆斯特丹大学)
我们引入自回归扩散模型(ARDM),这是一个包含和推广阶数不可知自回归模型的模型类(Uria等人,2014)和吸收离散扩散(Austin等人,2021年),我们表明,在温和的假设下,ARDM的特殊情况。ARDM实施简单,易于训练。与标准ARM不同,它们不需要模型表示的因果掩蔽,并且可以使用类似于现代概率扩散模型的有效目标进行训练,该模型可以有利地扩展到高维数据。在测试时,ARDM支持并行发电,可以对其进行调整以适应任何给定的发电预算。我们发现,ARDMs需要显着更少的步骤比离散扩散模型,以达到相同的性能。最后,我们应用ARDM的无损压缩,并表明,他们是唯一适合这项任务。与现有的基于位回编码的方法相反,ARDM不仅在完整的数据集上,而且在压缩单个数据点上都获得了令人信服的结果。此外,由于模型的适应性并行生成,这可以使用适度数量的网络调用进行(解)压缩。
2022-02-01 cs.LG stat.ML
World Models via Policy-Guided Trajectory Diffusion
提出非自回归的世界模型PolyGRAD,利用策略动作分布梯度引导扩散模型单次生成完整on-policy轨迹,有效控制误差累积并降低计算需求,在MuJoCo上实现了高性能的想象中强化学习策略训练。
2024-03-27 cs.AI cs.LG
Diffusion-corrected Autoregressive Fourier Neural Operator for Droplet Evolution Prediction
New Jersey Institute of Technology(新泽西理工学院);University of Georgia(佐治亚大学);University at Buffalo(纽约州立大学布法罗分校);Hanyang University(汉阳大学);Northeastern University(东北大学)
研究材料喷射中液滴演化预测难题,提出DiffARFNO两阶段框架,结合自回归傅里叶 - MIONet与DDIM校正器,经实验验证该方法显著优于现有模型,能为长期预测提供高保真结果。
2026-07-21 cs.AI cs.LG physics.comp-ph
Orthrus: Memory-Efficient Parallel Token Generation via Dual-View Diffusion
University of Oregon(俄勒冈大学);Google DeepMind(谷歌DeepMind);Adobe Research(Adobe研究)
Orthrus结合自回归大语言模型的高保真生成与扩散模型的高速并行生成,通过双视角机制实现高效推理,提升速度7.8倍且内存开销极低。
2026-05-17 cs.AI cs.LG
MADFormer: Mixed Autoregressive and Diffusion Transformers for Continuous Image Generation
Tsinghua University(清华大学);University of Washington(华盛顿大学)
本文提出 MADFormer,通过分块生成并纵向混合 AR 与扩散 Transformer 层,系统分析二者权衡,在高分辨率图像上以受限计算显著改善 FID。
2025-06-09 cs.CV cs.LG
Controllable Motion Synthesis and Reconstruction with Autoregressive Diffusion Models
KTH Royal Institute of Technology(瑞典皇家理工学院)
本文提出MoDiff,一种基于自回归扩散模型的可控运动合成与重建方法,集成跨模态Transformer编码器与解码器,并引入基于扩散前向过程的数据dropout,在可控运动合成与高保真重建中优于基线。
2023-04-03 cs.CV cs.LG
Diffusion of Thoughts: Chain-of-Thought Reasoning in Diffusion Language Models
The University of Hong Kong(香港大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Tencent AI Lab(腾讯AI Lab)
本文提出 Diffusion-of-Thought(DoT),让推理步骤在扩散语言模型中逐步扩散,以更灵活地权衡计算与性能,并在算术、逻辑和数学题上以小模型超越大型自回归模型。
2024-12-05 cs.AI cs.CL cs.LG
Pard: Permutation-Invariant Autoregressive Diffusion for Graph Generation
Carnegie Mellon University(卡内基梅隆大学)
本文提出 PARD,利用图中节点与边的唯一偏序,以共享扩散模型逐块自回归生成图,并通过结合 PPGN 的高阶图 Transformer 实现并行训练,在分子与非分子基准上达到 SOTA。
2024-12-02 cs.LG stat.ML
Bidirectional Autoregressive Latent Diffusion for Forward and Inverse Magnetohydrodynamics
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
提出双向自回归潜扩散方法预测磁流体动力学多场演化,利用双向流作为自监督一致性度量估计不确定性,并展示其作为非侵入式等离子体诊断的潜力。
2026-06-28 cs.LG nlin.AO physics.plasm-ph
Video-Robin: Autoregressive Diffusion Planning for Intent-Grounded Video-to-Music Generation
University of Maryland College Park(马里兰大学College Park分校);Dolby Laboratories(杜比实验室);NVIDIA(英伟达)
Video-Robin通过结合自回归规划与扩散合成,实现高质量的语义对齐音乐生成,相比传统方法在速度和质量上均有显著提升。
2026-04-22 cs.AI cs.CL cs.CV
Autoregressive Diffusion World Models for Off-Policy Evaluation of LLM Agents
Department of Computer Science, Emory University(埃默里大学计算机科学系);School of Computer Science, Shanghai Jiao Tong University(上海交通大学计算机科学学院)
提出ADWM框架,通过自回归扩散世界模型从预收集轨迹中模拟环境响应,实现无需在线交互的LLM智能体策略离线评估。
2026-11-09 cs.LG
Multi-scale Autoregressive Models are Laplacian, Discrete, and Latent Diffusion Models in Disguise
University of Cambridge(剑桥大学)
本文将多尺度自回归模型重新诠释为拉普拉斯、离散和潜在扩散模型,通过分析其设计选择揭示其效率与质量的权衡,并展示其在不同任务中的应用。
2026-02-16 cs.LG
CARRNN: A Continuous Autoregressive Recurrent Neural Network for Deep Representation Learning from Sporadic Temporal Data
University College London(伦敦大学学院);Biomediq A/S(Biomediq公司);University of Copenhagen(哥本哈根大学);Cerebriu A/S(Cerebriu公司)
从多变量纵向数据中学习时间模式是具有挑战性的,特别是在数据是零星的情况下,如经常在例如,在医疗保健应用中,数据可能遭受不规则性和重复性,因为连续数据点之间的时间可能在特征和样本之间变化,从而阻碍了针对具有固定序列长度的完整、均匀间隔的数据构建的现有深度学习模型的应用。在本文中,开发了一种新的基于深度学习的模型,用于使用基于循环神经网络(RNN)单元和连续时间自回归(CAR)模型的集成深度学习架构对零星数据中的多个时间特征进行建模。所提出的模型称为CARRNN,使用广义离散时间自回归模型,该模型可使用受时间滞后调制的神经网络进行端到端训练,以描述由不规则性和异步性引起的变化。它被应用于多变量时间序列回归任务,使用为阿尔茨海默病进展建模和重症监护病房(ICU)死亡率预测提供的数据,其中基于门控复发单元(GRU)的模型在所提出的基于RNN的模型和在其架构中使用GRU和长短期记忆(LSTM)网络的最新方法中实现了最低的预测误差。
2021-04-08 cs.AI cs.CV cs.LG
Energy Consumption Analysis of Discrete Diffusion and Autoregressive Language Models
AXA, AI Research(安盛人工智能研究院)
本文对比LLaDA-8B等扩散模型与Llama-3.1-8B等自回归模型的推理能耗,发现长序列下扩散模型效率约为带KV缓存自回归模型的2倍,KV缓存可降低自回归模型50%-70%能耗。
2026-10-14 cs.LG
Enhancing Diffusion Language Models with Autoregressive Post-Training Weights
EPFL(洛桑联邦理工学院)
提出A2D框架,无需训练即可将自回归模型的后训练权重更新应用于扩散语言模型,通过组合AR与扩散后训练更新,提升指令遵循、数学推理和编码能力。
2026-10-07 cs.LG
Identifiable Autoregressive Variational Autoencoders for Nonlinear and Nonstationary Spatio-Temporal Blind Source Separation
Department of Mathematics and Statistics, University of Jyvaskyla, Finland(数学与统计学系,于韦斯屈埃理工大学,芬兰);Department of Mathematics and Statistics, University of Helsinki, Finland(数学与统计学系,赫尔辛基大学,芬兰)
本文提出可识别的自回归变分自编码器,用于非线性和非平稳时空盲源分离,通过模拟研究验证其有效性。
2025-09-15 cs.LG stat.ME stat.ML
BARD: Bridging AutoRegressive and Diffusion Vision-Language Models Via Highly Efficient Progressive Block Merging and Stage-Wise Distillation
Shanghai Academy of AI for Science(上海人工智能科学研究院);Shanghai Innovation Institute(上海创新研究院);Fudan University(复旦大学);Nanjing University(南京大学)
BARD通过高效渐进块合并与分阶段蒸馏将预训练自回归视觉-语言模型转换为解码高效的扩散视觉-语言模型,实现在大块规模下性能恢复与解码效率提升。
2026-07-14 cs.CV cs.LG
DARTree: Speculative Diffusion Decoding with Autoregressive Draft Trees
DARTree是无需训练的推测式解码方法,将AR修正头从链扩展至树,在7个数学、代码、聊天基准的4种模型-温度配置下,实现最高平均接受长度与加速比,达9.73倍无损加速。
2026-08-14 cs.LG
ChronoSSM: Training for Temporally Aware Representations in Autoregressive State Space Models
ENS de Lyon(里昂高等师范学院);CNRS(法国国家科学研究中心);UCBL1(里昂第一大学);Indian Institute of Technology Bombay(印度理工学院孟买分校);Institut universitaire de France(法国大学研究院)
ChronoSSM是一种自回归状态空间模型,通过联合建模事件与时间戳的共享主干,在四个领域的实验中,能生成更具时间信息的表示且不降低内容生成质量。
2026-08-12 cs.LG cs.NI
Recurrent Event Network: Autoregressive Structure Inference over Temporal Knowledge Graphs
University of Southern California(南加利福尼亚大学);MILA - Quebec AI Institute(魁北克人工智能研究所);University of Montréal(蒙特利尔大学)
知识图谱推理是自然语言处理中的一个关键任务。在时间知识图谱上,任务变得更具挑战性,其中每个事实都与时间戳相关联。大多数现有的方法集中在过去的时间戳的推理,他们不能预测未来发生的事实。本文提出了循环事件网络(RE-NET),一种用于预测未来交互的新型自回归架构。事实(事件)的发生被建模为以过去知识图谱的时间序列为条件的概率分布。具体来说,我们的RE-NET使用循环事件编码器来编码过去的事实,并使用邻居聚合器来对相同时间戳的事实连接进行建模。然后,可以基于这两个模块以顺序的方式推断未来的事实。我们评估我们提出的方法,通过链接预测在未来的时间在五个公共数据集。通过大量的实验,我们证明了RENET的强大性,特别是对未来时间戳的多步推理,并在所有五个数据集上实现了最先进的性能。代码和数据可以在https://github.com/INK-USC/RE-Net上找到。
2020-10-06 cs.AI cs.CL cs.LG
LinkD: AutoRegressive Diffusion Model for Mechanical Linkage Synthesis
Department of Mechanical Engineering, Carnegie Mellon University, Pittsburgh, PA, USA(机械工程系,卡内基梅隆大学,匹兹堡,PA,USA)
LinkD通过自回归扩散模型实现机械连杆的高效逆向设计,结合因果Transformer和DDPM,支持动态生成和自适应修正,适用于大规模复杂机械系统。
2026-01-07 cs.LG
BAgger: Backwards Aggregation for Mitigating Drift in Autoregressive Video Diffusion Models
Stanford University(斯坦福大学)
BAgger通过自监督方法缓解自回归视频扩散模型中的漂移问题,利用标准分数或流匹配目标提升长期运动稳定性与视觉一致性。
2025-12-12 cs.CV cs.LG
Causal-rCM: A Unified Teacher-Forcing and Self-Forcing Open Recipe for Autoregressive Diffusion Distillation in Streaming Video Generation and Interactive World Models
Tsinghua University(清华大学);UT Austin(德克萨斯大学奥斯汀分校);NVIDIA(英伟达)
提出Causal-rCM框架,将扩散蒸馏扩展到自回归视频扩散,通过教师强制(前向散度)与自我强制(反向散度)互补,实现流式视频生成和交互式世界模型,在帧级和块级设置中达到最先进性能。
2026-06-25 cs.CV cs.LG
Generalization vs. Memorization in Autoregressive Deep Learning: Or, Examining Temporal Decay of Gradient Coherence
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室);The University of Arizona(亚利桑那大学)
本文研究自回归深度学习中泛化与记忆的区别,通过影响函数形式主义分析PDE代理的信息吸收与传播,揭示模型限制并提供改进设计的见解。
2026-01-18 cs.LG physics.comp-ph
SPATE-GAN: Improved Generative Modeling of Dynamic Spatio-Temporal Patterns with an Autoregressive Embedding Loss
University of Warwick(华威大学);New York University(纽约大学);London School of Economics(伦敦政治经济学院);ETH Zurich(苏黎世联邦理工学院)
从生态学到大气科学,许多学科都处理具有复杂时空复杂性的数据,其建模通常需要专门的方法。这些数据的生成模型特别令人感兴趣,因为它们能够实现一系列有影响力的下游应用,如模拟或创建合成训练数据。最近的工作突出了生成对抗网络(GANs)用于生成时空数据的潜力。受因果最优传输理论的启发,提出了一种新的GAN算法COT-GAN.然而,学习更复杂的时空模式的任务需要额外的知识,其特定的数据结构。在这项研究中,我们提出了一种新的损失目标结合COT-GAN基于自回归嵌入,以加强时空动态的学习。我们设计了SPATE(时空关联),一个新的度量测量时空自相关性,通过使用偏离其期望值的观测。我们计算真实和合成数据样本的SPATE,并使用它来计算考虑时空相互作用的嵌入损失,推动GAN学习忠实于观察到的动态的输出。我们测试这个新的目标上的一组复杂的时空模式:湍流,对数高斯考克斯过程和全球天气数据。我们表明,我们的新型嵌入损失在不改变COT-GAN骨干网架构的情况下提高了性能,突出了我们的模型捕获自回归结构的能力。我们还将我们的工作与物理学深度学习的最新进展以及将神经网络与地理和地球物理科学联系起来的跨学科工作联系起来。
2021-09-30 cs.CV cs.LG
Mol-CADiff: Causality-Aware Autoregressive Diffusion for Molecule Generation
Institution1(机构1);Institution2(机构2)
Mol-CADiff通过因果注意力机制显式建模文本与分子结构的因果关系,实现文本条件分子生成,在多样性、新颖性、化学有效性及性质对齐上优于现有方法。
2025-03-07 cs.LG
Listen to Rhythm, Choose Movements: Autoregressive Multimodal Dance Generation via Diffusion and Mamba with Decoupled Dance Dataset
Communication University of China(中国传媒大学)
本文提出LRCM框架,通过解耦舞蹈数据集实现多模态指导的扩散模型,结合Mamba模块实现流畅的长序列自回归生成,展示了在多模态输入和长序列生成中的潜力。
2026-04-07 cs.CV cs.GR cs.HC
ACDC: Autoregressive Coherent Multimodal Generation using Diffusion Correction
KAIST(韩国科学技术院)
本研究提出零样本多模态生成方法ACDC,在推理阶段结合自回归模型的全局建模能力与扩散模型的局部生成优势,通过LLM记忆模块动态调整条件文本,有效缓解长序列误差累积,提升生成质量且不依赖特定模型架构。
2024-10-07 cs.CV cs.LG
Discrete Diffusion Models via Evolving Variational Autoregressive Networks
Institute of Fundamental and Frontier Sciences, University of Electronic Science and Technology of China(电子科技大学基础与前沿研究院);School of Physics, University of Electronic Science and Technology of China(电子科技大学物理学院);Key Laboratory of Quantum Physics and Photonic Quantum Information, Ministry of Education, University of Electronic Science and Technology of China(电子科技大学教育部量子物理与光子量子信息重点实验室);Non-classical Information Science Basic Discipline Research Center of Sichuan Province, University of Electronic Science and Technology of China(电子科技大学四川省非经典信息科学基础学科研究中心)
本文提出一种基于变分自回归网络的离散扩散模型,通过显式马尔可夫跳跃算子实现归一化分布,应用于高维伊辛模型,准确计算热力学量,并与蒙特卡洛采样结合提升低温采样效率。
2026-09-24 cond-mat.dis-nn cs.LG stat.ML
Object-Centric Temporal Consistency via Conditional Autoregressive Inductive Biases
Delft University of Technology(代尔夫特理工大学);The University of Tokyo(东京大学);Mila, University of Montreal(蒙特利尔大学米拉研究所);Google DeepMind(谷歌DeepMind);Agency for Science, Technology and Research(新加坡科技研究局);Nanyang Technological University(南洋理工大学)
本文提出条件自回归槽注意力(CA-SA)框架,通过自回归先验网络和一致性损失函数增强视频中以对象为中心表示的时间一致性,并在视频预测和视觉问答任务上优于基线方法。
2024-10-21 cs.CV cs.LG
An Efficient Diffusion-based Non-Autoregressive Solver for Traveling Salesman Problem
Jilin University(吉林大学);Singapore Management University(新加坡管理大学);Heriot-Watt University(赫瑞瓦特大学);Nanyang Technological University(南洋理工大学)
提出DEITSP,一种高效迭代的非自回归扩散模型,通过一步扩散、双模态图变换器和交替噪声策略,在保持快速推理的同时提升TSP求解质量,实验验证其优越性。
2025-01-23 cs.LG
Symbolic-Diffusion: Deep Learning Based Symbolic Regression with D3PM Discrete Token Diffusion
Department of Mechatronics Engineering University of Waterloo(机械工程系大学水力学院);Department of Computer Science University of Waterloo(计算机科学系大学水力学院);Department of Statistics and Actuarial Science University of Waterloo(统计与精算科学系大学水力学院)
本文提出符号扩散模型,利用D3PM离散令牌扩散同时生成方程所有令牌,在符号回归任务中相比自回归方法取得相当或更优性能,开辟了新的研究方向。
2025-10-08 cs.LG