Pard: Permutation-Invariant Autoregressive Diffusion for Graph Generation
Carnegie Mellon University(卡内基梅隆大学)
本文提出 PARD,利用图中节点与边的唯一偏序,以共享扩散模型逐块自回归生成图,并通过结合 PPGN 的高阶图 Transformer 实现并行训练,在分子与非分子基准上达到 SOTA。
2024-12-02 cs.LG stat.ML
Sparse Forcing: Native Trainable Sparse Attention for Real-time Autoregressive Diffusion Video Generation
Meta Superintelligence Labs(Meta超智能实验室);University of California, Santa Barbara(加州大学圣芭芭拉分校)
本文提出稀疏强制方法,通过在训练和推理中提升长时程生成质量并降低解码延迟,采用可训练的原生稀疏机制和高效的GPU内核PBSA来加速稀疏注意力和内存更新。
2026-04-23 cs.CV cs.LG
Edit-Based Flow Matching for Temporal Point Processes
School of Computation, Information and Technology & Munich Data Science Institute(计算、信息与技术学院及慕尼黑数据科学研究所)
本文提出了一种基于编辑操作的流匹配方法,用于改进时间点过程的建模,通过连续时间马尔可夫链框架学习瞬时编辑率,提升生成效率和灵活性。
2026-02-04 cs.LG
Clock Diffusion: Efficient Semi-Autoregressive Continuous Diffusion Language Models
NVIDIA(英伟达);Cornell University(康奈尔大学)
提出时钟扩散框架,通过位置相关噪声调度实现半自回归连续扩散语言模型,支持变长生成和键值缓存,在OpenWebText和GSM8K上达到最优性能,并引入高效采样器缓存抓取。
2026-10-02 cs.LG
DiSTAR: Diffusion over a Scalable Token Autoregressive Representation for Speech Generation
X-LANCE Lab, School of Computer Science, Shanghai Jiao Tong University(X-LANCE实验室,计算机科学学院,上海交通大学);ByteDance Inc.(字节跳动公司)
DiSTAR提出一种零样本文本到语音框架,在离散RVQ码空间中耦合AR语言模型与掩码扩散模型,实现块级并行长语音合成,并在鲁棒性、自然度及说话人/风格一致性上超越现有最先进系统。
2025-10-15 cs.CL cs.LG eess.AS
LaDiR: Latent Diffusion Enhances LLMs for Text Reasoning
University of California, San Diego(加州大学圣迭戈分校);Apple(苹果公司)
LaDiR通过结合连续潜在表示的表达力与潜在扩散模型的迭代精炼能力,提升大语言模型在文本推理中的准确性、多样性和可解释性。
2026-04-23 cs.AI cs.CL cs.LG
Transformer Neural Autoregressive Flows
University of Cambridge(剑桥大学);Microsoft Research(微软研究院)
提出Transformer神经自回归流(T-NAFs),利用transformer和注意力掩码实现自回归约束,在UCI基准上以更少参数匹配或超越NAFs和B-NAFs。
2024-01-03 cs.LG
Flexible Language Modeling in Continuous Space with Transformer-based Autoregressive Flows
Apple(苹果公司)
本文提出TarFlowLM框架,将语言建模从离散token空间转向连续潜在空间,利用基于Transformer的自回归归一化流实现双向上下文建模、灵活分块生成和分层多遍生成,并在语言建模基准上验证了其灵活性和性能。
2025-07-01 cs.CL cs.LG
SSD-LM: Semi-autoregressive Simplex-based Diffusion Language Model for Text Generation and Modular Control
University of Washington(华盛顿大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出SSD-LM,一种半自回归且基于单纯形的扩散语言模型,通过在自然词汇空间上迭代生成文本块,结合现成分类器实现模块化控制,在文本生成质量与多样性上匹敌GPT-2并大幅超越现有扩散基线。
2023-06-26 cs.CL cs.LG
Frequency-Aware Autoregressive Modeling for Efficient High-Resolution Image Synthesis
South China University of Technology(华南理工大学);Pazhou Lab(帕乔实验室);University of California, Davis(加州大学戴维斯分校);Zhejiang University(浙江大学)
针对高分辨率图像自回归生成中高分辨率阶段计算开销大的问题,提出即插即用的SparseVAR加速框架,通过动态剔除低频token并结合锚点token保障保真度,在HART和Infinity上实现显著加速且质量损失极小。
2025-07-28 cs.CV cs.LG
FlowVocoder: A small Footprint Neural Vocoder based Normalizing flow for Speech Synthesis
Vinai Research(Vinai研究公司);Deezer Research(Deezer研究公司)
最近,自回归神经声码器在产生高保真语音方面提供了显著的性能,并且已经能够实时产生合成语音。然而,自回归神经声码器(如WaveFlow)能够从梅尔频谱图中建模波形信号,其参数数量对于部署在边缘设备上非常重要。虽然NanoFlow具有少量参数,是最先进的自回归神经声码器,但NanoFlow的性能略低于WaveFlow。因此,我们提出了一种新型的自回归神经声码器称为FlowVocoder,它具有较小的内存占用,能够实时生成高保真音频。我们提出的模型改进了流块的密度估计,利用混合的累积分布函数(CDF)的二分变换。因此,所提出的模型能够对波形信号进行建模,而其内存占用比WaveFlow小得多。实验结果表明,FlowVocoder算法在主观和客观评价方面都取得了与基线算法相当的效果,更适合于实时的文语转换应用。
2022-03-25 cs.LG cs.SD eess.AS
Esoteric Language Models: A Family of Any-Order Diffusion LLMs
Cornell University(康奈尔大学);NVIDIA(英伟达)
提出Eso-LMs模型,融合自回归与掩码扩散范式,通过因果注意力实现精确似然计算和KV缓存,在速度-质量帕累托前沿上达到新最优。
2026-08-06 cs.CL cs.LG
Generalized Interpolating Discrete Diffusion
本文提出广义插值离散扩散 GIDD,通过更灵活的加噪过程及掩码与均匀噪声混合机制,在计算匹配条件下实现扩散语言建模的最优性能,并赋予模型自我纠错能力。
2025-06-09 cs.AI cs.CL cs.LG
Revisiting Energy Based Models as Policies: Ranking Noise Contrastive Estimation and Interpolating Energy Models
Google DeepMind(谷歌DeepMind)
本文重新审视基于能量的模型作为策略表示,提出结合R-NCE、可学习负采样器和非对抗性联合训练的实用算法,证明其渐近一致性,并扩展至插值能量模型,在多模态机器人任务基准中表现优于扩散模型等先进方法。
2023-09-11 cs.LG cs.RO
Block Neural Autoregressive Flow
University of Edinburgh(爱丁堡大学);University of Amsterdam(阿姆斯特丹大学)
规范化流(NFS)通过可微双射映射两个密度函数,其雅可比行列式可以有效地计算。最近,作为手工双射的替代方案,Huang等人(2018)提出了神经自回归流(NAF),这是密度函数的通用近似器。它们的流程是一个神经网络(NN),其参数由另一个NN预测。后者的增长平方与前者的大小,因此需要一个有效的参数化技术。我们提出了块神经自回归流(B-NAF),密度函数的一个更紧凑的通用逼近器,我们直接使用单个前馈网络来模拟双射。可逆性是通过仔细设计每个仿射变换与块矩阵,使流自回归和(严格)单调。我们比较了B-NAF的NAF和其他已建立的流的密度估计和近似推理的潜变量模型。我们提出的流程在数据集之间具有竞争力,同时使用数量级更少的参数。
2019-04-09 cs.LG stat.ML
Neural Autoregressive Modeling of Brain Aging
Department of Electrical Engineering, Stanford University, Stanford, CA, USA Dept. of Psychiatry \& Behavioral Sciences, Stanford University, Stanford, CA, USA Department of Radiation Oncology, Stanford University, Stanford, CA, USA Department of Biomedical Data Science, Stanford University, Stanford, CA, USA Department of Computer Science, Stanford University, Stanford, CA, USA
针对脑衰老合成面临的数据高维、结构变化细微等挑战,提出基于生成式自回归Transformer的NeuroAR模型,通过自回归估计离散token图合成衰老大脑,在老年与青少年人群中图像保真度优于LDM等现有最优模型。
2025-07-29 cs.LG eess.IV q-bio.NC
Revisiting the 16x Pretraining Compute Gap between Diffusion and Autoregressive Language Models
Cornell University(康奈尔大学);Cornell Tech(康奈尔科技);Amazon(亚马逊)
该研究重新审视扩散与自回归语言模型的预训练计算差距,采用新方案后发现差距远小于此前的16倍,证明从头预训练扩散语言模型更具可行性。
2026-11-05 cs.AI cs.LG
BARD: Bridging AutoRegressive and Diffusion Vision-Language Models Via Highly Efficient Progressive Block Merging and Stage-Wise Distillation
Shanghai Academy of AI for Science(上海人工智能科学研究院);Shanghai Innovation Institute(上海创新研究院);Fudan University(复旦大学);Nanjing University(南京大学)
BARD通过高效渐进块合并与分阶段蒸馏将预训练自回归视觉-语言模型转换为解码高效的扩散视觉-语言模型,实现在大块规模下性能恢复与解码效率提升。
2026-07-14 cs.CV cs.LG
ARMA Block: A CNN-Based Autoregressive and Moving Average Module for Long-Term Time Series Forecasting
AI Lab, Grepp(Grepp人工智能实验室);Department of Computer Science and Engineering, Hankuk University of Foreign Studies(韩国外国语大学计算机科学与工程系);Department of Radiation Physics, The University of Texas MD Anderson Cancer Center(德克萨斯MD安德森癌症中心辐射物理系)
本文提出ARMA Block卷积模块用于长期时间序列预测,通过自回归和移动平均两个组件分别捕捉趋势和局部变化,直接进行多步预测,在9个基准上表现优异且具备替代位置嵌入的潜力。
2025-09-12 cs.LG
Autoregressive Belief Propagation for Decoding Block Codes
Tel Aviv University(特拉维夫大学);Facebook AI Research(Facebook AI研究院)
我们重新审视最近的方法,采用图神经网络解码纠错码,并采用消息计算的自回归方式。变量节点的输出消息不仅取决于输入消息,而且取决于SNR的估计和推断的码字以及两个下游计算:(i)奇偶检验结果的扩展向量,(ii)推断的码字与该码字的信息比特的重新编码之间的失配。与该领域中的大多数学习方法不同,我们的方法违反了对称条件,使其他方法能够专门用零字进行训练。尽管没有奢侈的训练一个字,不能训练的相关样本空间的一小部分,我们证明了有效的培训。新方法获得的比特出错率比最新方法的性能高出相当大的幅度。
2021-01-23 cs.IT cs.LG math.IT
AbbIE: Autoregressive Block-Based Iterative Encoder for Efficient Sequence Modeling
University of Cambridge(剑桥大学);Meta
提出自回归块式迭代编码器(AbbIE),一种递归泛化的仅编码器Transformer,以更优困惑度实现测试时动态计算扩展,并向上泛化至任意迭代长度,在零样本上下文学习和语言建模上分别提升最高12%和5%。
2025-08-07 cs.LG
On the Trainability of Masked Diffusion Language Models via Blockwise Locality
Fudan University, Shanghai, China(复旦大学,上海,中国);Alibaba Group, China(阿里巴巴集团,中国)
研究通过块级局部性改进掩码扩散语言模型,发现其在结构生成任务中稳定性不足,提出Jigsaw和Scatter模型提升性能。
2026-04-27 cs.AI cs.LG
Blockwise Parallel Decoding for Deep Autoregressive Models
University of California, Berkeley(加州大学伯克利分校);Google Brain(谷歌大脑)
近年来,深度自回归序列到序列模型在各种任务中表现出令人印象深刻的性能。虽然常见的架构类,如递归、卷积和自注意网络,在每层所需的计算量和训练时的关键路线长度之间做出了不同的权衡,但生成仍然是一个固有的顺序过程。为了克服这一限制,我们提出了一种新的分块并行解码方案,在该方案中,我们并行地对多个时间步进行预测,然后返回到由评分模型验证的最长前缀。这允许在生成速度方面的实质性理论改进,当应用于可以并行处理输出序列的架构时。我们通过一系列实验经验验证了我们的方法,使用最先进的自注意力模型进行机器翻译和图像超分辨率,实现迭代减少高达2倍的基线贪婪解码器,没有质量损失,或高达7倍,以换取性能略有下降。在挂钟时间方面,我们最快的模型表现出比标准贪心解码高出4倍的实时加速。
2018-11-07 cs.CL cs.LG stat.ML
Exploring and Improving Drafts in Blockwise Parallel Decoding
KAIST AI(韩国科学技术院人工智能学院);Google Research(谷歌研究院)
本文分析了块级并行解码中多预测头的token分布,并利用n-gram和神经语言模型优化块草稿,使多个数据集上的块效率提升5-21%。
2024-06-05 cs.AI cs.CL cs.LG
AdaBlock-dLLM: Semantic-Aware Diffusion LLM Inference via Adaptive Block Size
Imperial College London(帝国理工学院);Institute of Science Tokyo(东京科学大学)
AdaBlock-dLLM通过自适应块大小实现语义感知的扩散语言模型推理,提升解码准确性与效率。
2026-03-02 cs.AI cs.LG
One Spectrum, Two Resources: Data-Memory Scaling in Autoregressive Prediction
City University of Hong Kong(香港城市大学);University of New South Wales(新南威尔士大学)
该研究揭示自回归预测中数据与内存资源受同一能量频谱支配,提出极小极大定律并验证其在不同因果源及注意力机制中的适用性,实验证实了数据-内存坍缩现象。
2026-09-15 cs.AI cs.CL cs.LG
Retrofitting Linear Attention into Diffusion Language Models
Apple(苹果公司);Google DeepMind(谷歌DeepMind);Harvard University(哈佛大学);MIT(麻省理工学院)
本文提出分块混合注意力,将其融入预训练dLLM LLaDA~2.1得到LLaDA-Hybrid,在保持基准性能的同时提升解码吞吐量与并发请求支持能力。
2026-08-10 cs.LG
Test-Time Scaling in Diffusion LLMs via Hidden Semi-Autoregressive Experts
Yonsei University(延世大学);Oracle(Oracle公司);CMU(卡内基梅隆大学);UMD(马里兰大学);UCF(佛罗里达大学)
提出HEX方法,通过集成不同块大小的生成路径进行多数投票,实现无需训练的测试时扩展,显著提升扩散语言模型在推理基准上的性能。
2025-10-06 cs.AI cs.LG
SDAR: A Synergistic Diffusion-AutoRegression Paradigm for Scalable Sequence Generation
Shanghai AI Laboratory(上海人工智能实验室);Zhejiang University(浙江大学);University of Maryland, College Park(马里兰大学 College Park 分校);Shanghai Jiao Tong University(上海交通大学);Tsinghua University(清华大学)
本文提出 SDAR 范式,将训练好的 AR 模型低成本转换为分块离散扩散模型,兼顾全局连贯与块内并行解码,并在密集及 MoE 模型上实现无损加速与推理提升。
2025-10-18 cs.AI cs.LG
Efficient-DLM: From Autoregressive to Diffusion Language Models, and Beyond in Speed
Georgia Tech(佐治亚理工学院);University of Chicago(芝加哥大学);University of Hong Kong(香港大学);MIT(麻省理工学院)
本文提出Efficient-DLM方法,通过改进自回归到扩散语言模型的转换,提升生成速度并保持任务准确性,实验显示其在精度和效率上优于现有模型。
2026-04-29 cs.AI cs.CL cs.LG
AutoRegressive Generation with B-rep Holistic Token Sequence Representation
Northwestern Polytechnical University(西北工业大学);National University of Singapore(新加坡国立大学)
本文提出BrepARG,首次将B-表示的几何与拓扑转化为整体令牌序列,通过自回归架构实现B-表示生成,实验表明其达到最先进的性能。
2026-03-30 cs.CV cs.LG
CORAL-KV: Compact Cross-Layer Prediction and Residual Coding for Autoregressive Video KV Caches
Advanced Micro Devices Inc. (AMD)(超威半导体公司);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
该研究针对自回归视频扩散模型的KV缓存内存瓶颈,提出Coral-KV跨层预测残差编码框架,在HY-WorldPlay、MAGI-1等数据集上相比QVG系列方法,实现了PSNR提升与缓存内存减少的双重效果,还降低了时间不连续性。
2026-10-12 cs.CV cs.LG
Autoregressive One-Step Generative Modeling for Dynamical System Forecasting
The Center for Computational Science(计算科学中心)
本文提出MeLISA模型,通过块状随机转移核实现高效自回归生成,结合窗口一致性与时间增量一致性损失,提升长期统计准确性与推理速度。
2026-07-28 cs.LG physics.flu-dyn
Block Parallelism For Efficient Distributed Long-Context Diffusion Language Model Training
Stanford University(斯坦福大学)
针对块扩散语言模型长上下文训练瓶颈,提出上下文分片块并行(CSBP),通过分片干净序列并保持损坏K/V局部化,在H200/H100上实现1.18-7.59倍吞吐量提升,并提升下游基准通过率。
2026-09-18 cs.LG
FFN-SkipLLM: A Hidden Gem for Autoregressive Decoding with Adaptive Feed Forward Skipping
University of Texas at Austin(德克萨斯大学奥斯汀分校);Eindhoven University of Technology(埃因霍温理工大学);University of Aberdeen(阿伯丁大学);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);University of Oxford(牛津大学)
针对自回归 LLM 逐层生成的计算瓶颈,本文提出输入自适应的 FFN-SkipLLM,在无需处理 KV cache 的情况下跳过 25–30% 的 FFN 块,并在多项知识密集型基准上保持接近原模型性能。
2024-04-05 cs.CL cs.LG
ECHO: Efficient Chest X-ray Report Generation with One-step Block Diffusion
Beijing Jiaotong University(北京交通大学);Dalian University of Technology(大连理工大学)
本文提出ECHO,一种基于扩散模型的高效视觉-语言模型,用于生成胸部X光报告,通过一步块扩散和响应不对称扩散策略,显著提高了生成效率和文本连贯性,同时在临床准确性上保持良好表现。
2026-05-17 cs.AI cs.LG eess.IV
DARTree: Speculative Diffusion Decoding with Autoregressive Draft Trees
DARTree是无需训练的推测式解码方法,将AR修正头从链扩展至树,在7个数学、代码、聊天基准的4种模型-温度配置下,实现最高平均接受长度与加速比,达9.73倍无损加速。
2026-08-14 cs.LG
Bidirectional Representations Augmented Autoregressive Biological Sequence Generation
Fudan University(复旦大学);University of British Columbia(不列颠哥伦比亚大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Zhejiang University(浙江大学)
本文提出混合框架,通过结合非自回归机制与自回归生成,提升生物序列生成的双向依赖建模能力。
2025-12-11 cs.LG
Teaching Diffusion to Speculate Left-to-Right
Lexington Whalen;Yuki Ito;Ryo Sakamoto
针对自回归解码的推理瓶颈,提出三种训练时干预方法(位置加权、首次错误焦点损失、链损失)来弥合块扩散草稿模型的双向生成与自回归目标模型从左到右验证之间的不对称性,显著提升接受草稿长度。
2026-11-05 cs.CL cs.LG
Neither Parallel Nor Sequential: How DiffusionGemma Actually Commits Tokens
Transformer Lab
通过钩取DiffusionGemma 26B的采样器接受步骤,测量其解码顺序,发现解码既非并行也非块自回归,而是呈现部分从左到右的提交偏差,且块大小是测量尺度的伪影而非架构特性。
2026-06-15 cs.LG
ALPINE: Unveiling the Planning Capability of Autoregressive Learning in Language Models
Microsoft Research Asia(微软亚洲研究院);Harvard University(哈佛大学);Peking University(北京大学);University of Southern California(南加州大学)
本文通过理论分析和实验揭示,基于Transformer的LLMs通过下一词预测可学习邻接与有限可达性矩阵以执行路径查找,但受限于无法通过传递性识别可达关系,为自回归学习的规划能力提供了新见解。
2024-11-11 cs.AI cs.CL cs.LG
Break the Block: Dynamic-size Reasoning Blocks for Diffusion Large Language Models via Monotonic Entropy Descent with Reinforcement Learning
School of Electrical Engineering and Computer Science, The University of Queensland, Brisbane, Queensland, Australia(电气工程与计算机科学学院,昆士兰大学,布里斯班,昆士兰,澳大利亚)
针对扩散大语言模型中固定大小推理块导致的逻辑连贯性差和效率低问题,提出基于单调熵下降目标与强化学习的后训练框架b1,学习动态大小推理块以提升推理连贯性。
2026-05-27 cs.LG
ARMA Cell: A Modular and Effective Approach for Neural Autoregressive Modeling
Ludwig-Maximilians-Universität München(慕尼黑大学)
本文提出ARMA单元及其空间扩展ConvARMA单元,以更简单、模块化的方式在神经网络中实现自回归移动平均建模,实验表明其在性能上可与LSTM等流行方法竞争,同时更稳健且易于使用。
2024-01-11 cs.LG cs.NE stat.ML
GeoBlock: Inferring Block Granularity from Dependency Geometry in Diffusion Language Models
Xi'an Jiaotong University(西安交通大学)
GeoBlock通过分析依赖几何推断块粒度,提升扩散语言模型的并行效率与依赖一致性。
2026-03-04 cs.CL cs.LG
Generative Pretrained Autoregressive Transformer Graph Neural Network applied to the Analysis and Discovery of Novel Proteins
Massachusetts Institute of Technology(麻省理工学院)
提出一种集成transformer和图卷积架构的生成式预训练模型,基于提示解决蛋白质正逆向建模任务,多任务协同提升了整体性能,可设计结构蛋白与抗菌材料。
2023-07-11 cond-mat.dis-nn cond-mat.soft cs.CL
When to Commit? Towards Variable-Size Self-Contained Blocks for Discrete Diffusion Language Models
The University of Queensland(昆士兰大学)
本文提出可变大小自包含块(VSB)以解决离散扩散语言模型中固定大小或启发式块解码导致的早token承诺问题,通过自包含性原则提升预测一致性。
2026-04-27 cs.CL cs.LG