Revealing the Attention Floating Mechanism in Masked Diffusion Models
School of Computer Science and Engineering, Northeastern University(东北大学计算机科学与工程学院);Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系)
本文揭示了掩码扩散模型中注意力漂浮机制,通过动态分散的注意力锚点和浅层结构感知、深层内容聚焦的机制,解释了其在知识密集型任务中性能优势。
2026-01-12 cs.AI cs.LG
Learn from Your Mistakes: Self-Correcting Masked Diffusion Models
Cornell(康奈尔大学);NVIDIA(英伟达)
提出ProSeCo框架,通过训练模型同时进行掩码去除和错误纠正,在生成过程中迭代修正已解码标记,提升样本质量并实现更快的采样速度。
2026-10-21 cs.LG
Multi-Mask Diffusion Language Models for Few-Step Generation
ByteDance Seed(字节跳动种子);Princeton University(普林斯顿大学);Stanford University(斯坦福大学);UCLA(加州大学洛杉矶分校);UC Berkeley(加州大学伯克利分校)
研究针对掩码扩散模型少步生成难的问题,提出多掩码扩散模型MultiMDM,通过特定前向过程使反向过程有起草能力,推导训练目标并制定蒸馏方案,经实验验证其为少步生成提供了有效基础。
2026-09-03 cs.CL cs.LG
Improving Text Style Transfer using Masked Diffusion Language Models with Inference-time Scaling
Dept. of Computer Science and Engineering, Indian Institute of Technology, Bombay(计算机科学与工程系,印度理工学院,孟买)
本文提出基于验证器的推理时扩展方法,在掩码扩散语言模型去噪过程中筛选更优候选,用于文本风格迁移,证明MDM优于自回归语言模型,并展示软值验证器可显著提升生成质量。
2025-08-18 cs.CL cs.LG
Scaling up Masked Diffusion Models on Text
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);Sea AI Lab, Singapore(新加坡Sea AI实验室);Singapore University of Technology and Design(新加坡科技设计大学)
本文为掩码扩散模型建立首个缩放定律,证明其与自回归模型相当的可扩展性,并提出无监督无分类器引导,在语言理解和生成上达到或超越更大模型,且采样更快。
2025-02-28 cs.AI cs.CL cs.LG
Learning Generation Orders for Masked Discrete Diffusion Models via Variational Inference
University of Bristol(布里斯托尔大学);Mistral AI
本文提出了一种基于变分推断的学习框架,用于优化掩码离散扩散模型的并行生成顺序,通过实验展示了其在生成效率与质量上的竞争力。
2026-02-27 cs.LG
Esoteric Language Models: A Family of Any-Order Diffusion LLMs
Cornell University(康奈尔大学);NVIDIA(英伟达)
提出Eso-LMs模型,融合自回归与掩码扩散范式,通过因果注意力实现精确似然计算和KV缓存,在速度-质量帕累托前沿上达到新最优。
2026-08-06 cs.CL cs.LG
BlockGen: Flexible Blockwise Sequence Modeling with Hybrid Samplers
EPFL Lausanne, Switzerland(瑞士洛桑联邦理工学院);Microsoft AI(微软人工智能)
提出BlockGen框架,通过分块序列建模和AR-informed预测-校正采样,比较均匀态扩散与掩码扩散在分块生成中的性能。
2026-06-01 cs.LG
Where to Diffuse, How to Diffuse, and How to Get Back: Automated Learning for Multivariate Diffusions
Courant Institute of Mathematical Sciences(库朗数学科学研究所);New York University(纽约大学);Center for Data Science(数据科学中心)
基于扩散的生成模型(DBGM)将数据扰动到目标噪声分布,并反转该过程以生成样本。噪声处理或推理扩散处理的选择影响似然性和样本质量。例如,使用辅助变量扩展推理过程可以提高样本质量。虽然有许多这样的多元扩散探索,每个新的需要大量的模型特定的分析,阻碍快速原型和评估。本文研究了多元扩散模型。对于任何数量的辅助变量,我们提供了一个最大化MDM可能性下限的方法,而不需要任何特定于模型的分析。然后,我们演示了如何为指定的目标噪声分布的扩散参数化,这两点一起使推理扩散过程的优化。优化扩散将简单的实验从几个众所周知的过程扩展到对所有线性扩散的自动搜索。为了证明这些想法,我们引入了两个新的特定扩散,并在MNIST,CIFAR10和ImageNet32数据集上学习扩散过程。我们发现,对于给定的数据集和模型架构,学习的MDM匹配或超过相对于扩散的固定选择的每维位数(BPD)。
2023-03-03 cs.LG stat.ML
Masked Diffusion Models as Energy Minimization
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学首都人工智能学院);Beijing Key Laboratory of Research on Large Models and Intelligent Governance(北京大模型与智能治理重点实验室);Engineering Research Center of Next-Generation Intelligent Search and Recommendation, MOE(下一代智能搜索与推荐工程技术研究中心,教育部);Huawei Noah’s Ark Lab(华为诺亚实验室)
本文提出将掩码扩散模型解释为离散最优传输中能量最小化问题的理论框架,证明三种能量形式在MDM结构下等价,并通过Beta分布参数化插值调度,提升采样效率。
2026-03-23 cs.AI cs.CL cs.LG
Path Planning for Masked Diffusion Model Sampling
Duke University(杜克大学);Atom Bioworks(Atom生物工坊);Mila – Québec AI Institute(魁北克AI研究院);Université de Montréal(蒙特利尔大学);The University of Oxford(牛津大学);Aithyra(Aithyra公司);University of Pennsylvania(宾夕法尼亚大学)
本文提出路径规划策略,通过规划和去噪两个阶段提升掩码扩散模型的生成质量,实验表明在多个领域均取得显著改进。
2026-03-05 cs.AI cs.LG
TUBE: Tangent Upper Bound on Evidence for Discrete Diffusion Language Models
Applied AI Institute(应用人工智能研究所);HSE University(俄罗斯高等经济学院);MIRAI
针对离散扩散模型无法精确计算对数似然的问题,提出变分上界TUBE,并通过无偏蒙特卡洛估计器评估,发现块状扩散模型和块状任意阶自回归模型的对数似然严格低于自回归模型基线。
2026-05-22 cs.LG
Masked Diffusion Models are Secretly Learned-Order Autoregressive Models
Aalto University(奥卢大学);NUS, Singapore(新加坡国立大学);IIT Bombay(印度理工学院班加罗尔)
本文揭示被掩盖的扩散模型实际上是一种具有可学习顺序的自回归模型,通过优化解码顺序提升生成性能。
2025-11-24 cs.LG stat.ML
Learning Flexible Forward Trajectories for Masked Molecular Diffusion
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);Polymerize
针对标准掩码扩散模型在分子生成中因状态冲突而性能退化的问题,提出MELD方法,通过参数化噪声调度网络为原子和键分配不同损坏率,显著提升生成质量,化学有效性从15%升至93%。
2025-09-26 cs.AI cs.LG
Generation Order and Parallel Decoding in Masked Diffusion Models: An Information-Theoretic Perspective
University of California, Riverside, CA, US(加州大学河滨分校)
本文从信息论视角探讨了掩码扩散模型中生成顺序与并行解码的理论机制,揭示了顺序敏感性与并行化偏差的内在关系,并通过实验验证了理论框架的有效性。
2026-01-30 cs.LG
Steering Masked Discrete Diffusion Models via Discrete Denoising Posterior Prediction
Université de Montréal(蒙特利尔大学);Mila(米拉计算科学研究所);Dreamfold(Dreamfold公司);Duke University(杜克大学);McGill University(麦吉尔大学);Allen Institute for AI(艾伦人工智能研究所);Oxford University(牛津大学);Aithyra(Aithyra公司)
本文提出离散去噪后验预测(DDPP)框架,将引导预训练掩码扩散模型转化为概率推理问题,提供三个无需模拟且可扩展的目标函数,并在图像建模、文本对齐和蛋白质设计等任务及湿实验中验证了有效性。
2024-10-10 cs.AI cs.LG
Stop Training for the Worst: Progressive Unmasking Accelerates Masked Diffusion Training
Harvard University(哈佛大学);Kempner Institute(凯普纳研究所)
本文提出了一种名为渐进性解蔽(PUMA)的方法,通过修改前向掩码过程,使训练时间和推理时的掩码模式一致,从而加速了掩码扩散模型的训练。
2026-06-04 cs.LG
Fine-Tuning Masked Diffusion for Provable Self-Correction
Harvard University(哈佛大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校);Kempner Institute(凯姆纳研究所)
提出PRISM方法,通过轻量级模型无关的重新掩码策略,在掩码扩散模型中实现可证明的自校正,无需强化学习或验证器,提升低质量令牌检测与修正能力。
2026-05-22 cs.LG
Masked Diffusion Models are Secretly Time-Agnostic Masked Models and Exploit Inaccurate Categorical Sampling
Department of Computer Science & Technology, Institute for AI, Tsinghua University(1 计算机科学与技术系,人工智能研究院,清华大学);NVIDIA(2 英特尔)
本文揭示 MDMs 在训练和采样上时间无关且等价于掩码模型,提出 FHS 采样器实现 20 倍加速,并发现 32 位浮点精度导致的数值问题会降低有效温度与 token 多样性,使以往评估不够公平。
2025-04-30 cs.AI cs.CL cs.LG
Variational Autoencoding Discrete Diffusion with Enhanced Dimensional Correlations Modeling
School of Mathematical Sciences, Peking University(北京大学数学科学学院);Center for Statistical Science, Peking University(北京大学统计科学中心);Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);Huawei Foundation Model Dept(华为基金会模型部门);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文提出VADD框架,通过潜在变量建模增强离散扩散,提升样本质量,尤其在少量去噪步骤时表现优异。
2026-04-14 cs.CV cs.LG stat.ML
Mechanism Shift During Post-training from Autoregressive to Masked Diffusion Language Models
Graduate School of Data Science, Seoul National University(首尔国立大学数据科学研究生院);Department of Biosystems & Biomaterials Science and Engineering, Seoul National University(首尔国立大学生物系统与生物材料科学与工程系)
通过比较电路分析,发现后训练得到的掩码扩散模型在结构上根据任务保留或重组自回归电路,在语义上从局部专业化转向分布式整合,表明扩散后训练是内部计算的深度重组。
2026-09-01 cs.AI cs.CL cs.LG
DualDiffusion: A Speculative Decoding Strategy for Masked Diffusion Models
University of Michigan(密歇根大学)
DualDiffusion结合高效近似模型与准确验证模型,通过多步轻量级生成后单步验证,实现生成步骤与准确性之间的更优帕累托前沿。
2026-04-06 cs.CL cs.LG
Bringing Stability to Diffusion: Decomposing and Reducing Variance of Training Masked Diffusion Models
University of Cambridge(剑桥大学);Peking University(北京大学);Qwen Large Model Application Team, Alibaba(阿里巴巴通义大模型应用团队)
本文研究了掩码扩散模型(MDMs)训练方差高导致不稳定的问题,通过分解方差来源并提出六种方差减少方法,显著提升了模型在复杂推理任务中的准确率,并将运行间变异性降低至自回归模型(ARMs)水平。
2026-05-21 cs.LG
Any-Order GPT as Masked Diffusion Model: Decoupling Formulation and Architecture
University of Chinese Academy of Sciences(中国科学院大学);Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);School of Mathematical Sciences, Peking University(北京大学数学科学学院);National University of Singapore(新加坡国立大学);Huawei Noah’s Ark Lab(华为诺亚实验室)
本研究通过在仅解码器框架内评估掩码扩散模型(MDMs),解耦算法与架构因素,对比MDM与自回归范式的权衡,实现约25倍推理加速,为高效基础模型开发提供见解。
2026-09-02 cs.CV cs.LG stat.ML
Learned Relay Representations for Forward-Thinking Discrete Diffusion Models
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);University of Toronto(多伦多大学);Stanford University(斯坦福大学);Imperial College London(伦敦帝国学院);Mila;Vijil
提出Learned Relay Representations (Relay)方法,通过可微通道传递潜在信息,使掩码扩散模型在去噪步骤间前向思考,减少推理延迟并提升性能。
2026-09-29 cs.LG
Insertion Language Models: Sequence Generation with Arbitrary-Position Insertions
针对自回归模型和掩码扩散模型在序列生成中的局限,提出支持任意位置插入token的插入语言模型,通过定制参数化和去噪目标训练,在规划、文本生成及填充任务中表现更优或兼具性能与灵活性。
2025-09-03 cs.CL cs.LG
Optimizing Decoding Paths in Masked Diffusion Models by Quantifying Uncertainty
Zhejiang University(浙江大学);Westlake University(西湖大学);University of Chicago(芝加哥大学)
通过引入去噪熵度量,优化掩码扩散模型的解码路径以提升生成质量与准确性。
2025-12-24 cs.AI cs.CL cs.LG
Walk fast but be careful: Understanding Parallel Sampling in Masked Diffusion
UT Austin SDS(德克萨斯大学奥斯汀分校统计与数据科学系);UT Austin CS(德克萨斯大学奥斯汀分校计算机科学系);UT Austin ECE(德克萨斯大学奥斯汀分校电气与计算机工程系)
提出以图上随机游走为可验证沙盒,研究掩码扩散模型中的并行采样策略,理论上证明最低熵等并行采样并非普遍优于随机采样,并开发了二分采样器,实验表明不同图适用不同采样器。
2026-10-08 cs.AI cs.CL cs.LG
Transformer-Based Masked Diffusion Models Provably Learn Distributions with Latent Structure
University of Michigan(密歇根大学)
该研究针对现有掩码扩散模型(MDMs)理论存在的维度灾难问题,提出基于Transformer的MDMs,通过隐马尔可夫树混合模型建模潜在结构,证明其可自动适应未知潜在结构,以Õ(LK_par/ε)样本复杂度实现ε精度采样,为MDMs的经验有效性提供理论支撑。
2026-10-12 cs.IT cs.LG math.IT
LLaDA 1.5: Variance-Reduced Preference Optimization for Large Language Diffusion Models
Gaoling School of AI, Renmin University of China(中国人民大学人工智能学院);Beijing Key Laboratory of Research on Large Models and Intelligent Governance(北京大型模型与智能治理研究重点实验室);Engineering Research Center of Next-Generation Intelligent Search and Recommendation, MOE(下一代智能搜索与推荐工程技术研究中心);Tsinghua University(清华大学);Ant Group(蚂蚁集团)
针对掩码扩散模型在偏好优化中因ELBO估计高方差而难以与人类偏好对齐的问题,提出方差缩减偏好优化框架VRPO,通过最优蒙特卡洛预算分配和对偶采样显著提升模型对齐性能,其构建的LLaDA 1.5在多项数学、代码及对齐基准上显著提升。
2025-10-12 cs.LG
ReFusion: A Diffusion Large Language Model with Parallel Autoregressive Decoding
Renmin University of China(中国人民大学);Ant Group(蚂蚁集团);Ant International(蚂蚁国际)
ReFusion通过整合序列重组到因果注意框架中,实现并行解码和高效生成,显著提升性能和速度,缩小与传统自回归模型的差距。
2026-03-05 cs.AI cs.CL cs.LG
Error Bounds and Optimal Schedules for Masked Diffusions with Factorized Approximations
Bocconi University, Department of Decision Sciences and BIDSA(博科尼大学决策科学系和BIDSA)
本文研究了掩码扩散模型中计算成本与准确性之间的权衡,通过因子化近似提供误差界,并提出基于数据分布信息轮廓的最优调度方案。
2025-12-17 cs.IT cs.LG math.IT
Theoretical Benefit and Limitation of Diffusion Language Model
Peking University(北京大学);Ant Group(蚂蚁集团)
本文理论分析掩码扩散语言模型 MDM,证明其在困惑度指标下可常数步接近最优,但保证序列正确需随长度线性增加采样步,从而厘清其效率优势与局限。
2025-06-09 cs.AI cs.CL cs.LG
Simple Self-Conditioning Adaptation for Masked Diffusion Models
University of Virginia(弗吉尼亚大学)
本文提出一种简单有效的后训练适应方法,通过自条件预测提升掩码扩散模型的生成能力,减少生成困惑度并提升图像合成和分子生成质量。
2026-06-06 cs.AI cs.LG
Looped Diffusion Language Models
KAIST(韩国科学技术院);KRAFTON(KRAFTON公司);University of California, Berkeley(加州大学伯克利分校)
提出LoopMDM,通过选择性循环早期-中间Transformer层,在训练时实现深度缩放效果而不增加参数,在推理时通过调整循环次数灵活扩展计算量,从而提升掩码扩散模型的训练效率和性能。
2026-05-25 cs.LG
CORE: Context-Robust Remasking for Diffusion Language Models
CORE通过上下文鲁棒重掩码方法改进扩散模型解码,通过检测上下文敏感性token提升生成稳定性,在推理阶段实现高效修正,优于现有基线方法。
2026-03-13 cs.LG
Tensor-Train Joint Modeling for Few-Step Discrete Diffusion
KAIST(韩国科学技术院)
研究离散扩散少步生成潜力受限问题,用张量分解进行联合分布建模,支持多种分解方式,提出迭代边际推理程序,通过微调预训练模型大幅提升少步生成效果。
2026-07-21 cs.LG
Co-GRPO: Co-Optimized Group Relative Policy Optimization for Masked Diffusion Model
Leap Lab, Tsinghua University(清华大学 leap 实验室);Anyverse Dynamics
Co-GRPO通过协同优化模型和调度参数提升掩码扩散模型的生成质量。
2025-12-25 cs.AI cs.CV cs.LG
Auto-Regressive Masked Diffusion Models
School of Computer Science University of Waterloo, ON, Canada(计算机科学学院,滑铁卢大学,加拿大);Google Research(谷歌研究)
本文提出自回归掩码扩散模型,通过结合自回归模型的训练效率与扩散模型的并行生成能力,实现高效且灵活的语言建模,提升性能并减少训练步骤。
2026-01-23 cs.LG
Neural Approximate Mirror Maps for Constrained Diffusion Models
California Institute of Technology(加州理工学院)
本文提出神经近似镜像映射(NAMMs),仅利用可微距离函数即可处理一般非凸约束,通过在学习的镜像空间中训练扩散模型并借助逆映射恢复样本,显著提升约束满足程度并支持求解带约束的逆问题。
2025-04-09 cs.CV cs.LG eess.IV
Discrete Stochastic Localization for Non-autoregressive Generation
本文提出了一种连续状态框架,通过单位球体令牌嵌入实现离散随机定位,以提高离散序列生成的分布忠实度,并展示了在OpenWebText上改进MAUVE指标的效果。
2026-05-20 cs.LG
MirrorWorld: Taming Video Diffusion Models for Mirror Reflection Generation
MirrorWorld是一种反射感知视频修复框架,通过语义关系蒸馏和几何变换对齐建模场景与镜像的关系,在视频镜像反射重建任务上优于现有方法。
2026-08-10 cs.CV cs.LG
Adaptive Guidance for Retrieval-Augmented Masked Diffusion Models
KAIST(韩国科学技术院)
本文提出ARAM框架,通过动态校准引导尺度提升检索增强扩散模型在知识密集型问答中的性能。
2026-04-03 cs.AI cs.CL cs.LG
Masked Language Flow Models
CC BY 4.0(知识共享署名4.0国际许可)
提出掩码语言流模型(MLFM),通过连续随机插值将掩码机制融入流语言模型,实现并行生成与多步推理的平衡,首次将流模型扩展到推理和指令跟随任务。
2026-06-29 cs.CL cs.LG
On the Trainability of Masked Diffusion Language Models via Blockwise Locality
Fudan University, Shanghai, China(复旦大学,上海,中国);Alibaba Group, China(阿里巴巴集团,中国)
研究通过块级局部性改进掩码扩散语言模型,发现其在结构生成任务中稳定性不足,提出Jigsaw和Scatter模型提升性能。
2026-04-27 cs.AI cs.LG
Unifying Masked Diffusion Models with Various Generation Orders and Beyond
Graduate School of AI, KAIST, South Korea(韩国延世大学人工智能研究生院)
本文提出Order-Expressive Masked Diffusion Model (OeMDM)和Learnable-Order Masked Diffusion Model (LoMDM),统一了不同生成顺序的扩散生成过程,并通过单目标学习生成顺序和扩散骨干,提升了文本生成性能。
2026-05-21 cs.AI cs.CL cs.LG
Unlocking Continuous Diffusion Language Models via Discrete Stochastic Localization
University of California Riverside(加州大学河滨分校);New York University(纽约大学)
本文提出了一种名为离散随机定位(DSL)的连续状态框架,通过单位球体令牌嵌入实现最优去噪,从而在离散序列生成中提升分布忠实度,并展示了其在OpenWebText上的有效性。
2026-11-19 cs.CL cs.LG
Mirror Diffusion Models for Constrained and Watermarked Generation
Georgia Institute of Technology(佐治亚理工学院)
提出 Mirror Diffusion Models,通过镜像映射将凸约束集合上的扩散转到欧几里得对偶空间,保持解析可处理性,并支持单纯形、$\ell_2$ 球生成及水印嵌入。
2024-02-29 cs.CV cs.LG stat.ML
Provable Maximum Entropy Manifold Exploration via Diffusion Models
ETH Zurich, 8092 Zurich, Switzerland(苏黎世联邦理工学院);ETH AI Center, Zurich, Switzerland(苏黎世联邦理工学院人工智能中心)
提出将探索视为预训练扩散模型隐式数据流形上的熵最大化,利用熵与得分函数的联系,通过镜像下降微调扩散模型,实现可证明收敛的探索方法,并在合成及文本到图像任务上验证。
2025-06-18 cs.LG
Training data attribution in diffusion models via mirrored unlearning and noise-consistent skew
Sony AI(索尼人工智能)
本文提出了一种基于镜像反学习和噪声一致偏斜的方法,用于提升扩散模型的训练数据归因的可靠性与鲁棒性,通过在不同数据集上显著优于现有方法,展示了其在生成实例间影响实例重叠和扩散损失比较任务中的潜力。
2026-10-14 cs.AI cs.LG stat.ML
Query-Efficient Rejection Sampling for Parallel Masked Diffusion
University of California, Los Angeles(加州大学洛杉矶分校)
针对掩码扩散模型并行采样忽略token相关性的问题,提出单增量拒绝采样器SIRS,通过单次查询估计对数接受概率并结合Rao-Blackwell化减少截断,降低了查询成本且界定了KL散度。
2026-10-16 cs.LG math.PR stat.ML
Di$\mathtt{[M]}$O: Distilling Masked Diffusion Models into One-step Generator
CNRS(法国国家科学研究中心);IPP(巴黎政治学院);Inria(法国国家信息与自动化研究所);Univ. Grenoble Alpes(格勒诺布尔大学);LJK(让·昆汀·莫雷尔实验室)
针对掩码扩散模型推理慢的问题,提出Di[M]O单步蒸馏方法,通过令牌级分布匹配和令牌初始化策略解决两大挑战,在图像生成任务上实现媲美多步模型的性能且大幅提速,是首个相关成功实践。
2025-03-19 cs.AI cs.CV cs.LG
Understanding and Accelerating the Training of Masked Diffusion Language Models
KAIST(韩国科学技术院);Sony AI(索尼人工智能);University of Tokyo(东京大学);Sony Group Corporation(索尼集团)
本文研究了掩码扩散模型训练缓慢的原因,提出bell-shaped时间采样策略,显著提升训练效率和模型性能。
2026-07-24 cs.AI cs.CL cs.LG
TABES: Trajectory-Aware Backward-on-Entropy Steering for Masked Diffusion Models
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Google(谷歌)
TABES通过梯度引导的反向熵方法,提升掩码扩散模型的推理效率和生成鲁棒性。
2026-02-11 cs.AI cs.CL cs.LG