Unifying Continuous and Discrete Text Diffusion with Non-simultaneous Diffusion Processes
School of Computer Science and Technology, University of Science and Technology of China(计算机科学与技术学院,中国科学技术大学);State Key Laboratory of Cognitive Intelligence(认知智能国家重点实验室)
提出NeoDiff模型,通过引入泊松扩散过程和自适应时间预测器,统一了离散与连续文本扩散模型的优势,实现了细粒度噪声控制,在多个文本生成任务中优于多种基线方法。
2025-05-28 cs.AI cs.CL cs.LG
Non-Markovian Discrete Diffusion with Causal Language Models
Yale University(耶鲁大学)
针对离散扩散模型因马尔可夫假设导致误差累积、表达力弱于因果语言模型的问题,提出以全生成轨迹为条件的CaDDi模型,统一两类推理且可复用预训练LLM权重,性能优于现有离散扩散基线,缩小了与自回归大模型的差距。
2025-10-28 cs.AI cs.CL cs.LG
Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution
Stanford University(斯坦福大学);Pika Labs(匹卡实验室)
本文提出得分熵损失函数,将得分匹配扩展到离散空间并构建 SEDD 离散扩散模型,在语言建模上超越现有扩散方法且优于 GPT-2,同时支持高效生成与可控填充。
2024-06-06 cs.CL cs.LG stat.ML
Continuous Diffusion Model for Language Modeling
KAIST(韩国科学技术院)
提出一种结合分类分布几何的连续扩散模型,建立离散扩散与连续流联系,引入径向对称训练框架,在语言建模基准上优于离散扩散并接近自回归性能。
2025-10-23 cs.LG
Improving Discrete Diffusion Models via Structured Preferential Generation
Aalto University(阿尔托大学)
本文提出一种结构化前向过程,利用离散类别的信息层级,使离散扩散模型优先生成某些类别,从而在text8数据集上显著提升对数似然分数。
2024-05-28 cs.LG
Double Descent as a Lens for Sample Efficiency in Autoregressive vs. Discrete Diffusion Models
ETH Zurich(苏黎世联邦理工学院)
该研究借助双重下降现象比较离散扩散与自回归模型,发现自回归模型在小规模数据上样本效率更高,离散扩散模型则需充足容量与计算才具竞争力。
2025-09-29 cs.LG
Simple Guidance Mechanisms for Discrete Diffusion Models
Department of Computer Science, Cornell University(计算机科学系,康奈尔大学);InstaDeep
本文为离散扩散模型推导了无分类器和基于分类器的引导机制,并提出利用均匀噪声且可持续编辑输出的新型扩散模型,结合连续时间变分下界,在基因组序列、小分子和离散图像生成中实现了更优的可控生成。
2025-05-27 cs.LG
Why Masking Diffusion Works: Condition on the Jump Schedule for Improved Discrete Diffusion
New York University(纽约大学)
本文揭示掩码扩散因内置已知跳跃时间分布而表现优异,并提出 SCUD 将该机制推广到任意离散扩散模型,在图像、文本和蛋白质数据上超越掩码扩散。
2025-09-27 cs.LG stat.ML
Analog Bits: Generating Discrete Data using Diffusion Models with Self-Conditioning
Google Research(谷歌研究院)
我们提出位扩散:一个简单而通用的方法,用于生成离散数据与连续状态和连续时间扩散模型。我们的方法背后的主要思想是首先将离散数据表示为二进制位,然后训练连续扩散模型以将这些位建模为我们称为模拟位的实数。为了生成样本,模型首先生成模拟位,然后对模拟位进行阈值处理以获得表示离散变量的位。我们进一步提出了两个简单的技术,即自调节和不对称的时间间隔,这导致了显着改善样本质量。尽管它的简单性,所提出的方法可以实现强大的性能在离散图像生成和图像描述任务。对于离散图像生成,我们显着改进了CIFAR-10(具有3 K离散8位令牌)和ImageNet-64 x64(具有12 K离散8位令牌)的现有技术,在样本质量(由FID测量)和效率方面都优于最佳自回归模型。对于MS-COCO数据集上的图像描述,与自回归模型相比,我们的方法取得了有竞争力的结果。
2023-03-01 cs.AI cs.CL cs.CV
Target Concrete Score Matching: A Holistic Framework for Discrete Diffusion
Apple(苹果公司)
本文提出目标具体分数匹配(TCSM),一种统一的离散扩散训练与微调目标函数,通过估计干净数据空间中的目标分布分数,支持预训练、奖励微调和知识蒸馏,在语言建模任务上匹配或超越现有方法。
2025-04-23 cs.LG
Discrete Copula Diffusion
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);University of Stuttgart(斯图加特大学);Institute for Artificial Intelligence(人工智能研究所)
针对离散扩散模型需大量去噪步骤的问题,提出通过引入copula模型补充变量依赖信息的方法,无需微调即可大幅减少步数并提升文本生成效果,强调了变量依赖建模的重要性。
2025-03-19 cs.LG
Interpolating Discrete Diffusion Models with Controllable Resampling
School of Computation, Information and Technology, Technical University of Munich(计算、信息与技术学院,慕尼黑技术大学);Munich Data Science Institute(慕尼黑数据科学研究所);Munich Center for Machine Learning(慕尼黑机器学习中心)
本文提出IDDM模型,通过可控重采样机制减少对中间潜在状态的依赖,改进扩散过程,实现更有效的token修正,在分子图生成和文本生成任务中表现优异。
2026-04-19 cs.LG
Split Gibbs Discrete Diffusion Posterior Sampling
California Institute of Technology(加州理工学院);New York University(纽约大学);OpenAI
提出基于分裂吉布斯采样的离散扩散后验采样算法SGDD,支持奖励引导生成与逆问题求解,在多项基准上取得SOTA性能及30%图像修复提升。
2025-11-01 cs.CV cs.LG
Inference-Time Scaling of Discrete Diffusion Models via Importance Weighting and Optimal Proposal Design
本文提出基于SMC框架的重要加权和最优提案设计方法,提升离散扩散模型在推理时的可控制性和样本质量,适用于多个领域任务。
2026-03-15 cs.LG
Flexible-length Text Infilling for Discrete Diffusion Models
Department of Computer Science(计算机科学系)
针对离散扩散模型无真实位置数据时无法实现灵活长度/位置文本补全的问题,提出带最优传输位置耦合的DDOT模型,联合去噪词元值与位置,兼容预训练去噪器,性能比肩最优非自回归模型且提升训练效率与灵活性。
2025-10-22 cs.AI cs.CL cs.CV
Discrete-state Continuous-time Diffusion for Graph Generation
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Visa Research(Visa研究院)
本文提出离散状态连续时间的图扩散生成框架,保留图数据离散性,具备节点排列的不变/等变性,在多基准上性能达SOTA水平且可灵活权衡采样质量与效率。
2024-11-04 cs.LG
A Unification of Discrete, Gaussian, and Simplicial Diffusion
New York University(纽约大学);CUNY(纽约大学);BigHat Biosciences(BigHat 生物科技)
本文通过构建基于Wright-Fisher种群遗传模型的统一框架,将离散、高斯和单纯扩散视为不同参数化形式,实现了三种扩散方法的统一,并展示了在不同领域中训练单一模型的可行性。
2026-04-18 cs.LG
Unified Discrete Diffusion for Categorical Data
Carnegie Mellon University(卡内基梅隆大学)
针对现有连续时间离散扩散框架与离散时间版本差异大、需复杂近似的问题,提出USD3模型,通过简化变分下界推导统一的反向去噪公式,实现两类离散扩散的统一,性能超越现有基线并开源代码。
2024-08-12 cs.LG stat.ML
In-Situ Tweedie Discrete Diffusion Models
Sun Yat-sen University(中山大学);Guangdong Key Laboratory of Big Data Analysis and Processing(广东大数据分析与处理重点实验室);X-Era AI Lab(X-Era人工智能实验室);Guangdong University of Technology(广东工业大学)
本研究提出原位 Tweedie 离散扩散模型,通过在离散一热空间中直接执行扩散过程,实现对离散任务的有效建模。
2025-11-24 cs.AI cs.CL cs.CV
Cometh: A continuous-time discrete-state graph diffusion model
RWTH Aachen University(亚琛工业大学);Université Paris-Saclay(巴黎萨克雷大学);CentraleSupélec(中央理工高等电力学院);Inria(法国国家信息与自动化研究所)
本文提出Cometh,一种针对图数据的连续时间离散状态扩散模型,并用单一随机游走编码替代原有结构编码,在多个分子与非分子基准上显著超越现有离散扩散模型。
2024-10-04 cs.LG
Clock Diffusion: Efficient Semi-Autoregressive Continuous Diffusion Language Models
NVIDIA(英伟达);Cornell University(康奈尔大学)
提出时钟扩散框架,通过位置相关噪声调度实现半自回归连续扩散语言模型,支持变长生成和键值缓存,在OpenWebText和GSM8K上达到最优性能,并引入高效采样器缓存抓取。
2026-10-02 cs.LG
GraphGUIDE: interpretable and controllable conditional graph generation with discrete Bernoulli diffusion
Genentech(基因泰克)
扩散模型在生成真实感对象方面具有最先进的性能,并已成功应用于图像、文本和视频。最近的工作表明,扩散也可以在图形上定义,包括药物样分子的图形表示。不幸的是,仍然很难以可解释和可控制的方式在图上执行条件生成。在这项工作中,我们提出了GraphGUIDE,一个新的框架,图形生成使用扩散模型,在图中的边缘翻转或设置在每个离散的时间步。我们在几个图形数据集上演示了GraphGUIDE,并表明它可以完全控制任意结构属性的条件生成,而无需依赖于预定义的标签。我们的图形扩散框架可以对图形的可解释条件生成产生很大的影响,包括以实验证据为依据的方式生成具有所需特性的药物样分子。
2023-02-07 cs.LG
A2D2: Fine-Tuning Any-Length Discrete Diffusion for Adaptive Decoding
Department of Computer and Information Science, University of Pennsylvania(宾夕法尼亚大学计算机与信息科学系);Department of Bioengineering, University of Pennsylvania(宾夕法尼亚大学生物工程系);School of Mathematics, Georgia Institute of Technology(佐治亚理工学院数学学院)
提出A2D2框架,通过联合优化插入和去掩蔽策略及基于质量的推理调度,实现任意长度离散扩散模型的奖励引导微调,理论上保证收敛到奖励倾斜分布,实验提升奖励优化与生成灵活性和准确性。
2026-06-12 cs.LG
How Discrete and Continuous Diffusion Meet: Comprehensive Analysis of Discrete Diffusion Models via a Stochastic Integral Framework
Stanford University(斯坦福大学);ICME(ICME(综合管理与工程学院))
本文提出了基于 Lévy 型随机积分的离散扩散模型误差分析框架,建立了随机积分表述与测度变换定理,获得了 $τ$-leaping 方案在 KL 散度下的首个误差界限,为算法设计提供了理论指导。
2025-03-02 cs.LG cs.NA math.NA
CANDI: Hybrid Discrete-Continuous Diffusion Models
Purdue University, West Lafayette, U.S.A(普渡大学);Google Deepmind(谷歌DeepMind)
研究连续扩散应用于离散数据表现不佳的问题,提出CANDI混合框架解耦离散和连续破坏,实现同时学习,在受控生成和文本生成中分别展现优势,解锁连续扩散对离散空间的好处。
2026-07-14 cs.LG stat.ML
Blackout Diffusion: Generative Diffusion Models in Discrete-State Spaces
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室);Oak Ridge National Laboratory(橡树岭国家实验室)
本文提出Blackout Diffusion框架,利用精确分析为任意离散状态马尔可夫过程建立前向扩散理论,并从空白图像生成样本,在多个数据集上验证了可行性,为解释扩散模型提供新视角。
2023-05-18 cs.CV cs.LG
Beyond Single Tokens: Distilling Discrete Diffusion Models via Discrete MMD
Google DeepMind Amsterdam(谷歌深思亚马逊)
本文提出D-MMD方法,通过离散MMD蒸馏离散扩散模型,实现高质量和多样性的生成,优于传统方法。
2026-03-20 cs.CV cs.LG stat.ML
Convergence Analysis of Discrete Diffusion Model: Exact Implementation through Uniformization
Stanford University(斯坦福大学)
本文研究离散扩散模型的理论性质,提出基于连续马尔可夫链均匀化的算法,在合理假设下推导出全变差距离和KL散度保证,证明了离散扩散模型的优势。
2024-02-14 cs.LG stat.ML
Convergence of Score-Based Discrete Diffusion Models: A Discrete-Time Analysis
Fudan University(复旦大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
针对离散状态扩散模型收敛性研究不足的问题,本文在CTMC框架下提出一般状态空间[S]^d的离散时间采样算法,推导KL散度和TV距离的收敛界,其维度d近乎线性,为离散时间采样提供理论支撑。
2025-04-12 cs.LG stat.ML
The Cosine Schedule is Fisher-Rao-Optimal for Masked Discrete Diffusion Models
University of Oxford(牛津大学);University of British Columbia(不列颠哥伦比亚大学)
本文从信息几何角度研究掩码离散扩散模型的采样调度,证明Fisher-Rao几何下的最优调度即常用的余弦调度。
2025-10-05 cs.LG stat.ML
Fast Sampling via Discrete Non-Markov Diffusion Models with Predetermined Transition Time
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
针对离散扩散模型采样加速不足的问题,提出DNDM及预定转移时间的免训练快速采样算法,并揭示有限到无限步采样的联系,在语言生成和翻译上实现速度与质量双提升。
2024-12-06 cs.AI cs.LG stat.ML
Jumping up and down: Denoiser diffusion models for discrete ordinal data
Brown University(布朗大学);University of Toronto(多伦多大学);Sakana AI
本文提出上下跳跃(JUD),首个面向离散有序数据的去噪器扩散模型家族,支持双向扰动,在不同数据模态上取得竞争性结果。
2026-10-05 cs.LG stat.ME
Discrete Diffusion Models are Minimax Optimal Under Sparsity
INRIA - École Normale Supérieure - PSL Research University - CNRS(法国国家信息与自动化研究所 - 巴黎高等师范学院 - 巴黎文理研究大学 - 法国国家科学研究中心);École Polytechnique - CMAP - IP Paris(巴黎综合理工学院 - 数学与应用中心 - 巴黎理工学院)
本研究针对离散扩散模型,在稀疏性假设下分析其统计速率,建立了稀疏 regime 下的极小极大最优速率,证明其可内在适配稀疏性,为离散扩散模型提供了理论支撑。
2026-10-15 cs.LG stat.ML
Forward-Learned Discrete Diffusion: Learning how to noise to denoise faster
University of Amsterdam(阿姆斯特丹大学);Microsoft Research, Cambridge(微软研究院,剑桥)
本文提出前向学习离散扩散(FLDD),通过引入可学习的前向(噪声)过程,减少目标分布与模型分布之间的差距,实现少步生成。该方法采用非马尔可夫形式,利用可学习的边缘和后验分布,使生成过程保持因子化同时匹配噪声过程定义的目标。实验表明,在相同采样步数下,FLDD生成的样本质量优于传统离散扩散模型。
2026-05-18 cs.LG stat.ML
Continuously Augmented Discrete Diffusion model for Categorical Generative Modeling
Apple(苹果公司)
针对标准离散扩散模型的信息空洞问题,提出结合连续潜空间扩散的CADD框架,可可控调节生成多样性与精准性,在多任务生成上优于现有基线。
2025-10-01 cs.LG stat.ML
Simple and Critical Iterative Denoising: A Recasting of Discrete Diffusion in Graph Generation
Data Mining and Machine Learning group, School for Business Administration (HEG-Geneva), University of Applied Sciences and Arts of Western Switzerland(应用科学与艺术大学西瑞士分校数据挖掘与机器学习小组);Computer Science Department, University of Geneva, Switzerland(日内瓦大学计算机科学系)
针对离散扩散在图生成中的复合去噪误差问题,提出简单迭代去噪框架,假设中间状态条件独立,并引入评判器按似然选择性保留或破坏元素,显著优于现有基线。
2025-06-23 cs.AI cs.LG
Remasking Discrete Diffusion Models with Inference-Time Scaling
Cornell Tech(康奈尔科技);Cornell University(康奈尔大学)
ReMDM通过推理时间缩放提升离散扩散模型的样本质量与可控性
2026-02-07 cs.LG stat.ML
G2D2: Gradient-Guided Discrete Diffusion for Inverse Problem Solving
Sony AI(索尼人工智能);Stanford University(斯坦福大学);Sony Group Corporation(索尼集团)
本文提出G2D2方法,利用离散扩散生成模型作为先验,通过变分分布近似和星形噪声过程解决连续空间中的线性逆问题,在保持与连续扩散相当性能的同时降低GPU内存消耗。
2025-09-19 cs.AI cs.CV cs.LG
Test-Time Anchoring for Discrete Diffusion Posterior Sampling
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Google(谷歌)
本研究提出锚定后验采样方法,通过量化期望和锚定重掩码实现离散扩散模型在后验采样中的高效和精确采样,提升图像生成和文本引导编辑的性能。
2026-01-30 cs.CV cs.LG stat.ML
Discrete Modeling via Boundary Conditional Diffusion Processes
Harbin Institute of Technology(哈尔滨工业大学);Peng Cheng Laboratory(鹏城实验室)
针对离散数据与连续建模的差异问题,提出基于边界条件扩散过程的离散建模框架,通过两步前向过程和比例调整的反向过程提升离散数据生成精度,在语言建模和图像生成任务上取得优异性能。
2024-10-29 cs.AI cs.LG
Discrete-Diffusion Posterior Sampling with Langevin-Inspired Proposals
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出离散 Langevin 激发后验采样方法,用于在离散状态空间中解决逆问题,通过梯度信息指导离散移动,实现高效的并行更新,适用于多种逆问题场景。
2026-11-17 cs.CV cs.LG
Complex Preferences for Different Convergent Priors in Discrete Graph Diffusion
Genentech(基因泰克)
本研究提出可调至不同伯努利先验的离散扩散核族,发现图生成质量对先验敏感且最优选择无法用常规指标解释,挑战了既有直觉。
2023-06-21 cs.LG stat.ML
Scale-Wise VAR is Secretly Discrete Diffusion
Johns Hopkins University(约翰霍普金斯大学)
本文揭示配备马尔可夫注意力掩码的VAR在数学上等价于离散扩散,提出SRDD框架,将扩散模型的迭代精炼优势引入VAR,从而提升收敛速度、降低推理成本并改善生成效率。
2025-09-26 cs.CV cs.LG
Minimax Optimality of Score-Entropy Discrete Diffusion
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Cornell University(康奈尔大学)
本文研究得分-熵离散扩散(SEDD)的统计极限,针对均匀和掩码离散扩散模型建立极小极大下界,提出匹配下界的MLE阈值估计器,证明SEDD经合适设置可达到接近最优的极小极大样本复杂度。
2026-08-24 cs.LG stat.ML
Interleaved Gibbs Diffusion: Generating Discrete-Continuous Data with Implicit Constraints
Google DeepMind(谷歌DeepMind)
本文提出交错吉布斯扩散(IGD)框架,通过吉布斯采样式去噪实现离散-连续数据的联合生成,在分子结构、布局和表格数据任务上无需领域归纳偏置即取得最先进性能。
2025-07-03 cs.AI cs.LG
Discrete State Diffusion Models: A Sample Complexity Perspective
Purdue University(普渡大学)
本文提出离散状态扩散模型的理论框架,首次给出样本复杂度界为$\widetilde{\mathcal{O}}(\epsilon^{-2})$,通过将分数估计误差分解为统计、近似、优化和裁剪分量,揭示了高效训练的关键。
2026-06-23 cs.AI cs.LG stat.ML
Discrete-Time Diffusion-Like Models for Speech Synthesis
本文针对语音合成中连续时间扩散模型的训练与推理不匹配及噪声限制问题,探索并提出多种离散时间类扩散模型变体,实验证明其在保证语音质量的同时实现了更高效一致的训练与推理。
2025-10-13 cs.LG eess.AS
DICE: Discrete Inversion Enabling Controllable Editing for Multinomial Diffusion and Masked Generative Models
Rutgers University(新泽西罗格斯大学);MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室);Red Hat AI Innovation(红帽AI创新);Google DeepMind(谷歌DeepMind);NYU(纽约大学);Walmart Global Tech(沃尔玛全球技术);NEC Labs America(NEC美国实验室);Massachusetts Institute of Technology(麻省理工学院);ANU(澳大利亚国立大学);UT Arlington(德克萨斯大学阿灵顿分校)
针对离散扩散模型可控编辑受限的问题,本文提出离散反演方法DICE,通过记录逆扩散过程的噪声与掩码模式实现精准重建编辑,在多模型多域验证中兼顾保真度与编辑能力。
2025-11-12 cs.CV cs.LG
Latent-Augmented Discrete Diffusion Models
Inria(法国国家信息与自动化技术研究院);PSL Research University(巴黎社会科学高等研究院);CMAP(巴黎高等理工学院应用数学与计算科学实验室);Ecole Polytechnique Palaiseau, France(法国巴黎高等理工学院Palaiseau分校);Sakana AI Tokyo, Japan(日本东京Sakana AI公司)
本文提出LADD模型,通过引入可学习的辅助潜在通道,在联合(token,latent)空间进行扩散,提升离散扩散模型的性能和效率。
2026-05-12 cs.AI cs.LG stat.ML
Preference-Based Alignment of Discrete Diffusion Models
ETH Zurich(苏黎世联邦理工学院);University College London(伦敦大学学院)
本文提出D2-DPO,首次将直接偏好优化适配到连续时间马尔可夫链形式的离散扩散模型,通过偏好数据直接微调生成过程,无需显式奖励模型即可实现受控对齐,并在结构化二进制序列生成任务上验证了其有效性与结构保真性。
2025-04-09 cs.AI cs.LG
Informed Correctors for Discrete Diffusion Models
Stanford University(斯坦福大学);Google DeepMind(谷歌DeepMind);Microsoft Research New England(微软研究院新英格兰分部)
针对离散扩散模型采样步数减少时计算量与样本质量难以平衡的问题,提出由扩散模型提供信息的预测器-校正器采样方案,结合空心Transformer架构修改和定制训练目标,在text8等数据集上实现更优样本生成。
2025-11-10 cs.AI cs.LG
From Scores to Gibbs Correctors: Accelerating Uniform-Rate Discrete Diffusion Models
The Ohio State University(俄亥俄州立大学)
提出吉布斯加速离散扩散(GADD)方法,利用具体分数函数构建吉布斯后验似然,无需额外训练即可实现均匀速率离散扩散模型的加速采样,达到$\mathcal{O}(\mathrm{polylog} (\varepsilon^{-1}))$的采样复杂度。
2026-05-26 cs.LG stat.ML
Discrete Spatial Diffusion: Intensity-Preserving Diffusion Modeling
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
针对传统连续扩散模型无法适配受守恒定律约束的离散量应用的问题,提出基于离散状态跳跃随机过程的DSD框架,可严格保持粒子计数,在图像任务和两类科学场景中验证了有效性。
2025-05-16 cond-mat.mtrl-sci cs.GR cs.LG
Training-Free Guidance for Discrete Diffusion Models for Molecular Generation
Utah State University(犹他州立大学)
针对离散扩散模型缺乏等效免训练引导方法的问题,提出适用于离散数据的免训练引导框架,结合DiGress模型与相关引导函数,验证了其在分子图生成任务中的引导能力。
2024-09-11 cs.LG physics.chem-ph q-bio.BM