Unifying Continuous and Discrete Text Diffusion with Non-simultaneous Diffusion Processes
School of Computer Science and Technology, University of Science and Technology of China(计算机科学与技术学院,中国科学技术大学);State Key Laboratory of Cognitive Intelligence(认知智能国家重点实验室)
提出NeoDiff模型,通过引入泊松扩散过程和自适应时间预测器,统一了离散与连续文本扩散模型的优势,实现了细粒度噪声控制,在多个文本生成任务中优于多种基线方法。
2025-05-28 cs.AI cs.CL cs.LG
Discrete State Diffusion Models: A Sample Complexity Perspective
Purdue University(普渡大学)
本文提出离散状态扩散模型的理论框架,首次给出样本复杂度界为$\widetilde{\mathcal{O}}(\epsilon^{-2})$,通过将分数估计误差分解为统计、近似、优化和裁剪分量,揭示了高效训练的关键。
2026-06-23 cs.AI cs.LG stat.ML
Latent-Augmented Discrete Diffusion Models
Inria(法国国家信息与自动化技术研究院);PSL Research University(巴黎社会科学高等研究院);CMAP(巴黎高等理工学院应用数学与计算科学实验室);Ecole Polytechnique Palaiseau, France(法国巴黎高等理工学院Palaiseau分校);Sakana AI Tokyo, Japan(日本东京Sakana AI公司)
本文提出LADD模型,通过引入可学习的辅助潜在通道,在联合(token,latent)空间进行扩散,提升离散扩散模型的性能和效率。
2026-05-12 cs.AI cs.LG stat.ML
Non-Markovian Discrete Diffusion with Causal Language Models
Yale University(耶鲁大学)
针对离散扩散模型因马尔可夫假设导致误差累积、表达力弱于因果语言模型的问题,提出以全生成轨迹为条件的CaDDi模型,统一两类推理且可复用预训练LLM权重,性能优于现有离散扩散基线,缩小了与自回归大模型的差距。
2025-10-28 cs.AI cs.CL cs.LG
Why Masking Diffusion Works: Condition on the Jump Schedule for Improved Discrete Diffusion
New York University(纽约大学)
本文揭示掩码扩散因内置已知跳跃时间分布而表现优异,并提出 SCUD 将该机制推广到任意离散扩散模型,在图像、文本和蛋白质数据上超越掩码扩散。
2025-09-27 cs.LG stat.ML
DLT: Conditioned layout generation with Joint Discrete-Continuous Diffusion Layout Transformer
生成视觉布局是图形设计的一个重要组成部分。对于涉及用户交互的实际应用程序来说,根据组件属性的部分子集来调节布局生成的能力是至关重要的。近年来,扩散模型已在多个领域显示出高质量的生成性能。然而,目前还不清楚如何将扩散模型应用于由离散(类)和连续(位置,大小)属性的混合组成的布局的自然表示。为了解决条件布局生成问题,我们引入DLT,一个联合离散-连续扩散模型。DLT是一种基于transformer的模型,它具有灵活的调节机制,允许对所有布局组件类、位置和大小的任何给定子集进行调节。我们的方法在不同的度量和条件设置方面优于各种布局生成数据集上的最先进的生成模型。此外,我们验证了我们提出的条件反射机制和联合连续扩散过程的有效性。这种联合过程可以被纳入到广泛的混合离散-连续生成任务中。
2023-03-07 cs.AI cs.CV cs.LG
Continuous Diffusion Model for Language Modeling
KAIST(韩国科学技术院)
提出一种结合分类分布几何的连续扩散模型,建立离散扩散与连续流联系,引入径向对称训练框架,在语言建模基准上优于离散扩散并接近自回归性能。
2025-10-23 cs.LG
Improving Discrete Diffusion Models via Structured Preferential Generation
Aalto University(阿尔托大学)
本文提出一种结构化前向过程,利用离散类别的信息层级,使离散扩散模型优先生成某些类别,从而在text8数据集上显著提升对数似然分数。
2024-05-28 cs.LG
A Reparameterized Discrete Diffusion Model for Text Generation
The University of Hong Kong(香港大学);ByteDance Inc.(字节跳动公司);Google DeepMind(谷歌DeepMind)
本文提出重新参数化离散扩散模型,通过等价采样公式提升文本生成的训练与解码效果,并在实验中显著优于现有扩散模型。
2024-08-02 cs.CL cs.LG
Double Descent as a Lens for Sample Efficiency in Autoregressive vs. Discrete Diffusion Models
ETH Zurich(苏黎世联邦理工学院)
该研究借助双重下降现象比较离散扩散与自回归模型,发现自回归模型在小规模数据上样本效率更高,离散扩散模型则需充足容量与计算才具竞争力。
2025-09-29 cs.LG
Simple Guidance Mechanisms for Discrete Diffusion Models
Department of Computer Science, Cornell University(计算机科学系,康奈尔大学);InstaDeep
本文为离散扩散模型推导了无分类器和基于分类器的引导机制,并提出利用均匀噪声且可持续编辑输出的新型扩散模型,结合连续时间变分下界,在基因组序列、小分子和离散图像生成中实现了更优的可控生成。
2025-05-27 cs.LG
How Discrete and Continuous Diffusion Meet: Comprehensive Analysis of Discrete Diffusion Models via a Stochastic Integral Framework
Stanford University(斯坦福大学);ICME(ICME(综合管理与工程学院))
本文提出了基于 Lévy 型随机积分的离散扩散模型误差分析框架,建立了随机积分表述与测度变换定理,获得了 $τ$-leaping 方案在 KL 散度下的首个误差界限,为算法设计提供了理论指导。
2025-03-02 cs.LG cs.NA math.NA
Analog Bits: Generating Discrete Data using Diffusion Models with Self-Conditioning
Google Research(谷歌研究院)
我们提出位扩散:一个简单而通用的方法,用于生成离散数据与连续状态和连续时间扩散模型。我们的方法背后的主要思想是首先将离散数据表示为二进制位,然后训练连续扩散模型以将这些位建模为我们称为模拟位的实数。为了生成样本,模型首先生成模拟位,然后对模拟位进行阈值处理以获得表示离散变量的位。我们进一步提出了两个简单的技术,即自调节和不对称的时间间隔,这导致了显着改善样本质量。尽管它的简单性,所提出的方法可以实现强大的性能在离散图像生成和图像描述任务。对于离散图像生成,我们显着改进了CIFAR-10(具有3 K离散8位令牌)和ImageNet-64 x64(具有12 K离散8位令牌)的现有技术,在样本质量(由FID测量)和效率方面都优于最佳自回归模型。对于MS-COCO数据集上的图像描述,与自回归模型相比,我们的方法取得了有竞争力的结果。
2023-03-01 cs.AI cs.CL cs.CV
Split Gibbs Discrete Diffusion Posterior Sampling
California Institute of Technology(加州理工学院);New York University(纽约大学);OpenAI
提出基于分裂吉布斯采样的离散扩散后验采样算法SGDD,支持奖励引导生成与逆问题求解,在多项基准上取得SOTA性能及30%图像修复提升。
2025-11-01 cs.CV cs.LG
Target Concrete Score Matching: A Holistic Framework for Discrete Diffusion
Apple(苹果公司)
本文提出目标具体分数匹配(TCSM),一种统一的离散扩散训练与微调目标函数,通过估计干净数据空间中的目标分布分数,支持预训练、奖励微调和知识蒸馏,在语言建模任务上匹配或超越现有方法。
2025-04-23 cs.LG
Discrete Copula Diffusion
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);University of Stuttgart(斯图加特大学);Institute for Artificial Intelligence(人工智能研究所)
针对离散扩散模型需大量去噪步骤的问题,提出通过引入copula模型补充变量依赖信息的方法,无需微调即可大幅减少步数并提升文本生成效果,强调了变量依赖建模的重要性。
2025-03-19 cs.LG
Unified Discrete Diffusion for Categorical Data
Carnegie Mellon University(卡内基梅隆大学)
针对现有连续时间离散扩散框架与离散时间版本差异大、需复杂近似的问题,提出USD3模型,通过简化变分下界推导统一的反向去噪公式,实现两类离散扩散的统一,性能超越现有基线并开源代码。
2024-08-12 cs.LG stat.ML
Beyond Single Tokens: Distilling Discrete Diffusion Models via Discrete MMD
Google DeepMind Amsterdam(谷歌深思亚马逊)
本文提出D-MMD方法,通过离散MMD蒸馏离散扩散模型,实现高质量和多样性的生成,优于传统方法。
2026-03-20 cs.CV cs.LG stat.ML
Interpolating Discrete Diffusion Models with Controllable Resampling
School of Computation, Information and Technology, Technical University of Munich(计算、信息与技术学院,慕尼黑技术大学);Munich Data Science Institute(慕尼黑数据科学研究所);Munich Center for Machine Learning(慕尼黑机器学习中心)
本文提出IDDM模型,通过可控重采样机制减少对中间潜在状态的依赖,改进扩散过程,实现更有效的token修正,在分子图生成和文本生成任务中表现优异。
2026-04-19 cs.LG
CANDI: Hybrid Discrete-Continuous Diffusion Models
Purdue University, West Lafayette, U.S.A(普渡大学);Google Deepmind(谷歌DeepMind)
研究连续扩散应用于离散数据表现不佳的问题,提出CANDI混合框架解耦离散和连续破坏,实现同时学习,在受控生成和文本生成中分别展现优势,解锁连续扩散对离散空间的好处。
2026-07-14 cs.LG stat.ML
Blackout Diffusion: Generative Diffusion Models in Discrete-State Spaces
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室);Oak Ridge National Laboratory(橡树岭国家实验室)
本文提出Blackout Diffusion框架,利用精确分析为任意离散状态马尔可夫过程建立前向扩散理论,并从空白图像生成样本,在多个数据集上验证了可行性,为解释扩散模型提供新视角。
2023-05-18 cs.CV cs.LG
Denoising Diffusion Error Correction Codes
The Blavatnik School of Computer Science(布拉瓦特尼克计算机科学学院);Tel Aviv University(特拉维夫大学)
纠错码(ECC)是物理通信层不可或缺的一部分,可确保在噪声信道上进行可靠的数据传输。最近,神经解码器已经证明了它们相对于经典解码技术的优势。然而,最近的国家的最先进的神经解码器遭受高复杂性,并缺乏许多传统解码器的重要的迭代方案特性。在这项工作中,我们建议采用去噪扩散模型的软解码的线性码在任意块长度。我们的框架模型的前向通道腐败作为一系列的扩散步骤,可以反复逆转。作出了三项贡献:(i)引入适合于解码设置的扩散过程,(ii)神经扩散解码器以奇偶校验错误的数量为条件,奇偶校验错误的数量指示给定步骤处的损坏程度,(iii)基于代码的校正子的线搜索过程获得最佳反向扩散步长。所提出的方法证明了ECC的扩散模型的能力,并且能够实现最先进的精度,甚至对于单个反向扩散步骤,也能够通过相当大的裕度优于其他神经解码器。
2022-09-16 cs.AI cs.IT cs.LG
Inference-Time Scaling of Discrete Diffusion Models via Importance Weighting and Optimal Proposal Design
本文提出基于SMC框架的重要加权和最优提案设计方法,提升离散扩散模型在推理时的可控制性和样本质量,适用于多个领域任务。
2026-03-15 cs.LG
Flexible-length Text Infilling for Discrete Diffusion Models
Department of Computer Science(计算机科学系)
针对离散扩散模型无真实位置数据时无法实现灵活长度/位置文本补全的问题,提出带最优传输位置耦合的DDOT模型,联合去噪词元值与位置,兼容预训练去噪器,性能比肩最优非自回归模型且提升训练效率与灵活性。
2025-10-22 cs.AI cs.CL cs.CV
Discrete-state Continuous-time Diffusion for Graph Generation
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Visa Research(Visa研究院)
本文提出离散状态连续时间的图扩散生成框架,保留图数据离散性,具备节点排列的不变/等变性,在多基准上性能达SOTA水平且可灵活权衡采样质量与效率。
2024-11-04 cs.LG
A Unification of Discrete, Gaussian, and Simplicial Diffusion
New York University(纽约大学);CUNY(纽约大学);BigHat Biosciences(BigHat 生物科技)
本文通过构建基于Wright-Fisher种群遗传模型的统一框架,将离散、高斯和单纯扩散视为不同参数化形式,实现了三种扩散方法的统一,并展示了在不同领域中训练单一模型的可行性。
2026-04-18 cs.LG
Convergence Analysis of Discrete Diffusion Model: Exact Implementation through Uniformization
Stanford University(斯坦福大学)
本文研究离散扩散模型的理论性质,提出基于连续马尔可夫链均匀化的算法,在合理假设下推导出全变差距离和KL散度保证,证明了离散扩散模型的优势。
2024-02-14 cs.LG stat.ML
Convergence of Score-Based Discrete Diffusion Models: A Discrete-Time Analysis
Fudan University(复旦大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
针对离散状态扩散模型收敛性研究不足的问题,本文在CTMC框架下提出一般状态空间[S]^d的离散时间采样算法,推导KL散度和TV距离的收敛界,其维度d近乎线性,为离散时间采样提供理论支撑。
2025-04-12 cs.LG stat.ML
The Cosine Schedule is Fisher-Rao-Optimal for Masked Discrete Diffusion Models
University of Oxford(牛津大学);University of British Columbia(不列颠哥伦比亚大学)
本文从信息几何角度研究掩码离散扩散模型的采样调度,证明Fisher-Rao几何下的最优调度即常用的余弦调度。
2025-10-05 cs.LG stat.ML
In-Situ Tweedie Discrete Diffusion Models
Sun Yat-sen University(中山大学);Guangdong Key Laboratory of Big Data Analysis and Processing(广东大数据分析与处理重点实验室);X-Era AI Lab(X-Era人工智能实验室);Guangdong University of Technology(广东工业大学)
本研究提出原位 Tweedie 离散扩散模型,通过在离散一热空间中直接执行扩散过程,实现对离散任务的有效建模。
2025-11-24 cs.AI cs.CL cs.CV
Cometh: A continuous-time discrete-state graph diffusion model
RWTH Aachen University(亚琛工业大学);Université Paris-Saclay(巴黎萨克雷大学);CentraleSupélec(中央理工高等电力学院);Inria(法国国家信息与自动化研究所)
本文提出Cometh,一种针对图数据的连续时间离散状态扩散模型,并用单一随机游走编码替代原有结构编码,在多个分子与非分子基准上显著超越现有离散扩散模型。
2024-10-04 cs.LG
Characteristic Guidance: Non-linear Correction for Diffusion Model at Large Guidance Scale
Hong Kong University of Science and Technology(香港科技大学);Southern University of Science and Technology(南方科技大学)
针对无分类器引导在大引导尺度下忽略非线性效应的问题,提出特征引导方法,通过第一性原理非线性修正使扩散模型遵循Fokker-Planck方程,无需训练即可增强语义特征并减轻图像生成不规则性。
2024-06-03 cs.AI cs.CV cs.LG
Clock Diffusion: Efficient Semi-Autoregressive Continuous Diffusion Language Models
NVIDIA(英伟达);Cornell University(康奈尔大学)
提出时钟扩散框架,通过位置相关噪声调度实现半自回归连续扩散语言模型,支持变长生成和键值缓存,在OpenWebText和GSM8K上达到最优性能,并引入高效采样器缓存抓取。
2026-10-02 cs.LG
Jumping up and down: Denoiser diffusion models for discrete ordinal data
Brown University(布朗大学);University of Toronto(多伦多大学);Sakana AI
本文提出上下跳跃(JUD),首个面向离散有序数据的去噪器扩散模型家族,支持双向扰动,在不同数据模态上取得竞争性结果。
2026-10-05 cs.LG stat.ME
Test-Time Anchoring for Discrete Diffusion Posterior Sampling
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Google(谷歌)
本研究提出锚定后验采样方法,通过量化期望和锚定重掩码实现离散扩散模型在后验采样中的高效和精确采样,提升图像生成和文本引导编辑的性能。
2026-01-30 cs.CV cs.LG stat.ML
Discrete Diffusion Models are Minimax Optimal Under Sparsity
INRIA - École Normale Supérieure - PSL Research University - CNRS(法国国家信息与自动化研究所 - 巴黎高等师范学院 - 巴黎文理研究大学 - 法国国家科学研究中心);École Polytechnique - CMAP - IP Paris(巴黎综合理工学院 - 数学与应用中心 - 巴黎理工学院)
本研究针对离散扩散模型,在稀疏性假设下分析其统计速率,建立了稀疏 regime 下的极小极大最优速率,证明其可内在适配稀疏性,为离散扩散模型提供了理论支撑。
2026-10-15 cs.LG stat.ML
Forward-Learned Discrete Diffusion: Learning how to noise to denoise faster
University of Amsterdam(阿姆斯特丹大学);Microsoft Research, Cambridge(微软研究院,剑桥)
本文提出前向学习离散扩散(FLDD),通过引入可学习的前向(噪声)过程,减少目标分布与模型分布之间的差距,实现少步生成。该方法采用非马尔可夫形式,利用可学习的边缘和后验分布,使生成过程保持因子化同时匹配噪声过程定义的目标。实验表明,在相同采样步数下,FLDD生成的样本质量优于传统离散扩散模型。
2026-05-18 cs.LG stat.ML
Continuously Augmented Discrete Diffusion model for Categorical Generative Modeling
Apple(苹果公司)
针对标准离散扩散模型的信息空洞问题,提出结合连续潜空间扩散的CADD框架,可可控调节生成多样性与精准性,在多任务生成上优于现有基线。
2025-10-01 cs.LG stat.ML
Remasking Discrete Diffusion Models with Inference-Time Scaling
Cornell Tech(康奈尔科技);Cornell University(康奈尔大学)
ReMDM通过推理时间缩放提升离散扩散模型的样本质量与可控性
2026-02-07 cs.LG stat.ML
Constrained Discrete Diffusion
University of Virginia(弗吉尼亚大学);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
受约束的离散扩散通过在扩散过程中直接施加约束,实现无训练的可控生成,优于现有方法。
2025-12-10 cs.CL cs.LG
Discrete-Diffusion Posterior Sampling with Langevin-Inspired Proposals
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出离散 Langevin 激发后验采样方法,用于在离散状态空间中解决逆问题,通过梯度信息指导离散移动,实现高效的并行更新,适用于多种逆问题场景。
2026-11-17 cs.CV cs.LG
Complex Preferences for Different Convergent Priors in Discrete Graph Diffusion
Genentech(基因泰克)
本研究提出可调至不同伯努利先验的离散扩散核族,发现图生成质量对先验敏感且最优选择无法用常规指标解释,挑战了既有直觉。
2023-06-21 cs.LG stat.ML
Scale-Wise VAR is Secretly Discrete Diffusion
Johns Hopkins University(约翰霍普金斯大学)
本文揭示配备马尔可夫注意力掩码的VAR在数学上等价于离散扩散,提出SRDD框架,将扩散模型的迭代精炼优势引入VAR,从而提升收敛速度、降低推理成本并改善生成效率。
2025-09-26 cs.CV cs.LG
Discrete Diffusion Language Model for Efficient Text Summarization
VinUniversity(维恩大学);Nanyang Technological University(南洋理工大学)
本文针对离散扩散模型在长文本摘要任务中的不足,提出语义感知加噪过程和CrossMamba架构,在三个摘要基准上取得最优ROUGE成绩并实现快速推理。
2025-03-10 cs.CL cs.LG
Discrete Spatial Diffusion: Intensity-Preserving Diffusion Modeling
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
针对传统连续扩散模型无法适配受守恒定律约束的离散量应用的问题,提出基于离散状态跳跃随机过程的DSD框架,可严格保持粒子计数,在图像任务和两类科学场景中验证了有效性。
2025-05-16 cond-mat.mtrl-sci cs.GR cs.LG
Minimax Optimality of Score-Entropy Discrete Diffusion
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Cornell University(康奈尔大学)
本文研究得分-熵离散扩散(SEDD)的统计极限,针对均匀和掩码离散扩散模型建立极小极大下界,提出匹配下界的MLE阈值估计器,证明SEDD经合适设置可达到接近最优的极小极大样本复杂度。
2026-08-24 cs.LG stat.ML
Training-Free Guidance for Discrete Diffusion Models for Molecular Generation
Utah State University(犹他州立大学)
针对离散扩散模型缺乏等效免训练引导方法的问题,提出适用于离散数据的免训练引导框架,结合DiGress模型与相关引导函数,验证了其在分子图生成任务中的引导能力。
2024-09-11 cs.LG physics.chem-ph q-bio.BM
Discrete-Time Diffusion-Like Models for Speech Synthesis
本文针对语音合成中连续时间扩散模型的训练与推理不匹配及噪声限制问题,探索并提出多种离散时间类扩散模型变体,实验证明其在保证语音质量的同时实现了更高效一致的训练与推理。
2025-10-13 cs.LG eess.AS
DICE: Discrete Inversion Enabling Controllable Editing for Multinomial Diffusion and Masked Generative Models
Rutgers University(新泽西罗格斯大学);MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室);Red Hat AI Innovation(红帽AI创新);Google DeepMind(谷歌DeepMind);NYU(纽约大学);Walmart Global Tech(沃尔玛全球技术);NEC Labs America(NEC美国实验室);Massachusetts Institute of Technology(麻省理工学院);ANU(澳大利亚国立大学);UT Arlington(德克萨斯大学阿灵顿分校)
针对离散扩散模型可控编辑受限的问题,本文提出离散反演方法DICE,通过记录逆扩散过程的噪声与掩码模式实现精准重建编辑,在多模型多域验证中兼顾保真度与编辑能力。
2025-11-12 cs.CV cs.LG
Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution
Stanford University(斯坦福大学);Pika Labs(匹卡实验室)
本文提出得分熵损失函数,将得分匹配扩展到离散空间并构建 SEDD 离散扩散模型,在语言建模上超越现有扩散方法且优于 GPT-2,同时支持高效生成与可控填充。
2024-06-06 cs.CL cs.LG stat.ML
ItDPDM: Information-Theoretic Discrete Poisson Diffusion Model
Department of Electrical Engineering, Stanford University(斯坦福大学电气工程系);Department of Computer Science, Oklahoma University(俄克拉荷马大学计算机科学系);School of Electrical and Computer Engineering, Purdue University, West Lafayette, IN, USA(普渡大学电气与计算机工程学院)
本文提出ItDPDM模型,结合信息论视角和离散泊松重建损失,实现对离散数据的精确似然估计与生成建模。
2026-02-11 cs.IT cs.LG math.IT
Guided Discrete Diffusion for Constraint Satisfaction Problems
Justin Jung
本文提出了一种离散扩散引导方法,用于无监督解决数独谜题等约束满足问题。
2025-12-16 cs.AI cs.LG
Scaffold Diffusion: Sparse Multi-Category Voxel Structure Generation with Discrete Diffusion
Biohub Redwood City, USA(Biohub 红木城,美国)
Scaffold Diffusion通过离散扩散模型生成稀疏多类3D体素结构,克服稀疏性带来的挑战,生成逼真且连贯的结构。
2025-11-24 cs.AI cs.CV cs.LG
Generalized Discrete Diffusion from Snapshots
Department of Mathematics, Imperial College London(伦敦帝国学院数学系)
本文提出GDDS框架,统一了离散扩散模型,支持任意噪声过程,提升了训练效率和生成质量,首次超越自回归模型。
2026-03-22 cs.AI cs.CL cs.LG