Cometh: A continuous-time discrete-state graph diffusion model
RWTH Aachen University(亚琛工业大学);Université Paris-Saclay(巴黎萨克雷大学);CentraleSupélec(中央理工高等电力学院);Inria(法国国家信息与自动化研究所)
本文提出Cometh,一种针对图数据的连续时间离散状态扩散模型,并用单一随机游走编码替代原有结构编码,在多个分子与非分子基准上显著超越现有离散扩散模型。
2024-10-04 cs.LG
Discrete Copula Diffusion
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);University of Stuttgart(斯图加特大学);Institute for Artificial Intelligence(人工智能研究所)
针对离散扩散模型需大量去噪步骤的问题,提出通过引入copula模型补充变量依赖信息的方法,无需微调即可大幅减少步数并提升文本生成效果,强调了变量依赖建模的重要性。
2025-03-19 cs.LG
Is Noise Conditioning Necessary? A Unified Theory of Unconditional Graph Diffusion Models
该研究挑战了图扩散模型需显式噪声级条件化的认知,通过理论框架与实验证明无条件图扩散模型性能可比肩甚至优于有条件版本,且参数和计算成本更低,为高效图扩散架构提供了新思路。
2025-06-10 cs.LG
Training-Free Guidance for Discrete Diffusion Models for Molecular Generation
Utah State University(犹他州立大学)
针对离散扩散模型缺乏等效免训练引导方法的问题,提出适用于离散数据的免训练引导框架,结合DiGress模型与相关引导函数,验证了其在分子图生成任务中的引导能力。
2024-09-11 cs.LG physics.chem-ph q-bio.BM
Simple and Critical Iterative Denoising: A Recasting of Discrete Diffusion in Graph Generation
Data Mining and Machine Learning group, School for Business Administration (HEG-Geneva), University of Applied Sciences and Arts of Western Switzerland(应用科学与艺术大学西瑞士分校数据挖掘与机器学习小组);Computer Science Department, University of Geneva, Switzerland(日内瓦大学计算机科学系)
针对离散扩散在图生成中的复合去噪误差问题,提出简单迭代去噪框架,假设中间状态条件独立,并引入评判器按似然选择性保留或破坏元素,显著优于现有基线。
2025-06-23 cs.AI cs.LG
Deterministic Discrete Denoising
Graduate School of Information Science and Technology, The University of Osaka, Osaka, Japan(信息科学与技术研究生学校,大阪大学,大阪,日本);International Research Center for Neurointelligence, The University of Tokyo, Tokyo, Japan(神经智能国际研究中心,东京大学,东京,日本)
本文提出了一种基于herding算法的确定性去噪方法,用于提升离散扩散模型的生成效率与质量。
2026-01-29 cs.LG nlin.CD
A Continuous Time Framework for Discrete Denoising Models
University of Oxford(牛津大学);CNRS ENS Ulm(法国国家科学研究中心 巴黎高等师范学院)
我们提供了第一个完整的连续时间框架去噪离散数据的扩散模型。这是通过将前向噪声过程和相应的反向时间生成过程公式化为连续时间马尔可夫链(CTMC)来实现的。该模型可以使用ELBO的连续时间版本进行有效训练。我们模拟高维CTMC使用化学物理中开发的技术,并利用我们的连续时间框架,以获得高性能的采样器,我们可以表现出优于离散时间方法的离散数据。连续时间的处理也使我们能够得到一个新的理论结果之间的误差产生的样本分布和真实的数据分布的边界。
2022-10-14 cs.LG stat.ML
On the Inherent Privacy Properties of Discrete Denoising Diffusion Models
Georgia Institute of Technology(佐治亚理工学院);J.P. Morgan AI Research(摩根大通人工智能研究院);Purdue University(普渡大学)
本文首次从理论上分析了离散扩散模型生成离散数据集时的固有隐私属性,基于每实例差分隐私框架量化了数据点隐私泄露与数据集分布的关联,并揭示了数据规模和扩散系数衰减对隐私保证的影响。
2024-06-03 cs.LG
Hierarchical Discrete Flow Matching for Graph Generation
Department of Computer Science, University of Geneva, Switzerland(瑞士日内瓦大学计算机科学系);DMML Group, Geneva School for Business administration HES-SO, Switzerland(瑞士日内瓦高等商学院DMML研究组)
本文提出分层生成框架,通过减少节点对评估数量和离散流匹配降低去噪迭代次数,提升图生成效率与效果。
2026-03-31 cs.LG
Binomial flows: Denoising and flow matching for discrete ordinal data
Division of Applied Mathematics, Brown University, Providence, RI, USA 02912(应用数学系,布朗大学,普罗维德恩,罗德岛州,美国 02912);Department of Statistical Sciences, University of Toronto, Toronto, ON, Canada M5G 1X6(统计科学系,多伦多大学,多伦多,安大略省,加拿大 M5G 1X6)
本文提出二项流,为离散非负序数数据提供训练离散扩散模型的简单方法,同时实现去噪、采样和精确似然估计。
2026-05-01 cs.LG stat.ME
Federated Discrete Denoising Diffusion Model for Molecular Generation with OpenFL
Intel Corporation(英特尔公司);AbbVie Inc.(艾伯维公司)
针对药物分子生成中数据孤岛问题,提出基于OpenFL的联邦离散去噪扩散模型,在保护隐私下协作训练,生成分子的独特性和有效性与集中式训练相当。
2025-01-21 cs.CR cs.LG
Steering Masked Discrete Diffusion Models via Discrete Denoising Posterior Prediction
Université de Montréal(蒙特利尔大学);Mila(米拉计算科学研究所);Dreamfold(Dreamfold公司);Duke University(杜克大学);McGill University(麦吉尔大学);Allen Institute for AI(艾伦人工智能研究所);Oxford University(牛津大学);Aithyra(Aithyra公司)
本文提出离散去噪后验预测(DDPP)框架,将引导预训练掩码扩散模型转化为概率推理问题,提供三个无需模拟且可扩展的目标函数,并在图像建模、文本对齐和蛋白质设计等任务及湿实验中验证了有效性。
2024-10-10 cs.AI cs.LG
Structured Denoising Diffusion Models in Discrete State-Spaces
Google Research(谷歌研究院);Microsoft Research(微软研究院)
去噪扩散概率模型(DDPM)(Ho等人,2020年)在连续状态空间中的图像和波形生成方面显示出令人印象深刻的结果。在这里,我们介绍离散去噪扩散概率模型(D3 PM),这是离散数据的类扩散生成模型,它通过超越具有均匀转移概率的腐败过程,推广了Hoogeboom et al. 2021的多项式扩散模型。这包括在连续空间中模仿高斯内核的过渡矩阵的腐败,基于嵌入空间中最近邻居的矩阵,以及引入吸收状态的矩阵。第三个允许我们绘制扩散模型和自回归和基于掩码的生成模型之间的连接。我们表明,过渡矩阵的选择是一个重要的设计决策,导致图像和文本域的改进结果。我们还引入了一个新的损失函数,它结合了变分下界与辅助交叉熵损失。对于文本,这个模型类在字符级文本生成方面取得了很好的效果,同时在LM 1B上扩展到大词汇表。在图像数据集CIFAR-10上,我们的模型接近样本质量,超过了连续空间DDPM模型的对数似然。
2023-02-22 cs.AI cs.CL cs.CV
Categorical Reparameterization with Denoising Diffusion models
KTH Royal Institute of Technology(皇家理工学院);Institute of Foundation Models, MBZUAI(基础模型研究所);Mohamed Bin Zayed University of AI(穆罕默德·本·扎耶德人工智能大学)
ReDGE是一种基于扩散模型的新型软重参数化方法,用于高效优化分类分布的梯度估计。
2026-02-09 cs.LG stat.ML
Support Before Frequency in Discrete Diffusion
ETH Zürich(苏黎世联邦理工学院);EPFL(苏黎世联邦理工学院);Academia Sinica(台湾“中央研究院”)
研究揭示离散扩散模型在语言建模中通过学习支持结构优先于频率信息,统一扩散显示有效性改进、保持和恶化编辑的三元组,而吸收扩散则将主要质量放在有效性改进移动上。
2026-05-13 cs.LG
Learned Relay Representations for Forward-Thinking Discrete Diffusion Models
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);University of Toronto(多伦多大学);Stanford University(斯坦福大学);Imperial College London(伦敦帝国学院);Mila;Vijil
提出Learned Relay Representations (Relay)方法,通过可微通道传递潜在信息,使掩码扩散模型在去噪步骤间前向思考,减少推理延迟并提升性能。
2026-09-29 cs.LG
Unified Discrete Diffusion for Categorical Data
Carnegie Mellon University(卡内基梅隆大学)
针对现有连续时间离散扩散框架与离散时间版本差异大、需复杂近似的问题,提出USD3模型,通过简化变分下界推导统一的反向去噪公式,实现两类离散扩散的统一,性能超越现有基线并开源代码。
2024-08-12 cs.LG stat.ML
Variational Autoencoding Discrete Diffusion with Enhanced Dimensional Correlations Modeling
School of Mathematical Sciences, Peking University(北京大学数学科学学院);Center for Statistical Science, Peking University(北京大学统计科学中心);Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);Huawei Foundation Model Dept(华为基金会模型部门);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文提出VADD框架,通过潜在变量建模增强离散扩散,提升样本质量,尤其在少量去噪步骤时表现优异。
2026-04-14 cs.CV cs.LG stat.ML
A Denoising Diffusion Model for Fluid Field Prediction
Niels Bohr Institute, University of Copenhagen(哥本哈根大学尼尔斯·玻尔研究所);DIKU, University of Copenhagen(哥本哈根大学计算机科学系)
我们提出了一种新的去噪扩散生成模型预测非线性流场命名为FluidDiff。通过执行扩散过程,该模型能够学习高维动态系统的复杂表示,然后使用Langevin采样来生成指定初始条件下的流动状态的预测。该模型使用有限的离散流体模拟数据进行训练。我们证明,我们的模型有能力模拟训练数据的分布,它给出了准确的预测测试数据。在没有底层物理系统的编码先验知识的情况下,它与其他用于流体预测的深度学习模型具有竞争力的性能,这对于研究新的计算流体动力学方法是有希望的。
2023-01-30 cs.LG physics.flu-dyn
Continuously Augmented Discrete Diffusion model for Categorical Generative Modeling
Apple(苹果公司)
针对标准离散扩散模型的信息空洞问题,提出结合连续潜空间扩散的CADD框架,可可控调节生成多样性与精准性,在多任务生成上优于现有基线。
2025-10-01 cs.LG stat.ML
DiffusER: Discrete Diffusion via Edit-based Reconstruction
University of Tokyo(东京大学);Google Research(谷歌研究院);Carnegie Mellon University(卡内基梅隆大学);Inspired Cognition(Inspired Cognition公司)
在文本生成中,一次一个标记从头开始生成文本的模型目前是主导范式。尽管这些模型性能很好,但它们缺乏修改现有文本的能力,这限制了它们在许多实际场景中的可用性。我们希望通过DiffusER(通过基于编辑的重建进行扩散)来解决这个问题,这是一种基于去噪扩散模型的新的基于编辑的文本生成模型--一类使用去噪步骤的马尔可夫链来增量生成数据的模型。DiffusER不仅是一个强大的生成模型,在跨越机器翻译、摘要和风格转换的多个任务上与自回归模型相媲美;它还可以执行标准自回归模型不太适合的其他各种生成。例如,我们证明了DiffusER使用户可以在原型或不完整序列上生成条件,并根据以前的编辑步骤继续修改。
2022-10-30 cs.CL cs.LG
Information-Theoretic Discrete Diffusion
Department of Artificial Intelligence, Yonsei University(人工智能系,延世大学);Department of Computer Science, Yonsei University(计算机科学系,延世大学)
本研究提出离散扩散的信息论框架,推导I-MDSE与I-MDCE关系,证明常用得分匹配损失是对数似然的紧致估计量,还支持多种实际扩展,实验验证了估计量的性能。
2025-10-28 cs.IT cs.LG math.IT
Exact Global MCMC with Denoising Diffusion
本研究提出去噪扩散蒙特卡洛(DDMC)方法,将去噪扩散模型与MALA结合,为复杂高维目标密度提供高接受率的全局MCMC建议,初步验证了标准扩散训练缩放行为可迁移至高维未归一化密度的精确采样。
2026-09-02 cs.LG stat.ML
Overcoming Dimensional Factorization Limits in Discrete Diffusion Models through Quantum Joint Distribution Learning
Faculty of Innovation Engineering, Macau University of Science and Technology(澳门科学技术大学创新工程学院);Department of Electrical and Computer Engineering, New Jersey Institute of Technology(新泽西理工学院电气与计算机工程系);College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算与数据科学学院);School of Electronic and Information Engineering, Foshan University(佛山大学电子与信息工程学院);College of Mathematics and Informatics, South China Agricultural University(华南农业大学数学与信息学院)
针对离散扩散模型逐维度计算导致KL散度随维度线性增长的问题,提出量子离散去噪扩散概率模型(QD3PM),通过在指数级Hilbert空间学习联合分布实现单步采样,提升了复杂分布建模精度并建立新理论范式。
2025-06-29 cs.LG quant-ph
Diffusion Models for Graphs Benefit From Discrete State Spaces
ETH Zurich(苏黎世联邦理工学院);Swiss Data Science Center(瑞士数据科学中心)
针对图生成中连续高斯扩散破坏离散结构的问题,本文提出离散状态空间的前向马尔可夫加噪过程,在四个数据集和多种架构上提升样本质量并将采样加速30倍。
2023-08-15 cs.LG cs.SI stat.ML
Search-Augmented Masked Diffusion Models for Constrained Generation
University of Virginia(弗吉尼亚大学);University of Colorado at Boulder(科罗拉多大学 Boulder分校)
SearchDiff通过整合有信息的搜索到反向去噪过程中,提高了约束满足和属性遵循,优于离散扩散和自回归基线。
2026-02-02 cs.AI cs.LG
CDGraph: Dual Conditional Social Graph Synthesizing via Diffusion Model
Institute of Information Science, Academia Sinica(中央研究院资讯科学研究所);Research Center for Information Technology Innovation, Academia Sinica(中央研究院资讯科技创新研究中心);Department of Electrical Engineering, National Taiwan University(国立台湾大学电机工程学系);Department of Computer Science, TU Delft(代尔夫特理工大学计算机科学系)
针对数据稀缺与隐私问题下的条件社会图生成需求,提出首个双条件社会图扩散模型CDGraph,通过协同演化依赖、社会特性及新型分类器损失提升生成效果,实验验证其优于现有基线方法。
2023-11-06 cs.LG cs.SI
Let It Go or Learn to Self-Correct: Continuous Diffusion for Constrained Discrete Tasks
University of Geneva(日内瓦大学)
本研究提出通过直接采样干净预测或引入自我纠正训练,解决连续扩散模型在约束离散任务中早期错误难以撤销的问题,显著提升数独等任务的有效性。
2026-09-09 cs.AI cs.LG
MissHDD: Hybrid Deterministic Diffusion for Hetrogeneous Incomplete Data Imputation
Deakin University(德克萨斯大学)
针对异构表格数据插补中单一扩散过程的局限性,提出混合确定性扩散框架MissHDD,通过双生成通道分别处理数值与分类/离散特征,在多种缺失类型设置下提升了插补精度与鲁棒性。
2025-11-18 cs.AI cs.LG
Denoising Hierarchical Representations: Joint Continuous Diffusion for Language Modeling
Ecole Polytechnique(巴黎综合理工学院);Archimedes, Athena RC(Archimedes,雅典研究与创新中心);University of Crete(克里特大学);IACM-Forth(希腊研究与技术基金会计算医学研究所)
提出层次化连续扩散语言模型(H-CDLMs),通过并行扩散多粒度令牌表示,以极小开销提升连续扩散语言模型性能,在多个基准上超越基线及同等规模离散模型。
2026-10-28 cs.CL cs.LG
In-Situ Tweedie Discrete Diffusion Models
Sun Yat-sen University(中山大学);Guangdong Key Laboratory of Big Data Analysis and Processing(广东大数据分析与处理重点实验室);X-Era AI Lab(X-Era人工智能实验室);Guangdong University of Technology(广东工业大学)
本研究提出原位 Tweedie 离散扩散模型,通过在离散一热空间中直接执行扩散过程,实现对离散任务的有效建模。
2025-11-24 cs.AI cs.CL cs.CV
Star-Shaped Denoising Diffusion Probabilistic Models
HSE University(高等经济大学);MSU University(莫斯科国立大学);BAYESG;Sber AI;University of Amsterdam(阿姆斯特丹大学);AIRI;Constructor University(康斯特大学)
本文提出星形去噪扩散概率模型(SS-DDPM),通过星形扩散过程绕过转移概率定义,支持Beta、Dirichlet等非高斯分布,并在图像数据上取得与高斯DDPM相当的性能。
2023-10-28 cs.LG stat.ML
A Unified Approach to Analysis and Design of Denoising Markov Models
本文提出统一框架,通过马尔可夫动力学建立去噪模型的数学基础,统一变分目标并适应不同动态,统一连续和离散扩散模型,展示其在复杂分布建模中的灵活性。
2026-04-03 cs.LG cs.NA math.NA
Discrete Denoising Flows
University of Amsterdam(阿姆斯特丹大学)
基于离散流的模型是最近提出的一类生成模型,它学习离散随机变量的可逆变换。由于它们不需要数据去量化并且最大化精确似然目标,因此它们可以以直接的方式用于无损压缩。在本文中,我们介绍了一个新的离散流为基础的模型分类随机变量:离散去噪流(DDFs)。与其他基于离散流的模型相比,我们的模型可以在不引入梯度偏差的情况下进行局部训练。我们表明,DDFs优于离散流建模玩具的例子,二进制MNIST和Cityscapes分割图,测量的对数似然。
2021-07-24 cs.LG
Effective Test-Time Scaling of Discrete Diffusion through Iterative Refinement
KAIST AI(韩国科学技术院人工智能研究所);Seoul National University(首尔国立大学);University of California, Berkeley(加州大学伯克利分校);KRAFTON
本文提出IterRef方法,通过奖励引导的加噪-去噪迭代精炼离散扩散中间状态,在MTM框架下证明收敛性,并在低计算预算下显著提升文本和图像的奖励引导生成质量。
2025-11-04 cs.AI cs.LG
Discrete Stochastic Localization for Non-autoregressive Generation
University of California Riverside(加州大学河滨分校);New York University(纽约大学)
本文提出了一种名为离散随机定位(DSL)的连续状态框架,通过单位球体令牌嵌入实现最优去噪,从而在离散序列生成中提升分布忠实度,并展示了其在OpenWebText上的有效性。
2026-05-20 cs.CL cs.LG
Geometric-Facilitated Denoising Diffusion Model for 3D Molecule Generation
Zhejiang Lab(浙江实验室)
针对3D分子生成中多体关系建模和键预测的挑战,提出GFMDiff方法,通过双轨Transformer网络和几何促进损失提升生成质量。
2024-04-22 cs.AI cs.LG q-bio.BM
Fractals made Practical: Denoising Diffusion as Partitioned Iterated Function Systems
Department of Mathematics & Data Science(数学与数据科学系)
本文通过分段迭代函数系统框架,揭示扩散模型的去噪动态,并提出三种可计算的几何量,解释了扩散模型的双阶段行为,同时推导出三个最优设计准则。
2026-03-13 cs.CV cs.IT cs.LG
DiffusionBERT: Improving Generative Masked Language Models with Diffusion Models
Fudan University(复旦大学)
提出了一种基于离散扩散模型的生成式掩蔽语言模型DiffusionBERT。扩散模型和许多预先训练的语言模型具有共享的训练目标,即,去噪,使其能够结合两个强大的模型,享受两全其美。一方面,扩散模型提供了一种有前途的训练策略,有助于提高生成质量。另一方面,预先训练的去噪语言模型(例如,BERT)可以用作加速收敛的良好初始化。我们探索训练BERT学习的反向过程的离散扩散过程的吸收状态和阐明几个设计,以改善it. First,我们提出了一个新的噪声时间表的前向扩散过程中,控制的程度,在每一步的基础上,每个令牌的信息添加的噪声。其次,我们研究了几种将时间步长纳入BERT的设计。对无条件文本生成的实验表明,DiffusionBERT比现有的文本扩散模型(例如,D3 PM和Diffusion-LM)和先前的生成掩蔽语言模型在困惑度和BLEU得分方面的性能。
2022-11-30 cs.AI cs.CL cs.LG
Supervised Neural Discrete Universal Denoiser for Adaptive Denoising
Seoul National University(首尔大学)
我们改进了最近开发的神经DUDE,一个基于神经网络的自适应离散去噪器,将其与监督学习框架相结合。也就是说,我们使神经DUDE的监督预训练与基于给定的噪声数据进行去噪的参数自适应微调兼容。因此,与香草神经DUDE相比,我们实现了显着的去噪性能提升,后者仅使用随机初始化的参数执行自适应微调步骤。此外,我们表明自适应微调使算法的鲁棒性,使噪声失配或盲目训练的监督模型仍然可以实现匹配模型的性能。此外,我们做了一些算法改进,使神经DUDE更具可扩展性,并处理多维数据或具有更大字母表大小的数据。我们系统地展示了我们对两个非常不同的数据集,二进制图像和DNA序列的改进。
2021-11-24 cs.LG
GD4: Graph-based Discrete Denoising Diffusion for MIMO Detection
School of Computer Science(计算机科学学院);McGill University(麦吉尔大学);University of Montreal(蒙特利尔大学);Mila - Quebec AI Institute(魁北克人工智能研究所)
本文提出GD4,一种基于图的离散去噪扩散方法,用于MIMO检测,在有限计算预算下产生高质量次优解,优于现有扩散方法和经典基线。
2026-05-01 cs.LG
Discrete Denoising Diffusion Approach to Integer Factorization
Institute of Electronics and Computer Science(电子与计算机科学研究所);Institute of Mathematics and Computer Science(数学与计算机科学研究所)
本文提出一种基于深度神经网络和离散去噪扩散的整数分解方法,通过迭代纠正部分正确解中的错误,开发新seq2seq架构并调整反向扩散过程,成功为56位整数找到因子,且训练投入可指数减少推理采样步骤。
2023-09-11 cs.AI cs.LG
A Denoising Loss Bound for Neural Network based Universal Discrete Denoisers
Department of Electronic and Electrical Engineering, Sungkyunkwan University (SKKU)(成均馆大学电子与电气工程系(SKKU))
我们得到了最近提出的基于神经网络的通用离散去噪器,神经DUDE,它可以自适应地学习其参数,仅从噪声损坏的数据,通过最小化的\emph{empirical estimated loss}的去噪损失界。由此产生的界类似于监督学习中标准经验风险最小化器(ERM)的泛化误差界,并且我们证明了在我们的损失界中也存在众所周知的偏差-方差权衡。我们开发的关键工具是真实去噪损失上的无偏估计损失的浓度,这被证明对于\emph{all}有界网络参数和\emph{all}底层清洁序列保持\emph{uniformly}。为了证明我们的主要结果,我们对统计学习理论的工具进行了新的应用。最后,我们证明了神经DUDE的超参数可以从一个小的验证集中选择,以显着提高去噪性能,正如本文的理论结果所预测的那样。
2018-02-24 cs.IT cs.LG math.IT
Iterative Channel Estimation for Discrete Denoising under Channel Uncertainty
Sungkyunkwan University(成均馆大学)
我们提出了一种新的迭代信道估计(ICE)算法,基本上消除了关键的已知噪声信道假设的通用离散去噪问题。我们的算法是基于神经DUDE(N-DUDE),最近提出的神经网络为基础的离散去噪器,它估计的信道转移矩阵以及神经网络参数,以交替的方式,直到收敛。虽然我们没有对底层的干净数据进行任何概率假设,但我们的ICE类似于具有变分近似的期望最大化(EM),并且它利用了N-DUDE在真实信道周围局部鲁棒的特性。通过对几种完全不同类型的数据进行广泛的实验,我们证明了配备ICE的N-DUDE(称为ICE-N-DUDE)可以很好地执行\emph{universally},而不管通道和清洁源的不确定性如何。此外,我们表明ICE-N-DUDE对其超参数变得非常鲁棒,并且显著优于可以处理信道不确定性的强基线去噪,广泛使用的隐马尔可夫模型(HMM)的Baum-Welch(BW)算法。
2019-05-28 cs.AI cs.LG stat.ML
ProtoGuide: Prototype-Driven Guidance for Class-Conditional Graph Generation
University of Catania(卡塔尼亚大学);University of Cambridge(剑桥大学);University Campus Bio-Medico of Rome(罗马生物医学自由大学)
ProtoGuide提出一种事后、与骨干无关的框架,通过原型评分和梯度注入实现离散图扩散模型的类条件引导,在多个数据集上显著提升分类准确率。
2026-09-15 cs.AI cs.LG physics.soc-ph
Mask-GVAE: Blind Denoising Graphs via Partition
The Chinese University of Hong Kong(香港中文大学);Tianjin Univerisity(天津大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
我们提出了Mask-GVAE,一个用于盲去噪大型离散图的变分生成模型,其中“盲去噪”意味着我们不需要来自干净图的任何监督。我们专注于通过删除无关边和添加缺失边来恢复图结构,这在现实世界中有许多应用,例如,提高合著网络中的连接质量。Mask-GVAE利用图拉普拉斯算子在低特征向量处对随机噪声的鲁棒性,将输入图分解为若干个稳定的簇。然后,它利用巨大的计算通过解码概率平滑子图的变分方式。在各种各样的基准测试中,Mask-GVAE在PSNR和WL相似性上明显优于竞争方法。
2021-02-08 cs.LG
Think While You Generate: Discrete Diffusion with Planned Denoising
Massachusetts Institute of Technology(麻省理工学院);University of Oxford(牛津大学);NVIDIA Research(英伟达研究院)
本文提出DDPD框架,将离散扩散生成过程分解为规划器与去噪器两部分,通过规划器按最优顺序识别并去噪损坏位置,在语言建模和图像生成任务上显著缩小了扩散方法与自回归方法的性能差距。
2025-04-10 cs.AI cs.CL cs.CV
Universal Denoising of Discrete-time Continuous-Amplitude Signals
Stanford University(斯坦福大学);Technion – Israel Institute of Technology(以色列理工学院)
我们考虑重建一个离散时间信号(序列)的问题,连续值的组件损坏一个已知的无记忆信道。当性能测量使用每符号损失函数满足温和的规律性条件,我们开发了一个序列的降噪,虽然独立的基本“干净”序列的分布,是普遍最佳的限制大序列长度。该序列的去噪器在执行以及任何滑动窗口去噪方案的意义上是通用的,该滑动窗口去噪方案可以针对潜在的干净信号进行优化。我们的研究结果最初是在一个“半随机”的设置,无噪声信号是一个未知的个体序列,和随机性的唯一来源是由于信道噪声。随后表明,在完全随机设置,其中无噪声序列是一个平稳的随机过程,我们的计划普遍达到最佳性能。所提出的方案借鉴非参数密度估计技术,实际上是可实现的。我们证明了所提出的方案在传统的加性高斯白噪声设置中对灰度图像进行去噪的有效性,对于不太传统的噪声分布,具有额外的有希望的结果。
2008-07-22 cs.IT cs.LG math.IT
D3RM: A Discrete Denoising Diffusion Refinement Model for Piano Transcription
Graduate School of Culture Technology(文化技术研究生院);KAIST(韩国科学技术院)
针对现有扩散模型在自动钢琴转谱任务上性能不佳的问题,提出基于离散扩散的D3RM模型,采用邻域注意力层作去噪模块、结合预训练声学模型微调特征并设计训练推理差异化转移状态策略,在MAESTRO数据集上F1分数优于同类及基线模型。
2025-01-13 cs.AI cs.LG cs.SD
IFH: a Diffusion Framework for Flexible Design of Graph Generative Models
University of Padova(帕多瓦大学);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
本文提出基于DDPM理论的图生成模型IFH,通过节点移除与插入过程支持灵活设定序列性程度,实验证明其性能优越且能改进one-shot模型DiGress。
2024-08-23 cs.LG stat.ML
Graph-Based Manifold Frequency Analysis for Denoising
University of Southern California(南加州大学)
我们提出了一种基于图傅里叶频域处理的新流形去噪框架,该框架源自离散图拉普拉斯算子的谱分解。我们的方法使用谱图小波变换,以便直接在图频域中进行非迭代去噪,这种方法受到传统的基于小波的信号去噪方法的启发。我们从理论上证明我们的方法,基于这样一个事实,即对于光滑流形的坐标信息能量是本地化的低谱图小波子带,而噪声以类似的方式影响所有频带。实验结果表明,我们提出的流形频率去噪(MFD)方法显着优于最先进的去噪方法的状态,并对广泛的参数选择,例如,图的k个最近邻连通度的选择。
2016-11-29 cs.LG stat.ML
Dynamic Point Cloud Denoising via Manifold-to-Manifold Distance
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所)
3D动态点云提供了真实世界物体或运动场景的自然离散表示,在沉浸式远程呈现、自动驾驶、监控、\etc等领域具有广泛的应用。然而,由于硬件、软件或其他原因,动态点云经常受到噪声的干扰。虽然已经提出了大量的方法用于静态点云去噪,但很少有人努力用于动态点云的去噪,由于空间和时间上的不规则采样模式,这是非常具有挑战性的。在本文中,我们表示动态点云自然的时空图,并利用时间的一致性相对于底层表面(流形)。特别是,我们定义了一个流形到流形的距离和它的离散对应的图形来衡量的变化为基础的内在距离之间的表面补丁在时间域中,提供了图形运营商是离散对应的黎曼流形上的泛函。然后,我们建立相应的表面补丁之间的时间距离和空间域中相邻的补丁之间的点的时空图连通性。利用初始图形表示,我们将动态点云去噪公式化为所需点云和底层图形表示的联合优化,通过空间平滑性和时间一致性进行正则化。我们重新制定的优化,并提出了一个有效的算法。实验结果表明,无论是在高斯噪声还是模拟激光雷达噪声下,该方法的性能均显着优于最先进的静态点云去噪方法中每帧的独立去噪。
2020-10-28 cs.CV cs.LG cs.MM
Discrete Diffusion with Sample-Efficient Estimators for Conditionals
Theoretical Division, Los Alamos National Laboratory, Los Alamos, NM 87545(洛斯阿拉莫斯国家实验室理论 division)
本文提出了一种基于高效样本估计器的离散扩散方法,用于生成离散状态空间的数据,实验表明其在多个数据集上优于现有方法。
2026-07-22 cs.LG stat.ML
D4Explainer: In-Distribution GNN Explanations via Discrete Denoising Diffusion
Yale University(耶鲁大学);Stanford University(斯坦福大学)
D4Explainer首次将生成式图分布学习与离散去噪扩散结合,统一实现分布内反事实解释和模型级解释,在准确性、忠实度、多样性和鲁棒性上达到最优。
2023-10-30 cs.AI cs.LG