Reducing Diffusion Model Memorization with Higher Order Langevin Dynamics
Department of Applied Math & Statistics(应用数学与统计学系);Stony Brook University(石溪大学);Department of Electrical and Computer Engineering(电气与计算机工程系);Faculty of Engineering(工程学院);Bar-Ilan University(巴伊兰大学)
本文研究高阶朗之万动力学(HOLD)对扩散模型记忆化的影响,通过理论分析表明HOLD通过低通滤波学习得分函数并随阶数增加平滑度,从而缓解记忆化,并在真实数据上验证了理论。
2026-05-23 cs.LG stat.ML
Dale meets Langevin: A Multiplicative Denoising Diffusion Model
Department of Electrical Engineering(电子工程系);Indian Institute of Science(印度科学研究所)
提出以几何布朗运动为前向噪声过程的乘法分数生成模型,推导反向时间SDE并设计两种乘法采样器,引入Hyvärinen分数和乘法去噪分数匹配目标,在图像数据集上验证生成能力。
2026-05-24 cs.CV cs.LG
Conditional Diffusion Under Linear Constraints: Langevin Mixing and Information-Theoretic Guarantees
University of Michigan(密歇根大学)
本文研究预训练扩散模型在零样本条件下对线性逆问题(如修复和超分辨率)的采样,提出通过投影-切线分解分析得分函数,证明误差上界与条件互信息关系,提出投影-兰杰文初始化和引导反向去噪方法提升修复和超分辨率性能。
2026-05-06 cs.IT cs.LG math.IT
Posterior Sampling by Combining Diffusion Models with Annealed Langevin Dynamics
UT Austin(得克萨斯大学);Microsoft Research(微软研究院)
针对后验采样的计算难题,聚焦对数凹分布$p(x)$,提出结合扩散模型与退火朗之万动力学的方法,仅需得分误差$L^4$界即可在多项式时间内实现条件采样,解决朗之万动力学对得分估计误差敏感的问题。
2025-11-18 cs.AI cs.DS cs.LG
Non-asymptotic Analysis of Diffusion Annealed Langevin Monte Carlo for Generative Modelling
Imperial College London(帝国理工学院);The Alan Turing Institute(阿兰·图灵研究所)
在数据分布弱条件下,研究扩散退火朗之万蒙特卡洛(DALMC)的非渐近误差界,扩展至重尾扩散路径,为插值简单分布与数据分布的得分生成模型提供理论保证,拓宽了标准扩散方法视角。
2025-02-13 cs.LG math.PR stat.CO
A Practical Diffusion Path for Sampling
ENSAE(法国国立统计与经济管理学校);CREST(CREST(法国统计与经济研究中心));IP Paris(巴黎理工学院)
针对无目标分布样本时扩散模型得分估计困难的问题,提出基于膨胀路径的闭式得分向量计算方法及自适应步长朗之万动力学实现,在多任务上性能优于经典方法。
2024-06-20 cs.LG stat.ML
Generative Modeling by Estimating Gradients of the Data Distribution
Stanford University(斯坦福大学)
我们引入了一个新的生成模型,其中通过Langevin动态使用分数匹配估计的数据分布的梯度来产生样本。由于当数据驻留在低维流形上时,梯度可能定义不清并且难以估计,因此我们用不同水平的高斯噪声扰动数据,并联合估计相应的分数,即,- 对于所有噪声水平的扰动数据分布的梯度的矢量场。对于采样,我们提出了一个退火的朗之万动力学,我们使用梯度对应逐渐降低的噪声水平的采样过程越来越接近的数据流形。我们的框架允许灵活的模型架构,在训练过程中不需要采样或使用对抗方法,并提供了一个可用于原则性模型比较的学习目标。我们的模型在MNIST、CelebA和CIFAR-10数据集上产生了与GANs相当的样本,在CIFAR-10上获得了8.87的最新初始得分。此外,我们证明了我们的模型通过图像修补实验学习有效的表示。
2020-10-10 cs.LG stat.ML
Rethinking the Diffusion Model from a Langevin Perspective
Department of Mathematics, The Hong Kong University of Science and Technology(香港科技大学数学系)
本文从兰格罕视角系统整理扩散模型,提供更直观的解释,探讨ODE和SDE模型统一框架及扩散模型优于VAE的理论依据。
2026-04-12 cs.AI cs.CV cs.LG
Metropolis-Adjusted Diffusion Models
Department of Statistics, University of Oxford(1 统计系,牛津大学);Inria, CNRS, École Normale Supérieure, PSL Research University(2 Inria,法国国家科学研究中心,巴黎高等师范学院,PSL研究大学);Department of Mathematical Sciences, University of Copenhagen(3 数学科学系,哥本哈根大学)
本文提出基于Metropolis-Hastings算法的修正方法,用于改进扩散模型中的采样偏差,通过引入二枚硬币伯努利工厂算法和辛普森法则近似,提升了样本质量。
2026-11-10 cs.LG stat.CO stat.ML
Score-Based Metropolis-Hastings Algorithms
Duke University(杜克大学);Morgan Stanley(摩根士丹利)
针对分数模型缺乏能量函数而无法应用Metropolis-Hastings调整的问题,本文基于细致平衡条件提出新损失函数来估计接受概率,从而将分数模型与MH算法结合,并在多种场景下验证了其有效性。
2025-03-31 cs.LG stat.CO
Picard Proximal Monte Carlo for Parallel Bayesian Imaging with Score-Based Generative Priors
Johns Hopkins University(约翰斯·霍普金斯大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
针对贝叶斯成像逆问题采样成本高的痛点,提出基于近端朗之万动力学与Picard迭代的并行采样框架PiX-MC,实现50倍加速且保持重建质量
2026-08-19 cs.LG
Training-Free Generative Sampling via Moment-Matched Score Smoothing
College of Computing and Data Science(计算与数据科学学院);Nanyang Technological University(南洋理工大学)
本文提出无需训练的动量匹配分数平滑过阻尼兰格-恩斯坦动力学(MM-SOLD),通过在采样轨迹中强制目标动量,实现高效的训练自由采样,实验显示其在CPU上能快速稳健地生成高质量样本。
2026-11-09 cs.LG stat.ML
A Stochastic Analysis Perspective on Diffusion Models
本文从随机分析视角研究基于分数的生成模型,结合经典采样理论等思想,关联朗之万采样与分数匹配,提出扩散时间反转的路径空间处理,连接理想反向扩散与实际生成算法。
2026-10-14 cs.LG math.PR stat.ML
Tightening the Score Matching Gap for Diffusion Models
针对扩散模型的得分匹配间隙问题,该研究利用得分估计器正则性与反向过程收缩性,推导三类指标的更紧边界,揭示低噪声尺度下得分近似质量对缩窄间隙的关键作用。
2026-07-07 cs.LG stat.ML
Sampling is as easy as learning the score: theory for diffusion models with minimal data assumptions
University of California, Berkeley(加州大学伯克利分校);Massachusetts Institute of Technology(麻省理工学院);Microsoft Research(微软研究院);Carnegie Mellon University(卡内基梅隆大学);Duke University(杜克大学)
本文在仅需L2准确得分估计和最小数据假设下,为基于得分的生成模型建立了高效采样理论,证明其复杂度与朗之万扩散离散化的最优保证相当,并指出临界阻尼朗之万扩散并不能降低模型复杂度。
2023-04-15 cs.LG math.ST stat.TH
Insights into Closed-form IPM-GAN Discriminator Guidance for Diffusion Modeling
Microsoft Research #9 VIGYAN(微软研究院)
本文提出理论框架分析GAN判别器对朗之万采样的影响,证明IPM-GAN优化是平滑分数匹配,统一两类方法,并验证闭式核判别器引导可提升多种扩散模型的生成质量。
2025-07-31 cs.CV cs.LG stat.ML
Score-Based Density Estimation from Pairwise Comparisons
Department of Computer Science University of Helsinki(计算机科学系赫尔辛基大学)
本文研究通过成对比较进行密度估计,提出利用温度化胜利密度进行学习,通过得分匹配估计目标密度,证明信念与胜利密度的得分向量共线性。
2026-03-25 cs.LG
GREAT Score: Global Robustness Evaluation of Adversarial Perturbation using Generative Models
The Chinese University of Hong Kong(香港中文大学);IBM Research(IBM研究院)
本文提出 GREAT Score 框架,利用生成模型估计数据分布上的平均认证抗扰动水平,实现高效、可扩展且支持黑盒远程审计的全局对抗鲁棒性评估。
2024-10-28 cs.AI cs.LG
Diffusion Models are Molecular Dynamics Simulators
该研究证明扩散模型可作为分子动力学模拟器,通过学习分数与能量梯度建立精确对应,实现数据驱动的分子动力学模拟。
2025-11-27 cs.LG stat.ML
Theoretical guidelines for annealed Langevin dynamics in compositional simulation-based inference
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化技术研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔INP);LJK(实验室);Geostatistics team(地质统计学团队);Centre for geosciences and geoengineering(地球科学与地球工程中心);Mines Paris(巴黎矿校);PSL University(巴黎 sciences et lettres 大学)
本文研究了基于模拟的推断中组成式得分方法的退火动力学理论,提出了一种新的理论框架,通过推导Wasserstein界,为超参数选择提供了理论指导,并在高斯情况下证明了不同复合得分方法在步长和总动力学步数上的差异。
2026-11-03 cs.LG stat.ML
Taming Score-Based Diffusion Priors for Infinite-Dimensional Nonlinear Inverse Problems
University of Basel(巴塞尔大学);Rice University(莱斯大学);Ecole Polytechnique, IP Paris(巴黎综合理工学院(巴黎IP));University of California Irvine(加州大学欧文分校)
本文提出一种函数空间中的采样方法,利用无限维基于分数的扩散模型作为先验,结合Langevin型MCMC算法,解决非线性贝叶斯逆问题,并提供收敛性分析及实验验证。
2024-05-24 cs.LG cs.NA math.NA
Score-Based Generative Models for Molecule Generation
Julia Computing, Inc(Julia计算公司);Deep Forest Sciences Inc.(深林科学公司);Carnegie Mellon University(卡内基梅隆大学)
生成模型的最新进展使得探索从头分子生成的设计空间变得更加容易。然而,流行的生成模型,如GANs和规范化流,分别面临着由于对抗性训练和架构约束而导致的训练不稳定性等挑战。基于得分的生成模型通过使用分数函数近似对对数概率密度的梯度进行建模来回避这些挑战,而不是直接对密度函数进行建模,并使用退火Langevin动力学对其进行采样。我们相信,基于得分的生成模型可以开辟新的机会,在分子生成由于其架构的灵活性,如取代评分函数与SE(3)等变模型。在这项工作中,我们通过测试基于分数的分子生成模型的有效性奠定了基础。我们对来自ZINC数据集的150万个样本的自引用嵌入字符串(SELFIES)表示进行训练,并使用Moses基准测试框架来评估一套指标上生成的样本。
2022-03-07 cs.LG q-bio.QM
Generative Modeling with Denoising Auto-Encoders and Langevin Sampling
MIT(麻省理工学院);IBM Research(IBM研究院);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
我们研究了生成建模方法的收敛性,该方法首先使用去噪自动编码器(DAE)或去噪分数匹配(DSM)估计分布的得分函数,然后采用Langevin扩散进行采样。我们表明,DAE和DSM提供高斯平滑人口密度的分数的估计,使我们能够应用经验过程的机器。我们克服了只依赖于$L^2$边界的分数估计误差的挑战,并提供有限样本界之间的瓦瑟斯坦距离的法律的总体分布和法律的抽样方案。然后,我们将我们的结果应用于arXiv:1907.05600的同伦方法,并为其经验成功提供理论依据。
2022-10-11 cs.LG math.PR stat.ML
Unleashing High-Quality Image Generation in Diffusion Sampling Using Second-Order Levenberg-Marquardt-Langevin
Zhejiang University(浙江大学);WeChat Vision, Tencent Inc(腾讯公司);Shanghai Jiao Tong University(上海交通大学);Tencent Lightspeed Studio(腾讯光年工作室)
针对扩散模型采样中二阶Hessian几何计算成本高的问题,提出无训练的Levenberg-Marquardt-Langevin方法,通过低秩近似和阻尼机制稳定Hessian,在可忽略的计算开销下显著提升图像生成质量。
2025-05-30 cs.CV cs.LG
On the Robustness of Quality Measures for GANs
University of Oxford(牛津大学)
这项工作评估了生成模型的质量度量的鲁棒性,如初始分数(IS)和Fréchet初始距离(FID)。类似于深度模型对各种对抗攻击的脆弱性,我们表明,这些指标也可以通过添加像素扰动来操纵。我们的实验表明,人们可以生成一个分布的图像具有非常高的分数,但感知质量低。相反,可以优化小的不可感知的扰动,当添加到现实世界的图像,恶化他们的分数。我们进一步将评估扩展到生成模型本身,包括最先进的网络StyleGANv2。我们显示的生成模型和FID对添加剂扰动的潜在空间的脆弱性。最后,我们证明了FID可以通过简单地用一个强大的Inception替换标准的Inception来鲁棒化。我们通过大量的实验验证了鲁棒度量的有效性,表明它对操纵更鲁棒。
2022-07-20 cs.LG
Real-Time Generative Policy via Langevin-Guided Flow Matching for Autonomous Driving
School of Vehicle and Mobility, Tsinghua University(车辆与移动系统学院,清华大学);College of Artificial Intelligence, Tsinghua University(人工智能学院,清华大学)
DACER-F通过流匹配实现实时生成策略,提升自动驾驶中的决策效率与性能。
2026-03-03 cs.LG cs.RO
Sample as You Infer: Predictive Coding With Langevin Dynamics
Huawei Technologies R&D(华为技术研发部门)
提出一种基于预测编码框架的深度生成模型参数学习新算法,通过注入高斯噪声实现过阻尼朗之万采样优化紧致ELBO,并引入编码器热启动与预处理机制,在多项指标上超越或匹配VAE且大幅减少SGD迭代次数。
2024-02-04 cs.AI cs.CV cs.LG
Diffusion Path Samplers via Sequential Monte Carlo
Department of Mathematics, Imperial College London, UK(伦敦帝国学院数学系,英国)
本文提出了一种基于扩散路径的采样方法,通过顺序蒙特卡洛方法估计时间变化分布的得分和密度,适用于已知归一化常数的目标分布,并在不同路径上进行实验验证。
2026-11-10 cs.LG stat.CO stat.ML
Score-based constrained generative modeling via Langevin diffusions with boundary conditions
Institute for Analysis and Scientific Computing, TU Wien(维也纳技术大学分析与科学计算研究所);Department of Mathematical Sciences, Chalmers University of Technology and the University of Gothenburg(查尔姆斯理工大学数学科学系)
针对基于SDE的分数生成模型难满足约束的问题,提出带边界速度镜面反射的欠阻尼朗之万约束生成模型,构建高效最优收敛采样器,并对比两类反射扩散约束模型。
2025-10-28 cs.LG cs.NA math.NA
gDDIM: Generalized denoising diffusion implicit models
Georgia Institute of Technology(佐治亚理工学院)
我们的目标是将去噪扩散隐式模型(DDIM)推广到各向同性扩散以外的一般扩散模型~(DM)。而不是在原来的DDIM构建一个非马尔可夫噪声过程中,我们从数值的角度研究DDIM的机制。我们发现,DDIM可以通过使用一些特定的近似的分数时,解决相应的随机微分方程。我们提出了一个解释DDIM的加速效应,也解释了一个确定性的采样方案的优势,快速采样的随机之一。在此基础上,我们将DDIM扩展到一般DM,即广义DDIM(gDDIM),在参数化评分网络时进行了一个小而微妙的修改。我们在两个非各向同性DM中验证了gDDIM:模糊扩散模型(BDM)和临界阻尼Langevin扩散模型(CLD)。我们在BDM中观察到超过20倍的加速度。在CLD中,一个扩散模型,通过增加扩散过程的速度,我们的算法实现了FID分数为2.26,在CIFAR 10上,只有50个分数函数评估~(NFE)和FID分数为2.86,只有27个NFE。代码可在https://github.com/qsh-zh/gDDIM上获得
2023-03-23 cs.LG
Statistical Efficiency of Score Matching: The View from Isoperimetry
Stanford University(斯坦福大学);Carnegie Mellon University(卡内基梅隆大学)
参数化到归一化常数的深度生成模型(例如,基于能量的模型)难以通过最大化数据的似然性来训练,因为其似然性和/或梯度不能被明确地或有效地写下。分数匹配是一种训练方法,我们不是拟合训练数据的似然$\log p(x)$,而是拟合分数函数$\nabla_x \log p(x)$ --避免了评估分区函数的需要。虽然这个估计量已知是一致的,但它的统计效率是否(以及何时)与最大似然法相当还不清楚,最大似然法已知是(渐近)最优的。我们在本文中启动这一调查线,并显示统计效率的得分匹配和等周属性的分布估计-即庞加莱,对数-Sobolev和等周常数-数量管理的混合时间的马尔可夫过程,如朗之万动力学之间的紧密联系。粗略地说,我们表明,分数匹配估计是统计上可比的最大似然分布时,有一个小的等周常数。相反,如果分布有一个大的等周常数-即使是简单的分布族,如指数族,具有足够丰富的统计数据-分数匹配将大大低于最大似然法的效率。我们适当地形式化这些结果在有限样本制度,并在渐近制度。最后,我们确定了一个直接平行的离散设置,在那里我们连接的统计性质的pseudolikkastrointestimation近似张量熵和Glauber动力学。
2022-12-22 cs.LG math.ST stat.ML
Score-based Diffusion Models in Function Space
NVIDIA Corporation(英伟达公司)
本文提出去噪扩散算子(DDOs)框架,将扩散模型推广到函数空间,通过高斯过程扰动和函数值退火朗之万动力学生成样本,并以固定成本准确生成纳维-斯托克斯方程解等函数值数据。
2025-01-22 cs.LG math.FA stat.ML
Score-Guided Intermediate Layer Optimization: Fast Langevin Mixing for Inverse Problems
University of Texas at Austin(德克萨斯大学奥斯汀分校);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
我们证明了快速混合,并描述了Langevin算法的平稳分布,用于反转随机加权DNN生成器。这一结果将Hand和Voroninski的工作从有效的反演扩展到有效的后验采样。在实践中,为了提高表现力,我们建议在预训练的生成模型的潜在空间中进行后验采样。为了实现这一目标,我们在StyleGAN-2的潜在空间中训练了一个基于分数的模型,并使用它来解决逆问题。我们的框架,分数引导的中间层优化(SGILO),通过在中间层中用生成先验代替稀疏正则化来扩展先前的工作。实验上,我们获得了显着的改进,在以前的国家的最先进的,特别是在低测量制度。
2022-06-22 cs.AI cs.LG
Combinatorial Complex Score-based Diffusion Modelling through Stochastic Differential Equations
Imperial College London(帝国理工学院)
本论文提出基于随机微分方程的统一框架,将图与超图等复杂对象建模为组合复形进行分数扩散生成,统一了分数匹配与去噪扩散概率模型,并在图和分子生成任务上达到与最先进方法相当的性能。
2024-06-07 cs.LG cs.SI math.AT
Preconditioned Langevin Dynamics with Score-Based Generative Models for Infinite-Dimensional Linear Bayesian Inverse Problems
University of Basel(巴塞尔大学);Ecole Polytechnique, IP Paris(巴黎高等理工学院);University of California Irvine(加州大学尔湾分校);Rice University(里奇大学)
本文提出利用基于分数的生成模型驱动的预条件兰格朗日动力学,解决无限维线性贝叶斯反问题,推导误差估计并保证全局收敛性。
2025-11-30 cs.LG cs.NA math.NA
Score-based Generative Modeling for Conditional Independence Testing
Fudan University(复旦大学);Alibaba Group(阿里巴巴集团);SIAT, Chinese Academy of Sciences(中国科学院软件研究所);Tongji University(同济大学)
针对现有基于生成模型的条件独立性测试在条件分布建模和训练稳定性上的不足,提出基于分数的生成建模方法,通过切片条件分数匹配和Langevin动力学采样实现精确的第一类错误控制与强测试功效,实验证明其显著优于现有方法。
2025-05-29 cs.AI cs.LG
Robustness of Diffusion Models under Distribution Shift
Tsinghua University(清华大学);City University of Hong Kong(香港城市大学);Shenzhen MSU-BIT University(深圳北理莫斯科大学);Shandong University(山东大学)
该研究针对分布偏移下基于分数的扩散模型,提出鲁棒分数估计可分解为统计代价与偏移代价,后者随Wasserstein半径二次增长且极小极大最优,并给出显式估计器与低维自适应结果。
2026-09-24 cs.LG math.PR math.ST
Convergence of the Inexact Langevin Algorithm in KL Divergence with Application to Score-based Generative Models
Department of Statistics and Data Science, Yale University(耶鲁大学统计与数据科学系);Department of Computer Science, Yale University(耶鲁大学计算机科学系)
本文研究了在KL散度下近似兰格-恩算法的收敛性,基于分数生成模型的应用,提出了稳定偏置收敛保证,并探讨了如何获得可证明准确的分数估计器。
2026-03-28 cs.LG math.ST stat.TH
Improved Convergence of Score-Based Diffusion Models via Prediction-Correction
Institute of Science and Technology Austria(奥地利科学技术研究所)
针对基于分数的生成模型中前向过程时间趋于无穷大导致的收敛失效与计算成本问题,本文提出一种 predictor-corrector 方案,通过非精确 Langevin dynamics 估计最终分布,并提供了仅需固定有限前向时间的收敛保证。
2024-06-04 cs.LG math.ST stat.ML
Estimation of partially known Gaussian graphical models with score-based structural priors
Rice University(莱斯大学);King Juan Carlos University(胡安·卡洛斯国王大学)
本文提出一种融合图上先验信息的部分已知高斯图模型支持估计算法,利用退火朗之万扩散和图神经网络估计分数函数,从后验分布采样以提升估计性能。
2024-02-23 cs.LG stat.ML
Assumption violations in causal discovery and the robustness of score matching
Università di Genova(热那亚大学);AWS(亚马逊云科技);German Cancer Research Center (DKFZ)(德国癌症研究中心);MIT(麻省理工学院);CBMM(计算生物学与机器学习中心);Istituto Italiano di Tecnologia(意大利技术研究院);University of Chicago(芝加哥大学);Institute of Science and Technology Austria (ISTA)(奥地利科学技术研究所)
本文广泛基准测试了近期因果发现方法在假设违背条件下的经验性能,发现基于 score matching 的方法在假阳性和假阴性率上表现出鲁棒性,并首次评估了算法对超参数值的稳定性。
2024-09-26 cs.LG stat.ME
From Score Matching to Diffusion: A Fine-Grained Error Analysis in the Gaussian Setting
ENS Paris, PSL, CNRS(巴黎高等师范学院、巴黎综合理工学院、国家科学研究中心);Univ. Paris-Saclay, Inria, CEA(巴黎萨克雷大学、法国国家信息与自动化技术研究所、法国原子能委员会)
本文研究了在高斯设定下使用扩散采样器时的采样误差,分析了分数匹配和扩散过程中的四个主要误差源,并揭示了数据分布各向异性与端到端采样方法关键参数之间的相互作用。
2026-05-19 cs.LG math.OC
Score-Based Modeling of Effective Langevin Dynamics with State-Dependent Mobility
Department of Mathematics, Massachusetts Institute of Technology(数学系,麻省理工学院)
提出一种基于有限时间转移密度条件分数的随机降阶模型校准方法,通过最小二乘拟合从数据中推断漂移和扩散系数,避免轨迹微分或状态空间划分。
2026-11-04 cs.LG nlin.CD stat.ML
On the Hardness of Sampling from Mixture Distributions via Langevin Dynamics
CUHK(香港中文大学);Purdue(普渡大学)
本文研究 LD 从高维混合分布采样时难以覆盖所有模态的问题,提出分块顺序条件生成的 Chained-LD,并通过理论与实验证明其迭代复杂度更低。
2025-06-10 cs.LG stat.ML
LATTA: Langevin-Anchored Test-Time Adaptation for Enhanced Robustness and Stability
Rutgers University(罗格斯大学)
LATTA通过SGLD噪声扰动与稳定权重锚,在测试时自适应中兼顾探索与稳定,在CIFAR-10-C上平均准确率提升超2%并降低方差,超越现有方法。
2025-10-07 cs.LG
Robustifying Models Against Adversarial Attacks by Langevin Dynamics
Fraunhofer HHI(弗劳恩霍夫海因里希·赫兹研究所);TU Berlin(柏林工业大学);Berlin Big Data Center(柏林大数据中心);Korea University(高丽大学);MPI for Informatics(马克斯·普朗克信息学研究所);RIKEN AIP(理化学研究所人工智能中心)
对深度学习模型的对抗攻击已经大大损害了它们的性能。作为补救措施,提出了许多防御方法,但这些方法都被新的攻击策略所规避。在这场随之而来的军备竞赛中,抵御对抗攻击的鲁棒性问题仍然没有解决。本文提出了一种新的,简单而有效的防御策略,其中对抗样本被放松到(未知)目标类分布的底层流形上。具体来说,我们的算法驱动离流形对抗样本向高密度区域的数据生成分布的目标类的Metroplis调整的Langevin算法(MALA)与感知边界考虑在内。虽然动机类似于投影方法,例如,防御GAN,我们的算法,称为MALA for DEFENSE(MALADE),具有显著的分散性-投影分布广泛,因此任何白盒攻击都无法准确对齐输入,因此MALADE将其移动到模型预测错误标签的目标未训练点。在我们的实验中,MALADE表现出最先进的性能对各种精心设计的攻击策略。
2019-06-06 cs.LG stat.ML
Generative Modelling with High-Order Langevin Dynamics
FRDC;Fujitsu(富士通)
本文提出高阶朗之万动力学(HOLD)生成建模方法,通过同时建模位置、速度和加速度,在CIFAR-10和CelebA-HQ上显著提升生成质量与速度,FID达到1.85。
2025-01-02 cs.AI cs.CV cs.LG
Efficient Approximate Posterior Sampling with Annealed Langevin Monte Carlo
Chandra Family Department of Electrical and Computer Engineering, The University of Texas at Austin(德克萨斯大学奥斯汀分校电气与计算机工程系)
本文提出了一种在多项式时间内高效近似后验采样的方法,结合KL散度和Fisher散度,确保样本同时符合测量和先验。
2025-12-08 cs.AI cs.LG stat.ML
Amortized Score-Hamiltonian Policy Iteration: A Grid-Free Scheme for Relaxed Stochastic Control Problems
Florida State University(佛罗里达州立大学);Worcester Polytechnic Institute(伍斯特理工学院)
本文提出摊销无网格的得分-哈密顿策略迭代算法,用于熵正则化松弛随机控制问题,通过共享条件采样器和参数化评论家实现耦合演员-评论家学习,并给出误差界限与高维数值验证。
2026-11-09 cs.LG math.OC
Heavy-tailed denoising score matching
University of Cambridge(剑桥大学)
在过去几年中,基于分数的模型研究已经通过采用高斯去噪得分匹配(DSM)产生了最先进的生成模型。然而,高斯噪声假设有几个高维的限制,激励一个更具体的路线,甚至更高的维度PDF估计在未来。我们概述了这一限制,然后将理论扩展到一个更广泛的家庭的噪声分布-即广义正态分布。从理论上讲,我们放松了(去噪)分数匹配理论中的一个关键假设,证明了几乎在任何地方都是可微的分布允许与高斯分布相同的客观简化。对于噪声向量范数分布,我们在深度学习中普遍存在的高维空间中展示了有利的测量集中度。在这个过程中,我们发现了一个偏斜的噪声向量范数分布,并开发了一个迭代噪声缩放算法,以始终初始化退火Langevin动力学(LD)中的多个级别的噪声。在实践方面,我们使用重尾DSM导致改进的分数估计,可控的采样收敛,以及更平衡的非平衡数据集的无条件生成性能。
2022-04-12 cs.LG stat.ML
Adversarial Robustness of Flow-Based Generative Models
University of Maryland, College Park(马里兰大学帕克分校)
基于流的生成模型利用可逆生成器函数来使用最大似然将分布拟合到训练数据。尽管它们在几个应用领域中使用,但这些模型对对抗攻击的鲁棒性几乎没有被探索。在本文中,我们从理论上(对于一些简单的模型)和经验上(对于更复杂的模型)研究了基于流的生成模型的对抗鲁棒性。首先,我们考虑一个基于线性流的生成模型,并计算最佳的样本特定和通用对抗扰动,最大限度地降低似然分数。利用这一结果,我们研究了著名的对抗训练过程的鲁棒性,其中我们描述了模型鲁棒性和准确性之间的基本权衡。接下来,我们实证研究了两个突出的深度,非线性,基于流的生成模型的鲁棒性,即GLOW和RealNVP。我们设计了两种类型的对抗攻击;一种是最小化分布内样本的似然得分,而另一种是最大化分布外样本的似然得分。我们发现GLOW和RealNVP对这两种类型的攻击都非常敏感。最后,使用混合对抗训练过程,我们显着提高了这些生成模型的鲁棒性。
2019-11-20 cs.LG stat.ML
Permutation Invariant Graph Generation via Score-Based Generative Modeling
Tsinghua University(清华大学);Stanford University(斯坦福大学)
学习图结构数据的生成模型是具有挑战性的,因为图是离散的、组合的,并且底层数据分布对节点的排序是不变的。然而,大多数现有的生成模型的图是不恒定的选择的顺序,这可能会导致一个不希望的偏差,在学习的分布。为了解决这个困难,我们提出了一个置换不变的方法来建模图,使用最近的框架,基于分数的生成建模。特别地,我们设计了一个置换等变的多通道图神经网络来对输入图处的数据分布的梯度进行建模(也称为,功能)。这种置换等变梯度模型隐含地定义了图的置换不变分布。我们用分数匹配训练这个图神经网络,并用退火的Langevin动力学对其进行采样。在我们的实验中,我们首先证明了这种新的架构在学习离散图算法的能力。对于图生成,我们发现我们的学习方法在基准数据集上取得了比现有模型更好或相当的结果。
2020-03-02 cs.LG stat.ML
Score-Based Diffusion meets Annealed Importance Sampling
DeepMind(深度思维)
退火重要性抽样(Annealed Importance Sampling,AIS)在提出二十多年后,仍然是最有效的边缘似然估计方法之一。它依赖于一系列的分布之间的一个听话的初始分布和目标分布的兴趣,我们模拟从近似使用非齐次马尔可夫链。为了获得边缘似然的重要性抽样估计,AIS引入扩展的目标分布来重新加权马尔可夫链建议。虽然已经投入了大量的努力来改善AIS所使用的建议分布,但一个未被充分认识的问题是AIS使用了方便但次优的扩展目标分布。在这里,我们利用最近的进展,基于分数的生成建模(SGM)近似的最佳扩展目标分布最小化的方差的边缘似然估计AIS建议对应的离散化的朗之万和汉密尔顿动力学。我们证明了这些新的,可微的,AIS程序的一些合成基准分布和变分自动编码器。
2022-10-24 cs.LG stat.ML
Assessing Robustness via Score-Based Adversarial Image Generation
Technical University of Munich(慕尼黑工业大学);Munich Data Science Institute(慕尼黑数据科学研究所);Munich Center for Machine Learning(慕尼黑机器学习中心)
提出基于分数的对抗生成框架ScoreAG,通过生成无限制对抗样本和净化图像,在多个基准上提升了最先进攻防方法的效果,推动更全面的语义鲁棒性评估。
2025-03-04 cs.AI cs.CV cs.LG