Soft Truncation: A Universal Training Technique of Score-based Diffusion Model for High Precision Score Estimation
KAIST(韩国科学技术院);University of Seoul(首尔市立大学)
扩散模型的最新进展为图像生成任务带来了最先进的性能。然而,从以前的研究经验结果在扩散模型意味着密度估计和样本生成性能之间的逆相关性。本文研究了充分的经验证据,这种逆相关性的发生,因为密度估计是显着贡献的小扩散时间,而样本生成主要取决于大的扩散时间。然而,在整个扩散时间内很好地训练得分网络是非常困难的,因为损失规模在每个扩散时间都是显著不平衡的。因此,为了成功训练,我们引入了软截断,这是一种普遍适用于扩散模型的训练技术,它将固定和静态截断超参数软化为随机变量。在实验中,Soft Truncation在CIFAR-10、CelebA、CelebA-HQ 256 x256和STL-10数据集上实现了最先进的性能。
2022-06-11 cs.AI cs.LG stat.ML
Score Approximation, Estimation and Distribution Recovery of Diffusion Models on Low-Dimensional Data
Princeton University(普林斯顿大学);Georgia Tech(佐治亚理工学院)
扩散模型在各种生成任务中实现了最先进的性能。然而,他们的理论基础远远落后。本文研究了数据在未知低维线性子空间上的扩散模型的score逼近、估计和分布恢复问题。我们的结果提供了样本的复杂性界分布估计使用扩散模型。我们表明,一个适当选择的神经网络架构,得分函数可以准确地近似和有效地估计。此外,基于估计的得分函数生成的分布捕获数据几何结构并且收敛到数据分布的紧密附近。收敛速度依赖于子空间维数,表明扩散模型可以规避数据环境维数的灾难。
2023-02-14 cs.LG stat.ML
Conditional Image Generation with Score-Based Diffusion Models
University of Cambridge(剑桥大学);Deep Render
基于分数的扩散模型已经成为深度生成建模的最有前途的框架之一。在这项工作中,我们进行了系统的比较和理论分析的不同方法来学习条件概率分布与基于分数的扩散模型。特别是,我们证明的结果提供了一个最成功的估计的条件得分的理论依据。此外,我们引入了一个多速度扩散框架,这导致了一个新的估计的条件得分,表现与以前的国家的最先进的方法。我们的理论和实验研究结果是伴随着一个开源库MSDiff,它允许应用程序和多速度扩散模型的进一步研究。
2021-11-26 cs.CV cs.LG stat.ML
Diffusion Models with Heavy-Tailed Targets: Score Estimation and Sampling Guarantees
Department of Mathematical Sciences, Tsinghua University(清华大学数学科学系);Department of Data Science, City University of Hong Kong(香港城市大学数据科学系)
本文研究了厚尾目标下基于分数的扩散模型,推导了分数估计的最小最大速率,并提供了采样保证,揭示了轻尾与多项式尾情况下不同的收敛特性。
2026-01-10 cs.LG math.PR math.ST
Interpreting diffusion score matching using normalizing flow
University of Cambridge(剑桥大学);Imperial College London(帝国理工学院)
评分匹配(SM)及其相关的Stein差异(SD)在模型训练和评估方面取得了巨大的成功。然而,最近的研究表明,它们在处理某些类型的分布时存在局限性。一种可能的解决方案是将原始分数匹配(或Stein差异)与扩散矩阵合并,这被称为扩散分数匹配(DSM)(或扩散Stein差异(DSD))。然而,缺乏对扩散的解释限制了其在简单分布和手动选择矩阵中的使用。在这项工作中,我们计划通过使用归一化流解释扩散矩阵来填补这一空白。具体来说,我们从理论上证明,DSM(或DSD)是等价于原始的分数匹配(或斯坦差异)的归一化流,其中的扩散矩阵是流的雅可比矩阵的逆定义的变换空间中评估。此外,我们还建立了它与黎曼流形的联系,并进一步将其推广到连续流,其中DSM的变化由一个常微分方程表征。
2021-07-21 cs.LG stat.ML
A Score-Based Density Formula, with Applications in Diffusion Generative Models
The Chinese University of Hong Kong(香港中文大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文通过建立连续时间扩散过程的密度公式,揭示了目标密度与分数函数的关系,并证明ELBO优化目标与真实目标的最小化点几乎一致,为DDPM等扩散生成模型的训练提供了理论基础。
2024-08-29 cs.AI cs.LG math.PR
Sampling is as easy as learning the score: theory for diffusion models with minimal data assumptions
University of California, Berkeley(加州大学伯克利分校);Massachusetts Institute of Technology(麻省理工学院);Microsoft Research(微软研究院);Carnegie Mellon University(卡内基梅隆大学);Duke University(杜克大学)
本文在仅需L2准确得分估计和最小数据假设下,为基于得分的生成模型建立了高效采样理论,证明其复杂度与朗之万扩散离散化的最优保证相当,并指出临界阻尼朗之万扩散并不能降低模型复杂度。
2023-04-15 cs.LG math.ST stat.TH
Minimax Optimality of Score-Entropy Discrete Diffusion
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Cornell University(康奈尔大学)
本文研究得分-熵离散扩散(SEDD)的统计极限,针对均匀和掩码离散扩散模型建立极小极大下界,提出匹配下界的MLE阈值估计器,证明SEDD经合适设置可达到接近最优的极小极大样本复杂度。
2026-08-24 cs.LG stat.ML
Score-Based Generative Modeling with Critically-Damped Langevin Diffusion
NVIDIA(英伟达);University of Waterloo(滑铁卢大学);Vector Institute(矢量研究所)
基于分数的生成模型(SGM)已经证明了显着的合成质量。SGM依赖于扩散过程,该过程逐渐将数据扰动到易于处理的分布,而生成模型则学习去噪。除了数据分布本身之外,这种去噪任务的复杂性唯一地由扩散过程决定。我们认为,目前的SGM采用过于简单的扩散,导致不必要的复杂的去噪过程,这限制了生成建模性能。基于统计力学的连接,我们提出了一种新的临界阻尼朗之万扩散(CLD),并表明基于CLD的SGMs实现优越的性能。CLD可以被解释为在扩展空间中运行联合扩散,其中辅助变量可以被认为是耦合到数据变量的“速度”,如在哈密顿动力学中。我们推导出一个新的分数匹配CLD的目标,并表明该模型只需要学习的条件分布的速度给定的数据,一个更容易的任务比学习分数的数据直接的得分函数。我们还得到了一个新的采样方案,有效的合成CLD为基础的扩散模型。我们发现,CLD优于以前的SGM在合成质量相似的网络架构和采样计算预算。我们表明,我们的新型采样器CLD显着优于求解器,如欧拉-丸山。我们的框架为基于分数的去噪扩散模型提供了新的见解,并且可以很容易地用于高分辨率图像合成。项目页面和代码:https://nv-tlabs.github.io/CLD-SGM.
2022-03-25 cs.LG stat.ML
CSDI: Conditional Score-based Diffusion Models for Probabilistic Time Series Imputation
Stanford University(斯坦福大学);Mitsubishi UFJ Trust Investment Technology Institute(三菱日联信托投资技术研究所);Japan Digital Design(日本数字设计公司)
时间序列中缺失值的插补在医疗保健和金融领域有许多应用。虽然自回归模型是时间序列插补的自然候选者,但基于分数的扩散模型最近在许多任务(例如图像生成和音频合成)中优于包括自回归模型在内的现有对应模型,并且将有希望用于时间序列插补。在本文中,我们提出了基于条件分数的扩散模型插补(CSDI),一种新的时间序列插补方法,利用基于观测数据的条件分数的扩散模型。与现有的基于分数的方法不同,条件扩散模型被明确地训练用于插补,并且可以利用观察值之间的相关性。在医疗保健和环境数据上,CSDI比现有的流行性能指标的概率估算方法提高了40-65%。此外,与最先进的确定性插补方法相比,CSDI的确定性插补将误差降低了5-20%。此外,CSDI还可以应用于时间序列插值和概率预测,与现有的基线相比具有竞争力。该代码可在https://github.com/ermongroup/CSDI上获得。
2021-10-27 cs.LG stat.ML
Sequential Neural Score Estimation: Likelihood-Free Inference with Conditional Score Based Diffusion Models
Lancaster University(兰开斯特大学);University of Bristol(布里斯托尔大学)
提出序贯神经后验分数估计(SNPSE)方法,利用条件分数扩散模型直接估计后验分数生成样本,通过序贯训练指导模拟以降低成本,在数值实验中表现优于或可比SNPE等现有方法。
2024-06-03 cs.LG stat.ML
Query Lower Bounds for Diffusion Sampling
UT Austin(德克萨斯大学奥斯汀分校)
本文研究了扩散采样中查询次数的下限,证明了在多维分布下,任何采样算法需要至少O(√d)次适应性查询,解释了多尺度噪声调度的必要性。
2026-09-30 cs.AI cs.DS cs.LG
Asymptotic Learning Curves for Diffusion Models with Random Features Score and Manifold Data
研究扩散模型中去噪得分匹配的理论行为,当数据分布支持在低维流形上且得分用随机特征神经网络参数化时,推导高维极限下测试、训练和得分误差的渐近精确表达式,发现线性流形样本复杂度与内在维度线性相关,而非线性流形则削弱低维结构优势。
2026-06-25 cs.LG stat.ML
From Score Approximation to Distribution Approximation in Score-Based Diffusion Models
研究基于得分的扩散模型中得分近似与分布近似的关系,利用经典神经网络近似理论等,通过推导显式上界,建立两者定量联系,给出从得分函数近似到反向扩散模型概率分布近似的简单明确保证。
2026-07-27 cs.IT cs.LG math.IT
FP-Diffusion: Improving Score-based Diffusion Models by Enforcing the Underlying Score Fokker-Planck Equation
Sony AI(索尼人工智能研究所);Sony Group Corporation(索尼集团公司);Stanford University(斯坦福大学)
本研究发现基于去噪得分匹配的扩散模型学到的得分不满足得分福克-普朗克方程,提出对目标函数正则化以强制满足该方程,提升了模型的似然与保守性。
2023-06-14 cs.AI cs.LG
Operator-Informed Score Matching for Markov Diffusion Models
Newcastle University(新castle大学);King’s College London(伦敦国王学院);The Alan Turing Institute(艾伦·图灵研究所)
本文提出算子信息得分匹配方法,利用马尔可夫加噪过程的谱分解,仅用数据样本均值同时估计所有边际分布的得分函数,为低维生成提供独立方法,并改进高维神经得分估计器。
2025-05-24 cs.LG stat.ML
Tightening the Score Matching Gap for Diffusion Models
针对扩散模型的得分匹配间隙问题,该研究利用得分估计器正则性与反向过程收缩性,推导三类指标的更紧边界,揭示低噪声尺度下得分近似质量对缩窄间隙的关键作用。
2026-07-07 cs.LG stat.ML
A Stochastic Analysis Perspective on Diffusion Models
本文从随机分析视角研究基于分数的生成模型,结合经典采样理论等思想,关联朗之万采样与分数匹配,提出扩散时间反转的路径空间处理,连接理想反向扩散与实际生成算法。
2026-10-14 cs.LG math.PR stat.ML
When Are Two Scores Better Than One? Investigating Ensembles of Diffusion Models
Université Côte d’Azur(索邦大学(海岸));Inria(法国国家科学研究中心);CNRS(法国国家科学研究中心);I3S(信息科学与系统研究所);Maasai(马赛机构);Julius-Maximilians-Universität Würzburg(维尔茨堡约瑟夫-玛克西米利安大学);Institute for Computer Science(计算机科学研究所);CAIDAS(计算机辅助设计与应用研究所);LJAD(图像与视觉研究所)
本文研究了扩散模型集成对生成建模的影响,发现虽然集成能提升模型性能,但对感知质量指标效果有限,并通过实验和理论分析探讨了其局限性。
2026-01-21 cs.CV cs.LG math.ST
Convergence of Score-Based Discrete Diffusion Models: A Discrete-Time Analysis
Fudan University(复旦大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
针对离散状态扩散模型收敛性研究不足的问题,本文在CTMC框架下提出一般状态空间[S]^d的离散时间采样算法,推导KL散度和TV距离的收敛界,其维度d近乎线性,为离散时间采样提供理论支撑。
2025-04-12 cs.LG stat.ML
Exploiting the Exact Denoising Posterior Score in Training-Free Guidance of Diffusion Models
PhysicsX Ltd.(PhysicsX有限公司)
本研究提出纯去噪任务下精确后验分数的可求解新表达式,分析DPS分数的时间相关误差并动态计算步长最小化误差,该方法性能比肩SOTA且采样步数少于DPS,步长可迁移至多种图像逆问题。
2025-06-16 cs.CV cs.LG stat.ML
A Variational Perspective on Diffusion-Based Generative Models and Score Matching
University of Montreal(蒙特利尔大学);Mila(米拉)
基于离散时间扩散的生成模型和分数匹配方法在高维图像数据建模方面显示出了良好的效果。最近,Song等人(2021)表明,将数据转换为噪声的扩散过程可以通过学习得分函数(即扰动数据的对数密度的梯度)来逆转。他们建议将学习的得分函数插入到逆公式中,以定义生成扩散过程。尽管在经验上取得了成功,但这一程序仍然缺乏理论基础。在这项工作中,我们直接接近(连续时间)生成扩散,并推导出一个变分框架的似然估计,其中包括连续时间规范化流作为一个特殊情况下,可以看作是一个无限深的变分自编码器。在这个框架下,我们证明了最小化分数匹配损失相当于最大化Song等人(2021)提出的插入式反向搜索的可能性下限,弥合了理论差距。
2021-09-30 cs.LG
Score Jacobian Chaining: Lifting Pretrained 2D Diffusion Models for 3D Generation
Purdue University(普渡大学);TTI-Chicago(丰田工业大学芝加哥分校)
扩散模型学习预测梯度的矢量场。我们建议在学习的梯度上应用链式规则,并通过可微分渲染器的雅可比矩阵反向传播扩散模型的分数,我们将其实例化为体素辐射场。此设置将多个相机视点处的2D分数聚合为3D分数,并将预训练的2D模型重新用于3D数据生成。我们确定了这个应用中出现的分布不匹配的技术挑战,并提出了一种新的估计机制来解决它。我们在几个现成的扩散图像生成模型上运行我们的算法,包括最近发布的在大规模LAION数据集上训练的稳定扩散。
2022-12-01 cs.CV cs.LG
Score Augmentation for Diffusion Models
针对扩散模型在数据受限时的过拟合问题,提出新型数据增强框架 ScoreAug,通过对含噪数据进行变换并设定等变学习目标,有效缓解过拟合并提升性能。
2025-08-11 cs.LG
Probability flow ODEs in score-based and reflected diffusion models
University of Oxford(牛津大学)
本文为基于分数和反射扩散模型的概率流常微分方程采样器提供理论分析,确定流存在条件,揭示稳定性与速度误差的关系,并给出设计原则,通过数值实验验证。
2026-10-06 cs.LG math.PR stat.ML
Nearest Neighbour Score Estimators for Diffusion Generative Models
University of British Columbia(不列颠哥伦比亚大学);Inverted AI
本文提出一种基于最近邻的得分估计器,利用训练集多个样本降低方差,显著提升一致性模型的收敛速度与样本质量,并可替代扩散模型中学习网络进行概率流ODE积分。
2024-07-16 cs.CV cs.LG stat.ML
To smooth a cloud or to pin it down: Guarantees and Insights on Score Matching in Denoising Diffusion Models
University of Oxford(牛津大学);University of Cambridge(剑桥大学)
本文研究去噪扩散模型的得分匹配,利用与Föllmer drift相关的随机控制联系,将神经网络近似结果扩展到扩散模型和采样器。
2024-06-26 cs.LG stat.ML
How Much is Enough? A Study on Diffusion Times in Score-based Generative Models
EURECOM(欧洲通信学院);Huawei Technologies(华为技术有限公司)
本文研究基于分数扩散模型中扩散时间 T 的权衡,提出用辅助模型弥补短时间前向动力学与理想噪声分布间的差距,从而提升训练与采样效率并保持图像生成质量。
2022-06-10 cs.LG stat.ML
Analyzing Neural Network-Based Generative Diffusion Models through Convex Optimization
Stanford University(斯坦福大学)
本研究通过将分数匹配和去噪分数匹配转化为凸优化,为基于两层神经网络的扩散模型建立了理论框架,证明了浅层网络训练可归结为单个凸程序,并在有限数据下精确刻画了预测分数函数与收敛性。
2024-05-22 cs.LG math.OC
Score-based Diffusion Models via Stochastic Differential Equations -- a Technical Tutorial
Department of Industrial Engineering and Operations Research, Columbia University(工业工程与运筹学系,哥伦比亚大学)
本文是一篇技术教程,系统介绍基于随机微分方程的得分扩散模型,重点阐述采样与得分匹配两大核心方法,并讨论一致性模型和强化学习等相关技术。
2025-07-05 cs.LG math.HO
Diffusion Model for Manifold Data: Score Decomposition, Curvature, and Statistical Complexity
Georgia Tech(佐治亚理工学院);Princeton University(普林斯顿大学);Northwestern University(西北大学)
本文研究扩散模型如何学习流形数据,通过分析分数函数的分解和曲率影响,提出高效的神经网络近似方法,并推导出基于数据内在维度和曲率的统计学习率。
2026-04-28 cs.LG
Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers
The Ohio State University(俄亥俄州立大学);University of Kentucky(肯塔基大学)
本文首次为分数不匹配扩散采样器提供显式维度依赖的性能保证,揭示渐近偏差与累积不匹配成正比,并据此设计偏差最优零样本条件采样器,适用于线性条件模型及多种目标分布。
2025-03-26 cs.LG stat.ML
Laplacian Score Sharpening for Mitigating Hallucination in Diffusion Models
Indian Institute of Technology, Roorkee(印度理工学院罗尔基分校);National University of Singapore(新加坡国立大学)
针对扩散模型因模式插值和分数平滑导致的幻觉问题,提出基于分数拉普拉斯(锐度)的后处理调整方法,通过高效拉普拉斯近似减少1D、2D及高维图像数据中的幻觉样本率,并分析拉普拉斯与分数不确定性的关系。
2025-11-10 cs.AI cs.CV cs.LG
Faster Training of Diffusion Models and Improved Density Estimation via Parallel Score Matching
Inria(法国国家信息与自动化研究所)
针对 DPMs 单网络训练慢、容量受限的问题,本文按时间区间乃至每个时间点拆分分数匹配任务,用独立网络并行学习,从而加速训练并提升密度估计。
2023-06-05 cs.LG stat.ML
Soft Diffusion: Score Matching for General Corruptions
Google Research(谷歌研究院);UT Austin(得克萨斯大学奥斯汀分校)
我们定义了一个更广泛的家庭腐败过程,概括了以前已知的扩散模型。为了扭转这些一般的扩散,我们提出了一个新的目标,称为软分数匹配,可证明学习任何线性腐败过程的分数函数,并为CelebA产生最先进的结果。软分数匹配结合了网络中的退化过程。我们的新损失训练模型预测一个干净的图像,\textit{that after corruption},匹配扩散观察。我们表明,我们的目标学习梯度的可能性在适当的规律性条件下的一个家庭的腐败过程。我们进一步开发了一种原则性的方法来选择一般扩散过程的腐败水平和一种新的采样方法,我们称之为动量采样器。我们的实验表明,我们的框架适用于一般的线性腐败过程,如高斯模糊和掩蔽。我们在CelebA-64上实现了最先进的FID评分$1.85$,优于所有先前的线性扩散模型。与香草去噪扩散相比,我们还显示出显着的计算优势。
2022-10-05 cs.AI cs.CV cs.LG
Score-based Continuous-time Discrete Diffusion Models
Georgia Tech(佐治亚理工学院);Carnegie Mellon University(卡内基梅隆大学);Google Research(谷歌研究院);University of Alberta(阿尔伯塔大学)
基于分数的随机微分方程(SDEs)建模为扩散模型提供了一个新的视角,并在连续数据上表现出优越的性能。然而,对数似然函数的梯度,即,分数函数对于离散空间没有适当地定义。这使得使\textcolor{\cdiff}{the score-based modeling}适应分类数据变得非常重要。在本文中,我们通过引入一个随机跳过程,其中逆过程通过连续时间马尔可夫链去噪,将扩散模型推广到离散变量。该公式允许在向后采样期间进行分析模拟。为了学习相反的过程,我们将分数匹配扩展到一般的分类数据,并表明通过简单的条件边缘分布匹配可以获得无偏估计。我们证明了所提出的方法的有效性,一组合成和现实世界的音乐和图像基准。
2023-03-06 cs.LG
MCMC-Correction of Score-Based Diffusion Models for Model Composition
Fraunhofer-Chalmers Centre, Gothenburg, SE-412 88, Sweden(弗劳恩霍夫-查尔姆斯中心,哥德堡,瑞典)
本文提出基于分数的扩散模型结合MCMC校正,通过引入基于分数函数线积分的接受规则,实现无需显式能量参数化的高效采样,提升模型组合性能。
2026-04-01 cs.LG stat.ML
Diffusion Models Observe Only Gradients: A Geometric Perspective on Score Matching Errors
University of Cambridge(剑桥大学)
本文从几何角度揭示L2分数误差不是衡量边缘分布质量的正确指标,通过Helmholtz-Hodge分解将分数误差分解为梯度分量和螺线管分量,证明只有梯度分量影响Fokker-Planck动力学,并给出仅依赖于梯度分量的KL散度上界及可计算的梯度分量估计器。
2026-11-05 cs.LG stat.ML
Score-based diffusion models for severely ill-posed problems in diffuse optical tomography
LUT University(拉彭兰塔-拉赫蒂理工大学);TU Wien(维也纳工业大学);University of Oulu(奥卢大学)
本文提出基于分数的扩散模型用于扩散光学断层扫描,通过混合分数正则化方法提升病态问题的后验抽样性能。
2026-09-18 cs.LG stat.AP stat.ML
Improving Compositional Generation with Diffusion Models Using Lift Scores
提出基于提升分数的重采样准则,无需额外训练即可改进扩散模型的组合生成,在多个任务上显著提升条件对齐。
2025-05-25 cs.AI cs.CV cs.LG
On the Interpolation Effect of Score Smoothing in Diffusion Models
Google Research(谷歌研究)
研究分数平滑如何通过去噪动态在一维子空间内插值训练数据,并通过理论和实验验证神经网络学习分数函数的自然效果。
2026-07-21 cs.LG math.OC stat.ML
The Score Hamiltonian: Mapping Diffusion Models to Adiabatic Transport
Computer Science Department, Princeton University(普林斯顿大学计算机科学系);ORFE Department, Princeton University(普林斯顿大学ORFE系)
本文通过构建得分哈密顿量,建立了基于得分的扩散模型采样与薛定谔算子基态绝热输运之间的精确对应关系,并利用绝热定理推导了密度重建误差界和退火调度方案。
2026-07-30 cs.AI cs.LG math-ph
Score-Optimal Diffusion Schedules
University of Oxford(牛津大学)
针对去噪扩散模型采样离散化调度缺乏通用选择方法的问题,提出基于传输功代价函数的自适应最优调度算法,仅需估计Stein得分,无需调优,可复现人工搜索的高性能调度并取得有竞争力的FID分数。
2024-12-10 cs.LG stat.ML
Score-CDM: Score-Weighted Convolutional Diffusion Model for Multivariate Time Series Imputation
Central South University(中南大学);Aalborg University(奥尔堡大学);The Hong Kong Polytechnic University(香港理工大学);National University of Defense Technology(国防科技大学)
针对多元时间序列插补中局部与全局时间特征难以自适应权衡的问题,提出分数加权卷积扩散模型Score-CDM,通过分数图与自适应感受野模块平衡特征,在三个真实数据集上验证了有效性。
2024-05-21 cs.LG
From Scores to Gibbs Correctors: Accelerating Uniform-Rate Discrete Diffusion Models
The Ohio State University(俄亥俄州立大学)
提出吉布斯加速离散扩散(GADD)方法,利用具体分数函数构建吉布斯后验似然,无需额外训练即可实现均匀速率离散扩散模型的加速采样,达到$\mathcal{O}(\mathrm{polylog} (\varepsilon^{-1}))$的采样复杂度。
2026-05-26 cs.LG stat.ML
Score-based Generative Modeling Through Backward Stochastic Differential Equations: Inversion and Generation
Harvard University(哈佛大学)
本研究提出一种基于BSDE的新型扩散模型,通过适配现有分数函数确定目标分布的初始条件,证明了理论保证与Lipschitz网络的优势,可应用于扩散反演等多领域,为生成学习提供新方向。
2023-04-26 cs.AI cs.LG
Selective Underfitting in Diffusion Models
MIT(麻省理工学院);Harvard(哈佛大学)
本研究提出扩散模型“选择性欠拟合”的概念,指出其在输入空间部分区域精准逼近分数、部分区域欠拟合,通过表征区域和实验验证,为理解扩散模型的泛化与生成性能提供新的可验证见解。
2025-10-01 cs.LG
Kernel-Smoothed Scores for Denoising Diffusion: A Bias-Variance Study
Université Claude Bernard Lyon 1(克莱尔-伯纳德里昂1大学);Laboratoire SAF, ISFA, France(SAF实验室,ISFA,法国);Department of Mathematics University of Vienna, Austria(数学系,维也纳大学,奥地利);The Ohio State University, USA(俄亥俄州立大学,美国)
本文将扩散模型中的经验分数解释为真实分数的带噪版本,提出核平滑经验分数以降低方差,推导了KL散度渐近界,并揭示其等效于LED-KDE的双重正则化机制,从而有效缓解记忆现象并提升泛化能力。
2025-05-28 cs.LG math.PR stat.ML
Expressivity of Bi-Lipschitz Normalizing Flows: A Score-Based Diffusion Perspective
Center for Industrial Mathematics, University of Bremen(工业数学中心,不莱梅大学);Department of Theoretical Physics and Applied Mathematics, University of Cambridge(理论物理与应用数学系,剑桥大学)
本文从分数扩散模型的角度研究双 Lipschitz 正则化流的表达性,通过概率流ODE分析其分布逼近能力,并推导扩散运输的确定性收敛保证。
2026-05-07 cs.LG cs.NA math.NA
A Score-based Diffusion Model Approach for Adaptive Learning of Stochastic Partial Differential Equation Solutions
Toan Huynh(独立研究者);Ruth Lopez Fajardo(独立研究者);Guannan Zhang(独立研究者);Lili Ju(独立研究者);Feng Bao(独立研究者)
提出基于分数的扩散模型框架,在递归贝叶斯推断下通过物理编码与似然校正自适应学习随机偏微分方程解,并引入集成分数滤波器提升高维计算效率,在稀疏噪声观测下表现准确鲁棒。
2025-08-09 cs.LG math.DS math.PR
Diffusion models recover accurate mixture weights despite score function insensitivity
University of Chicago(芝加哥大学);Data Science Institute(数据科学研究所);Department of Computer Science(计算机科学系)
研究基于得分的生成模型在多模态分布中恢复混合权重的问题,通过定义扩散得分敏感性指数,证明其控制目标分布参数估计准确性,还展示了噪声调度对敏感性及模式放大的影响,此框架可用于恢复目标分布的定性参数。
2026-07-20 cs.LG math.PR stat.ML
Deterministic Dynamics of Sampling Processes in Score-Based Diffusion Models with Multiplicative Noise Conditioning
Department of Mathematical Data Science, Hanyang University, ERICA Campus(数学数据科学系,翰阳大学ERICA校区)
本文研究了基于乘性噪声条件的分数扩散模型采样过程的确定性动力学,揭示了模型在有限能力下仍能有效生成样本的理论原因。
2026-01-19 cs.LG
Taming Score-Based Diffusion Priors for Infinite-Dimensional Nonlinear Inverse Problems
University of Basel(巴塞尔大学);Rice University(莱斯大学);Ecole Polytechnique, IP Paris(巴黎综合理工学院(巴黎IP));University of California Irvine(加州大学欧文分校)
本文提出一种函数空间中的采样方法,利用无限维基于分数的扩散模型作为先验,结合Langevin型MCMC算法,解决非线性贝叶斯逆问题,并提供收敛性分析及实验验证。
2024-05-24 cs.LG cs.NA math.NA
Control Variate Score Matching for Diffusion Models
Google DeepMind(谷歌DeepMind);BIFOLD – Berlin Institute for the Foundations of Learning and Data(柏林学习与数据基础研究院);Machine Learning Group, Technische Universität Berlin(柏林技术大学机器学习组);Department of Artificial Intelligence, Korea University(韩国大学人工智能系);Max-Planck Institute for Informatics(马克斯·普朗克信息研究所)
本文提出CVSI方法,通过控制变量子框架统一DSI和TSI,降低方差并提升扩散模型的样本效率。
2026-09-02 cs.LG