Latent Target Score Matching, with an application to Simulation-Based Inference
University of Massachusetts Amherst(马萨诸塞大学阿姆赫斯特分校);NVIDIA(英伟达)
本文提出潜在目标分数匹配方法,通过利用联合分数降低方差,提升基于模拟推断任务的分数准确性和样本质量。
2026-02-06 cs.LG
Learning a Diffusion Model Policy from Rewards via Q-Score Matching
University of California, Berkeley(加州大学伯克利分校)
针对扩散模型策略未利用基于分数结构的问题,提出Q-分数匹配方法,通过关联策略分数与Q函数动作梯度更新策略,仅需对去噪模型求导,收敛策略具隐式多模态和探索性,实验验证其可行性且优于基线。
2025-02-13 cs.AI cs.LG
Maximum Likelihood Training for Score-Based Diffusion ODEs by High-Order Denoising Score Matching
Tsinghua University(清华大学);Peng Cheng Laboratory(鹏城实验室);Renmin University of China(中国人民大学)
基于分数的生成模型在生成质量和可能性方面具有优异的性能。他们通过将参数化评分网络与一阶数据得分函数相匹配来对数据分布进行建模。分数网络可以用来定义一个ODE(“基于分数的扩散ODE”),用于精确的似然评估。然而,ODE的可能性和分数匹配目标之间的关系尚不清楚。在这项工作中,我们证明,匹配的一阶分数是不足以最大限度地提高可能性的ODE,通过显示之间的差距的极大似然和分数匹配的目标。为了填补这一空白,我们表明,负似然的常微分方程可以通过控制第一,第二,第三阶分数匹配误差的范围内,我们进一步提出了一种新的高阶去噪分数匹配方法,使极大似然训练的分数为基础的扩散常微分方程。我们的算法保证了高阶匹配误差是有界的训练误差和低阶误差。我们根据经验观察到,通过高阶分数匹配,基于分数的扩散ODE在合成数据和CIFAR-10上都实现了更好的似然性,同时保持了高生成质量。
2022-06-27 cs.LG stat.ML
Implicit score matching meets denoising score matching: improved rates of convergence and log-density Hessian estimation
HSE University(俄罗斯高等经济大学)
本文提出通过隐式和去噪分数匹配方法改进收敛速率,并利用微分估计对数密度Hessian,为生成扩散模型的采样器收敛性提供理论支持。
2025-12-30 cs.LG math.ST stat.ML
Anomaly Detection via Gumbel Noise Score Matching
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
提出Gumbel Noise Score Matching(GNSM)无监督异常检测方法,通过估计连续松弛类别分布的分数检测异常,在表格数据集表现优异并能有效识别图像分割失败。
2023-04-06 cs.AI cs.CV cs.LG
Optimizing Input of Denoising Score Matching is Biased Towards Higher Score Norm
AIR & CST, Tsinghua University(人工智能研究院与计算科学与技术系,清华大学)
本文指出用去噪分数匹配优化扩散模型条件输入会打破其与精确分数匹配的等价性,产生偏向更高分数范数的偏差,该偏差也存在于预训练扩散模型优化数据分布场景中,还会影响多个跨领域相关工作。
2025-11-13 cs.CV cs.LG
Score Matching for Estimating Finite Point Processes
Department of Statistics University of Wisconsin-Madison(统计学系威斯康星大学麦迪逊分校);School of Statistics and Data Science Southeast University(统计学与数据科学学院东南大学);Center for Applied Statistics and School of Statistics Renmin University of China(应用统计中心与统计学系中国人民大学)
本文提出了一种针对有限点过程的评分匹配方法,通过引入加权评分匹配估计器和生存分类增强,解决了传统方法的归一化问题,实现了高效且准确的时空点过程建模。
2025-12-04 cs.LG
Soft Diffusion: Score Matching for General Corruptions
Google Research(谷歌研究院);UT Austin(得克萨斯大学奥斯汀分校)
我们定义了一个更广泛的家庭腐败过程,概括了以前已知的扩散模型。为了扭转这些一般的扩散,我们提出了一个新的目标,称为软分数匹配,可证明学习任何线性腐败过程的分数函数,并为CelebA产生最先进的结果。软分数匹配结合了网络中的退化过程。我们的新损失训练模型预测一个干净的图像,\textit{that after corruption},匹配扩散观察。我们表明,我们的目标学习梯度的可能性在适当的规律性条件下的一个家庭的腐败过程。我们进一步开发了一种原则性的方法来选择一般扩散过程的腐败水平和一种新的采样方法,我们称之为动量采样器。我们的实验表明,我们的框架适用于一般的线性腐败过程,如高斯模糊和掩蔽。我们在CelebA-64上实现了最先进的FID评分$1.85$,优于所有先前的线性扩散模型。与香草去噪扩散相比,我们还显示出显着的计算优势。
2022-10-05 cs.AI cs.CV cs.LG
Neural Score Matching for High-Dimensional Causal Inference
University of Oxford(牛津大学);University College London(伦敦大学学院);Alan Turing Institute(艾伦·图灵研究所)
本文提出神经评分匹配方法,通过神经网络获取多变量平衡分数以解决高维因果推断中的匹配问题,展示了其在治疗效应估计和减少不平衡方面的有效性。
2026-02-11 cs.LG stat.ML
Sample Complexity Bounds for Score-Matching: Causal Discovery and Generative Modeling
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);Institute of Science Technology Austria(奥地利科学技术研究所)
本文为分数匹配方法建立了统计样本复杂度界,证明用深度ReLU网络和随机梯度下降可准确估计分数函数,并给出其在因果发现和生成建模中的误差上界。
2023-10-27 cs.LG stat.ML
Score Distillation of Flow Matching Models
Apple(苹果公司)
本文提出了一种适用于文本到图像流匹配模型的分数蒸馏方法,通过统一高斯扩散和流匹配模型,实现了高效的生成加速。
2025-12-03 cs.AI cs.CV cs.LG
A Variational Perspective on Diffusion-Based Generative Models and Score Matching
University of Montreal(蒙特利尔大学);Mila(米拉)
基于离散时间扩散的生成模型和分数匹配方法在高维图像数据建模方面显示出了良好的效果。最近,Song等人(2021)表明,将数据转换为噪声的扩散过程可以通过学习得分函数(即扰动数据的对数密度的梯度)来逆转。他们建议将学习的得分函数插入到逆公式中,以定义生成扩散过程。尽管在经验上取得了成功,但这一程序仍然缺乏理论基础。在这项工作中,我们直接接近(连续时间)生成扩散,并推导出一个变分框架的似然估计,其中包括连续时间规范化流作为一个特殊情况下,可以看作是一个无限深的变分自编码器。在这个框架下,我们证明了最小化分数匹配损失相当于最大化Song等人(2021)提出的插入式反向搜索的可能性下限,弥合了理论差距。
2021-09-30 cs.LG
Score matching enables causal discovery of nonlinear additive noise models
EPFL(洛桑联邦理工学院);Amazon Web Services(亚马逊云科技)
本文演示了如何从非线性加性(高斯)噪声模型中的数据分布的分数中恢复因果图。使用分数匹配算法作为一个积木,我们展示了如何设计新一代的可扩展的因果发现方法。为了展示我们的方法,我们还提出了一种新的有效方法来近似分数的雅可比矩阵,从而能够恢复因果图。从经验上讲,我们发现,新的算法,称为SCORE,是最先进的因果发现方法的竞争力,同时显着更快。
2022-03-08 cs.LG stat.ML
Target Score Matching
Google DeepMind(谷歌DeepMind);Isomorphic Labs(同构实验室)
针对去噪分数匹配在低噪声水平下分数估计较差的局限,本文提出目标分数恒等式与目标分数匹配回归损失,利用已知的目标分数知识,获得在低噪声水平下具有良好性质的分数估计。
2024-02-13 cs.LG stat.CO stat.ML
Hamiltonian Score Matching and Generative Flows
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);NVIDIA(英伟达)
本文提出哈密顿速度预测器,并据此构建HSM分数匹配方法与HGFs生成模型,将扩散和流匹配统一为零力场特例,实验证明其竞争力。
2024-10-27 cs.LG stat.ML
ScoreMatchingRiesz: Score Matching for Debiased Machine Learning and Policy Path Estimation
ScoreMatchingRiesz通过分数匹配方法实现去偏机器学习和政策路径估计,提升政策效应的可解释性。
2026-01-29 cs.LG econ.EM math.ST
Score-Regularized Joint Sampling with Importance Weights for Flow Matching
University of California San Diego(加州大学圣地亚哥分校)
针对流匹配模型在有限采样预算下估计函数期望难的问题,提出非IID采样框架,用分数正则化平衡多样性与质量,还开发非IID流样本重要性加权方法,提升了流匹配模型输出的可靠表征。
2026-07-07 cs.AI cs.CV cs.LG
Tightening the Score Matching Gap for Diffusion Models
针对扩散模型的得分匹配间隙问题,该研究利用得分估计器正则性与反向过程收缩性,推导三类指标的更紧边界,揭示低噪声尺度下得分近似质量对缩窄间隙的关键作用。
2026-07-07 cs.LG stat.ML
Local Curvature Smoothing with Stein's Identity for Efficient Score Matching
LY Corporation(LY公司);Sakana AI;University of Tsukuba(筑波大学)
本文提出结合 Stein 恒等式的局部曲率平滑分数匹配方法 LCSS,以避免高代价 Jacobian 迹计算,并在多项图像生成指标及 1024×1024 高分辨率生成中验证其效果。
2024-12-06 cs.CV cs.LG
On tuning consistent annealed sampling for denoising score matching
Dolby Laboratories(杜比实验室)
基于得分的生成模型为图像和音频合成提供最先进的质量。从这些模型的采样迭代地执行,通常采用一系列离散化的噪声水平和预定义的方案。在本文中,我们首先概述了三种常见的采样方案,用于使用去噪得分匹配训练的模型。接下来,我们将重点放在其中之一,一致退火采样,并研究其超参数边界。然后,我们强调了这种超参数的可能配方,明确考虑这些边界,并方便调整时,使用很少或可变数量的步骤。最后,我们强调了与其他抽样方案的制定的一些连接。
2021-04-08 cs.AI cs.CV cs.LG
Global Optimization By Gradient From Hierarchical Score-Matching Spaces
本文提出一种基于分数匹配的梯度优化方法,统一处理各种复杂约束的优化问题,通过实验验证其有效性,并揭示了全局优化与扩散生成模型之间的深层联系。
2026-03-18 cs.LG
Is Score Matching Suitable for Estimating Point Processes?
Renmin University of China(中国人民大学);University of Technology Sydney(悉尼科技大学)
针对现有得分匹配估计器在通用点过程估计中失效的问题,提出加权得分匹配估计器,证明其一致性与收敛速率,实验验证其有效性并开源代码。
2024-10-05 cs.LG stat.ML
Sequential Change Point Detection via Denoising Score Matching
Carnegie Mellon University(卡内基梅隆大学);University of Minnesota(明尼苏达大学);Georgia Institute of Technology(佐治亚理工学院)
本文提出一种基于去噪分数匹配的CUSUM变点检测方法,通过估计数据分布分数函数来检测分布变化,理论分析和实验证明其在高维复杂数据中有效。
2025-01-22 cs.LG stat.ML
Operator-Informed Score Matching for Markov Diffusion Models
Newcastle University(新castle大学);King’s College London(伦敦国王学院);The Alan Turing Institute(艾伦·图灵研究所)
本文提出算子信息得分匹配方法,利用马尔可夫加噪过程的谱分解,仅用数据样本均值同时估计所有边际分布的得分函数,为低维生成提供独立方法,并改进高维神经得分估计器。
2025-05-24 cs.LG stat.ML
Autoregressive Score Matching
Stanford University(斯坦福大学)
自回归模型使用链式规则将联合概率分布定义为条件的乘积。这些条件需要规范化,对可以使用的函数族施加约束。为了增加灵活性,我们提出了自回归条件得分模型(AR-CSM),在该模型中,我们根据单变量对数条件(得分)的导数对联合分布进行参数化,而无需进行归一化。为了训练AR-CSM,我们引入了一种新的分布之间的分歧,称为复合得分匹配(CSM)。对于AR-CSM模型,数据和模型分布之间的这种差异可以有效地计算和优化,不需要昂贵的采样或对抗训练。与以往的分数匹配算法相比,我们的方法是更可扩展的高维数据和更稳定的优化。我们用大量的实验结果表明,它可以应用于合成数据的密度估计,图像生成,图像去噪,和隐式编码器训练潜变量模型。
2020-10-24 cs.LG stat.ML
Interpreting diffusion score matching using normalizing flow
University of Cambridge(剑桥大学);Imperial College London(帝国理工学院)
评分匹配(SM)及其相关的Stein差异(SD)在模型训练和评估方面取得了巨大的成功。然而,最近的研究表明,它们在处理某些类型的分布时存在局限性。一种可能的解决方案是将原始分数匹配(或Stein差异)与扩散矩阵合并,这被称为扩散分数匹配(DSM)(或扩散Stein差异(DSD))。然而,缺乏对扩散的解释限制了其在简单分布和手动选择矩阵中的使用。在这项工作中,我们计划通过使用归一化流解释扩散矩阵来填补这一空白。具体来说,我们从理论上证明,DSM(或DSD)是等价于原始的分数匹配(或斯坦差异)的归一化流,其中的扩散矩阵是流的雅可比矩阵的逆定义的变换空间中评估。此外,我们还建立了它与黎曼流形的联系,并进一步将其推广到连续流,其中DSM的变化由一个常微分方程表征。
2021-07-21 cs.LG stat.ML
UNICORN: Ultrasound Nakagami Imaging via Score Matching and Adaptation
Kim JaeChul Graduate School of AI, KAIST(金在哲人工智能研究生院,韩国科学技术院)
针对现有超声Nakagami成像方法窗口选择难、估计不稳定、分辨率低的问题,提出UNICORN方法,通过超声包络分数函数实现闭式Nakagami参数估计,实验验证其在精度和分辨率上优于传统方法。
2024-03-10 cs.AI cs.CV cs.LG
Score-matching-based Structure Learning for Temporal Data on Networks
School of Mathematical Sciences, Shanghai Jiao Tong University(上海交通大学数学科学学院);University of Cambridge(剑桥大学)
本文提出PICK算法,通过改进父节点查找子程序提升分数匹配在处理独立同分布及时序网络数据时的效率与准确性。
2026-04-12 cs.LG stat.ML
Reward Score Matching: Unifying Reward-based Fine-tuning for Flow and Diffusion Models
Graduate School of AI, KAIST, Korea(人工智能研究生院,韩国科学技术院)
提出奖励分数匹配(RSM)框架,统一了多种基于奖励的微调方法,通过分数匹配与值引导目标对齐,简化了设计空间并提高了效率。
2026-08-27 cs.AI cs.CV cs.LG
Diffusion-based Denoising Beats Vanilla Score Matching in Parameter Estimation: A Theoretical Explanation
University of Hamburg(汉堡大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
本文通过理论分析证明,对于具有分离模态的多峰分布,基于扩散的去噪得分匹配估计器(DDSME)相比普通得分匹配估计器(SME)具有更优的误差界,并解释了扩散方法优越性的原因。
2026-08-21 cs.LG math.ST stat.ME
Adversarial score matching and improved sampling for image generation
University of Montreal(蒙特利尔大学);Microsoft Research Lab(微软研究院实验室)
去噪得分匹配与退火Langevin采样(DSM-ALS)最近发现在生成建模的成功。该方法的工作原理是首先训练一个神经网络来估计分布的分数,然后使用Langevin动力学从分数网络假设的数据分布中采样。尽管样本的视觉质量令人信服,但在Fréchet Inception Distance(生成模型的标准度量)下,这种方法的表现似乎比生成对抗网络(GANs)更差。我们表明,这种明显的差距消失时,使用分数网络去噪的最终Langevin样本。此外,我们提出了对DSM-ALS的两项改进:1)一致退火采样作为退火Langevin采样的更稳定的替代方案,以及2)混合训练公式,由去噪得分匹配和对抗目标组成。通过结合这两种技术和探索不同的网络架构,我们提升了分数匹配方法,并获得了与CIFAR-10上最先进的图像生成相竞争的结果。
2020-10-10 cs.CV cs.LG stat.ML
Fit Like You Sample: Sample-Efficient Generalized Score Matching from Fast Mixing Diffusions
Carnegie Mellon University(卡内基梅隆大学)
该研究揭示马尔可夫过程混合时间与广义得分匹配损失的关联,通过扩散预处理、温度提升等技术构建更优损失,证明有限高斯混合下退火得分匹配的样本复杂度为多项式级,突破原有下界。
2023-12-13 cs.DS cs.LG
Bi-level Score Matching for Learning Energy-based Latent Variable Models
Tsinghua University(清华大学)
分数匹配(SM)提供了一种引人注目的方法来学习基于能量的模型(EBM),通过避免计算分区函数。然而,它仍然在很大程度上是开放的学习基于能量的潜变量模型(EBLVMs),除了一些特殊情况。本文提出了一种双层得分匹配(BiSM)方法来学习EBLVMs的一般结构,通过将SM转化为一个双层优化问题。高层引入隐变量的变分后验,并优化修改后的SM目标,和低层优化变分后验,以适应真正的后验。为了有效地求解BiSM,我们开发了一个带有梯度展开的随机优化算法。在理论上,我们分析了BiSM的相容性和随机算法的收敛性。从经验上讲,我们在高斯限制玻尔兹曼机和深度卷积神经网络参数化的高度非结构EBLVMs中展示了BiSM的前景。BiSM在适用时可与广泛采用的对比发散和SM方法相媲美;并且可以学习具有难以处理的后验的复杂EBLVM以生成自然图像。
2020-10-16 cs.LG
Manifold Aware Denoising Score Matching (MAD)
Department of Statistics University of Oxford(牛津大学统计系);Department of Mathematics, Imperial College London, London, United Kingdom(伦敦帝国理工学院数学系)
本文提出了一种面向流形的去噪分数匹配方法,通过分解分数函数来隐式考虑流形,从而减少计算负担并提高效率。
2026-03-02 cs.AI cs.LG stat.ML
Robust Score Matching
School of Computation, Information and Technology(计算、信息与技术学院);Technical University of Munich(慕尼黑技术大学);University of Alberta(阿尔伯塔大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
本研究提出基于几何中位数均值的鲁棒分数匹配方法,在数据污染下仍保持指数族模型凸性,实现一致估计与支持恢复,并在无污染时性能不逊于标准方法,有污染时显著更优。
2025-01-09 cs.LG stat.ML
Connecting Score Matching, Maximum Likelihood, and Expectation-Maximization in Mixed Linear Regression
Purdue University(普渡大学)
本文研究混合线性回归中响应扩散的分数匹配,通过KL散度连接似然与EM算子,证明估计器收敛并给出梯度分解与数值验证。
2026-09-09 cs.LG stat.ML
Denoising Likelihood Score Matching for Conditional Score-based Data Generation
National Tsing Hua University(国立清华大学);Mediatek Inc.(联发科股份有限公司)
许多现有的基于条件分数的数据生成方法利用贝叶斯定理将对数后验密度的梯度分解为分数的混合。这些方法有助于条件得分模型的训练过程,因为可以使用得分模型和分类器分别估计得分的混合。然而,我们的分析表明,这些方法中的分类器的训练目标可能会导致严重的分数失配问题,这对应于估计分数偏离真实分数的情况。这样的问题导致样本在扩散过程中被偏离的分数误导,导致采样质量下降。为了解决这个问题,我们制定了一个新的训练目标,称为去噪似然分数匹配(DLSM)损失,分类器匹配的梯度的真实对数似然密度。我们的实验证据表明,所提出的方法优于以前的方法Cifar-10和Cifar-100基准显着的几个关键的评估指标。因此,我们可以得出结论,通过采用DLSM,条件分数可以准确地建模,并减轻分数不匹配问题的影响。
2022-03-27 cs.LG stat.ML
Heavy-tailed denoising score matching
University of Cambridge(剑桥大学)
在过去几年中,基于分数的模型研究已经通过采用高斯去噪得分匹配(DSM)产生了最先进的生成模型。然而,高斯噪声假设有几个高维的限制,激励一个更具体的路线,甚至更高的维度PDF估计在未来。我们概述了这一限制,然后将理论扩展到一个更广泛的家庭的噪声分布-即广义正态分布。从理论上讲,我们放松了(去噪)分数匹配理论中的一个关键假设,证明了几乎在任何地方都是可微的分布允许与高斯分布相同的客观简化。对于噪声向量范数分布,我们在深度学习中普遍存在的高维空间中展示了有利的测量集中度。在这个过程中,我们发现了一个偏斜的噪声向量范数分布,并开发了一个迭代噪声缩放算法,以始终初始化退火Langevin动力学(LD)中的多个级别的噪声。在实践方面,我们使用重尾DSM导致改进的分数估计,可控的采样收敛,以及更平衡的非平衡数据集的无条件生成性能。
2022-04-12 cs.LG stat.ML
Quantum score matching with applications to learning thermal states
University of Michigan(密歇根大学);Virginia Tech(弗吉尼亚理工大学)
本研究提出通用量子分数匹配框架,用于学习热态,在高温区实现最优样本复杂度,并在IBM硬件上将参数误差从64%降至约10%,无需误差缓解。
2026-09-24 cs.LG quant-ph
Finite Sample Bounds for Learning with Score Matching
Operations Research Center, Massachusetts Institute of Technology(麻省理工学院运筹学研究中心);Theoretical division, Los Alamos National Lab(洛斯阿拉莫斯国家实验室理论部)
本文研究了分数匹配在高维统计中学习指数族分布的有限样本界限,提出首个非渐近样本复杂度分析,揭示模型维度的多项式依赖关系。
2026-05-13 cs.DS cs.LG stat.ML
Taking a Big Step: Large Learning Rates in Denoising Score Matching Prevent Memorization
EPFL(洛桑联邦理工学院)
本文揭示大学习率在去噪得分匹配中作为隐式正则化机制,通过阻止神经网络收敛到经验最优得分来防止扩散模型记忆化训练数据,并在一维及更广泛设置中验证了该作用。
2025-05-06 cs.LG stat.ML
Semi-Implicit Variational Inference via Score Matching
Peking University(北京大学)
针对半隐式变分推断中变分分布密度难求解、现有方法依赖替代ELBO或高成本MCMC的问题,提出基于去噪得分匹配极小极大目标的SIVI-SM方法,在多种贝叶斯推断任务中准确率接近MCMC且优于现有基于ELBO的SIVI方法。
2023-08-19 cs.LG stat.ME stat.ML
Score Change of Variables
University of California, Irvine(加利福尼亚大学欧文分校);Department of Mathematics(数学系)
本文推导了得分函数的变量变换公式,并据此提出反向时间Itô引理和广义切片得分匹配,实现跨空间训练与采样,提升高维密度估计灵活性。
2025-02-24 cs.AI cs.LG math.PR
A Connection Between Score Matching and Local Intrinsic Dimension
PNNL(太平洋西北国家实验室);UNC Chapel Hill(北卡罗来纳大学教堂山分校);UC San Diego(圣地亚哥大学)
本文提出利用去噪分数匹配损失作为局部内在维度估计器,通过理论分析和实验验证其在高维数据中的有效性与可扩展性。
2026-10-30 cs.LG stat.ML
Exponential Family Model-Based Reinforcement Learning via Score Matching
UC Santa Cruz(加州大学圣克鲁兹分校);Northwestern University(西北大学);Yale University(耶鲁大学)
我们提出了一个乐观的基于模型的算法,被称为SMRL,有限时域情景强化学习(RL)时,过渡模型是由指数族分布与$d$参数和奖励是有界的和已知的。SMRL使用分数匹配,这是一种非归一化密度估计技术,可以通过岭回归有效估计模型参数。在标准的规律性假设下,SMRL实现了$\tilde O(d\sqrt{H^3T})$在线后悔,其中$H$是每个事件的长度,$T$是交互的总数(忽略对结构尺度参数的多项式依赖)。
2023-01-08 cs.LG stat.ML
Solving Inverse Physics Problems with Score Matching
Technical University of Munich(慕尼黑工业大学);Max Planck Institute for Astrophysics(马克斯·普朗克天体物理研究所)
本文结合近似逆物理模拟器与学习型校正函数,提出基于分数匹配和概率流最大似然训练的时间逆问题求解方法,在准确性、稳定性和后验采样上优于多种基线。
2023-12-05 cs.LG physics.data-an
Towards Healing the Blindness of Score Matching
University College London(伦敦大学学院)
本文提出了一种新的分歧家族,以缓解分数匹配在多模分布中的盲目性问题,并在密度估计中展示了改进的性能。
2025-11-22 cs.LG stat.ML
Latent Nonlinear Denoising Score Matching for Enhanced Learning of Structured Distributions
School of Mathematics(数学学院);Georgia Institute of Technology(佐治亚理工学院)
本文提出了一种结合非线性前向动力学与VAE的潜在SGM框架,通过改进的训练目标提升结构分布学习的效率和质量。
2026-10-28 cs.LG stat.ML
Convergence Dynamics of Over-Parameterized Score Matching for a Single Gaussian
Institute for Interdisciplinary Information Sciences(交叉信息科学研究所);Tsinghua University(清华大学);University of Washington(华盛顿大学)
本文研究了过参数化分数匹配在学习单个高斯分布时的收敛动力学,证明了在特定初始化条件下梯度下降的收敛性,并建立了收敛率的下界。
2025-11-27 cs.LG
What's the score? Automated Denoising Score Matching for Nonlinear Diffusions
Courant Institute of Mathematical Sciences, New York University(纽约大学柯朗数学科学研究所);Center for Data Science, New York University(纽约大学数据科学中心)
针对现有可处理扩散过程多为线性高斯、限制模型与问题适用范围的问题,本研究提出基于扩散局部增量的local-DSM去噪分数匹配目标,结合泰勒展开实现非线性扩散的自动训练与分数估计,在生成建模和统计物理场景验证了有效性。
2024-07-10 cs.LG stat.ML
Learning Gradually Non-convex Image Priors Using Score Matching
University Hospital Bonn(波恩大学医院);Graz University of Technology(格拉茨技术大学)
在本文中,我们提出了一个统一的框架去噪得分为基础的模型的背景下,渐进的非凸能量最小化。我们表明,足够大的噪声方差,相关的负对数密度-能量-成为凸。因此,基于去噪分数的模型基本上遵循分级非凸性启发式。我们应用这个框架来学习广义领域的专家图像先验近似的联合密度的噪声图像及其相关的方差。这些先验可以很容易地被纳入到现有的优化算法求解反问题,自然实现了快速和强大的渐进非凸性机制。
2023-02-21 cs.CV cs.LG
Generalized Score Matching for Non-Negative Data
University of Washington(华盛顿大学);University of Copenhagen(哥本哈根大学)
在估计概率密度函数的参数时,一个常见的挑战是归一化常数的棘手性。虽然在这种情况下,可以使用数值积分来实现极大似然估计,但是该方法在计算上变得密集。Hyvärinen [2005]的得分匹配方法避免了直接计算归一化常数,并得到了$\mathbb{R}^m$上连续分布的指数族的封闭形式估计。Hyvärinen [2007]将该方法扩展到非负正负号$\mathbb{R}_+^m$上支持的分布。在本文中,我们给出了一个广义形式的得分匹配的非负数据,提高了估计效率。作为一个例子,我们考虑一般类的成对相互作用模型。为了解决一个被忽视的不存在的问题,我们推广了Lin et al. [2016]的正则化得分匹配方法,并改进了其对非负高斯图模型的理论保证。
2019-05-19 cs.LG stat.ME stat.ML
Generalization error bound for denoising score matching under relaxed manifold assumption
HSE University(高等经济大学)
本文在放松流形假设下,推导了去噪分数匹配估计的非渐近误差界,揭示了收敛速度与内在维度的关系。
2025-06-17 cs.LG math.ST stat.ML
Generalised Score Matching on Convex Domains
Indian Institute of Science, Bengaluru(印度科学理工学院,班加罗尔)
本文从最小概率流学习出发,构造性地推导了凸域上的广义分数匹配目标,证明其作为二阶适当局部评分规则可恢复真实密度,并建立指数族模型的凸性与估计量一致性,实验验证了其有效性。
2026-10-08 cs.LG stat.ML