Tightening the Score Matching Gap for Diffusion Models
针对扩散模型的得分匹配间隙问题，该研究利用得分估计器正则性与反向过程收缩性，推导三类指标的更紧边界，揭示低噪声尺度下得分近似质量对缩窄间隙的关键作用。
2026-07-07 cs.LG stat.ML
Is Score Matching Suitable for Estimating Point Processes?
Renmin University of China（中国人民大学）；University of Technology Sydney（悉尼科技大学）
针对现有得分匹配估计器在通用点过程估计中失效的问题，提出加权得分匹配估计器，证明其一致性与收敛速率，实验验证其有效性并开源代码。
2024-10-05 cs.LG stat.ML
Sequential Change Point Detection via Denoising Score Matching
Carnegie Mellon University（卡内基梅隆大学）；University of Minnesota（明尼苏达大学）；Georgia Institute of Technology（佐治亚理工学院）
本文提出一种基于去噪分数匹配的CUSUM变点检测方法，通过估计数据分布分数函数来检测分布变化，理论分析和实验证明其在高维复杂数据中有效。
2025-01-22 cs.LG stat.ML
Operator-Informed Score Matching for Markov Diffusion Models
Newcastle University（新castle大学）；King’s College London（伦敦国王学院）；The Alan Turing Institute（艾伦·图灵研究所）
本文提出算子信息得分匹配方法，利用马尔可夫加噪过程的谱分解，仅用数据样本均值同时估计所有边际分布的得分函数，为低维生成提供独立方法，并改进高维神经得分估计器。
2025-05-24 cs.LG stat.ML
Autoregressive Score Matching
Stanford University（斯坦福大学）
自回归模型使用链式规则将联合概率分布定义为条件的乘积。这些条件需要规范化，对可以使用的函数族施加约束。为了增加灵活性，我们提出了自回归条件得分模型（AR-CSM），在该模型中，我们根据单变量对数条件（得分）的导数对联合分布进行参数化，而无需进行归一化。为了训练AR-CSM，我们引入了一种新的分布之间的分歧，称为复合得分匹配（CSM）。对于AR-CSM模型，数据和模型分布之间的这种差异可以有效地计算和优化，不需要昂贵的采样或对抗训练。与以往的分数匹配算法相比，我们的方法是更可扩展的高维数据和更稳定的优化。我们用大量的实验结果表明，它可以应用于合成数据的密度估计，图像生成，图像去噪，和隐式编码器训练潜变量模型。
2020-10-24 cs.LG stat.ML
Interpreting diffusion score matching using normalizing flow
University of Cambridge（剑桥大学）；Imperial College London（帝国理工学院）
评分匹配（SM）及其相关的Stein差异（SD）在模型训练和评估方面取得了巨大的成功。然而，最近的研究表明，它们在处理某些类型的分布时存在局限性。一种可能的解决方案是将原始分数匹配（或Stein差异）与扩散矩阵合并，这被称为扩散分数匹配（DSM）（或扩散Stein差异（DSD））。然而，缺乏对扩散的解释限制了其在简单分布和手动选择矩阵中的使用。在这项工作中，我们计划通过使用归一化流解释扩散矩阵来填补这一空白。具体来说，我们从理论上证明，DSM（或DSD）是等价于原始的分数匹配（或斯坦差异）的归一化流，其中的扩散矩阵是流的雅可比矩阵的逆定义的变换空间中评估。此外，我们还建立了它与黎曼流形的联系，并进一步将其推广到连续流，其中DSM的变化由一个常微分方程表征。
2021-07-21 cs.LG stat.ML
Score-matching-based Structure Learning for Temporal Data on Networks
School of Mathematical Sciences, Shanghai Jiao Tong University（上海交通大学数学科学学院）；University of Cambridge（剑桥大学）
本文提出PICK算法，通过改进父节点查找子程序提升分数匹配在处理独立同分布及时序网络数据时的效率与准确性。
2026-04-12 cs.LG stat.ML
Robust Score Matching
School of Computation, Information and Technology（计算、信息与技术学院）；Technical University of Munich（慕尼黑技术大学）；University of Alberta（阿尔伯塔大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
本研究提出基于几何中位数均值的鲁棒分数匹配方法，在数据污染下仍保持指数族模型凸性，实现一致估计与支持恢复，并在无污染时性能不逊于标准方法，有污染时显著更优。
2025-01-09 cs.LG stat.ML
Connecting Score Matching, Maximum Likelihood, and Expectation-Maximization in Mixed Linear Regression
Purdue University（普渡大学）
本文研究混合线性回归中响应扩散的分数匹配，通过KL散度连接似然与EM算子，证明估计器收敛并给出梯度分解与数值验证。
2026-09-09 cs.LG stat.ML
Implicit score matching meets denoising score matching: improved rates of convergence and log-density Hessian estimation
HSE University（俄罗斯高等经济大学）
本文提出通过隐式和去噪分数匹配方法改进收敛速率，并利用微分估计对数密度Hessian，为生成扩散模型的采样器收敛性提供理论支持。
2025-12-30 cs.LG math.ST stat.ML
Denoising Likelihood Score Matching for Conditional Score-based Data Generation
National Tsing Hua University（国立清华大学）；Mediatek Inc.（联发科股份有限公司）
许多现有的基于条件分数的数据生成方法利用贝叶斯定理将对数后验密度的梯度分解为分数的混合。这些方法有助于条件得分模型的训练过程，因为可以使用得分模型和分类器分别估计得分的混合。然而，我们的分析表明，这些方法中的分类器的训练目标可能会导致严重的分数失配问题，这对应于估计分数偏离真实分数的情况。这样的问题导致样本在扩散过程中被偏离的分数误导，导致采样质量下降。为了解决这个问题，我们制定了一个新的训练目标，称为去噪似然分数匹配（DLSM）损失，分类器匹配的梯度的真实对数似然密度。我们的实验证据表明，所提出的方法优于以前的方法Cifar-10和Cifar-100基准显着的几个关键的评估指标。因此，我们可以得出结论，通过采用DLSM，条件分数可以准确地建模，并减轻分数不匹配问题的影响。
2022-03-27 cs.LG stat.ML
Heavy-tailed denoising score matching
University of Cambridge（剑桥大学）
在过去几年中，基于分数的模型研究已经通过采用高斯去噪得分匹配（DSM）产生了最先进的生成模型。然而，高斯噪声假设有几个高维的限制，激励一个更具体的路线，甚至更高的维度PDF估计在未来。我们概述了这一限制，然后将理论扩展到一个更广泛的家庭的噪声分布-即广义正态分布。从理论上讲，我们放松了（去噪）分数匹配理论中的一个关键假设，证明了几乎在任何地方都是可微的分布允许与高斯分布相同的客观简化。对于噪声向量范数分布，我们在深度学习中普遍存在的高维空间中展示了有利的测量集中度。在这个过程中，我们发现了一个偏斜的噪声向量范数分布，并开发了一个迭代噪声缩放算法，以始终初始化退火Langevin动力学（LD）中的多个级别的噪声。在实践方面，我们使用重尾DSM导致改进的分数估计，可控的采样收敛，以及更平衡的非平衡数据集的无条件生成性能。
2022-04-12 cs.LG stat.ML
Taking a Big Step: Large Learning Rates in Denoising Score Matching Prevent Memorization
EPFL（洛桑联邦理工学院）
本文揭示大学习率在去噪得分匹配中作为隐式正则化机制，通过阻止神经网络收敛到经验最优得分来防止扩散模型记忆化训练数据，并在一维及更广泛设置中验证了该作用。
2025-05-06 cs.LG stat.ML
A Connection Between Score Matching and Local Intrinsic Dimension
PNNL（太平洋西北国家实验室）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）；UC San Diego（圣地亚哥大学）
本文提出利用去噪分数匹配损失作为局部内在维度估计器，通过理论分析和实验验证其在高维数据中的有效性与可扩展性。
2026-10-30 cs.LG stat.ML
Exponential Family Model-Based Reinforcement Learning via Score Matching
UC Santa Cruz（加州大学圣克鲁兹分校）；Northwestern University（西北大学）；Yale University（耶鲁大学）
我们提出了一个乐观的基于模型的算法，被称为SMRL，有限时域情景强化学习（RL）时，过渡模型是由指数族分布与$d$参数和奖励是有界的和已知的。SMRL使用分数匹配，这是一种非归一化密度估计技术，可以通过岭回归有效估计模型参数。在标准的规律性假设下，SMRL实现了$\tilde O(d\sqrt{H^3T})$在线后悔，其中$H$是每个事件的长度，$T$是交互的总数（忽略对结构尺度参数的多项式依赖）。
2023-01-08 cs.LG stat.ML
Towards Healing the Blindness of Score Matching
University College London（伦敦大学学院）
本文提出了一种新的分歧家族，以缓解分数匹配在多模分布中的盲目性问题，并在密度估计中展示了改进的性能。
2025-11-22 cs.LG stat.ML
Latent Nonlinear Denoising Score Matching for Enhanced Learning of Structured Distributions
School of Mathematics（数学学院）；Georgia Institute of Technology（佐治亚理工学院）
本文提出了一种结合非线性前向动力学与VAE的潜在SGM框架，通过改进的训练目标提升结构分布学习的效率和质量。
2026-10-28 cs.LG stat.ML
What's the score? Automated Denoising Score Matching for Nonlinear Diffusions
Courant Institute of Mathematical Sciences, New York University（纽约大学柯朗数学科学研究所）；Center for Data Science, New York University（纽约大学数据科学中心）
针对现有可处理扩散过程多为线性高斯、限制模型与问题适用范围的问题，本研究提出基于扩散局部增量的local-DSM去噪分数匹配目标，结合泰勒展开实现非线性扩散的自动训练与分数估计，在生成建模和统计物理场景验证了有效性。
2024-07-10 cs.LG stat.ML
Target Score Matching
Google DeepMind（谷歌DeepMind）；Isomorphic Labs（同构实验室）
针对去噪分数匹配在低噪声水平下分数估计较差的局限，本文提出目标分数恒等式与目标分数匹配回归损失，利用已知的目标分数知识，获得在低噪声水平下具有良好性质的分数估计。
2024-02-13 cs.LG stat.CO stat.ML
Generalised Score Matching on Convex Domains
Indian Institute of Science, Bengaluru（印度科学理工学院，班加罗尔）
本文从最小概率流学习出发，构造性地推导了凸域上的广义分数匹配目标，证明其作为二阶适当局部评分规则可恢复真实密度，并建立指数族模型的凸性与估计量一致性，实验验证了其有效性。
2026-10-08 cs.LG stat.ML
High-Dimensional Differential Parameter Inference in Exponential Family using Time Score Matching
School of Mathematics, University of Bristol（布里斯托大学数学学院）；USC Marshall School of Business（南加州大学马歇尔商学院）
本文提出利用时间得分匹配直接估计指数族时变模型参数的时间导数，证明了正则化目标的一致性和去偏估计量的有限样本正态性，并在高维图模型上验证了微分结构推断的有效性。
2025-04-05 cs.LG stat.ML
Denoising Score Matching with Random Fourier Features
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）
密度估计是统计学中的核心问题之一。尽管如此，现有的技术，如最大似然估计是计算效率低下，由于棘手的归一化常数。由于这个原因，对分数匹配的兴趣增加了，而与归一化常数无关。然而，这样的估计是一致的，只有与充分的空间支持的分布。使其一致的方法之一是将噪声添加到输入数据中，这被称为去噪得分匹配。在这项工作中，我们推导出解析表达式的去噪得分匹配使用核指数族作为模型分布。核指数族的使用是由这类密度的丰富性所激发的。为了解决计算复杂性，我们使用基于随机傅立叶特征的核函数近似。解析表达式允许删除基于高阶导数的额外正则化项，因为它们已经隐含地包含在内。此外，所获得的表达式显式地依赖于噪声方差，因此验证损失可以直接用于调整噪声水平。随着基准实验，该模型在各种合成分布进行了测试，以研究模型在不同情况下的行为。实证研究表明，可比的质量竞争的方法，而所提出的方法是计算速度更快。后者可以扩展到复杂的高维数据。
2021-01-13 cs.LG stat.ML
Adversarial score matching and improved sampling for image generation
University of Montreal（蒙特利尔大学）；Microsoft Research Lab（微软研究院实验室）
去噪得分匹配与退火Langevin采样（DSM-ALS）最近发现在生成建模的成功。该方法的工作原理是首先训练一个神经网络来估计分布的分数，然后使用Langevin动力学从分数网络假设的数据分布中采样。尽管样本的视觉质量令人信服，但在Fréchet Inception Distance（生成模型的标准度量）下，这种方法的表现似乎比生成对抗网络（GANs）更差。我们表明，这种明显的差距消失时，使用分数网络去噪的最终Langevin样本。此外，我们提出了对DSM-ALS的两项改进：1）一致退火采样作为退火Langevin采样的更稳定的替代方案，以及2）混合训练公式，由去噪得分匹配和对抗目标组成。通过结合这两种技术和探索不同的网络架构，我们提升了分数匹配方法，并获得了与CIFAR-10上最先进的图像生成相竞争的结果。
2020-10-10 cs.CV cs.LG stat.ML
From optimal score matching to optimal sampling
Yale University（耶鲁大学）；University of Chicago（芝加哥大学）
该研究针对基于得分的扩散模型的得分估计最优统计速率问题，推导了光滑紧支撑密度下得分估计的精确极小极大速率，证明扩散模型生成样本分布可达无对数项、无需提前停止的最优密度估计速率。
2024-09-11 cs.LG stat.ML
Latent Target Score Matching, with an application to Simulation-Based Inference
University of Massachusetts Amherst（马萨诸塞大学阿姆赫斯特分校）；NVIDIA（英伟达）
本文提出潜在目标分数匹配方法，通过利用联合分数降低方差，提升基于模拟推断任务的分数准确性和样本质量。
2026-02-06 cs.LG
Diffusion Models Observe Only Gradients: A Geometric Perspective on Score Matching Errors
University of Cambridge（剑桥大学）
本文从几何角度揭示L2分数误差不是衡量边缘分布质量的正确指标，通过Helmholtz-Hodge分解将分数误差分解为梯度分量和螺线管分量，证明只有梯度分量影响Fokker-Planck动力学，并给出仅依赖于梯度分量的KL散度上界及可计算的梯度分量估计器。
2026-11-05 cs.LG stat.ML
Discrete Score Matching Enables Causal Discovery from Count Data
Seoul National University（首尔大学）
针对计数数据因果发现中导数不可用的问题，提出基于条件曲率分数（CCS）和非对角曲率分数（OCS）的DISCO算法，实现半参数GLM DAG的识别与恢复，实验验证了多种分布下的准确性和可扩展性。
2026-10-01 cs.LG stat.ML
Finite Sample Bounds for Learning with Score Matching
Operations Research Center, Massachusetts Institute of Technology（麻省理工学院运筹学研究中心）；Theoretical division, Los Alamos National Lab（洛斯阿拉莫斯国家实验室理论部）
本文研究了分数匹配在高维统计中学习指数族分布的有限样本界限，提出首个非渐近样本复杂度分析，揭示模型维度的多项式依赖关系。
2026-05-13 cs.DS cs.LG stat.ML
Semi-Implicit Variational Inference via Score Matching
Peking University（北京大学）
针对半隐式变分推断中变分分布密度难求解、现有方法依赖替代ELBO或高成本MCMC的问题，提出基于去噪得分匹配极小极大目标的SIVI-SM方法，在多种贝叶斯推断任务中准确率接近MCMC且优于现有基于ELBO的SIVI方法。
2023-08-19 cs.LG stat.ME stat.ML
Efficient Learning of Generative Models via Finite-Difference Score Matching
Tsinghua University（清华大学）；Stanford University（斯坦福大学）
若干机器学习应用涉及高阶导数的优化（例如，梯度的梯度），即使在自动微分的情况下，这在存储器和计算方面也是昂贵的。作为生成式建模中的一个典型例子，分数匹配（SM）涉及到Hessian轨迹的优化。为了提高计算效率，我们重写SM目标及其变种的方向导数，并提出了一个通用的策略，有效地近似任意阶方向导数有限差分（FD）。我们的近似只涉及函数求值，可以并行执行，没有梯度计算。因此，它降低了总的计算成本，同时也提高了数值稳定性。我们提供了两个实例，通过重新制定到FD形式的SM目标的变体。从经验上讲，我们证明了我们的方法产生的结果与基于梯度的同行相比，同时计算效率更高。
2020-11-25 cs.LG stat.ML
Product Jacobi-Theta Boltzmann machines with score matching
TIF Lab, Dipartimento di Fisica, Università degli Studi di Milano and INFN Sezione di Milano（米兰大学物理系TIF实验室及意大利国家核物理研究所米兰分部）；Quantum Research Center, Technology Innovation Institute（技术创新研究所量子研究中心）；Department of Computational Biology, University of Lausanne（洛桑大学计算生物学系）；CERN, Theoretical Physics Department（欧洲核子研究中心理论物理系）；Sony Computer Science Laboratories Inc（索尼计算机科学实验室公司）
本文提出乘积雅可比-西塔玻尔兹曼机（pJTBM），作为RTBM的受限版本，并证明基于Fisher散度的分数匹配能以更高效率拟合概率密度。
2024-01-12 cs.LG stat.ML
ScoreMatchingRiesz: Score Matching for Debiased Machine Learning and Policy Path Estimation
ScoreMatchingRiesz通过分数匹配方法实现去偏机器学习和政策路径估计，提升政策效应的可解释性。
2026-01-29 cs.LG econ.EM math.ST
Optimizing Input of Denoising Score Matching is Biased Towards Higher Score Norm
AIR & CST, Tsinghua University（人工智能研究院与计算科学与技术系，清华大学）
本文指出用去噪分数匹配优化扩散模型条件输入会打破其与精确分数匹配的等价性，产生偏向更高分数范数的偏差，该偏差也存在于预训练扩散模型优化数据分布场景中，还会影响多个跨领域相关工作。
2025-11-13 cs.CV cs.LG
Faster Training of Diffusion Models and Improved Density Estimation via Parallel Score Matching
Inria（法国国家信息与自动化研究所）
针对 DPMs 单网络训练慢、容量受限的问题，本文按时间区间乃至每个时间点拆分分数匹配任务，用独立网络并行学习，从而加速训练并提升密度估计。
2023-06-05 cs.LG stat.ML
SMURF-THP: Score Matching-based UnceRtainty quantiFication for Transformer Hawkes Process
Georgia Institute of Technology（佐治亚理工学院）；Amazon（亚马逊）；The Chinese University of Hong Kong（香港中文大学）
提出SMURF-THP方法，基于分数匹配学习Transformer Hawkes过程并量化预测不确定性，避免了难以处理的似然积分计算，在置信度校准上优于现有方法且保持相当的预测准确率。
2023-10-25 cs.LG stat.ML
Concrete Score Matching: Generalized Score Matching for Discrete Data
Stanford University（斯坦福大学）；NVIDIA（英伟达）；CZ Biohub（陈·扎克伯格生物中心）
通过密度函数的梯度表示概率分布已被证明在对各种连续数据模态进行建模时是有效的。然而，这种表示法不适用于梯度未定义的离散域。为此，我们提出了一个类似的分数函数称为“具体的分数”，概括的（斯坦）分数离散设置。给定一个预定义的邻域结构，任何输入的具体分数都由概率相对于输入的局部方向变化的变化率定义。这个公式使我们能够恢复（斯坦）分数在连续域测量这种变化时，通过欧几里德距离，而使用曼哈顿距离导致我们的新的分数函数在离散域。最后，我们引入了一个新的框架来从样本中学习这样的分数，称为混凝土分数匹配（CSM），并提出了一个有效的训练目标来扩展我们的方法到高维。从经验上讲，我们证明了CSM对合成，表格和高维图像数据集的混合物上的密度估计任务的有效性，并证明了它相对于现有的离散数据建模基线表现良好。
2023-01-18 cs.AI cs.LG
Score Matching for Estimating Finite Point Processes
Department of Statistics University of Wisconsin-Madison（统计学系威斯康星大学麦迪逊分校）；School of Statistics and Data Science Southeast University（统计学与数据科学学院东南大学）；Center for Applied Statistics and School of Statistics Renmin University of China（应用统计中心与统计学系中国人民大学）
本文提出了一种针对有限点过程的评分匹配方法，通过引入加权评分匹配估计器和生存分类增强，解决了传统方法的归一化问题，实现了高效且准确的时空点过程建模。
2025-12-04 cs.LG
Diffusion-based Denoising Beats Vanilla Score Matching in Parameter Estimation: A Theoretical Explanation
University of Hamburg（汉堡大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本文通过理论分析证明，对于具有分离模态的多峰分布，基于扩散的去噪得分匹配估计器（DDSME）相比普通得分匹配估计器（SME）具有更优的误差界，并解释了扩散方法优越性的原因。
2026-08-21 cs.LG math.ST stat.ME
Variational Inference with Gaussian Score Matching
Flatiron Institute（熨斗研究院）；Columbia University（哥伦比亚大学）
提出基于得分匹配的高斯变分推断 GSM-VI，通过闭式内部更新匹配后验得分；实验表明其相比 BBVI 梯度评估减少10–100倍且精度相当。
2023-07-15 cs.LG stat.ML
Score Matching With Missing Data
School of Mathematics, University of Bristol, Bristol, UK（布里斯托大学数学学院）；School of Artificial Intelligence, Nanjing University, China（南京大学人工智能学院）
本文针对缺失数据场景提出重要性加权和变分两种得分匹配变体，分别适用于低维小样本与高维复杂情形，并在图模型估计任务中验证了各自优势。
2025-05-31 cs.LG stat.ME stat.ML
Provable benefits of score matching
Stanford University（斯坦福大学）；MIT（麻省理工学院）；Carnegie Mellon University（卡内基梅隆大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
论文构造固定次数多项式指数的自然指数族，证明ML优化在零阶/一阶预言机下NP难，而分数匹配在计算与统计上均具多项式复杂度且效率与ML相当。
2023-06-03 cs.DS cs.LG stat.ML
Score matching for bridges without learning time-reversals
University of Copenhagen（哥本哈根大学）；Chalmers University of Technology（查尔姆斯理工大学）；University of Gothenburg（哥德堡大学）
本文提出一种通过直接学习评分项来构建桥接扩散过程的新算法，无需先学习时间反演，实验表明其性能优于基于时间反演的现有方法。
2025-03-13 cs.LG math.PR stat.ML
Learning Energy-Based Models in High-Dimensional Spaces with Multi-scale Denoising Score Matching
Redwood Center for Theoretical Neuroscience（雷德伍德理论神经科学中心）；University of California Berkeley（加州大学伯克利分校）；Berkeley AI Research（伯克利人工智能研究院）；Helen Wills Neuroscience Institute（海伦·威尔斯神经科学研究所）
基于能量的模型（EBM）将非归一化对数概率分配给数据样本。该功能具有多种应用，例如样本合成、数据去噪、样本恢复、离群值检测、贝叶斯推理等等。但是使用标准极大似然训练EBM非常慢，因为它需要从模型分布中采样。分数匹配可能会解决这个问题。特别地，去噪分数匹配\citep{vincent2011connection}已成功地用于训练EBM。使用具有一个固定噪声水平的噪声数据样本，这些模型学习速度快，并在数据去噪\citep{saremi2019neural}中产生良好的结果。然而，这种模型在高维数据的高质量样本合成中的演示缺乏。最近，\citet{song2019generative}已经表明，通过去噪得分匹配训练的生成模型在使用被多级噪声破坏的数据样本进行训练时，可以实现出色的样本合成。在这里，我们提供的分析和经验证据表明，当数据维度很高时，使用多个噪声水平进行训练是必要的。利用这一洞察力，我们提出了一种新的EBM训练与多尺度去噪得分匹配。我们的模型表现出与最先进的技术（如GANs）相当的数据生成性能，并为EBM设定了新的基线。该模型还提供了密度信息，并在图像修复任务中表现良好。
2019-12-20 cs.CV cs.LG stat.ML
Training Energy-Based Normalizing Flow with Score-Matching Objectives
National Tsing Hua University（国立清华大学）；NVIDIA Corporation（英伟达公司）；Samsung Research America（三星美国研究院）；Georgia Institute of Technology（佐治亚理工学院）
本文提出基于能量的归一化流（EBFlow），利用分数匹配目标训练以绕过雅可比行列式计算，从而支持任意线性层并提升训练效率，实验表明其在速度和负对数似然上均优于最大似然方法。
2023-10-28 cs.LG stat.ML
Heteroscedasticity of Denoising Score Matching with Generalised Smooth Noise
Monash University（莫纳什大学）；Amazon（亚马逊）
该研究指出去噪得分匹配（DSM）存在固有的异方差性，推导了理想加权函数并给出实用近似方案，为各向同性高斯扩散的启发式权重提供了理论依据，在多分布和高阶得分上验证了理论。
2026-08-05 cs.LG stat.AP stat.ML
Generalized Score Matching for Non-Negative Data
University of Washington（华盛顿大学）；University of Copenhagen（哥本哈根大学）
在估计概率密度函数的参数时，一个常见的挑战是归一化常数的棘手性。虽然在这种情况下，可以使用数值积分来实现极大似然估计，但是该方法在计算上变得密集。Hyvärinen [2005]的得分匹配方法避免了直接计算归一化常数，并得到了$\mathbb{R}^m$上连续分布的指数族的封闭形式估计。Hyvärinen [2007]将该方法扩展到非负正负号$\mathbb{R}_+^m$上支持的分布。在本文中，我们给出了一个广义形式的得分匹配的非负数据，提高了估计效率。作为一个例子，我们考虑一般类的成对相互作用模型。为了解决一个被忽视的不存在的问题，我们推广了Lin et al. [2016]的正则化得分匹配方法，并改进了其对非负高斯图模型的理论保证。
2019-05-19 cs.LG stat.ME stat.ML
Generalization error bound for denoising score matching under relaxed manifold assumption
HSE University（高等经济大学）
本文在放松流形假设下，推导了去噪分数匹配估计的非渐近误差界，揭示了收敛速度与内在维度的关系。
2025-06-17 cs.LG math.ST stat.ML
A Variational Perspective on Diffusion-Based Generative Models and Score Matching
University of Montreal（蒙特利尔大学）；Mila（米拉）
基于离散时间扩散的生成模型和分数匹配方法在高维图像数据建模方面显示出了良好的效果。最近，Song等人（2021）表明，将数据转换为噪声的扩散过程可以通过学习得分函数（即扰动数据的对数密度的梯度）来逆转。他们建议将学习的得分函数插入到逆公式中，以定义生成扩散过程。尽管在经验上取得了成功，但这一程序仍然缺乏理论基础。在这项工作中，我们直接接近（连续时间）生成扩散，并推导出一个变分框架的似然估计，其中包括连续时间规范化流作为一个特殊情况下，可以看作是一个无限深的变分自编码器。在这个框架下，我们证明了最小化分数匹配损失相当于最大化Song等人（2021）提出的插入式反向搜索的可能性下限，弥合了理论差距。
2021-09-30 cs.LG
Local Curvature Smoothing with Stein's Identity for Efficient Score Matching
LY Corporation（LY公司）；Sakana AI；University of Tsukuba（筑波大学）
本文提出结合 Stein 恒等式的局部曲率平滑分数匹配方法 LCSS，以避免高代价 Jacobian 迹计算，并在多项图像生成指标及 1024×1024 高分辨率生成中验证其效果。
2024-12-06 cs.CV cs.LG
Improving Generalizability of Fake News Detection Methods using Propensity Score Matching
University of Notre Dame（圣母大学）
近年来，由于在线社交网络的蓬勃发展，检测假新闻引起了学术界和公众的极大关注。本文考虑假新闻特征中混杂变量的存在，采用倾向分数匹配（PSM）方法选择可泛化特征，以减少混杂变量的影响。实验结果表明，使用PSM比使用原始频率选择特征的假新闻方法的泛化能力明显更好。我们研究了多种类型的假新闻方法（分类器），如逻辑回归，随机森林和支持向量机。我们对业绩改善有一致的观察。
2020-01-28 cs.CL cs.LG cs.SI
Dimension reduction via score ratio matching
California Institute of Technology（加州理工学院）；Massachusetts Institute of Technology（麻省理工学院）
针对梯度不可用问题，提出基于分数匹配的降维框架，通过直接学习分数比率函数计算诊断矩阵，并引入正则化和特征值缩减算法优化低维基向量识别，有效应用于贝叶斯逆问题与条件生成建模。
2025-05-29 cs.LG stat.CO stat.ML
Global Optimization By Gradient From Hierarchical Score-Matching Spaces
本文提出一种基于分数匹配的梯度优化方法，统一处理各种复杂约束的优化问题，通过实验验证其有效性，并揭示了全局优化与扩散生成模型之间的深层联系。
2026-03-18 cs.LG
Score and Distribution Matching Policy: Advanced Accelerated Visuomotor Policies via Matched Distillation
Westlake University（西湖大学）；Southwest University（西南大学）；Zhejiang University（浙江大学）；Beijing Advanced Innovation Center for Future Blockchain and Privacy Computing（北京未来区块链与隐私计算高精尖创新中心）；School of Artificial Intelligence, Beihang University（北京航空航天大学人工智能学院）
针对扩散策略推理慢和一致性蒸馏误差问题，提出SDM Policy，通过score matching与distribution matching两阶段优化及双教师机制，将扩散策略转为单步生成器，实现6倍加速并保持最先进动作质量。
2024-12-19 cs.LG cs.RO stat.ML
Statistical Efficiency of Score Matching: The View from Isoperimetry
Stanford University（斯坦福大学）；Carnegie Mellon University（卡内基梅隆大学）
参数化到归一化常数的深度生成模型（例如，基于能量的模型）难以通过最大化数据的似然性来训练，因为其似然性和/或梯度不能被明确地或有效地写下。分数匹配是一种训练方法，我们不是拟合训练数据的似然$\log p(x)$，而是拟合分数函数$\nabla_x \log p(x)$ --避免了评估分区函数的需要。虽然这个估计量已知是一致的，但它的统计效率是否（以及何时）与最大似然法相当还不清楚，最大似然法已知是（渐近）最优的。我们在本文中启动这一调查线，并显示统计效率的得分匹配和等周属性的分布估计-即庞加莱，对数-Sobolev和等周常数-数量管理的混合时间的马尔可夫过程，如朗之万动力学之间的紧密联系。粗略地说，我们表明，分数匹配估计是统计上可比的最大似然分布时，有一个小的等周常数。相反，如果分布有一个大的等周常数-即使是简单的分布族，如指数族，具有足够丰富的统计数据-分数匹配将大大低于最大似然法的效率。我们适当地形式化这些结果在有限样本制度，并在渐近制度。最后，我们确定了一个直接平行的离散设置，在那里我们连接的统计性质的pseudolikkastrointestimation近似张量熵和Glauber动力学。
2022-12-22 cs.LG math.ST stat.ML
