Denoising Score Matching with Random Fourier Features
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）
密度估计是统计学中的核心问题之一。尽管如此，现有的技术，如最大似然估计是计算效率低下，由于棘手的归一化常数。由于这个原因，对分数匹配的兴趣增加了，而与归一化常数无关。然而，这样的估计是一致的，只有与充分的空间支持的分布。使其一致的方法之一是将噪声添加到输入数据中，这被称为去噪得分匹配。在这项工作中，我们推导出解析表达式的去噪得分匹配使用核指数族作为模型分布。核指数族的使用是由这类密度的丰富性所激发的。为了解决计算复杂性，我们使用基于随机傅立叶特征的核函数近似。解析表达式允许删除基于高阶导数的额外正则化项，因为它们已经隐含地包含在内。此外，所获得的表达式显式地依赖于噪声方差，因此验证损失可以直接用于调整噪声水平。随着基准实验，该模型在各种合成分布进行了测试，以研究模型在不同情况下的行为。实证研究表明，可比的质量竞争的方法，而所提出的方法是计算速度更快。后者可以扩展到复杂的高维数据。
2021-01-13 cs.LG stat.ML
From optimal score matching to optimal sampling
Yale University（耶鲁大学）；University of Chicago（芝加哥大学）
该研究针对基于得分的扩散模型的得分估计最优统计速率问题，推导了光滑紧支撑密度下得分估计的精确极小极大速率，证明扩散模型生成样本分布可达无对数项、无需提前停止的最优密度估计速率。
2024-09-11 cs.LG stat.ML
Finite Sample Bounds for Learning with Score Matching
Operations Research Center, Massachusetts Institute of Technology（麻省理工学院运筹学研究中心）；Theoretical division, Los Alamos National Lab（洛斯阿拉莫斯国家实验室理论部）
本文研究了分数匹配在高维统计中学习指数族分布的有限样本界限，提出首个非渐近样本复杂度分析，揭示模型维度的多项式依赖关系。
2026-05-13 cs.DS cs.LG stat.ML
Faster Training of Diffusion Models and Improved Density Estimation via Parallel Score Matching
Inria（法国国家信息与自动化研究所）
针对 DPMs 单网络训练慢、容量受限的问题，本文按时间区间乃至每个时间点拆分分数匹配任务，用独立网络并行学习，从而加速训练并提升密度估计。
2023-06-05 cs.LG stat.ML
Diffusion-based Denoising Beats Vanilla Score Matching in Parameter Estimation: A Theoretical Explanation
University of Hamburg（汉堡大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本文通过理论分析证明，对于具有分离模态的多峰分布，基于扩散的去噪得分匹配估计器（DDSME）相比普通得分匹配估计器（SME）具有更优的误差界，并解释了扩散方法优越性的原因。
2026-08-21 cs.LG math.ST stat.ME
Generalized Score Matching for Non-Negative Data
University of Washington（华盛顿大学）；University of Copenhagen（哥本哈根大学）
在估计概率密度函数的参数时，一个常见的挑战是归一化常数的棘手性。虽然在这种情况下，可以使用数值积分来实现极大似然估计，但是该方法在计算上变得密集。Hyvärinen [2005]的得分匹配方法避免了直接计算归一化常数，并得到了$\mathbb{R}^m$上连续分布的指数族的封闭形式估计。Hyvärinen [2007]将该方法扩展到非负正负号$\mathbb{R}_+^m$上支持的分布。在本文中，我们给出了一个广义形式的得分匹配的非负数据，提高了估计效率。作为一个例子，我们考虑一般类的成对相互作用模型。为了解决一个被忽视的不存在的问题，我们推广了Lin et al. [2016]的正则化得分匹配方法，并改进了其对非负高斯图模型的理论保证。
2019-05-19 cs.LG stat.ME stat.ML
Score Matching for Truncated Density Estimation on a Manifold
针对截断数据的密度估计问题，本文将截断得分匹配方法扩展到带边界的黎曼流形，在球面分布模拟实验和美国极端风暴实际场景中均取得优于朴素最大似然估计的效果。
2024-04-12 stat.ME stat.ML
Estimating Density Models with Truncation Boundaries using Score Matching
University of Bristol（布里斯托大学）；Tokyo Institute of Technology（东京工业大学）；RIKEN AIP（理化学研究所人工智能研究中心）
截断密度是定义在截断域上的概率密度函数。它们与它们的非截断对应物共享相同的参数形式，直到归一化常数。由于其归一化常数的计算通常是不可行的，极大似然估计不能很容易地应用于截断密度模型的估计。分数匹配（SM）是一个功能强大的工具，只使用非标准化模型拟合参数。然而，它不能直接应用于这里作为边界条件，用于导出一个听话的SM目标不满足截断密度。本文研究了截断概率密度的参数估计。估计量最小化加权Fisher散度。权函数是从数据点到域边界的最短距离。我们表明，这种选择的权重函数自然产生于最小化斯坦差异以及上限的有限样本估计误差。数值实验和芝加哥犯罪数据集的研究表明，我们的方法的实用性。我们还表明，所提出的密度估计可以纠正异常检测方法所造成的异常修剪偏差。
2022-04-20 cs.LG math.ST stat.ML
The geometry of Stein's method of moments: A canonical decomposition via score matching
The Graduate University for Advanced Studies, SOKENDAI（advanced studies 高等研究院）；The Institute of Statistical Mathematics（统计数学研究所）
本文探讨了Stein方法的几何结构，通过分数匹配构建了改进的估计器，分析了Stein方法与Wasserstein几何的关系，并讨论了分数匹配估计器的渐近效率条件。
2026-03-13 math.ST stat.ME stat.TH
Generalized Score Matching
本文提出广义分数匹配的统一渐近理论，适用于连续与离散响应数据，解决归一化常数难处理时的估计问题，并通过真实数据与模拟验证其强实际性能。
2024-04-21 math.ST stat.AP stat.CO
Generalized Score Matching for Regression
许多概率模型有一个棘手的归一化常数可以扩展到包含协变量。由于这些模型的精确似然评估是困难的，甚至是不可能的，分数匹配，提出了避免显式计算的归一化常数。在文献中，分数匹配到目前为止只发展为模型中的观察是独立和同分布（IID）。然而，IID假设在回归型模型的传统固定设计设置中不成立。为了处理这些协变量依赖模型的估计，本文提出了一种新的得分匹配方法，独立的，但不一定同分布的数据下的一般框架下的连续和离散的响应，其中包括一个新的广义得分匹配方法计数响应回归。我们证明了我们提出的分数匹配估计是一致的，渐近正常的温和的正则性条件下。仿真研究和实际数据的例子支持的理论结果。此外，我们的模拟结果表明，相比于近似极大似然估计，广义分数匹配产生的估计值在应用于博士论文数据时具有显著较小的偏差。
2022-03-18 math.ST stat.ME stat.TH
Linear Estimating Equations for Exponential Families with Application to Gaussian Linear Concentration Models
在许多分布族中，极大似然估计是难以处理的，因为进入似然函数的密度的归一化常数不容易获得。Hyvärinen（2005）的评分匹配估计量提供了一种不需要该归一化常数的替代方案。对于指数族，相应的估计方程变为线性。分数匹配估计是一致的，渐近正态分布的这种模式，虽然不一定有效。高斯线性浓度模型就是这类模型的例子。对于在协方差中也是线性的线性浓度模型，我们证明了分数匹配估计量与最大似然估计量相同，因此在这种情况下它也是有效的。高斯图形模型和图形模型的对称形式特别有趣的线性浓度模型的子类，我们调查的分数匹配估计这种情况下的潜在用途。
2014-06-12 math.ST stat.TH
Graphical Models for Non-Negative Data Using Generalized Score Matching
在估计概率密度函数的参数时，一个常见的挑战是归一化常数的棘手性。虽然在这种情况下，可以使用数值积分来实现极大似然估计，但是该方法在计算上变得密集。相比之下，Hyvärinen（2005）的得分匹配方法避免了直接计算归一化常数，并为$\mathbb{R}^m$上的连续分布的指数族提供了封闭形式的估计。Hyvärinen（2007）将该方法扩展到非负正负号$\mathbb{R}_+^m$上支持的分布。在本文中，我们给出了一个广义形式的得分匹配的非负数据，提高了估计效率。我们还将Lin等人的正则化得分匹配方法推广到非负高斯图模型（2016），并改进了理论保证。
2018-02-18 stat.ME
DDPM Score Matching and Distribution Learning
Yale University（耶鲁大学）
本文提出一个框架，将DDPM中的得分估计归结为参数估计和密度估计，证明其渐近有效性，并给出密度估计的极小极大速率、拟多项式PAC算法及得分估计的计算下界。
2026-09-09 cs.DS cs.LG math.ST
Local moment matching: A unified methodology for symmetric functional estimation and distribution estimation under Wasserstein distance
Stanford University（斯坦福大学）
我们提出\emph{Local Moment Matching (LMM)}，对称函数估计和分布估计下瓦瑟斯坦距离的统一方法。我们构造了一个有效的可计算的估计，实现了极大极小率估计的分布排列，并表明，插件的方法，我们的无标签分布估计是“通用”的对称泛函估计的离散分布。而不是做最好的多项式逼近显式在现有文献中的功能估计，插件的方法进行多项式逼近隐式，并达到最佳的样本复杂性的熵，功率和支持大小泛函。
2018-06-26 cs.IT cs.LG math.IT
Score matching estimators for directional distributions
极大似然估计在已建立的方向模型中的主要问题之一是归一化常数难以估计。本文在紧致定向黎曼流形上提出了一种新的“得分匹配估计”的一般方法。重要的应用包括冯米塞斯-费舍尔，宾厄姆和联合模型的领域和相关的空间。在较弱的正则性条件下，估计量是相合的且渐近正态分布。此外，它很容易作为线性方程组的解来计算，并且不需要知道归一化常数。给出了几个例子，分析和数值，以证明其良好的性能。
2016-04-28 math.ST stat.TH
Score-Matching Representative Approach for Big Data Analysis with Generalized Linear Models
我们提出了一种快速有效的策略，称为代表性的方法，大数据分析与广义线性模型，特别是对分布式数据的本地化要求或有限的网络带宽。该方法对给定的海量数据块进行划分，为每个数据块构造一个代表数据点，并利用代表数据点拟合目标模型。就时间复杂度而言，它与文献中的子采样方法一样快。至于效率，它的精度估计参数给定一个均匀的分区是可比的分治方法。通过全面的模拟研究和理论论证，我们得出结论，平均代表（MR）工作良好的线性模型或广义线性模型具有平坦的逆链接函数和适度的连续预测系数。对于一般情况下，我们建议的分数匹配代表（SMR），这可能会提高估计的准确性显着匹配的得分函数值。作为一个说明性的应用程序的航空公司的时间性能数据，我们表明，MR和SMR估计是一样好的完整的数据估计时可用。
2021-12-14 stat.ME
Estimating Sibling Spillover Effects with Unobserved Confounding Using Gain-Scores
流行病学研究的一个日益增长的领域是确定与健康有关的兄弟姐妹溢出效应，或一个人的暴露对其兄弟姐妹的结果的影响。家庭成员的健康和医疗保健可能无法避免地受到未观察到的因素的干扰，这使得确定家庭内部的溢出效应特别具有挑战性。我们展示了一个增益分数回归方法，用于识别在线性固定效应框架内的兄弟姐妹对的确定结果溢出效应。如果只有一个兄弟姐妹的暴露影响另一个兄弟姐妹的结果，则该方法可以识别确定结果溢出效应;如果两个兄弟姐妹的暴露影响其他兄弟姐妹的结果，则该方法可以识别溢出效应之间的差异。该方法在存在结果-暴露溢出和结果-结果溢出的情况下失败。分析结果和蒙特卡罗模拟证明了该方法及其局限性。为了运用这种方法，我们估计了一个孩子的早产对哥哥姐姐的识字技能的溢出效应，通过语音意识识字筛查幼儿园测试来衡量。我们分析了20，010对兄弟姐妹，来自一个人口范围内，威斯康星州（美国）的出生队列。在没有协变量调整的情况下，我们估计早产适度降低了哥哥姐姐的测试分数（-2.11分; 95%置信区间：-3.82，-0.40分）。总之，增益分数是一个很有前途的策略，用于识别同胞对中的结果溢出，同时控制线性设置中的同胞不变的未观察到的混杂。
2021-05-05 econ.EM stat.ME
Interpretation and Generalization of Score Matching
University at Albany, SUNY（纽约州立大学奥尔巴尼分校）
分数匹配是近年来发展起来的一种参数学习方法，它对具有复杂划分函数的高维密度模型特别有效。在本文中，我们研究了两个问题，尚未完全解决的分数匹配。首先，我们提供了一个正式的最大似然和得分匹配之间的联系。我们的分析表明，分数匹配发现模型参数，更强大的噪声训练数据。其次，我们开发了一个泛化的分数匹配。基于这种推广，我们进一步证明了扩展的分数匹配模型的离散数据。
2012-05-09 cs.LG stat.ML
Maximum Likelihood Training for Score-Based Diffusion ODEs by High-Order Denoising Score Matching
Tsinghua University（清华大学）；Peng Cheng Laboratory（鹏城实验室）；Renmin University of China（中国人民大学）
基于分数的生成模型在生成质量和可能性方面具有优异的性能。他们通过将参数化评分网络与一阶数据得分函数相匹配来对数据分布进行建模。分数网络可以用来定义一个ODE（“基于分数的扩散ODE”），用于精确的似然评估。然而，ODE的可能性和分数匹配目标之间的关系尚不清楚。在这项工作中，我们证明，匹配的一阶分数是不足以最大限度地提高可能性的ODE，通过显示之间的差距的极大似然和分数匹配的目标。为了填补这一空白，我们表明，负似然的常微分方程可以通过控制第一，第二，第三阶分数匹配误差的范围内，我们进一步提出了一种新的高阶去噪分数匹配方法，使极大似然训练的分数为基础的扩散常微分方程。我们的算法保证了高阶匹配误差是有界的训练误差和低阶误差。我们根据经验观察到，通过高阶分数匹配，基于分数的扩散ODE在合成数据和CIFAR-10上都实现了更好的似然性，同时保持了高生成质量。
2022-06-27 cs.LG stat.ML
Neural Score Matching for High-Dimensional Causal Inference
University of Oxford（牛津大学）；University College London（伦敦大学学院）；Alan Turing Institute（艾伦·图灵研究所）
本文提出神经评分匹配方法，通过神经网络获取多变量平衡分数以解决高维因果推断中的匹配问题，展示了其在治疗效应估计和减少不平衡方面的有效性。
2026-02-11 cs.LG stat.ML
Sample Complexity Bounds for Score-Matching: Causal Discovery and Generative Modeling
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Institute of Science Technology Austria（奥地利科学技术研究所）
本文为分数匹配方法建立了统计样本复杂度界，证明用深度ReLU网络和随机梯度下降可准确估计分数函数，并给出其在因果发现和生成建模中的误差上界。
2023-10-27 cs.LG stat.ML
Score matching enables causal discovery of nonlinear additive noise models
EPFL（洛桑联邦理工学院）；Amazon Web Services（亚马逊云科技）
本文演示了如何从非线性加性（高斯）噪声模型中的数据分布的分数中恢复因果图。使用分数匹配算法作为一个积木，我们展示了如何设计新一代的可扩展的因果发现方法。为了展示我们的方法，我们还提出了一种新的有效方法来近似分数的雅可比矩阵，从而能够恢复因果图。从经验上讲，我们发现，新的算法，称为SCORE，是最先进的因果发现方法的竞争力，同时显着更快。
2022-03-08 cs.LG stat.ML
Hamiltonian Score Matching and Generative Flows
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；NVIDIA（英伟达）
本文提出哈密顿速度预测器，并据此构建HSM分数匹配方法与HGFs生成模型，将扩散和流匹配统一为零力场特例，实验证明其竞争力。
2024-10-27 cs.LG stat.ML
Tightening the Score Matching Gap for Diffusion Models
针对扩散模型的得分匹配间隙问题，该研究利用得分估计器正则性与反向过程收缩性，推导三类指标的更紧边界，揭示低噪声尺度下得分近似质量对缩窄间隙的关键作用。
2026-07-07 cs.LG stat.ML
Operator-Informed Score Matching for Markov Diffusion Models
Newcastle University（新castle大学）；King’s College London（伦敦国王学院）；The Alan Turing Institute（艾伦·图灵研究所）
本文提出算子信息得分匹配方法，利用马尔可夫加噪过程的谱分解，仅用数据样本均值同时估计所有边际分布的得分函数，为低维生成提供独立方法，并改进高维神经得分估计器。
2025-05-24 cs.LG stat.ML
Autoregressive Score Matching
Stanford University（斯坦福大学）
自回归模型使用链式规则将联合概率分布定义为条件的乘积。这些条件需要规范化，对可以使用的函数族施加约束。为了增加灵活性，我们提出了自回归条件得分模型（AR-CSM），在该模型中，我们根据单变量对数条件（得分）的导数对联合分布进行参数化，而无需进行归一化。为了训练AR-CSM，我们引入了一种新的分布之间的分歧，称为复合得分匹配（CSM）。对于AR-CSM模型，数据和模型分布之间的这种差异可以有效地计算和优化，不需要昂贵的采样或对抗训练。与以往的分数匹配算法相比，我们的方法是更可扩展的高维数据和更稳定的优化。我们用大量的实验结果表明，它可以应用于合成数据的密度估计，图像生成，图像去噪，和隐式编码器训练潜变量模型。
2020-10-24 cs.LG stat.ML
Score-matching-based Structure Learning for Temporal Data on Networks
School of Mathematical Sciences, Shanghai Jiao Tong University（上海交通大学数学科学学院）；University of Cambridge（剑桥大学）
本文提出PICK算法，通过改进父节点查找子程序提升分数匹配在处理独立同分布及时序网络数据时的效率与准确性。
2026-04-12 cs.LG stat.ML
Robust Score Matching
School of Computation, Information and Technology（计算、信息与技术学院）；Technical University of Munich（慕尼黑技术大学）；University of Alberta（阿尔伯塔大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
本研究提出基于几何中位数均值的鲁棒分数匹配方法，在数据污染下仍保持指数族模型凸性，实现一致估计与支持恢复，并在无污染时性能不逊于标准方法，有污染时显著更优。
2025-01-09 cs.LG stat.ML
Connecting Score Matching, Maximum Likelihood, and Expectation-Maximization in Mixed Linear Regression
Purdue University（普渡大学）
本文研究混合线性回归中响应扩散的分数匹配，通过KL散度连接似然与EM算子，证明估计器收敛并给出梯度分解与数值验证。
2026-09-09 cs.LG stat.ML
Implicit score matching meets denoising score matching: improved rates of convergence and log-density Hessian estimation
HSE University（俄罗斯高等经济大学）
本文提出通过隐式和去噪分数匹配方法改进收敛速率，并利用微分估计对数密度Hessian，为生成扩散模型的采样器收敛性提供理论支持。
2025-12-30 cs.LG math.ST stat.ML
Denoising Likelihood Score Matching for Conditional Score-based Data Generation
National Tsing Hua University（国立清华大学）；Mediatek Inc.（联发科股份有限公司）
许多现有的基于条件分数的数据生成方法利用贝叶斯定理将对数后验密度的梯度分解为分数的混合。这些方法有助于条件得分模型的训练过程，因为可以使用得分模型和分类器分别估计得分的混合。然而，我们的分析表明，这些方法中的分类器的训练目标可能会导致严重的分数失配问题，这对应于估计分数偏离真实分数的情况。这样的问题导致样本在扩散过程中被偏离的分数误导，导致采样质量下降。为了解决这个问题，我们制定了一个新的训练目标，称为去噪似然分数匹配（DLSM）损失，分类器匹配的梯度的真实对数似然密度。我们的实验证据表明，所提出的方法优于以前的方法Cifar-10和Cifar-100基准显着的几个关键的评估指标。因此，我们可以得出结论，通过采用DLSM，条件分数可以准确地建模，并减轻分数不匹配问题的影响。
2022-03-27 cs.LG stat.ML
Heavy-tailed denoising score matching
University of Cambridge（剑桥大学）
在过去几年中，基于分数的模型研究已经通过采用高斯去噪得分匹配（DSM）产生了最先进的生成模型。然而，高斯噪声假设有几个高维的限制，激励一个更具体的路线，甚至更高的维度PDF估计在未来。我们概述了这一限制，然后将理论扩展到一个更广泛的家庭的噪声分布-即广义正态分布。从理论上讲，我们放松了（去噪）分数匹配理论中的一个关键假设，证明了几乎在任何地方都是可微的分布允许与高斯分布相同的客观简化。对于噪声向量范数分布，我们在深度学习中普遍存在的高维空间中展示了有利的测量集中度。在这个过程中，我们发现了一个偏斜的噪声向量范数分布，并开发了一个迭代噪声缩放算法，以始终初始化退火Langevin动力学（LD）中的多个级别的噪声。在实践方面，我们使用重尾DSM导致改进的分数估计，可控的采样收敛，以及更平衡的非平衡数据集的无条件生成性能。
2022-04-12 cs.LG stat.ML
Taking a Big Step: Large Learning Rates in Denoising Score Matching Prevent Memorization
EPFL（洛桑联邦理工学院）
本文揭示大学习率在去噪得分匹配中作为隐式正则化机制，通过阻止神经网络收敛到经验最优得分来防止扩散模型记忆化训练数据，并在一维及更广泛设置中验证了该作用。
2025-05-06 cs.LG stat.ML
A Connection Between Score Matching and Local Intrinsic Dimension
PNNL（太平洋西北国家实验室）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）；UC San Diego（圣地亚哥大学）
本文提出利用去噪分数匹配损失作为局部内在维度估计器，通过理论分析和实验验证其在高维数据中的有效性与可扩展性。
2026-10-30 cs.LG stat.ML
Latent Nonlinear Denoising Score Matching for Enhanced Learning of Structured Distributions
School of Mathematics（数学学院）；Georgia Institute of Technology（佐治亚理工学院）
本文提出了一种结合非线性前向动力学与VAE的潜在SGM框架，通过改进的训练目标提升结构分布学习的效率和质量。
2026-10-28 cs.LG stat.ML
What's the score? Automated Denoising Score Matching for Nonlinear Diffusions
Courant Institute of Mathematical Sciences, New York University（纽约大学柯朗数学科学研究所）；Center for Data Science, New York University（纽约大学数据科学中心）
针对现有可处理扩散过程多为线性高斯、限制模型与问题适用范围的问题，本研究提出基于扩散局部增量的local-DSM去噪分数匹配目标，结合泰勒展开实现非线性扩散的自动训练与分数估计，在生成建模和统计物理场景验证了有效性。
2024-07-10 cs.LG stat.ML
Target Score Matching
Google DeepMind（谷歌DeepMind）；Isomorphic Labs（同构实验室）
针对去噪分数匹配在低噪声水平下分数估计较差的局限，本文提出目标分数恒等式与目标分数匹配回归损失，利用已知的目标分数知识，获得在低噪声水平下具有良好性质的分数估计。
2024-02-13 cs.LG stat.CO stat.ML
High-Dimensional Differential Parameter Inference in Exponential Family using Time Score Matching
School of Mathematics, University of Bristol（布里斯托大学数学学院）；USC Marshall School of Business（南加州大学马歇尔商学院）
本文提出利用时间得分匹配直接估计指数族时变模型参数的时间导数，证明了正则化目标的一致性和去偏估计量的有限样本正态性，并在高维图模型上验证了微分结构推断的有效性。
2025-04-05 cs.LG stat.ML
Adversarial score matching and improved sampling for image generation
University of Montreal（蒙特利尔大学）；Microsoft Research Lab（微软研究院实验室）
去噪得分匹配与退火Langevin采样（DSM-ALS）最近发现在生成建模的成功。该方法的工作原理是首先训练一个神经网络来估计分布的分数，然后使用Langevin动力学从分数网络假设的数据分布中采样。尽管样本的视觉质量令人信服，但在Fréchet Inception Distance（生成模型的标准度量）下，这种方法的表现似乎比生成对抗网络（GANs）更差。我们表明，这种明显的差距消失时，使用分数网络去噪的最终Langevin样本。此外，我们提出了对DSM-ALS的两项改进：1）一致退火采样作为退火Langevin采样的更稳定的替代方案，以及2）混合训练公式，由去噪得分匹配和对抗目标组成。通过结合这两种技术和探索不同的网络架构，我们提升了分数匹配方法，并获得了与CIFAR-10上最先进的图像生成相竞争的结果。
2020-10-10 cs.CV cs.LG stat.ML
Diffusion Models Observe Only Gradients: A Geometric Perspective on Score Matching Errors
University of Cambridge（剑桥大学）
本文从几何角度揭示L2分数误差不是衡量边缘分布质量的正确指标，通过Helmholtz-Hodge分解将分数误差分解为梯度分量和螺线管分量，证明只有梯度分量影响Fokker-Planck动力学，并给出仅依赖于梯度分量的KL散度上界及可计算的梯度分量估计器。
2026-11-05 cs.LG stat.ML
Discrete Score Matching Enables Causal Discovery from Count Data
Seoul National University（首尔大学）
针对计数数据因果发现中导数不可用的问题，提出基于条件曲率分数（CCS）和非对角曲率分数（OCS）的DISCO算法，实现半参数GLM DAG的识别与恢复，实验验证了多种分布下的准确性和可扩展性。
2026-10-01 cs.LG stat.ML
Semi-Implicit Variational Inference via Score Matching
Peking University（北京大学）
针对半隐式变分推断中变分分布密度难求解、现有方法依赖替代ELBO或高成本MCMC的问题，提出基于去噪得分匹配极小极大目标的SIVI-SM方法，在多种贝叶斯推断任务中准确率接近MCMC且优于现有基于ELBO的SIVI方法。
2023-08-19 cs.LG stat.ME stat.ML
Efficient Learning of Generative Models via Finite-Difference Score Matching
Tsinghua University（清华大学）；Stanford University（斯坦福大学）
若干机器学习应用涉及高阶导数的优化（例如，梯度的梯度），即使在自动微分的情况下，这在存储器和计算方面也是昂贵的。作为生成式建模中的一个典型例子，分数匹配（SM）涉及到Hessian轨迹的优化。为了提高计算效率，我们重写SM目标及其变种的方向导数，并提出了一个通用的策略，有效地近似任意阶方向导数有限差分（FD）。我们的近似只涉及函数求值，可以并行执行，没有梯度计算。因此，它降低了总的计算成本，同时也提高了数值稳定性。我们提供了两个实例，通过重新制定到FD形式的SM目标的变体。从经验上讲，我们证明了我们的方法产生的结果与基于梯度的同行相比，同时计算效率更高。
2020-11-25 cs.LG stat.ML
Product Jacobi-Theta Boltzmann machines with score matching
TIF Lab, Dipartimento di Fisica, Università degli Studi di Milano and INFN Sezione di Milano（米兰大学物理系TIF实验室及意大利国家核物理研究所米兰分部）；Quantum Research Center, Technology Innovation Institute（技术创新研究所量子研究中心）；Department of Computational Biology, University of Lausanne（洛桑大学计算生物学系）；CERN, Theoretical Physics Department（欧洲核子研究中心理论物理系）；Sony Computer Science Laboratories Inc（索尼计算机科学实验室公司）
本文提出乘积雅可比-西塔玻尔兹曼机（pJTBM），作为RTBM的受限版本，并证明基于Fisher散度的分数匹配能以更高效率拟合概率密度。
2024-01-12 cs.LG stat.ML
ScoreMatchingRiesz: Score Matching for Debiased Machine Learning and Policy Path Estimation
ScoreMatchingRiesz通过分数匹配方法实现去偏机器学习和政策路径估计，提升政策效应的可解释性。
2026-01-29 cs.LG econ.EM math.ST
Matching in Selective and Balanced Representation Space for Treatment Effects Estimation
University of Georgia（佐治亚大学）
在科学和技术的各个领域，观测数据的可用性正在急剧增加，这促进了因果推断的研究。然而，从观察性数据估计处理效应面临两个主要挑战，缺失的反事实结果和治疗选择偏倚。匹配方法是评价处理效应的最基本方法之一，但现有的匹配方法在处理高维复杂变量数据时性能较差。提出了一种基于深度表示学习和匹配的特征选择表示匹配（FSRM）方法，将原始协变量空间映射到一个选择性的、非线性的、平衡的表示空间，然后在学习到的表示空间中进行匹配。FSRM采用深度特征选择来最小化不相关变量对估计处理效应的影响，并结合基于瓦瑟斯坦距离的正则化器来学习平衡表示。我们在三个数据集上评估了我们的FSRM方法的性能，结果表明优于最先进的方法。
2021-06-05 cs.LG stat.ME stat.ML
Score Matching With Missing Data
School of Mathematics, University of Bristol, Bristol, UK（布里斯托大学数学学院）；School of Artificial Intelligence, Nanjing University, China（南京大学人工智能学院）
本文针对缺失数据场景提出重要性加权和变分两种得分匹配变体，分别适用于低维小样本与高维复杂情形，并在图模型估计任务中验证了各自优势。
2025-05-31 cs.LG stat.ME stat.ML
Provable benefits of score matching
Stanford University（斯坦福大学）；MIT（麻省理工学院）；Carnegie Mellon University（卡内基梅隆大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
论文构造固定次数多项式指数的自然指数族，证明ML优化在零阶/一阶预言机下NP难，而分数匹配在计算与统计上均具多项式复杂度且效率与ML相当。
2023-06-03 cs.DS cs.LG stat.ML
Estimating leverage scores via rank revealing methods and randomization
IBM Research Zurich（IBM苏黎世研究院）；University of Patras（帕特雷大学）
我们研究算法估计的统计杠杆得分的矩形稠密或稀疏矩阵的任意秩。我们的方法是基于结合排名揭示方法与密集和稀疏随机降维变换的组合物。我们首先开发了一套快速的新算法的秩估计，列子集选择和最小二乘预处理。然后，我们描述了杠杆分数估计器的设计和实现基于这些原语。这些估计器对于排名不足的输入也是有效的，这在数据分析应用中经常发生。我们提供了详细的复杂性分析，以及有意义的近似边界和比较与国家的最先进的。我们进行了广泛的数值实验，以评估我们的算法，并说明其属性和性能使用合成和真实世界的数据集。
2021-05-23 cs.DS cs.LG cs.NA
Score matching for bridges without learning time-reversals
University of Copenhagen（哥本哈根大学）；Chalmers University of Technology（查尔姆斯理工大学）；University of Gothenburg（哥德堡大学）
本文提出一种通过直接学习评分项来构建桥接扩散过程的新算法，无需先学习时间反演，实验表明其性能优于基于时间反演的现有方法。
2025-03-13 cs.LG math.PR stat.ML
Learning Energy-Based Models in High-Dimensional Spaces with Multi-scale Denoising Score Matching
Redwood Center for Theoretical Neuroscience（雷德伍德理论神经科学中心）；University of California Berkeley（加州大学伯克利分校）；Berkeley AI Research（伯克利人工智能研究院）；Helen Wills Neuroscience Institute（海伦·威尔斯神经科学研究所）
基于能量的模型（EBM）将非归一化对数概率分配给数据样本。该功能具有多种应用，例如样本合成、数据去噪、样本恢复、离群值检测、贝叶斯推理等等。但是使用标准极大似然训练EBM非常慢，因为它需要从模型分布中采样。分数匹配可能会解决这个问题。特别地，去噪分数匹配\citep{vincent2011connection}已成功地用于训练EBM。使用具有一个固定噪声水平的噪声数据样本，这些模型学习速度快，并在数据去噪\citep{saremi2019neural}中产生良好的结果。然而，这种模型在高维数据的高质量样本合成中的演示缺乏。最近，\citet{song2019generative}已经表明，通过去噪得分匹配训练的生成模型在使用被多级噪声破坏的数据样本进行训练时，可以实现出色的样本合成。在这里，我们提供的分析和经验证据表明，当数据维度很高时，使用多个噪声水平进行训练是必要的。利用这一洞察力，我们提出了一种新的EBM训练与多尺度去噪得分匹配。我们的模型表现出与最先进的技术（如GANs）相当的数据生成性能，并为EBM设定了新的基线。该模型还提供了密度信息，并在图像修复任务中表现良好。
2019-12-20 cs.CV cs.LG stat.ML
Heteroscedasticity of Denoising Score Matching with Generalised Smooth Noise
Monash University（莫纳什大学）；Amazon（亚马逊）
该研究指出去噪得分匹配（DSM）存在固有的异方差性，推导了理想加权函数并给出实用近似方案，为各向同性高斯扩散的启发式权重提供了理论依据，在多分布和高阶得分上验证了理论。
2026-08-05 cs.LG stat.AP stat.ML
Generalization error bound for denoising score matching under relaxed manifold assumption
HSE University（高等经济大学）
本文在放松流形假设下，推导了去噪分数匹配估计的非渐近误差界，揭示了收敛速度与内在维度的关系。
2025-06-17 cs.LG math.ST stat.ML
