Implicit score matching meets denoising score matching: improved rates of convergence and log-density Hessian estimation
HSE University（俄罗斯高等经济大学）
本文提出通过隐式和去噪分数匹配方法改进收敛速率，并利用微分估计对数密度Hessian，为生成扩散模型的采样器收敛性提供理论支持。
2025-12-30 cs.LG math.ST stat.ML
A Connection Between Score Matching and Local Intrinsic Dimension
PNNL（太平洋西北国家实验室）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）；UC San Diego（圣地亚哥大学）
本文提出利用去噪分数匹配损失作为局部内在维度估计器，通过理论分析和实验验证其在高维数据中的有效性与可扩展性。
2026-10-30 cs.LG stat.ML
Target Score Matching
Google DeepMind（谷歌DeepMind）；Isomorphic Labs（同构实验室）
针对去噪分数匹配在低噪声水平下分数估计较差的局限，本文提出目标分数恒等式与目标分数匹配回归损失，利用已知的目标分数知识，获得在低噪声水平下具有良好性质的分数估计。
2024-02-13 cs.LG stat.CO stat.ML
Adversarial score matching and improved sampling for image generation
University of Montreal（蒙特利尔大学）；Microsoft Research Lab（微软研究院实验室）
去噪得分匹配与退火Langevin采样（DSM-ALS）最近发现在生成建模的成功。该方法的工作原理是首先训练一个神经网络来估计分布的分数，然后使用Langevin动力学从分数网络假设的数据分布中采样。尽管样本的视觉质量令人信服，但在Fréchet Inception Distance（生成模型的标准度量）下，这种方法的表现似乎比生成对抗网络（GANs）更差。我们表明，这种明显的差距消失时，使用分数网络去噪的最终Langevin样本。此外，我们提出了对DSM-ALS的两项改进：1）一致退火采样作为退火Langevin采样的更稳定的替代方案，以及2）混合训练公式，由去噪得分匹配和对抗目标组成。通过结合这两种技术和探索不同的网络架构，我们提升了分数匹配方法，并获得了与CIFAR-10上最先进的图像生成相竞争的结果。
2020-10-10 cs.CV cs.LG stat.ML
From optimal score matching to optimal sampling
Yale University（耶鲁大学）；University of Chicago（芝加哥大学）
该研究针对基于得分的扩散模型的得分估计最优统计速率问题，推导了光滑紧支撑密度下得分估计的精确极小极大速率，证明扩散模型生成样本分布可达无对数项、无需提前停止的最优密度估计速率。
2024-09-11 cs.LG stat.ML
Latent Target Score Matching, with an application to Simulation-Based Inference
University of Massachusetts Amherst（马萨诸塞大学阿姆赫斯特分校）；NVIDIA（英伟达）
本文提出潜在目标分数匹配方法，通过利用联合分数降低方差，提升基于模拟推断任务的分数准确性和样本质量。
2026-02-06 cs.LG
Diffusion Models Observe Only Gradients: A Geometric Perspective on Score Matching Errors
University of Cambridge（剑桥大学）
本文从几何角度揭示L2分数误差不是衡量边缘分布质量的正确指标，通过Helmholtz-Hodge分解将分数误差分解为梯度分量和螺线管分量，证明只有梯度分量影响Fokker-Planck动力学，并给出仅依赖于梯度分量的KL散度上界及可计算的梯度分量估计器。
2026-11-05 cs.LG stat.ML
Discrete Score Matching Enables Causal Discovery from Count Data
Seoul National University（首尔大学）
针对计数数据因果发现中导数不可用的问题，提出基于条件曲率分数（CCS）和非对角曲率分数（OCS）的DISCO算法，实现半参数GLM DAG的识别与恢复，实验验证了多种分布下的准确性和可扩展性。
2026-10-01 cs.LG stat.ML
Optimizing Input of Denoising Score Matching is Biased Towards Higher Score Norm
AIR & CST, Tsinghua University（人工智能研究院与计算科学与技术系，清华大学）
本文指出用去噪分数匹配优化扩散模型条件输入会打破其与精确分数匹配的等价性，产生偏向更高分数范数的偏差，该偏差也存在于预训练扩散模型优化数据分布场景中，还会影响多个跨领域相关工作。
2025-11-13 cs.CV cs.LG
Faster Training of Diffusion Models and Improved Density Estimation via Parallel Score Matching
Inria（法国国家信息与自动化研究所）
针对 DPMs 单网络训练慢、容量受限的问题，本文按时间区间乃至每个时间点拆分分数匹配任务，用独立网络并行学习，从而加速训练并提升密度估计。
2023-06-05 cs.LG stat.ML
Learning Energy-Based Models in High-Dimensional Spaces with Multi-scale Denoising Score Matching
Redwood Center for Theoretical Neuroscience（雷德伍德理论神经科学中心）；University of California Berkeley（加州大学伯克利分校）；Berkeley AI Research（伯克利人工智能研究院）；Helen Wills Neuroscience Institute（海伦·威尔斯神经科学研究所）
基于能量的模型（EBM）将非归一化对数概率分配给数据样本。该功能具有多种应用，例如样本合成、数据去噪、样本恢复、离群值检测、贝叶斯推理等等。但是使用标准极大似然训练EBM非常慢，因为它需要从模型分布中采样。分数匹配可能会解决这个问题。特别地，去噪分数匹配\citep{vincent2011connection}已成功地用于训练EBM。使用具有一个固定噪声水平的噪声数据样本，这些模型学习速度快，并在数据去噪\citep{saremi2019neural}中产生良好的结果。然而，这种模型在高维数据的高质量样本合成中的演示缺乏。最近，\citet{song2019generative}已经表明，通过去噪得分匹配训练的生成模型在使用被多级噪声破坏的数据样本进行训练时，可以实现出色的样本合成。在这里，我们提供的分析和经验证据表明，当数据维度很高时，使用多个噪声水平进行训练是必要的。利用这一洞察力，我们提出了一种新的EBM训练与多尺度去噪得分匹配。我们的模型表现出与最先进的技术（如GANs）相当的数据生成性能，并为EBM设定了新的基线。该模型还提供了密度信息，并在图像修复任务中表现良好。
2019-12-20 cs.CV cs.LG stat.ML
Training Energy-Based Normalizing Flow with Score-Matching Objectives
National Tsing Hua University（国立清华大学）；NVIDIA Corporation（英伟达公司）；Samsung Research America（三星美国研究院）；Georgia Institute of Technology（佐治亚理工学院）
本文提出基于能量的归一化流（EBFlow），利用分数匹配目标训练以绕过雅可比行列式计算，从而支持任意线性层并提升训练效率，实验表明其在速度和负对数似然上均优于最大似然方法。
2023-10-28 cs.LG stat.ML
Heteroscedasticity of Denoising Score Matching with Generalised Smooth Noise
Monash University（莫纳什大学）；Amazon（亚马逊）
该研究指出去噪得分匹配（DSM）存在固有的异方差性，推导了理想加权函数并给出实用近似方案，为各向同性高斯扩散的启发式权重提供了理论依据，在多分布和高阶得分上验证了理论。
2026-08-05 cs.LG stat.AP stat.ML
A Variational Perspective on Diffusion-Based Generative Models and Score Matching
University of Montreal（蒙特利尔大学）；Mila（米拉）
基于离散时间扩散的生成模型和分数匹配方法在高维图像数据建模方面显示出了良好的效果。最近，Song等人（2021）表明，将数据转换为噪声的扩散过程可以通过学习得分函数（即扰动数据的对数密度的梯度）来逆转。他们建议将学习的得分函数插入到逆公式中，以定义生成扩散过程。尽管在经验上取得了成功，但这一程序仍然缺乏理论基础。在这项工作中，我们直接接近（连续时间）生成扩散，并推导出一个变分框架的似然估计，其中包括连续时间规范化流作为一个特殊情况下，可以看作是一个无限深的变分自编码器。在这个框架下，我们证明了最小化分数匹配损失相当于最大化Song等人（2021）提出的插入式反向搜索的可能性下限，弥合了理论差距。
2021-09-30 cs.LG
Local Curvature Smoothing with Stein's Identity for Efficient Score Matching
LY Corporation（LY公司）；Sakana AI；University of Tsukuba（筑波大学）
本文提出结合 Stein 恒等式的局部曲率平滑分数匹配方法 LCSS，以避免高代价 Jacobian 迹计算，并在多项图像生成指标及 1024×1024 高分辨率生成中验证其效果。
2024-12-06 cs.CV cs.LG
Statistical Efficiency of Score Matching: The View from Isoperimetry
Stanford University（斯坦福大学）；Carnegie Mellon University（卡内基梅隆大学）
参数化到归一化常数的深度生成模型（例如，基于能量的模型）难以通过最大化数据的似然性来训练，因为其似然性和/或梯度不能被明确地或有效地写下。分数匹配是一种训练方法，我们不是拟合训练数据的似然$\log p(x)$，而是拟合分数函数$\nabla_x \log p(x)$ --避免了评估分区函数的需要。虽然这个估计量已知是一致的，但它的统计效率是否（以及何时）与最大似然法相当还不清楚，最大似然法已知是（渐近）最优的。我们在本文中启动这一调查线，并显示统计效率的得分匹配和等周属性的分布估计-即庞加莱，对数-Sobolev和等周常数-数量管理的混合时间的马尔可夫过程，如朗之万动力学之间的紧密联系。粗略地说，我们表明，分数匹配估计是统计上可比的最大似然分布时，有一个小的等周常数。相反，如果分布有一个大的等周常数-即使是简单的分布族，如指数族，具有足够丰富的统计数据-分数匹配将大大低于最大似然法的效率。我们适当地形式化这些结果在有限样本制度，并在渐近制度。最后，我们确定了一个直接平行的离散设置，在那里我们连接的统计性质的pseudolikkastrointestimation近似张量熵和Glauber动力学。
2022-12-22 cs.LG math.ST stat.ML
Fit Like You Sample: Sample-Efficient Generalized Score Matching from Fast Mixing Diffusions
Carnegie Mellon University（卡内基梅隆大学）
该研究揭示马尔可夫过程混合时间与广义得分匹配损失的关联，通过扩散预处理、温度提升等技术构建更优损失，证明有限高斯混合下退火得分匹配的样本复杂度为多项式级，突破原有下界。
2023-12-13 cs.DS cs.LG
Bi-level Score Matching for Learning Energy-based Latent Variable Models
Tsinghua University（清华大学）
分数匹配（SM）提供了一种引人注目的方法来学习基于能量的模型（EBM），通过避免计算分区函数。然而，它仍然在很大程度上是开放的学习基于能量的潜变量模型（EBLVMs），除了一些特殊情况。本文提出了一种双层得分匹配（BiSM）方法来学习EBLVMs的一般结构，通过将SM转化为一个双层优化问题。高层引入隐变量的变分后验，并优化修改后的SM目标，和低层优化变分后验，以适应真正的后验。为了有效地求解BiSM，我们开发了一个带有梯度展开的随机优化算法。在理论上，我们分析了BiSM的相容性和随机算法的收敛性。从经验上讲，我们在高斯限制玻尔兹曼机和深度卷积神经网络参数化的高度非结构EBLVMs中展示了BiSM的前景。BiSM在适用时可与广泛采用的对比发散和SM方法相媲美;并且可以学习具有难以处理的后验的复杂EBLVM以生成自然图像。
2020-10-16 cs.LG
Solving Inverse Physics Problems with Score Matching
Technical University of Munich（慕尼黑工业大学）；Max Planck Institute for Astrophysics（马克斯·普朗克天体物理研究所）
本文结合近似逆物理模拟器与学习型校正函数，提出基于分数匹配和概率流最大似然训练的时间逆问题求解方法，在准确性、稳定性和后验采样上优于多种基线。
2023-12-05 cs.LG physics.data-an
Ordering-based Causal Discovery via Generalized Score Matching
Monash University（墨尔本大学）；CSIRO’s Data61（CSIRO的数据61）
本文提出了一种基于通用分数匹配的因果发现方法，通过引入离散分数函数的叶判别准则，实现了对离散数据中真实因果顺序的准确推断，并提升了现有因果发现方法的准确性。
2026-07-28 cs.AI cs.LG
Soft Diffusion: Score Matching for General Corruptions
Google Research（谷歌研究院）；UT Austin（得克萨斯大学奥斯汀分校）
我们定义了一个更广泛的家庭腐败过程，概括了以前已知的扩散模型。为了扭转这些一般的扩散，我们提出了一个新的目标，称为软分数匹配，可证明学习任何线性腐败过程的分数函数，并为CelebA产生最先进的结果。软分数匹配结合了网络中的退化过程。我们的新损失训练模型预测一个干净的图像，\textit{that after corruption}，匹配扩散观察。我们表明，我们的目标学习梯度的可能性在适当的规律性条件下的一个家庭的腐败过程。我们进一步开发了一种原则性的方法来选择一般扩散过程的腐败水平和一种新的采样方法，我们称之为动量采样器。我们的实验表明，我们的框架适用于一般的线性腐败过程，如高斯模糊和掩蔽。我们在CelebA-64上实现了最先进的FID评分$1.85$，优于所有先前的线性扩散模型。与香草去噪扩散相比，我们还显示出显着的计算优势。
2022-10-05 cs.AI cs.CV cs.LG
Causal Discovery Under Hard Selection Bias: A New Robust Score-Matching Approach
IST Austria（IST奥地利）
针对因果发现中的强选择偏差问题，本文提出一种鲁棒得分匹配方法，无需选择过程外部信息，在截断数据的加性噪声模型下实现了与最优方法相当的性能。
2026-10-14 cs.LG
Dimension-free Score Matching and Time Bootstrapping for Diffusion Models
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Google DeepMind（谷歌DeepMind）
本文针对扩散模型分数学习，首次建立近维度无关的样本复杂度界，实现维度上双重指数改进，并提出自举分数匹配（BSM）方差缩减技术，提升高噪声水平下学习准确性。
2025-10-25 cs.LG math.ST stat.ML
Simulation-free Schrödinger bridges via score and flow matching
Mila – Québec AI Institute（米拉-魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）；McGill University（麦吉尔大学）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）
本研究提出无模拟得分与流匹配方法[SF]$^2$M，将连续时间随机生成建模转化为薛定谔桥问题，无需模拟随机过程即可高效求解，在性能和效率上优于现有模拟方法，还可用于高维细胞动力学建模与基因调控网络恢复。
2024-03-11 cs.LG
Unsupervised Anomaly Detection Using Flow Matching on Tabular Data
University of Mannheim（曼海姆大学）；MPI for Informatics（马克斯·普朗克信息学研究所）；Saarland Informatics Campus（萨尔兰信息学园区）
本研究针对受污染训练数据下的表格异常检测，对比TCCM与Forest-Flow，发现轨迹类异常评分更稳定，Forest-Flow表现可与TCCM媲美甚至更优，凸显异常评分的重要性。
2026-08-21 cs.LG
SGMD: Score Gradient Matching Distillation for Few-Step Video Diffusion Distillation
Beihang University（北京航空航天大学）；SenseTime Research（商汤科技研究院）；Hong Kong University of Science and Technology（香港科技大学）
针对分布匹配蒸馏在少步视频扩散中训练昂贵且运动动态保守的问题，提出得分梯度匹配蒸馏（SGMD），通过直接优化假得分朝向教师并使用教师停止梯度Fisher作为稳定目标，实现约3倍训练加速并显著提升运动动态。
2026-07-23 cs.CV cs.LG
Denoising Score Matching in Diffusion Models: The Effect of Rank Constraints on Generalization
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
该研究探讨扩散模型中秩约束对去噪分数匹配泛化性的影响，通过理论分析与数值实验揭示秩对训练/测试误差的作用机制，明确秩约束可正则化分数估计且效果依赖数据维度与样本量。
2026-10-16 cs.LG
Score Distillation of Flow Matching Models
Apple（苹果公司）
本文提出了一种适用于文本到图像流匹配模型的分数蒸馏方法，通过统一高斯扩散和流匹配模型，实现了高效的生成加速。
2025-12-03 cs.AI cs.CV cs.LG
Are We Really Learning the Score Function? Reinterpreting Diffusion Models Through Wasserstein Gradient Flow Matching
Oregon State University（俄勒冈州立大学）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
该研究发现训练后的扩散网络学习的向量场并非保守的得分函数，提出用Wasserstein梯度流匹配视角解释扩散模型的成功，指出非保守误差不一定损害密度输运，为理解扩散生成模型提供了新的理论框架。
2025-08-30 cs.LG
Learning a Diffusion Model Policy from Rewards via Q-Score Matching
University of California, Berkeley（加州大学伯克利分校）
针对扩散模型策略未利用基于分数结构的问题，提出Q-分数匹配方法，通过关联策略分数与Q函数动作梯度更新策略，仅需对去噪模型求导，收敛策略具隐式多模态和探索性，实验验证其可行性且优于基线。
2025-02-13 cs.AI cs.LG
Control Variate Score Matching for Diffusion Models
Google DeepMind（谷歌DeepMind）；BIFOLD – Berlin Institute for the Foundations of Learning and Data（柏林学习与数据基础研究院）；Machine Learning Group, Technische Universität Berlin（柏林技术大学机器学习组）；Department of Artificial Intelligence, Korea University（韩国大学人工智能系）；Max-Planck Institute for Informatics（马克斯·普朗克信息研究所）
本文提出CVSI方法，通过控制变量子框架统一DSI和TSI，降低方差并提升扩散模型的样本效率。
2026-09-02 cs.LG
Diffusing States and Matching Scores: A New Framework for Imitation Learning
Cornell University（康奈尔大学）；Carnegie Mellon University（卡内基梅隆大学）；Harvard University（哈佛大学）
针对对抗性模仿学习的训练难题，提出扩散状态与分数匹配框架，通过标准回归训练分数函数预测噪声，在理论和实验上均证明其更稳定且有效避免了复合误差。
2025-03-01 cs.LG
Score-Regularized Joint Sampling with Importance Weights for Flow Matching
University of California San Diego（加州大学圣地亚哥分校）
针对流匹配模型在有限采样预算下估计函数期望难的问题，提出非IID采样框架，用分数正则化平衡多样性与质量，还开发非IID流样本重要性加权方法，提升了流匹配模型输出的可靠表征。
2026-07-07 cs.AI cs.CV cs.LG
SMaRt: Improving GANs with Score Matching Regularity
针对GANs在复杂多样数据上训练时生成流形偏离真实流形的问题，提出分数匹配正则化方法SMaRt，借助预训练扩散模型作为近似分数函数，有效提升多种先进GAN的图像合成性能。
2025-10-01 cs.CV cs.LG
Shortcuts for causal discovery of nonlinear models by score matching
Università di Genova（热那亚大学）；Istituto Italiano di Tecnologia (IIT)（意大利技术研究院）；Institute of Science and Technology Austria (ISTA)（奥地利科学技术研究所）
本文正式定义了非线性加性噪声模型的得分可排序性模式，证明 ScoreSort 算法在统计效率上优于现有方法，并指出现有合成基准缺乏数据多样性，强调了分析统计特性的重要性。
2023-10-22 cs.LG stat.ME
From Score Matching to Diffusion: A Fine-Grained Error Analysis in the Gaussian Setting
ENS Paris, PSL, CNRS（巴黎高等师范学院、巴黎综合理工学院、国家科学研究中心）；Univ. Paris-Saclay, Inria, CEA（巴黎萨克雷大学、法国国家信息与自动化技术研究所、法国原子能委员会）
本文研究了在高斯设定下使用扩散采样器时的采样误差，分析了分数匹配和扩散过程中的四个主要误差源，并揭示了数据分布各向异性与端到端采样方法关键参数之间的相互作用。
2026-05-19 cs.LG math.OC
Reward Score Matching: Unifying Reward-based Fine-tuning for Flow and Diffusion Models
Graduate School of AI, KAIST, Korea（人工智能研究生院，韩国科学技术院）
提出奖励分数匹配（RSM）框架，统一了多种基于奖励的微调方法，通过分数匹配与值引导目标对齐，简化了设计空间并提高了效率。
2026-08-27 cs.AI cs.CV cs.LG
Balanced Image Stylization with Style Matching Score
Show Lab, National University of Singapore（新加坡国立大学Show实验室）；Agency for Science, Technology and Research (A*STAR)（科技研究局）；Nanyang Technological University（南洋理工大学）；Wangxuan Institute of Computer Technology, Peking University（北京大学王轩计算机技术研究所）
本文提出风格匹配分数（SMS），将图像风格化建模为风格分布匹配问题，并结合渐进频谱正则化与语义感知梯度细化，在保持内容的同时实现高效、高质量的风格迁移。
2025-07-22 cs.CV cs.LG
Flow Matching for Convective-Scale Precipitation Downscaling
Met Office（英国气象局）
针对对流尺度降水降尺度问题，提出流匹配生成模型，相比扩散模型在空间技能上表现更优，但低估降水分布上尾导致气候平均偏干。
2026-05-29 cs.LG physics.ao-ph
Quantum Dynamics via Score Matching on Bohmian Trajectories
Beijing National Laboratory for Condensed Matter Physics（北京凝聚态物理实验室）；Institute of Physics, Chinese Academy of Sciences, Beijing 100190, China（中国科学院物理研究所，北京100190，中国）
本文通过学习Bohm轨迹上的分数函数，求解时间依赖的薛定谔方程，展示了基于分数驱动的归一化流框架在量子动力学中的应用。
2026-04-28 cs.LG physics.chem-ph physics.comp-ph
Score Change of Variables
University of California, Irvine（加利福尼亚大学欧文分校）；Department of Mathematics（数学系）
本文推导了得分函数的变量变换公式，并据此提出反向时间Itô引理和广义切片得分匹配，实现跨空间训练与采样，提升高维密度估计灵活性。
2025-02-24 cs.AI cs.LG math.PR
A Unified Measure-Theoretic View of Diffusion, Score-Based, and Flow Matching Generative Models
Center for Applied Scientific Computing（应用科学计算中心）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；University of California Merced（加州默塞德大学）
本文从测度论角度统一了扩散、基于分数和流匹配生成模型，探讨了时间依赖向量场诱导的边缘分布，并分析了采样、稳定性和计算的权衡。
2026-05-07 cs.CV cs.ET cs.IT
Interpretation and Generalization of Score Matching
University at Albany, SUNY（纽约州立大学奥尔巴尼分校）
分数匹配是近年来发展起来的一种参数学习方法，它对具有复杂划分函数的高维密度模型特别有效。在本文中，我们研究了两个问题，尚未完全解决的分数匹配。首先，我们提供了一个正式的最大似然和得分匹配之间的联系。我们的分析表明，分数匹配发现模型参数，更强大的噪声训练数据。其次，我们开发了一个泛化的分数匹配。基于这种推广，我们进一步证明了扩展的分数匹配模型的离散数据。
2012-05-09 cs.LG stat.ML
Maximum Likelihood Training for Score-Based Diffusion ODEs by High-Order Denoising Score Matching
Tsinghua University（清华大学）；Peng Cheng Laboratory（鹏城实验室）；Renmin University of China（中国人民大学）
基于分数的生成模型在生成质量和可能性方面具有优异的性能。他们通过将参数化评分网络与一阶数据得分函数相匹配来对数据分布进行建模。分数网络可以用来定义一个ODE（“基于分数的扩散ODE”），用于精确的似然评估。然而，ODE的可能性和分数匹配目标之间的关系尚不清楚。在这项工作中，我们证明，匹配的一阶分数是不足以最大限度地提高可能性的ODE，通过显示之间的差距的极大似然和分数匹配的目标。为了填补这一空白，我们表明，负似然的常微分方程可以通过控制第一，第二，第三阶分数匹配误差的范围内，我们进一步提出了一种新的高阶去噪分数匹配方法，使极大似然训练的分数为基础的扩散常微分方程。我们的算法保证了高阶匹配误差是有界的训练误差和低阶误差。我们根据经验观察到，通过高阶分数匹配，基于分数的扩散ODE在合成数据和CIFAR-10上都实现了更好的似然性，同时保持了高生成质量。
2022-06-27 cs.LG stat.ML
Neural Score Matching for High-Dimensional Causal Inference
University of Oxford（牛津大学）；University College London（伦敦大学学院）；Alan Turing Institute（艾伦·图灵研究所）
本文提出神经评分匹配方法，通过神经网络获取多变量平衡分数以解决高维因果推断中的匹配问题，展示了其在治疗效应估计和减少不平衡方面的有效性。
2026-02-11 cs.LG stat.ML
Sample Complexity Bounds for Score-Matching: Causal Discovery and Generative Modeling
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Institute of Science Technology Austria（奥地利科学技术研究所）
本文为分数匹配方法建立了统计样本复杂度界，证明用深度ReLU网络和随机梯度下降可准确估计分数函数，并给出其在因果发现和生成建模中的误差上界。
2023-10-27 cs.LG stat.ML
Is Score Matching Suitable for Estimating Point Processes?
Renmin University of China（中国人民大学）；University of Technology Sydney（悉尼科技大学）
针对现有得分匹配估计器在通用点过程估计中失效的问题，提出加权得分匹配估计器，证明其一致性与收敛速率，实验验证其有效性并开源代码。
2024-10-05 cs.LG stat.ML
Sequential Change Point Detection via Denoising Score Matching
Carnegie Mellon University（卡内基梅隆大学）；University of Minnesota（明尼苏达大学）；Georgia Institute of Technology（佐治亚理工学院）
本文提出一种基于去噪分数匹配的CUSUM变点检测方法，通过估计数据分布分数函数来检测分布变化，理论分析和实验证明其在高维复杂数据中有效。
2025-01-22 cs.LG stat.ML
Autoregressive Score Matching
Stanford University（斯坦福大学）
自回归模型使用链式规则将联合概率分布定义为条件的乘积。这些条件需要规范化，对可以使用的函数族施加约束。为了增加灵活性，我们提出了自回归条件得分模型（AR-CSM），在该模型中，我们根据单变量对数条件（得分）的导数对联合分布进行参数化，而无需进行归一化。为了训练AR-CSM，我们引入了一种新的分布之间的分歧，称为复合得分匹配（CSM）。对于AR-CSM模型，数据和模型分布之间的这种差异可以有效地计算和优化，不需要昂贵的采样或对抗训练。与以往的分数匹配算法相比，我们的方法是更可扩展的高维数据和更稳定的优化。我们用大量的实验结果表明，它可以应用于合成数据的密度估计，图像生成，图像去噪，和隐式编码器训练潜变量模型。
2020-10-24 cs.LG stat.ML
Robust Score Matching
School of Computation, Information and Technology（计算、信息与技术学院）；Technical University of Munich（慕尼黑技术大学）；University of Alberta（阿尔伯塔大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
本研究提出基于几何中位数均值的鲁棒分数匹配方法，在数据污染下仍保持指数族模型凸性，实现一致估计与支持恢复，并在无污染时性能不逊于标准方法，有污染时显著更优。
2025-01-09 cs.LG stat.ML
Connecting Score Matching, Maximum Likelihood, and Expectation-Maximization in Mixed Linear Regression
Purdue University（普渡大学）
本文研究混合线性回归中响应扩散的分数匹配，通过KL散度连接似然与EM算子，证明估计器收敛并给出梯度分解与数值验证。
2026-09-09 cs.LG stat.ML
Denoising Likelihood Score Matching for Conditional Score-based Data Generation
National Tsing Hua University（国立清华大学）；Mediatek Inc.（联发科股份有限公司）
许多现有的基于条件分数的数据生成方法利用贝叶斯定理将对数后验密度的梯度分解为分数的混合。这些方法有助于条件得分模型的训练过程，因为可以使用得分模型和分类器分别估计得分的混合。然而，我们的分析表明，这些方法中的分类器的训练目标可能会导致严重的分数失配问题，这对应于估计分数偏离真实分数的情况。这样的问题导致样本在扩散过程中被偏离的分数误导，导致采样质量下降。为了解决这个问题，我们制定了一个新的训练目标，称为去噪似然分数匹配（DLSM）损失，分类器匹配的梯度的真实对数似然密度。我们的实验证据表明，所提出的方法优于以前的方法Cifar-10和Cifar-100基准显着的几个关键的评估指标。因此，我们可以得出结论，通过采用DLSM，条件分数可以准确地建模，并减轻分数不匹配问题的影响。
2022-03-27 cs.LG stat.ML
Heavy-tailed denoising score matching
University of Cambridge（剑桥大学）
在过去几年中，基于分数的模型研究已经通过采用高斯去噪得分匹配（DSM）产生了最先进的生成模型。然而，高斯噪声假设有几个高维的限制，激励一个更具体的路线，甚至更高的维度PDF估计在未来。我们概述了这一限制，然后将理论扩展到一个更广泛的家庭的噪声分布-即广义正态分布。从理论上讲，我们放松了（去噪）分数匹配理论中的一个关键假设，证明了几乎在任何地方都是可微的分布允许与高斯分布相同的客观简化。对于噪声向量范数分布，我们在深度学习中普遍存在的高维空间中展示了有利的测量集中度。在这个过程中，我们发现了一个偏斜的噪声向量范数分布，并开发了一个迭代噪声缩放算法，以始终初始化退火Langevin动力学（LD）中的多个级别的噪声。在实践方面，我们使用重尾DSM导致改进的分数估计，可控的采样收敛，以及更平衡的非平衡数据集的无条件生成性能。
2022-04-12 cs.LG stat.ML
Taking a Big Step: Large Learning Rates in Denoising Score Matching Prevent Memorization
EPFL（洛桑联邦理工学院）
本文揭示大学习率在去噪得分匹配中作为隐式正则化机制，通过阻止神经网络收敛到经验最优得分来防止扩散模型记忆化训练数据，并在一维及更广泛设置中验证了该作用。
2025-05-06 cs.LG stat.ML
