Target Score Matching
Google DeepMind(谷歌DeepMind);Isomorphic Labs(同构实验室)
针对去噪分数匹配在低噪声水平下分数估计较差的局限,本文提出目标分数恒等式与目标分数匹配回归损失,利用已知的目标分数知识,获得在低噪声水平下具有良好性质的分数估计。
2024-02-13 cs.LG stat.CO stat.ML
Operator-Informed Score Matching for Markov Diffusion Models
Newcastle University(新castle大学);King’s College London(伦敦国王学院);The Alan Turing Institute(艾伦·图灵研究所)
本文提出算子信息得分匹配方法,利用马尔可夫加噪过程的谱分解,仅用数据样本均值同时估计所有边际分布的得分函数,为低维生成提供独立方法,并改进高维神经得分估计器。
2025-05-24 cs.LG stat.ML
Interpreting diffusion score matching using normalizing flow
University of Cambridge(剑桥大学);Imperial College London(帝国理工学院)
评分匹配(SM)及其相关的Stein差异(SD)在模型训练和评估方面取得了巨大的成功。然而,最近的研究表明,它们在处理某些类型的分布时存在局限性。一种可能的解决方案是将原始分数匹配(或Stein差异)与扩散矩阵合并,这被称为扩散分数匹配(DSM)(或扩散Stein差异(DSD))。然而,缺乏对扩散的解释限制了其在简单分布和手动选择矩阵中的使用。在这项工作中,我们计划通过使用归一化流解释扩散矩阵来填补这一空白。具体来说,我们从理论上证明,DSM(或DSD)是等价于原始的分数匹配(或斯坦差异)的归一化流,其中的扩散矩阵是流的雅可比矩阵的逆定义的变换空间中评估。此外,我们还建立了它与黎曼流形的联系,并进一步将其推广到连续流,其中DSM的变化由一个常微分方程表征。
2021-07-21 cs.LG stat.ML
Score-matching-based Structure Learning for Temporal Data on Networks
School of Mathematical Sciences, Shanghai Jiao Tong University(上海交通大学数学科学学院);University of Cambridge(剑桥大学)
本文提出PICK算法,通过改进父节点查找子程序提升分数匹配在处理独立同分布及时序网络数据时的效率与准确性。
2026-04-12 cs.LG stat.ML
Adversarial score matching and improved sampling for image generation
University of Montreal(蒙特利尔大学);Microsoft Research Lab(微软研究院实验室)
去噪得分匹配与退火Langevin采样(DSM-ALS)最近发现在生成建模的成功。该方法的工作原理是首先训练一个神经网络来估计分布的分数,然后使用Langevin动力学从分数网络假设的数据分布中采样。尽管样本的视觉质量令人信服,但在Fréchet Inception Distance(生成模型的标准度量)下,这种方法的表现似乎比生成对抗网络(GANs)更差。我们表明,这种明显的差距消失时,使用分数网络去噪的最终Langevin样本。此外,我们提出了对DSM-ALS的两项改进:1)一致退火采样作为退火Langevin采样的更稳定的替代方案,以及2)混合训练公式,由去噪得分匹配和对抗目标组成。通过结合这两种技术和探索不同的网络架构,我们提升了分数匹配方法,并获得了与CIFAR-10上最先进的图像生成相竞争的结果。
2020-10-10 cs.CV cs.LG stat.ML
Latent Target Score Matching, with an application to Simulation-Based Inference
University of Massachusetts Amherst(马萨诸塞大学阿姆赫斯特分校);NVIDIA(英伟达)
本文提出潜在目标分数匹配方法,通过利用联合分数降低方差,提升基于模拟推断任务的分数准确性和样本质量。
2026-02-06 cs.LG
Optimizing Input of Denoising Score Matching is Biased Towards Higher Score Norm
AIR & CST, Tsinghua University(人工智能研究院与计算科学与技术系,清华大学)
本文指出用去噪分数匹配优化扩散模型条件输入会打破其与精确分数匹配的等价性,产生偏向更高分数范数的偏差,该偏差也存在于预训练扩散模型优化数据分布场景中,还会影响多个跨领域相关工作。
2025-11-13 cs.CV cs.LG
A Connection Between Score Matching and Local Intrinsic Dimension
PNNL(太平洋西北国家实验室);UNC Chapel Hill(北卡罗来纳大学教堂山分校);UC San Diego(圣地亚哥大学)
本文提出利用去噪分数匹配损失作为局部内在维度估计器,通过理论分析和实验验证其在高维数据中的有效性与可扩展性。
2026-10-30 cs.LG stat.ML
Learning Energy-Based Models in High-Dimensional Spaces with Multi-scale Denoising Score Matching
Redwood Center for Theoretical Neuroscience(雷德伍德理论神经科学中心);University of California Berkeley(加州大学伯克利分校);Berkeley AI Research(伯克利人工智能研究院);Helen Wills Neuroscience Institute(海伦·威尔斯神经科学研究所)
基于能量的模型(EBM)将非归一化对数概率分配给数据样本。该功能具有多种应用,例如样本合成、数据去噪、样本恢复、离群值检测、贝叶斯推理等等。但是使用标准极大似然训练EBM非常慢,因为它需要从模型分布中采样。分数匹配可能会解决这个问题。特别地,去噪分数匹配\citep{vincent2011connection}已成功地用于训练EBM。使用具有一个固定噪声水平的噪声数据样本,这些模型学习速度快,并在数据去噪\citep{saremi2019neural}中产生良好的结果。然而,这种模型在高维数据的高质量样本合成中的演示缺乏。最近,\citet{song2019generative}已经表明,通过去噪得分匹配训练的生成模型在使用被多级噪声破坏的数据样本进行训练时,可以实现出色的样本合成。在这里,我们提供的分析和经验证据表明,当数据维度很高时,使用多个噪声水平进行训练是必要的。利用这一洞察力,我们提出了一种新的EBM训练与多尺度去噪得分匹配。我们的模型表现出与最先进的技术(如GANs)相当的数据生成性能,并为EBM设定了新的基线。该模型还提供了密度信息,并在图像修复任务中表现良好。
2019-12-20 cs.CV cs.LG stat.ML
From optimal score matching to optimal sampling
Yale University(耶鲁大学);University of Chicago(芝加哥大学)
该研究针对基于得分的扩散模型的得分估计最优统计速率问题,推导了光滑紧支撑密度下得分估计的精确极小极大速率,证明扩散模型生成样本分布可达无对数项、无需提前停止的最优密度估计速率。
2024-09-11 cs.LG stat.ML
Heteroscedasticity of Denoising Score Matching with Generalised Smooth Noise
Monash University(莫纳什大学);Amazon(亚马逊)
该研究指出去噪得分匹配(DSM)存在固有的异方差性,推导了理想加权函数并给出实用近似方案,为各向同性高斯扩散的启发式权重提供了理论依据,在多分布和高阶得分上验证了理论。
2026-08-05 cs.LG stat.AP stat.ML
Diffusion Models Observe Only Gradients: A Geometric Perspective on Score Matching Errors
University of Cambridge(剑桥大学)
本文从几何角度揭示L2分数误差不是衡量边缘分布质量的正确指标,通过Helmholtz-Hodge分解将分数误差分解为梯度分量和螺线管分量,证明只有梯度分量影响Fokker-Planck动力学,并给出仅依赖于梯度分量的KL散度上界及可计算的梯度分量估计器。
2026-11-05 cs.LG stat.ML
Discrete Score Matching Enables Causal Discovery from Count Data
Seoul National University(首尔大学)
针对计数数据因果发现中导数不可用的问题,提出基于条件曲率分数(CCS)和非对角曲率分数(OCS)的DISCO算法,实现半参数GLM DAG的识别与恢复,实验验证了多种分布下的准确性和可扩展性。
2026-10-01 cs.LG stat.ML
Local Curvature Smoothing with Stein's Identity for Efficient Score Matching
LY Corporation(LY公司);Sakana AI;University of Tsukuba(筑波大学)
本文提出结合 Stein 恒等式的局部曲率平滑分数匹配方法 LCSS,以避免高代价 Jacobian 迹计算,并在多项图像生成指标及 1024×1024 高分辨率生成中验证其效果。
2024-12-06 cs.CV cs.LG
A Variational Perspective on Diffusion-Based Generative Models and Score Matching
University of Montreal(蒙特利尔大学);Mila(米拉)
基于离散时间扩散的生成模型和分数匹配方法在高维图像数据建模方面显示出了良好的效果。最近,Song等人(2021)表明,将数据转换为噪声的扩散过程可以通过学习得分函数(即扰动数据的对数密度的梯度)来逆转。他们建议将学习的得分函数插入到逆公式中,以定义生成扩散过程。尽管在经验上取得了成功,但这一程序仍然缺乏理论基础。在这项工作中,我们直接接近(连续时间)生成扩散,并推导出一个变分框架的似然估计,其中包括连续时间规范化流作为一个特殊情况下,可以看作是一个无限深的变分自编码器。在这个框架下,我们证明了最小化分数匹配损失相当于最大化Song等人(2021)提出的插入式反向搜索的可能性下限,弥合了理论差距。
2021-09-30 cs.LG
Faster Training of Diffusion Models and Improved Density Estimation via Parallel Score Matching
Inria(法国国家信息与自动化研究所)
针对 DPMs 单网络训练慢、容量受限的问题,本文按时间区间乃至每个时间点拆分分数匹配任务,用独立网络并行学习,从而加速训练并提升密度估计。
2023-06-05 cs.LG stat.ML
Fit Like You Sample: Sample-Efficient Generalized Score Matching from Fast Mixing Diffusions
Carnegie Mellon University(卡内基梅隆大学)
该研究揭示马尔可夫过程混合时间与广义得分匹配损失的关联,通过扩散预处理、温度提升等技术构建更优损失,证明有限高斯混合下退火得分匹配的样本复杂度为多项式级,突破原有下界。
2023-12-13 cs.DS cs.LG
Solving Inverse Physics Problems with Score Matching
Technical University of Munich(慕尼黑工业大学);Max Planck Institute for Astrophysics(马克斯·普朗克天体物理研究所)
本文结合近似逆物理模拟器与学习型校正函数,提出基于分数匹配和概率流最大似然训练的时间逆问题求解方法,在准确性、稳定性和后验采样上优于多种基线。
2023-12-05 cs.LG physics.data-an
Training Energy-Based Normalizing Flow with Score-Matching Objectives
National Tsing Hua University(国立清华大学);NVIDIA Corporation(英伟达公司);Samsung Research America(三星美国研究院);Georgia Institute of Technology(佐治亚理工学院)
本文提出基于能量的归一化流(EBFlow),利用分数匹配目标训练以绕过雅可比行列式计算,从而支持任意线性层并提升训练效率,实验表明其在速度和负对数似然上均优于最大似然方法。
2023-10-28 cs.LG stat.ML
Ordering-based Causal Discovery via Generalized Score Matching
Monash University(墨尔本大学);CSIRO’s Data61(CSIRO的数据61)
本文提出了一种基于通用分数匹配的因果发现方法,通过引入离散分数函数的叶判别准则,实现了对离散数据中真实因果顺序的准确推断,并提升了现有因果发现方法的准确性。
2026-07-28 cs.AI cs.LG
Soft Diffusion: Score Matching for General Corruptions
Google Research(谷歌研究院);UT Austin(得克萨斯大学奥斯汀分校)
我们定义了一个更广泛的家庭腐败过程,概括了以前已知的扩散模型。为了扭转这些一般的扩散,我们提出了一个新的目标,称为软分数匹配,可证明学习任何线性腐败过程的分数函数,并为CelebA产生最先进的结果。软分数匹配结合了网络中的退化过程。我们的新损失训练模型预测一个干净的图像,\textit{that after corruption},匹配扩散观察。我们表明,我们的目标学习梯度的可能性在适当的规律性条件下的一个家庭的腐败过程。我们进一步开发了一种原则性的方法来选择一般扩散过程的腐败水平和一种新的采样方法,我们称之为动量采样器。我们的实验表明,我们的框架适用于一般的线性腐败过程,如高斯模糊和掩蔽。我们在CelebA-64上实现了最先进的FID评分$1.85$,优于所有先前的线性扩散模型。与香草去噪扩散相比,我们还显示出显着的计算优势。
2022-10-05 cs.AI cs.CV cs.LG
Bi-level Score Matching for Learning Energy-based Latent Variable Models
Tsinghua University(清华大学)
分数匹配(SM)提供了一种引人注目的方法来学习基于能量的模型(EBM),通过避免计算分区函数。然而,它仍然在很大程度上是开放的学习基于能量的潜变量模型(EBLVMs),除了一些特殊情况。本文提出了一种双层得分匹配(BiSM)方法来学习EBLVMs的一般结构,通过将SM转化为一个双层优化问题。高层引入隐变量的变分后验,并优化修改后的SM目标,和低层优化变分后验,以适应真正的后验。为了有效地求解BiSM,我们开发了一个带有梯度展开的随机优化算法。在理论上,我们分析了BiSM的相容性和随机算法的收敛性。从经验上讲,我们在高斯限制玻尔兹曼机和深度卷积神经网络参数化的高度非结构EBLVMs中展示了BiSM的前景。BiSM在适用时可与广泛采用的对比发散和SM方法相媲美;并且可以学习具有难以处理的后验的复杂EBLVM以生成自然图像。
2020-10-16 cs.LG
Score Distillation of Flow Matching Models
Apple(苹果公司)
本文提出了一种适用于文本到图像流匹配模型的分数蒸馏方法,通过统一高斯扩散和流匹配模型,实现了高效的生成加速。
2025-12-03 cs.AI cs.CV cs.LG
SGMD: Score Gradient Matching Distillation for Few-Step Video Diffusion Distillation
Beihang University(北京航空航天大学);SenseTime Research(商汤科技研究院);Hong Kong University of Science and Technology(香港科技大学)
针对分布匹配蒸馏在少步视频扩散中训练昂贵且运动动态保守的问题,提出得分梯度匹配蒸馏(SGMD),通过直接优化假得分朝向教师并使用教师停止梯度Fisher作为稳定目标,实现约3倍训练加速并显著提升运动动态。
2026-07-23 cs.CV cs.LG
Faster Sampling without Isoperimetry via Diffusion-based Monte Carlo
Hong Kong University of Science and Technology(香港科技大学);The University of Hong Kong(香港大学);University of California San Diego(加利福尼亚大学圣迭戈分校);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文针对 Diffusion-based Monte Carlo 梯度复杂度过高的问题,提出基于递归得分估计的 RS-DMC 算法,通过片段分解使采样子问题只需处理强对数凹分布,将梯度复杂度从指数级降为拟多项式级,并证明在耗散条件下优于 Langevin 类算法。
2024-01-12 cs.LG math.OC stat.CO
Score-Regularized Joint Sampling with Importance Weights for Flow Matching
University of California San Diego(加州大学圣地亚哥分校)
针对流匹配模型在有限采样预算下估计函数期望难的问题,提出非IID采样框架,用分数正则化平衡多样性与质量,还开发非IID流样本重要性加权方法,提升了流匹配模型输出的可靠表征。
2026-07-07 cs.AI cs.CV cs.LG
Causal Discovery Under Hard Selection Bias: A New Robust Score-Matching Approach
IST Austria(IST奥地利)
针对因果发现中的强选择偏差问题,本文提出一种鲁棒得分匹配方法,无需选择过程外部信息,在截断数据的加性噪声模型下实现了与最优方法相当的性能。
2026-10-14 cs.LG
Learning a Diffusion Model Policy from Rewards via Q-Score Matching
University of California, Berkeley(加州大学伯克利分校)
针对扩散模型策略未利用基于分数结构的问题,提出Q-分数匹配方法,通过关联策略分数与Q函数动作梯度更新策略,仅需对去噪模型求导,收敛策略具隐式多模态和探索性,实验验证其可行性且优于基线。
2025-02-13 cs.AI cs.LG
Simulation-free Schrödinger bridges via score and flow matching
Mila – Québec AI Institute(米拉-魁北克人工智能研究所);Université de Montréal(蒙特利尔大学);McGill University(麦吉尔大学);University of Toronto(多伦多大学);Vector Institute(向量研究所)
本研究提出无模拟得分与流匹配方法[SF]$^2$M,将连续时间随机生成建模转化为薛定谔桥问题,无需模拟随机过程即可高效求解,在性能和效率上优于现有模拟方法,还可用于高维细胞动力学建模与基因调控网络恢复。
2024-03-11 cs.LG
Unsupervised Anomaly Detection Using Flow Matching on Tabular Data
University of Mannheim(曼海姆大学);MPI for Informatics(马克斯·普朗克信息学研究所);Saarland Informatics Campus(萨尔兰信息学园区)
本研究针对受污染训练数据下的表格异常检测,对比TCCM与Forest-Flow,发现轨迹类异常评分更稳定,Forest-Flow表现可与TCCM媲美甚至更优,凸显异常评分的重要性。
2026-08-21 cs.LG
Denoising Score Matching in Diffusion Models: The Effect of Rank Constraints on Generalization
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
该研究探讨扩散模型中秩约束对去噪分数匹配泛化性的影响,通过理论分析与数值实验揭示秩对训练/测试误差的作用机制,明确秩约束可正则化分数估计且效果依赖数据维度与样本量。
2026-10-16 cs.LG
SMaRt: Improving GANs with Score Matching Regularity
针对GANs在复杂多样数据上训练时生成流形偏离真实流形的问题,提出分数匹配正则化方法SMaRt,借助预训练扩散模型作为近似分数函数,有效提升多种先进GAN的图像合成性能。
2025-10-01 cs.CV cs.LG
Are We Really Learning the Score Function? Reinterpreting Diffusion Models Through Wasserstein Gradient Flow Matching
Oregon State University(俄勒冈州立大学);Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
该研究发现训练后的扩散网络学习的向量场并非保守的得分函数,提出用Wasserstein梯度流匹配视角解释扩散模型的成功,指出非保守误差不一定损害密度输运,为理解扩散生成模型提供了新的理论框架。
2025-08-30 cs.LG
Reward Score Matching: Unifying Reward-based Fine-tuning for Flow and Diffusion Models
Graduate School of AI, KAIST, Korea(人工智能研究生院,韩国科学技术院)
提出奖励分数匹配(RSM)框架,统一了多种基于奖励的微调方法,通过分数匹配与值引导目标对齐,简化了设计空间并提高了效率。
2026-08-27 cs.AI cs.CV cs.LG
Shortcuts for causal discovery of nonlinear models by score matching
Università di Genova(热那亚大学);Istituto Italiano di Tecnologia (IIT)(意大利技术研究院);Institute of Science and Technology Austria (ISTA)(奥地利科学技术研究所)
本文正式定义了非线性加性噪声模型的得分可排序性模式,证明 ScoreSort 算法在统计效率上优于现有方法,并指出现有合成基准缺乏数据多样性,强调了分析统计特性的重要性。
2023-10-22 cs.LG stat.ME
Quantum Dynamics via Score Matching on Bohmian Trajectories
Beijing National Laboratory for Condensed Matter Physics(北京凝聚态物理实验室);Institute of Physics, Chinese Academy of Sciences, Beijing 100190, China(中国科学院物理研究所,北京100190,中国)
本文通过学习Bohm轨迹上的分数函数,求解时间依赖的薛定谔方程,展示了基于分数驱动的归一化流框架在量子动力学中的应用。
2026-04-28 cs.LG physics.chem-ph physics.comp-ph
Control Variate Score Matching for Diffusion Models
Google DeepMind(谷歌DeepMind);BIFOLD – Berlin Institute for the Foundations of Learning and Data(柏林学习与数据基础研究院);Machine Learning Group, Technische Universität Berlin(柏林技术大学机器学习组);Department of Artificial Intelligence, Korea University(韩国大学人工智能系);Max-Planck Institute for Informatics(马克斯·普朗克信息研究所)
本文提出CVSI方法,通过控制变量子框架统一DSI和TSI,降低方差并提升扩散模型的样本效率。
2026-09-02 cs.LG
From Score Matching to Diffusion: A Fine-Grained Error Analysis in the Gaussian Setting
ENS Paris, PSL, CNRS(巴黎高等师范学院、巴黎综合理工学院、国家科学研究中心);Univ. Paris-Saclay, Inria, CEA(巴黎萨克雷大学、法国国家信息与自动化技术研究所、法国原子能委员会)
本文研究了在高斯设定下使用扩散采样器时的采样误差,分析了分数匹配和扩散过程中的四个主要误差源,并揭示了数据分布各向异性与端到端采样方法关键参数之间的相互作用。
2026-05-19 cs.LG math.OC
Diffusing States and Matching Scores: A New Framework for Imitation Learning
Cornell University(康奈尔大学);Carnegie Mellon University(卡内基梅隆大学);Harvard University(哈佛大学)
针对对抗性模仿学习的训练难题,提出扩散状态与分数匹配框架,通过标准回归训练分数函数预测噪声,在理论和实验上均证明其更稳定且有效避免了复合误差。
2025-03-01 cs.LG
Balanced Image Stylization with Style Matching Score
Show Lab, National University of Singapore(新加坡国立大学Show实验室);Agency for Science, Technology and Research (A*STAR)(科技研究局);Nanyang Technological University(南洋理工大学);Wangxuan Institute of Computer Technology, Peking University(北京大学王轩计算机技术研究所)
本文提出风格匹配分数(SMS),将图像风格化建模为风格分布匹配问题,并结合渐进频谱正则化与语义感知梯度细化,在保持内容的同时实现高效、高质量的风格迁移。
2025-07-22 cs.CV cs.LG
Flow Matching for Convective-Scale Precipitation Downscaling
Met Office(英国气象局)
针对对流尺度降水降尺度问题,提出流匹配生成模型,相比扩散模型在空间技能上表现更优,但低估降水分布上尾导致气候平均偏干。
2026-05-29 cs.LG physics.ao-ph
Score Change of Variables
University of California, Irvine(加利福尼亚大学欧文分校);Department of Mathematics(数学系)
本文推导了得分函数的变量变换公式,并据此提出反向时间Itô引理和广义切片得分匹配,实现跨空间训练与采样,提升高维密度估计灵活性。
2025-02-24 cs.AI cs.LG math.PR
A Unified Measure-Theoretic View of Diffusion, Score-Based, and Flow Matching Generative Models
Center for Applied Scientific Computing(应用科学计算中心);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室);University of California Merced(加州默塞德大学)
本文从测度论角度统一了扩散、基于分数和流匹配生成模型,探讨了时间依赖向量场诱导的边缘分布,并分析了采样、稳定性和计算的权衡。
2026-05-07 cs.CV cs.ET cs.IT
Generalization error bound for denoising score matching under relaxed manifold assumption
HSE University(高等经济大学)
本文在放松流形假设下,推导了去噪分数匹配估计的非渐近误差界,揭示了收敛速度与内在维度的关系。
2025-06-17 cs.LG math.ST stat.ML
Diffusion-based Denoising Beats Vanilla Score Matching in Parameter Estimation: A Theoretical Explanation
University of Hamburg(汉堡大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
本文通过理论分析证明,对于具有分离模态的多峰分布,基于扩散的去噪得分匹配估计器(DDSME)相比普通得分匹配估计器(SME)具有更优的误差界,并解释了扩散方法优越性的原因。
2026-08-21 cs.LG math.ST stat.ME
ScoreMatchingRiesz: Score Matching for Debiased Machine Learning and Policy Path Estimation
ScoreMatchingRiesz通过分数匹配方法实现去偏机器学习和政策路径估计,提升政策效应的可解释性。
2026-01-29 cs.LG econ.EM math.ST
Interpretation and Generalization of Score Matching
University at Albany, SUNY(纽约州立大学奥尔巴尼分校)
分数匹配是近年来发展起来的一种参数学习方法,它对具有复杂划分函数的高维密度模型特别有效。在本文中,我们研究了两个问题,尚未完全解决的分数匹配。首先,我们提供了一个正式的最大似然和得分匹配之间的联系。我们的分析表明,分数匹配发现模型参数,更强大的噪声训练数据。其次,我们开发了一个泛化的分数匹配。基于这种推广,我们进一步证明了扩展的分数匹配模型的离散数据。
2012-05-09 cs.LG stat.ML
Maximum Likelihood Training for Score-Based Diffusion ODEs by High-Order Denoising Score Matching
Tsinghua University(清华大学);Peng Cheng Laboratory(鹏城实验室);Renmin University of China(中国人民大学)
基于分数的生成模型在生成质量和可能性方面具有优异的性能。他们通过将参数化评分网络与一阶数据得分函数相匹配来对数据分布进行建模。分数网络可以用来定义一个ODE(“基于分数的扩散ODE”),用于精确的似然评估。然而,ODE的可能性和分数匹配目标之间的关系尚不清楚。在这项工作中,我们证明,匹配的一阶分数是不足以最大限度地提高可能性的ODE,通过显示之间的差距的极大似然和分数匹配的目标。为了填补这一空白,我们表明,负似然的常微分方程可以通过控制第一,第二,第三阶分数匹配误差的范围内,我们进一步提出了一种新的高阶去噪分数匹配方法,使极大似然训练的分数为基础的扩散常微分方程。我们的算法保证了高阶匹配误差是有界的训练误差和低阶误差。我们根据经验观察到,通过高阶分数匹配,基于分数的扩散ODE在合成数据和CIFAR-10上都实现了更好的似然性,同时保持了高生成质量。
2022-06-27 cs.LG stat.ML
Neural Score Matching for High-Dimensional Causal Inference
University of Oxford(牛津大学);University College London(伦敦大学学院);Alan Turing Institute(艾伦·图灵研究所)
本文提出神经评分匹配方法,通过神经网络获取多变量平衡分数以解决高维因果推断中的匹配问题,展示了其在治疗效应估计和减少不平衡方面的有效性。
2026-02-11 cs.LG stat.ML
Sample Complexity Bounds for Score-Matching: Causal Discovery and Generative Modeling
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);Institute of Science Technology Austria(奥地利科学技术研究所)
本文为分数匹配方法建立了统计样本复杂度界,证明用深度ReLU网络和随机梯度下降可准确估计分数函数,并给出其在因果发现和生成建模中的误差上界。
2023-10-27 cs.LG stat.ML
Estimating Density Models with Truncation Boundaries using Score Matching
University of Bristol(布里斯托大学);Tokyo Institute of Technology(东京工业大学);RIKEN AIP(理化学研究所人工智能研究中心)
截断密度是定义在截断域上的概率密度函数。它们与它们的非截断对应物共享相同的参数形式,直到归一化常数。由于其归一化常数的计算通常是不可行的,极大似然估计不能很容易地应用于截断密度模型的估计。分数匹配(SM)是一个功能强大的工具,只使用非标准化模型拟合参数。然而,它不能直接应用于这里作为边界条件,用于导出一个听话的SM目标不满足截断密度。本文研究了截断概率密度的参数估计。估计量最小化加权Fisher散度。权函数是从数据点到域边界的最短距离。我们表明,这种选择的权重函数自然产生于最小化斯坦差异以及上限的有限样本估计误差。数值实验和芝加哥犯罪数据集的研究表明,我们的方法的实用性。我们还表明,所提出的密度估计可以纠正异常检测方法所造成的异常修剪偏差。
2022-04-20 cs.LG math.ST stat.ML
Is Score Matching Suitable for Estimating Point Processes?
Renmin University of China(中国人民大学);University of Technology Sydney(悉尼科技大学)
针对现有得分匹配估计器在通用点过程估计中失效的问题,提出加权得分匹配估计器,证明其一致性与收敛速率,实验验证其有效性并开源代码。
2024-10-05 cs.LG stat.ML
Sequential Change Point Detection via Denoising Score Matching
Carnegie Mellon University(卡内基梅隆大学);University of Minnesota(明尼苏达大学);Georgia Institute of Technology(佐治亚理工学院)
本文提出一种基于去噪分数匹配的CUSUM变点检测方法,通过估计数据分布分数函数来检测分布变化,理论分析和实验证明其在高维复杂数据中有效。
2025-01-22 cs.LG stat.ML
DDPM Score Matching and Distribution Learning
Yale University(耶鲁大学)
本文提出一个框架,将DDPM中的得分估计归结为参数估计和密度估计,证明其渐近有效性,并给出密度估计的极小极大速率、拟多项式PAC算法及得分估计的计算下界。
2026-09-09 cs.DS cs.LG math.ST