Sequential Change Point Detection via Denoising Score Matching
Carnegie Mellon University（卡内基梅隆大学）；University of Minnesota（明尼苏达大学）；Georgia Institute of Technology（佐治亚理工学院）
本文提出一种基于去噪分数匹配的CUSUM变点检测方法，通过估计数据分布分数函数来检测分布变化，理论分析和实验证明其在高维复杂数据中有效。
2025-01-22 cs.LG stat.ML
Operator-Informed Score Matching for Markov Diffusion Models
Newcastle University（新castle大学）；King’s College London（伦敦国王学院）；The Alan Turing Institute（艾伦·图灵研究所）
本文提出算子信息得分匹配方法，利用马尔可夫加噪过程的谱分解，仅用数据样本均值同时估计所有边际分布的得分函数，为低维生成提供独立方法，并改进高维神经得分估计器。
2025-05-24 cs.LG stat.ML
Interpreting diffusion score matching using normalizing flow
University of Cambridge（剑桥大学）；Imperial College London（帝国理工学院）
评分匹配（SM）及其相关的Stein差异（SD）在模型训练和评估方面取得了巨大的成功。然而，最近的研究表明，它们在处理某些类型的分布时存在局限性。一种可能的解决方案是将原始分数匹配（或Stein差异）与扩散矩阵合并，这被称为扩散分数匹配（DSM）（或扩散Stein差异（DSD））。然而，缺乏对扩散的解释限制了其在简单分布和手动选择矩阵中的使用。在这项工作中，我们计划通过使用归一化流解释扩散矩阵来填补这一空白。具体来说，我们从理论上证明，DSM（或DSD）是等价于原始的分数匹配（或斯坦差异）的归一化流，其中的扩散矩阵是流的雅可比矩阵的逆定义的变换空间中评估。此外，我们还建立了它与黎曼流形的联系，并进一步将其推广到连续流，其中DSM的变化由一个常微分方程表征。
2021-07-21 cs.LG stat.ML
Score-matching-based Structure Learning for Temporal Data on Networks
School of Mathematical Sciences, Shanghai Jiao Tong University（上海交通大学数学科学学院）；University of Cambridge（剑桥大学）
本文提出PICK算法，通过改进父节点查找子程序提升分数匹配在处理独立同分布及时序网络数据时的效率与准确性。
2026-04-12 cs.LG stat.ML
Implicit score matching meets denoising score matching: improved rates of convergence and log-density Hessian estimation
HSE University（俄罗斯高等经济大学）
本文提出通过隐式和去噪分数匹配方法改进收敛速率，并利用微分估计对数密度Hessian，为生成扩散模型的采样器收敛性提供理论支持。
2025-12-30 cs.LG math.ST stat.ML
A Connection Between Score Matching and Local Intrinsic Dimension
PNNL（太平洋西北国家实验室）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）；UC San Diego（圣地亚哥大学）
本文提出利用去噪分数匹配损失作为局部内在维度估计器，通过理论分析和实验验证其在高维数据中的有效性与可扩展性。
2026-10-30 cs.LG stat.ML
Exponential Family Model-Based Reinforcement Learning via Score Matching
UC Santa Cruz（加州大学圣克鲁兹分校）；Northwestern University（西北大学）；Yale University（耶鲁大学）
我们提出了一个乐观的基于模型的算法，被称为SMRL，有限时域情景强化学习（RL）时，过渡模型是由指数族分布与$d$参数和奖励是有界的和已知的。SMRL使用分数匹配，这是一种非归一化密度估计技术，可以通过岭回归有效估计模型参数。在标准的规律性假设下，SMRL实现了$\tilde O(d\sqrt{H^3T})$在线后悔，其中$H$是每个事件的长度，$T$是交互的总数（忽略对结构尺度参数的多项式依赖）。
2023-01-08 cs.LG stat.ML
Towards Healing the Blindness of Score Matching
University College London（伦敦大学学院）
本文提出了一种新的分歧家族，以缓解分数匹配在多模分布中的盲目性问题，并在密度估计中展示了改进的性能。
2025-11-22 cs.LG stat.ML
Target Score Matching
Google DeepMind（谷歌DeepMind）；Isomorphic Labs（同构实验室）
针对去噪分数匹配在低噪声水平下分数估计较差的局限，本文提出目标分数恒等式与目标分数匹配回归损失，利用已知的目标分数知识，获得在低噪声水平下具有良好性质的分数估计。
2024-02-13 cs.LG stat.CO stat.ML
Generalised Score Matching on Convex Domains
Indian Institute of Science, Bengaluru（印度科学理工学院，班加罗尔）
本文从最小概率流学习出发，构造性地推导了凸域上的广义分数匹配目标，证明其作为二阶适当局部评分规则可恢复真实密度，并建立指数族模型的凸性与估计量一致性，实验验证了其有效性。
2026-10-08 cs.LG stat.ML
Training-Free Generative Sampling via Moment-Matched Score Smoothing
College of Computing and Data Science（计算与数据科学学院）；Nanyang Technological University（南洋理工大学）
本文提出无需训练的动量匹配分数平滑过阻尼兰格-恩斯坦动力学（MM-SOLD），通过在采样轨迹中强制目标动量，实现高效的训练自由采样，实验显示其在CPU上能快速稳健地生成高质量样本。
2026-11-09 cs.LG stat.ML
Denoising Score Matching with Random Fourier Features
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）
密度估计是统计学中的核心问题之一。尽管如此，现有的技术，如最大似然估计是计算效率低下，由于棘手的归一化常数。由于这个原因，对分数匹配的兴趣增加了，而与归一化常数无关。然而，这样的估计是一致的，只有与充分的空间支持的分布。使其一致的方法之一是将噪声添加到输入数据中，这被称为去噪得分匹配。在这项工作中，我们推导出解析表达式的去噪得分匹配使用核指数族作为模型分布。核指数族的使用是由这类密度的丰富性所激发的。为了解决计算复杂性，我们使用基于随机傅立叶特征的核函数近似。解析表达式允许删除基于高阶导数的额外正则化项，因为它们已经隐含地包含在内。此外，所获得的表达式显式地依赖于噪声方差，因此验证损失可以直接用于调整噪声水平。随着基准实验，该模型在各种合成分布进行了测试，以研究模型在不同情况下的行为。实证研究表明，可比的质量竞争的方法，而所提出的方法是计算速度更快。后者可以扩展到复杂的高维数据。
2021-01-13 cs.LG stat.ML
Adversarial score matching and improved sampling for image generation
University of Montreal（蒙特利尔大学）；Microsoft Research Lab（微软研究院实验室）
去噪得分匹配与退火Langevin采样（DSM-ALS）最近发现在生成建模的成功。该方法的工作原理是首先训练一个神经网络来估计分布的分数，然后使用Langevin动力学从分数网络假设的数据分布中采样。尽管样本的视觉质量令人信服，但在Fréchet Inception Distance（生成模型的标准度量）下，这种方法的表现似乎比生成对抗网络（GANs）更差。我们表明，这种明显的差距消失时，使用分数网络去噪的最终Langevin样本。此外，我们提出了对DSM-ALS的两项改进：1）一致退火采样作为退火Langevin采样的更稳定的替代方案，以及2）混合训练公式，由去噪得分匹配和对抗目标组成。通过结合这两种技术和探索不同的网络架构，我们提升了分数匹配方法，并获得了与CIFAR-10上最先进的图像生成相竞争的结果。
2020-10-10 cs.CV cs.LG stat.ML
Latent Target Score Matching, with an application to Simulation-Based Inference
University of Massachusetts Amherst（马萨诸塞大学阿姆赫斯特分校）；NVIDIA（英伟达）
本文提出潜在目标分数匹配方法，通过利用联合分数降低方差，提升基于模拟推断任务的分数准确性和样本质量。
2026-02-06 cs.LG
Diffusion Models Observe Only Gradients: A Geometric Perspective on Score Matching Errors
University of Cambridge（剑桥大学）
本文从几何角度揭示L2分数误差不是衡量边缘分布质量的正确指标，通过Helmholtz-Hodge分解将分数误差分解为梯度分量和螺线管分量，证明只有梯度分量影响Fokker-Planck动力学，并给出仅依赖于梯度分量的KL散度上界及可计算的梯度分量估计器。
2026-11-05 cs.LG stat.ML
Discrete Score Matching Enables Causal Discovery from Count Data
Seoul National University（首尔大学）
针对计数数据因果发现中导数不可用的问题，提出基于条件曲率分数（CCS）和非对角曲率分数（OCS）的DISCO算法，实现半参数GLM DAG的识别与恢复，实验验证了多种分布下的准确性和可扩展性。
2026-10-01 cs.LG stat.ML
Leverage Score Sampling for Complete Mode Coverage in Generative Adversarial Networks
KU Leuven（鲁汶大学）；Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）
通常，机器学习模型最小化经验期望。因此，经过训练的模型通常对大多数数据表现良好，但在数据集的密度较低的区域中性能可能会恶化。这个问题也出现在生成建模中。生成模型可能会忽略在经验数据分布中不太频繁的代表性不足的模式。这个问题被称为完全模式覆盖。我们提出了一种基于岭杠杆分数的采样过程，与标准方法相比，该方法显着提高了模式覆盖率，并且可以很容易地与任何GAN相结合。脊杠杆分数通过使用与GAN神经网络或预训练网络的倒数第二层相关联的显式特征图，或者通过使用与高斯核相对应的隐式特征图来计算。对最近的方法的完整模式覆盖的多个评价显示了明显的改善时，使用建议的采样策略。
2021-07-21 cs.LG stat.ML
Finite Sample Bounds for Learning with Score Matching
Operations Research Center, Massachusetts Institute of Technology（麻省理工学院运筹学研究中心）；Theoretical division, Los Alamos National Lab（洛斯阿拉莫斯国家实验室理论部）
本文研究了分数匹配在高维统计中学习指数族分布的有限样本界限，提出首个非渐近样本复杂度分析，揭示模型维度的多项式依赖关系。
2026-05-13 cs.DS cs.LG stat.ML
Optimizing Input of Denoising Score Matching is Biased Towards Higher Score Norm
AIR & CST, Tsinghua University（人工智能研究院与计算科学与技术系，清华大学）
本文指出用去噪分数匹配优化扩散模型条件输入会打破其与精确分数匹配的等价性，产生偏向更高分数范数的偏差，该偏差也存在于预训练扩散模型优化数据分布场景中，还会影响多个跨领域相关工作。
2025-11-13 cs.CV cs.LG
Diffusion-based Denoising Beats Vanilla Score Matching in Parameter Estimation: A Theoretical Explanation
University of Hamburg（汉堡大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本文通过理论分析证明，对于具有分离模态的多峰分布，基于扩散的去噪得分匹配估计器（DDSME）相比普通得分匹配估计器（SME）具有更优的误差界，并解释了扩散方法优越性的原因。
2026-08-21 cs.LG math.ST stat.ME
A statistical perspective of sampling scores for linear regression
本文考虑了从噪声样本中学习线性模型的统计问题。现有的工作集中在近似最小二乘解决方案，通过使用基于分数的重要性抽样分布。然而，没有有限样本的统计保证，没有计算效率的最佳采样策略已被提出。为了评估不同抽样策略的统计特性，我们提出了一个简单而有效的估计，这是易于理论分析，是有用的多任务线性回归。对于任何给定的抽样分数，我们推导出所提出的估计的精确均方误差。基于最小化均方误差，我们提出了估计器和预测器的最佳采样分数，并表明它们受到噪声信号比的影响。数值模拟结果与理论分析吻合较好。
2016-02-10 stat.ML
Learning Energy-Based Models in High-Dimensional Spaces with Multi-scale Denoising Score Matching
Redwood Center for Theoretical Neuroscience（雷德伍德理论神经科学中心）；University of California Berkeley（加州大学伯克利分校）；Berkeley AI Research（伯克利人工智能研究院）；Helen Wills Neuroscience Institute（海伦·威尔斯神经科学研究所）
基于能量的模型（EBM）将非归一化对数概率分配给数据样本。该功能具有多种应用，例如样本合成、数据去噪、样本恢复、离群值检测、贝叶斯推理等等。但是使用标准极大似然训练EBM非常慢，因为它需要从模型分布中采样。分数匹配可能会解决这个问题。特别地，去噪分数匹配\citep{vincent2011connection}已成功地用于训练EBM。使用具有一个固定噪声水平的噪声数据样本，这些模型学习速度快，并在数据去噪\citep{saremi2019neural}中产生良好的结果。然而，这种模型在高维数据的高质量样本合成中的演示缺乏。最近，\citet{song2019generative}已经表明，通过去噪得分匹配训练的生成模型在使用被多级噪声破坏的数据样本进行训练时，可以实现出色的样本合成。在这里，我们提供的分析和经验证据表明，当数据维度很高时，使用多个噪声水平进行训练是必要的。利用这一洞察力，我们提出了一种新的EBM训练与多尺度去噪得分匹配。我们的模型表现出与最先进的技术（如GANs）相当的数据生成性能，并为EBM设定了新的基线。该模型还提供了密度信息，并在图像修复任务中表现良好。
2019-12-20 cs.CV cs.LG stat.ML
Heteroscedasticity of Denoising Score Matching with Generalised Smooth Noise
Monash University（莫纳什大学）；Amazon（亚马逊）
该研究指出去噪得分匹配（DSM）存在固有的异方差性，推导了理想加权函数并给出实用近似方案，为各向同性高斯扩散的启发式权重提供了理论依据，在多分布和高阶得分上验证了理论。
2026-08-05 cs.LG stat.AP stat.ML
Generalized Score Matching for Non-Negative Data
University of Washington（华盛顿大学）；University of Copenhagen（哥本哈根大学）
在估计概率密度函数的参数时，一个常见的挑战是归一化常数的棘手性。虽然在这种情况下，可以使用数值积分来实现极大似然估计，但是该方法在计算上变得密集。Hyvärinen [2005]的得分匹配方法避免了直接计算归一化常数，并得到了$\mathbb{R}^m$上连续分布的指数族的封闭形式估计。Hyvärinen [2007]将该方法扩展到非负正负号$\mathbb{R}_+^m$上支持的分布。在本文中，我们给出了一个广义形式的得分匹配的非负数据，提高了估计效率。作为一个例子，我们考虑一般类的成对相互作用模型。为了解决一个被忽视的不存在的问题，我们推广了Lin et al. [2016]的正则化得分匹配方法，并改进了其对非负高斯图模型的理论保证。
2019-05-19 cs.LG stat.ME stat.ML
Bridge Matching Sampler: Scalable Sampling via Generalized Fixed-Point Diffusion Matching
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；NVIDIA（英伟达）；Zuse Institute Berlin（柏林泽尼克研究所）
桥梁匹配采样器通过广义固定点扩散匹配方法，实现了在保持模式多样性的同时可扩展的高质量采样。
2026-10-12 cs.LG
A Variational Perspective on Diffusion-Based Generative Models and Score Matching
University of Montreal（蒙特利尔大学）；Mila（米拉）
基于离散时间扩散的生成模型和分数匹配方法在高维图像数据建模方面显示出了良好的效果。最近，Song等人（2021）表明，将数据转换为噪声的扩散过程可以通过学习得分函数（即扰动数据的对数密度的梯度）来逆转。他们建议将学习的得分函数插入到逆公式中，以定义生成扩散过程。尽管在经验上取得了成功，但这一程序仍然缺乏理论基础。在这项工作中，我们直接接近（连续时间）生成扩散，并推导出一个变分框架的似然估计，其中包括连续时间规范化流作为一个特殊情况下，可以看作是一个无限深的变分自编码器。在这个框架下，我们证明了最小化分数匹配损失相当于最大化Song等人（2021）提出的插入式反向搜索的可能性下限，弥合了理论差距。
2021-09-30 cs.LG
Local Curvature Smoothing with Stein's Identity for Efficient Score Matching
LY Corporation（LY公司）；Sakana AI；University of Tsukuba（筑波大学）
本文提出结合 Stein 恒等式的局部曲率平滑分数匹配方法 LCSS，以避免高代价 Jacobian 迹计算，并在多项图像生成指标及 1024×1024 高分辨率生成中验证其效果。
2024-12-06 cs.CV cs.LG
Correcting CondOT: Exact Finite-Step Sampling in Gaussian Flow Matching
Technion（以色列理工学院）
本文研究高斯流匹配中有限步采样的误差，证明标准CondOT调度可消除主要中点误差，并构造以1/S速率逼近其噪声调度的调度以实现精确采样。
2026-10-01 cs.LG
AREX: Affine-Residual Exponential Integrator for Few-Step Sampling in Flow Matching
KTH Royal Institute of Technology（瑞典皇家理工学院）；Nordita（北欧理论物理研究所）；Stockholm University（斯德哥尔摩大学）；International Computer Science Institute（国际计算机科学研究所）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
AREX是一种无训练采样器，通过利用目标均值和协方差分解采样动力学，仅积分残差项，在少步采样中提升流匹配模型的样本保真度。
2026-10-05 cs.AI cs.LG stat.ML
Score Matching for Truncated Density Estimation on a Manifold
针对截断数据的密度估计问题，本文将截断得分匹配方法扩展到带边界的黎曼流形，在球面分布模拟实验和美国极端风暴实际场景中均取得优于朴素最大似然估计的效果。
2024-04-12 stat.ME stat.ML
Statistical Efficiency of Score Matching: The View from Isoperimetry
Stanford University（斯坦福大学）；Carnegie Mellon University（卡内基梅隆大学）
参数化到归一化常数的深度生成模型（例如，基于能量的模型）难以通过最大化数据的似然性来训练，因为其似然性和/或梯度不能被明确地或有效地写下。分数匹配是一种训练方法，我们不是拟合训练数据的似然$\log p(x)$，而是拟合分数函数$\nabla_x \log p(x)$ --避免了评估分区函数的需要。虽然这个估计量已知是一致的，但它的统计效率是否（以及何时）与最大似然法相当还不清楚，最大似然法已知是（渐近）最优的。我们在本文中启动这一调查线，并显示统计效率的得分匹配和等周属性的分布估计-即庞加莱，对数-Sobolev和等周常数-数量管理的混合时间的马尔可夫过程，如朗之万动力学之间的紧密联系。粗略地说，我们表明，分数匹配估计是统计上可比的最大似然分布时，有一个小的等周常数。相反，如果分布有一个大的等周常数-即使是简单的分布族，如指数族，具有足够丰富的统计数据-分数匹配将大大低于最大似然法的效率。我们适当地形式化这些结果在有限样本制度，并在渐近制度。最后，我们确定了一个直接平行的离散设置，在那里我们连接的统计性质的pseudolikkastrointestimation近似张量熵和Glauber动力学。
2022-12-22 cs.LG math.ST stat.ML
Gaussian Flow-Matching Schedules: Implications for Sampling and Training
CNRS（法国国家科学研究中心）；ENS Paris（巴黎高等师范学院）；Capital Fund Management（资本基金管理公司）；Laboratoire de Mathématiques d’Orsay（奥赛数学实验室）；Université Paris-Saclay（巴黎萨克雷大学）；Institut Universitaire de France（法国大学研究院）；Courant Institute of Mathematical Sciences, New York University（纽约大学库朗数学科学研究所）
本文研究流匹配调度对采样与训练的影响，将调度分解为方差路径和分解，推导采样精度界及最优训练分解。
2026-09-23 cs.LG
Fit Like You Sample: Sample-Efficient Generalized Score Matching from Fast Mixing Diffusions
Carnegie Mellon University（卡内基梅隆大学）
该研究揭示马尔可夫过程混合时间与广义得分匹配损失的关联，通过扩散预处理、温度提升等技术构建更优损失，证明有限高斯混合下退火得分匹配的样本复杂度为多项式级，突破原有下界。
2023-12-13 cs.DS cs.LG
Bi-level Score Matching for Learning Energy-based Latent Variable Models
Tsinghua University（清华大学）
分数匹配（SM）提供了一种引人注目的方法来学习基于能量的模型（EBM），通过避免计算分区函数。然而，它仍然在很大程度上是开放的学习基于能量的潜变量模型（EBLVMs），除了一些特殊情况。本文提出了一种双层得分匹配（BiSM）方法来学习EBLVMs的一般结构，通过将SM转化为一个双层优化问题。高层引入隐变量的变分后验，并优化修改后的SM目标，和低层优化变分后验，以适应真正的后验。为了有效地求解BiSM，我们开发了一个带有梯度展开的随机优化算法。在理论上，我们分析了BiSM的相容性和随机算法的收敛性。从经验上讲，我们在高斯限制玻尔兹曼机和深度卷积神经网络参数化的高度非结构EBLVMs中展示了BiSM的前景。BiSM在适用时可与广泛采用的对比发散和SM方法相媲美;并且可以学习具有难以处理的后验的复杂EBLVM以生成自然图像。
2020-10-16 cs.LG
Curriculum Sampling: A Two-Phase Curriculum for Efficient Training of Flow Matching
Stanford University（斯坦福大学）
本文提出课程采样，通过两阶段策略提升流匹配模型训练效率，改进FID指标并优化训练步骤。
2026-03-12 cs.CV cs.LG
Getting Your Guidance Weights Right in diffusion and flow-matching posterior sampling
Heriot-Watt University, EPS（赫瑞-瓦特大学，工程与物理科学学院）；IMS (Univ. Bordeaux, CNRS, BINP)（IMS（波尔多大学，法国国家科学研究中心，BINP））；ONERA（法国国家航空航天研究院）
提出一种离线自动调优扩散与流匹配后验采样中引导权重的方法，将其化为二维线性最小二乘问题，无需重训，提升重建性能并可将采样步数降至50步。
2026-10-05 cs.LG
FES-FM: Free Energy Surface Sampling via Reduced Flow Matching
Center for Data Science, Peking University（北京大学数据科学中心）；School of Mathematical Sciences, Peking University（北京大学数学科学学院）；Center for Machine Learning Research, Peking University（北京大学机器学习研究中心）
本文提出FES-FM方法，通过在集体变量空间中训练动力学传输映射，实现自由能表面的高效采样，同时利用Hessian构造先验分布，提升计算效率和准确性。
2026-07-23 cs.LG
The geometry of Stein's method of moments: A canonical decomposition via score matching
The Graduate University for Advanced Studies, SOKENDAI（advanced studies 高等研究院）；The Institute of Statistical Mathematics（统计数学研究所）
本文探讨了Stein方法的几何结构，通过分数匹配构建了改进的估计器，分析了Stein方法与Wasserstein几何的关系，并讨论了分数匹配估计器的渐近效率条件。
2026-03-13 math.ST stat.ME stat.TH
Solving Inverse Physics Problems with Score Matching
Technical University of Munich（慕尼黑工业大学）；Max Planck Institute for Astrophysics（马克斯·普朗克天体物理研究所）
本文结合近似逆物理模拟器与学习型校正函数，提出基于分数匹配和概率流最大似然训练的时间逆问题求解方法，在准确性、稳定性和后验采样上优于多种基线。
2023-12-05 cs.LG physics.data-an
Ordering-based Causal Discovery via Generalized Score Matching
Monash University（墨尔本大学）；CSIRO’s Data61（CSIRO的数据61）
本文提出了一种基于通用分数匹配的因果发现方法，通过引入离散分数函数的叶判别准则，实现了对离散数据中真实因果顺序的准确推断，并提升了现有因果发现方法的准确性。
2026-07-28 cs.AI cs.LG
Generalized Score Matching
本文提出广义分数匹配的统一渐近理论，适用于连续与离散响应数据，解决归一化常数难处理时的估计问题，并通过真实数据与模拟验证其强实际性能。
2024-04-21 math.ST stat.AP stat.CO
Constraint-Aware Flow Matching: Decision Aligned End-to-End Training for Constrained Sampling
University of Virginia（弗吉尼亚大学）；NASA Langley Research Center（美国国家航空航天局兰利研究中心）
本文提出Constraint-Aware Flow Matching，通过将约束投影纳入训练目标，解决训练与采样过程不一致的问题，提升受限生成的质量。
2026-05-12 cs.LG
Generalized Score Matching for Regression
许多概率模型有一个棘手的归一化常数可以扩展到包含协变量。由于这些模型的精确似然评估是困难的，甚至是不可能的，分数匹配，提出了避免显式计算的归一化常数。在文献中，分数匹配到目前为止只发展为模型中的观察是独立和同分布（IID）。然而，IID假设在回归型模型的传统固定设计设置中不成立。为了处理这些协变量依赖模型的估计，本文提出了一种新的得分匹配方法，独立的，但不一定同分布的数据下的一般框架下的连续和离散的响应，其中包括一个新的广义得分匹配方法计数响应回归。我们证明了我们提出的分数匹配估计是一致的，渐近正常的温和的正则性条件下。仿真研究和实际数据的例子支持的理论结果。此外，我们的模拟结果表明，相比于近似极大似然估计，广义分数匹配产生的估计值在应用于博士论文数据时具有显著较小的偏差。
2022-03-18 math.ST stat.ME stat.TH
Query Lower Bounds for Diffusion Sampling
UT Austin（德克萨斯大学奥斯汀分校）
本文研究了扩散采样中查询次数的下限，证明了在多维分布下，任何采样算法需要至少O(√d)次适应性查询，解释了多尺度噪声调度的必要性。
2026-09-30 cs.AI cs.DS cs.LG
Soft Diffusion: Score Matching for General Corruptions
Google Research（谷歌研究院）；UT Austin（得克萨斯大学奥斯汀分校）
我们定义了一个更广泛的家庭腐败过程，概括了以前已知的扩散模型。为了扭转这些一般的扩散，我们提出了一个新的目标，称为软分数匹配，可证明学习任何线性腐败过程的分数函数，并为CelebA产生最先进的结果。软分数匹配结合了网络中的退化过程。我们的新损失训练模型预测一个干净的图像，\textit{that after corruption}，匹配扩散观察。我们表明，我们的目标学习梯度的可能性在适当的规律性条件下的一个家庭的腐败过程。我们进一步开发了一种原则性的方法来选择一般扩散过程的腐败水平和一种新的采样方法，我们称之为动量采样器。我们的实验表明，我们的框架适用于一般的线性腐败过程，如高斯模糊和掩蔽。我们在CelebA-64上实现了最先进的FID评分$1.85$，优于所有先前的线性扩散模型。与香草去噪扩散相比，我们还显示出显着的计算优势。
2022-10-05 cs.AI cs.CV cs.LG
Predictive mean matching imputation in survey sampling
预测均值匹配插补是调查抽样中处理项目无应答的常用方法。本文研究了总体均值的预测均值匹配估计的渐近性质。对于方差估计，由于匹配估计的非光滑性，固定匹配的匹配估计量的传统自举推断已被证明是无效的。我们提出了渐近有效的复制方差估计。关键策略是直接基于线性项而不是变量的单个记录来构建估计量的重复。扩展到最近邻填补也进行了讨论。仿真研究证实，新的程序提供了有效的方差估计。
2018-01-12 stat.ME
SGMD: Score Gradient Matching Distillation for Few-Step Video Diffusion Distillation
Beihang University（北京航空航天大学）；SenseTime Research（商汤科技研究院）；Hong Kong University of Science and Technology（香港科技大学）
针对分布匹配蒸馏在少步视频扩散中训练昂贵且运动动态保守的问题，提出得分梯度匹配蒸馏（SGMD），通过直接优化假得分朝向教师并使用教师停止梯度Fisher作为稳定目标，实现约3倍训练加速并显著提升运动动态。
2026-07-23 cs.CV cs.LG
Diffusion Models with Heavy-Tailed Targets: Score Estimation and Sampling Guarantees
Department of Mathematical Sciences, Tsinghua University（清华大学数学科学系）；Department of Data Science, City University of Hong Kong（香港城市大学数据科学系）
本文研究了厚尾目标下基于分数的扩散模型，推导了分数估计的最小最大速率，并提供了采样保证，揭示了轻尾与多项式尾情况下不同的收敛特性。
2026-01-10 cs.LG math.PR math.ST
KL-geodesics flow matching with a novel sampling scheme
LigandPro；Applied AI institute（应用人工智能研究院）；FusionBrain Lab（FusionBrain实验室）；AXXX
本文提出基于KL散度测地线的条件流匹配方法用于文本生成，并设计了一种迭代采样方案及混合推理方法，在文本生成实验中超越先前离散流匹配的最优方法。
2025-03-25 cs.CL cs.LG
Score-Regularized Joint Sampling with Importance Weights for Flow Matching
University of California San Diego（加州大学圣地亚哥分校）
针对流匹配模型在有限采样预算下估计函数期望难的问题，提出非IID采样框架，用分数正则化平衡多样性与质量，还开发非IID流样本重要性加权方法，提升了流匹配模型输出的可靠表征。
2026-07-07 cs.AI cs.CV cs.LG
Score Distillation of Flow Matching Models
Apple（苹果公司）
本文提出了一种适用于文本到图像流匹配模型的分数蒸馏方法，通过统一高斯扩散和流匹配模型，实现了高效的生成加速。
2025-12-03 cs.AI cs.CV cs.LG
FlowBudget: Training-Free Sampling-Budget Estimation for Flow Matching Models
ÉTS Montréal（蒙特利尔高等技术学院）；Mila – Quebec AI Institute（米拉-魁北克人工智能研究所）；CNRS, CentraleSupélec – Université Paris-Saclay（法国国家科学研究中心、中央理工-高等电力学院 – 巴黎-萨克雷大学）
该研究提出无训练的FLOWBUDGET估计器，可在不生成样本或执行FID-NFE扫描的情况下，为Flow Matching等流模型估计采样所需的NFE预算，降低了采样预算选择的成本。
2026-10-16 cs.CV cs.LG
Graphical Models for Non-Negative Data Using Generalized Score Matching
在估计概率密度函数的参数时，一个常见的挑战是归一化常数的棘手性。虽然在这种情况下，可以使用数值积分来实现极大似然估计，但是该方法在计算上变得密集。相比之下，Hyvärinen（2005）的得分匹配方法避免了直接计算归一化常数，并为$\mathbb{R}^m$上的连续分布的指数族提供了封闭形式的估计。Hyvärinen（2007）将该方法扩展到非负正负号$\mathbb{R}_+^m$上支持的分布。在本文中，我们给出了一个广义形式的得分匹配的非负数据，提高了估计效率。我们还将Lin等人的正则化得分匹配方法推广到非负高斯图模型（2016），并改进了理论保证。
2018-02-18 stat.ME
Gradient-Free Score-Based Sampling Methods with Ensembles
Aeolus Labs（Aeolus实验室）
针对目标分布梯度不可用的科学工程应用，提出基于集成的无梯度得分采样方法，利用粒子集体动力学计算近似反向扩散漂移，在多维度及贝叶斯反演问题中验证了其有效性。
2025-05-31 cs.LG stat.CO
