Classification via score-based generative modelling
在这项工作中，我们研究了基于分数的梯度学习在判别和生成分类设置中的应用。分数函数可以用来表征数据分布，作为密度的替代。它可以通过分数匹配有效地学习，并用于灵活地生成可信的样本，以提高区分性分类质量，恢复密度和构建生成式分类器。我们分析了涉及基于分数的表示的决策理论，并在模拟和真实世界的数据集上进行了实验，证明了它在实现和提高二进制分类性能方面的有效性，以及对扰动的鲁棒性，特别是在高维和不平衡的情况下。
2022-07-22 cs.AI cs.LG
Generative Models and Learning Algorithms for Core-Periphery Structured Graphs
Indian Institute of Science（印度科学学院）
我们考虑核心-外围结构图，这些图分别具有一组密集连接和稀疏连接的节点，称为核心节点和外围节点。所谓的节点的核心得分与其成为核心节点的可能性有关。在本文中，我们专注于学习一个图的节点属性和连通性结构的核心分数。为此，我们提出了两类概率图模型：仿射和非线性。首先，我们描述仿射生成模型来模拟节点属性对其核心分数的依赖性，这决定了图的结构。接下来，我们讨论了非线性生成模型，其中节点属性的偏相关性通过潜在核心分数影响图结构。我们开发的算法，用于推断模型参数和核心分数的图形时，图形结构和节点属性。当只有图的节点属性可用时，我们共同学习核心-外围结构图及其核心分数。我们提供了几个合成和真实世界的数据集上的数值实验结果，以证明所开发的模型和算法的有效性。
2022-10-04 cs.LG
Anomaly scores for generative models
Czech Technical University in Prague（布拉格捷克理工大学）；Cisco Systems, Inc.（思科系统公司）
重建误差是一种普遍的分数，用于在数据由生成模型（例如（变分）自动编码器或生成对抗网络）建模时识别异常样本。该分数依赖于正常样本位于流形上并且所有异常样本位于流形外的假设。由于流形只能在训练数据所在的地方学习，因此无法保证重建误差在其他地方的表现，因此得分似乎是不明确的。这项工作定义了一个理论上与生成模型兼容的异常分数，并且对于（变分）自动编码器来说非常自然，因为它们似乎很普遍。新的分数还可以用于选择超参数和模型。最后，我们解释了为什么重建误差提供了良好的实验结果，尽管薄弱的理论依据。
2019-05-28 cs.LG stat.ML
Hamiltonian Score Matching and Generative Flows
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；NVIDIA（英伟达）
本文提出哈密顿速度预测器，并据此构建HSM分数匹配方法与HGFs生成模型，将扩散和流匹配统一为零力场特例，实验证明其竞争力。
2024-10-27 cs.LG stat.ML
Score-Based Generative Models for Molecule Generation
Julia Computing, Inc（Julia计算公司）；Deep Forest Sciences Inc.（深林科学公司）；Carnegie Mellon University（卡内基梅隆大学）
生成模型的最新进展使得探索从头分子生成的设计空间变得更加容易。然而，流行的生成模型，如GANs和规范化流，分别面临着由于对抗性训练和架构约束而导致的训练不稳定性等挑战。基于得分的生成模型通过使用分数函数近似对对数概率密度的梯度进行建模来回避这些挑战，而不是直接对密度函数进行建模，并使用退火Langevin动力学对其进行采样。我们相信，基于得分的生成模型可以开辟新的机会，在分子生成由于其架构的灵活性，如取代评分函数与SE（3）等变模型。在这项工作中，我们通过测试基于分数的分子生成模型的有效性奠定了基础。我们对来自ZINC数据集的150万个样本的自引用嵌入字符串（SELFIES）表示进行训练，并使用Moses基准测试框架来评估一套指标上生成的样本。
2022-03-07 cs.LG q-bio.QM
Sample Complexity Bounds for Score-Matching: Causal Discovery and Generative Modeling
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Institute of Science Technology Austria（奥地利科学技术研究所）
本文为分数匹配方法建立了统计样本复杂度界，证明用深度ReLU网络和随机梯度下降可准确估计分数函数，并给出其在因果发现和生成建模中的误差上界。
2023-10-27 cs.LG stat.ML
Stochastic Generative Flow Networks
Mila - Québec AI Institute（米拉-魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）；Tsinghua University（清华大学）
本文提出Stochastic GFlowNets算法，通过将状态转移分解为两步以分离环境随机性并学习动力学模型，成功将GFlowNets扩展至随机环境，在多个标准基准上显著优于现有方法。
2023-06-25 cs.LG
Adaptive Momentum Benefits Score-based Generative Models
College of Computer, National University of Defense Technology（国防科技大学计算机学院）
提出基于自适应动量的采样方法，加速基于分数的生成模型，无需额外超参数，理论上保证收敛，实验显示速度提升2-5倍且样本质量有竞争力。
2026-10-28 cs.LG
Learning Deep Generative Models with Doubly Stochastic MCMC
Tsinghua University（清华大学）
我们提出了双随机梯度MCMC，一个简单而通用的方法（近似）贝叶斯推理的深度生成模型（DGMs）在一个崩溃的连续参数空间。该算法在每个MCMC采样步骤中随机抽取一小批数据样本来估计对数后验梯度，并通过神经自适应重要性采样器进一步估计隐变量上的难处理期望，其中建议分布由深度神经网络参数化并联合学习。我们证明了学习各种DGMs在广泛的任务，包括密度估计，数据生成和缺失数据填补的有效性。我们的方法优于许多最先进的竞争对手。
2016-03-07 cs.LG
Benchmarking Stochastic Interpolants for Modeling Physical Systems
Department of Mechanical Engineering（机械工程系）；Carnegie Mellon University（卡内基梅隆大学）；Department of Geophysical Sciences Committee on Computational and Applied Mathematics（地球科学系计算与应用数学委员会）；University of Chicago（芝加哥大学）；LMD/IPSL, CNRS, ENS, Université PSL École Polytechnique, Institut Polytechnique de Paris, Sorbonne Université（LMD/IPSL、CNRS、ENS、Université PSL 工程学院、巴黎理工学院、索邦大学）；Réseau de Transport d’Électricité (RTE)（电力传输网络（RTE））
该研究针对物理系统生成模型多依赖高斯迭代去噪、在PDE等自回归预测中效果有限的问题，提出用随机插值直接学习状态间随机过程，实验验证其采样步骤更少、预测更准，可作为物理模拟的有竞争力基准。
2026-11-11 cs.LG
The Effect of Stochasticity in Score-Based Diffusion Sampling: a KL Divergence Analysis
Instituto de Matemática, Universidade Federal do Rio de Janeiro（数学研究所，里约热内卢联邦大学）
研究基于分数的扩散采样中随机性对生成过程的影响，通过KL散度演变分析，得出对精确和近似分数函数的不同影响，经实验验证理论，还给出解析示例及最优随机性函数表征。
2026-07-17 cs.LG
Variational Generative Stochastic Networks with Collaborative Shaping
McGill University（麦吉尔大学）
我们开发了一种基于将变分自动编码器展开为马尔可夫链来训练生成模型的方法，并使用最近在近似贝叶斯计算中的工作所启发的技术来塑造链的轨迹。我们表明，所得到的目标的全局极小值时，生成模型再现的目标分布。为了更好地控制模型的行为，我们添加了一个正则化项，其灵感来自于强化学习中用于正则化某些类型的策略搜索的技术。我们目前的MNIST和TFD数据集的实证结果表明，我们的方法提供了最先进的性能，无论是从定量和定性的角度来看。
2017-08-02 cs.LG
Consistent Distributed Ranking of Generative Models via Kernel Distances
针对分布式异构数据场景，证明使用各客户端平均核距离分数排序生成模型与集中式排序结果一致，并分析了Fréchet距离等指标的局限性。
2026-06-26 cs.LG
Finite-Time Convergence Analysis of ODE-based Generative Models for Stochastic Interpolants
IIIS, Tsinghua University（清华大学信息科学研究院）
本文研究了源自随机插值的常微分方程数值实现的有限时间收敛性，为一阶前向欧拉法和二阶 Heun 法建立了全变差距离上的误差界，并通过迭代复杂度分析提供了优化调度以提升计算效率。
2025-08-10 cs.LG
On the Anisotropy of Score-Based Generative Models
Imperial College London（伦敦帝国学院）；Apple（苹果公司）
该研究针对基于得分的生成模型，引入依赖架构的得分各向异性方向（SADs），通过合成数据和图像基准验证其可捕获模型行为并关联下游性能，为预测生成模型泛化能力提供新方法。
2026-08-07 cs.LG stat.ML
Generative Modelling for Unsupervised Score Calibration
AGNITIO Research（AGNITIO研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）
分数校准使自动说话人识别器能够做出具有成本效益的接受/拒绝决定。传统的校准需要监督数据，这是一种昂贵的资源。我们提出了一个2分量GMM无监督校准，并表现出良好的性能相对于NIST SRE'10和SRE'12的监督基线。贝叶斯分析表明，与无监督校准参数估计值相关的不确定性是令人惊讶的小。
2014-02-14 cs.LG stat.ML
Geometry of Score Based Generative Models
Northeastern University（东北大学）
在这项工作中，我们从几何角度来看待基于得分的生成模型（也称为扩散生成模型）。从一个新的角度证明了在概率测度空间中，加噪声和由噪声生成的前向过程和后向过程都是Wasserstein梯度流。我们是第一个证明这种联系的人。我们对基于分数（和扩散）的生成模型的理解已经成熟，并通过借鉴贝叶斯推理，控制理论，随机微分方程和薛定谔桥等不同领域的思想变得更加完整。然而，许多悬而未决的问题和挑战依然存在。例如，一个问题是如何减少采样时间？我们证明，从几何的角度来看，使我们能够回答许多这些问题，并提供新的解释，一些已知的结果。此外，几何角度使我们能够设计一个直观的几何解决方案的问题，更快的采样。通过对传统的基于得分的生成模型增加投影步骤，我们证明了我们可以用更少的采样步骤生成高质量的图像。
2023-02-09 cs.AI cs.LG
Riemannian Score-Based Generative Modelling
ENS（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL University（巴黎文理研究大学）；University of Oxford（牛津大学）
基于得分的生成模型（SGM）是一类功能强大的生成模型，具有显著的经验性能。基于分数的生成建模（SGM）包括一个“噪声”阶段，其中扩散被用来逐渐添加高斯噪声到数据中，以及一个生成模型，它需要一个“去噪”过程，通过近似扩散的时间反演来定义。现有的SGM假设数据支持在欧几里得空间上，即具有平坦几何形状的流形。在许多领域，如机器人，地球科学或蛋白质建模，数据往往是自然描述的分布生活在黎曼流形和目前的SGM技术是不合适的。我们在这里介绍黎曼基于得分的生成模型（RSGMs），一类生成模型扩展SGMs到黎曼流形。我们展示了我们的方法在各种流形上，特别是地球和气候科学球形数据。
2022-11-22 cs.LG math.PR stat.ML
Score-based Generative Modeling Through Backward Stochastic Differential Equations: Inversion and Generation
Harvard University（哈佛大学）
本研究提出一种基于BSDE的新型扩散模型，通过适配现有分数函数确定目标分布的初始条件，证明了理论保证与Lipschitz网络的优势，可应用于扩散反演等多领域，为生成学习提供新方向。
2023-04-26 cs.AI cs.LG
Regular Time-series Generation using SGM
Yonsei University（延世大学）；Samsung SDS（三星SDS）
基于得分的生成模型（SGM）是近年来备受关注的生成模型。时间序列在我们的日常生活中经常发生，例如，特别是时间序列预测和分类是机器学习领域的热门研究课题。SGM也以优于其他生成模型而闻名。因此，我们应用SGMs合成时间序列数据的学习条件得分函数。我们提出了一个条件得分网络的时间序列生成域。此外，我们还推导了时间序列生成域中的分数匹配和去噪得分匹配之间的损失函数。最后，我们在采样多样性和质量方面在真实世界的数据集上取得了最先进的结果。
2023-01-20 cs.LG
EnJoi: Ensemble Joint Score Filter for Generative Data Assimilation
Inria Paris（巴黎Inria研究所）；DI ENS（巴黎高等师范学校计算机科学系）；PSL Research University（巴黎文理研究大学）；Renault Group（雷诺集团）
本文提出EnJoi，一种基于扩散模型的数据同化算法，通过学习联合状态分布并改进En4DVar，动态平衡当前状态与观测置信度，在稀疏非均匀观测下提升重建性能。
2026-09-30 cs.LG
Improved Techniques for Training Score-Based Generative Models
Stanford University（斯坦福大学）
基于得分的生成模型可以产生与GANs相当的高质量图像样本，而不需要对抗性优化。然而，现有的训练程序仅限于低分辨率（通常低于32x32）的图像，并且在某些设置下可能不稳定。我们提供了一个新的理论分析，从高维空间中的得分模型中学习和采样，解释现有的故障模式，并激发新的解决方案，在数据集上推广。为了增强稳定性，我们还建议保持模型权重的指数移动平均值。通过这些改进，我们可以毫不费力地将基于得分的生成模型扩展到具有前所未有的分辨率（从64x64到256x256）的图像。我们基于分数的模型可以生成高保真样本，在各种图像数据集上与同类最佳GANs相媲美，包括CelebA，FFHQ和多个LSUN类别。
2020-10-23 cs.CV cs.LG stat.ML
A Good Score Does not Lead to A Good Generative Model
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
该研究针对“得分函数学习好则SGM生成效果佳”的传统认知，通过反例证明特定场景下得分函数学习良好时SGM仅能生成训练数据的高斯模糊样本，补充了SGM存在记忆效应、生成失效的相关发现。
2024-01-27 cs.LG stat.ML
Score-Based Generative Modeling through Stochastic Differential Equations
Stanford University（斯坦福大学）；Google Brain（谷歌大脑）
从数据中创建噪声很容易;从噪声中创建数据是生成建模。我们提出了一个随机微分方程（RSDs），通过缓慢注入噪声，将复杂的数据分布平滑地转换为已知的先验分布，以及相应的逆时RSDs，通过缓慢去除噪声，将先验分布转换回数据分布。重要的是，逆时梯度仅取决于扰动数据分布的时间相关梯度场（\aka，分数）。通过利用基于分数的生成建模的进步，我们可以用神经网络准确地估计这些分数，并使用数值解算器来生成样本。我们表明，这个框架封装了以前的方法在基于分数的生成建模和扩散概率建模，允许新的采样程序和新的建模能力。特别是，我们引入了一个预测-校正框架来校正离散逆时模型演化中的错误。我们还推导出一个等价的神经ODE，它从与神经元相同的分布中采样，但另外还可以进行精确的似然计算，并提高采样效率。此外，我们提供了一种新的方法来解决逆问题的分数为基础的模型，类条件生成，图像修补和彩色化的实验证明。结合多个架构改进，我们在CIFAR-10上实现了破纪录的无条件图像生成性能，Inception评分为9.89，FID为2.20，竞争可能性为2.99 bits/dim，并首次从基于得分的生成模型中展示了1024 x 1024图像的高保真生成。
2021-02-10 cs.LG stat.ML
Score-based Generative Modeling for Conditional Independence Testing
Fudan University（复旦大学）；Alibaba Group（阿里巴巴集团）；SIAT, Chinese Academy of Sciences（中国科学院软件研究所）；Tongji University（同济大学）
针对现有基于生成模型的条件独立性测试在条件分布建模和训练稳定性上的不足，提出基于分数的生成建模方法，通过切片条件分数匹配和Langevin动力学采样实现精确的第一类错误控制与强测试功效，实验证明其显著优于现有方法。
2025-05-29 cs.AI cs.LG
Permutation Invariant Graph Generation via Score-Based Generative Modeling
Tsinghua University（清华大学）；Stanford University（斯坦福大学）
学习图结构数据的生成模型是具有挑战性的，因为图是离散的、组合的，并且底层数据分布对节点的排序是不变的。然而，大多数现有的生成模型的图是不恒定的选择的顺序，这可能会导致一个不希望的偏差，在学习的分布。为了解决这个困难，我们提出了一个置换不变的方法来建模图，使用最近的框架，基于分数的生成建模。特别地，我们设计了一个置换等变的多通道图神经网络来对输入图处的数据分布的梯度进行建模（也称为，功能）。这种置换等变梯度模型隐含地定义了图的置换不变分布。我们用分数匹配训练这个图神经网络，并用退火的Langevin动力学对其进行采样。在我们的实验中，我们首先证明了这种新的架构在学习离散图算法的能力。对于图生成，我们发现我们的学习方法在基准数据集上取得了比现有模型更好或相当的结果。
2020-03-02 cs.LG stat.ML
Score-based Generative Modeling in Latent Space
NVIDIA（英伟达）
基于分数的生成模型（SGM）最近在样本质量和分布覆盖率方面表现出令人印象深刻的结果。然而，它们通常直接应用于数据空间，并且通常需要数千个网络评估来进行采样。在这里，我们提出了基于潜在分数的生成模型（LSGM），这是一种在潜在空间中训练SGM的新方法，依赖于变分自动编码器框架。从数据转移到潜在空间，使我们能够训练更具表现力的生成模型，将SGM应用于非连续数据，并在更小的空间中学习更平滑的SGM，从而减少网络评估和更快的采样。为了能够以可扩展和稳定的方式训练LSGM端到端，我们（i）引入适合LSGM设置的新的分数匹配目标，（ii）提出一种新的得分函数参数化，使SGM能够专注于目标分布相对于简单正态分布的不匹配，以及（iii）分析推导出用于训练目标方差减小的多种技术。LSGM在CIFAR-10上获得了2.10的最新FID分数，优于该数据集上所有现有的生成结果。在CelebA-HQ-256上，LSGM在采样质量上与之前的SGM相当，而在采样时间上则超过它们两个数量级。在对二值图像建模时，LSGM在二值化的OMNIGLOT数据集上实现了最先进的似然性。我们的项目页面和代码可以在https://nvlabs.github.io/LSGM上找到。
2021-12-02 cs.LG stat.ML
A Generative Model for Score Normalization in Speaker Recognition
Nuance Communications, Inc.（Nuance通信公司）
我们提出了一个理论框架来思考分数归一化，这证实了在（公认脆弱的）理想条件下不需要归一化。然而，如果这些条件不满足，例如在训练和运行时之间的数据集转换，我们的理论揭示了分数之间的依赖关系，可以通过分数归一化等策略来利用。事实上，它已经证明了一遍又一遍的实验，各种ad-hoc得分归一化食谱做工作。我们首次尝试使用概率论来设计一个生成分数空间归一化模型，该模型在文本相关的RSR 2015数据库上对ZT范数进行了类似的改进。
2017-09-28 cs.LG cs.SD eess.AS
Score-based Generative Models for Calorimeter Shower Simulation
National Energy Research Scientific Computing Center（国家能源研究科学计算中心）；Berkeley Lab（伯克利实验室）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；Berkeley Institute for Data Science（伯克利数据科学研究所）；University of California, Berkeley（加州大学伯克利分校）
基于分数的生成模型是一类新的生成算法，即使在高维空间中也能生成逼真的图像，目前在不同的基准类别和应用中超过了其他最先进的模型。在这项工作中，我们介绍CaloScore，一个基于分数的生成模型适用于碰撞物理量热计簇生成。使用快速量热仪模拟挑战2022数据集研究了三种不同的扩散模型。CaloScore是基于分数的生成模型在对撞机物理学中的第一个应用，能够为所有数据集生成高保真的热量计图像，为热量计淋浴模拟提供了另一种范例。
2022-10-19 cs.LG hep-ex hep-ph
Audio-Visual Speech Enhancement with Score-Based Generative Models
Universität Hamburg（汉堡大学）
提出一种以视觉信息为条件、融合自监督视听嵌入与扩散模型的语音增强系统，实验证明其可提升语音质量、减少伪影并显著降低低信噪比下的ASR词错误率。
2023-06-02 cs.LG eess.AS
A Malliavin calculus approach to score functions in diffusion generative models
本文针对一大类非线性扩散生成模型，结合Malliavin导数等随机分析工具与新Bismut型公式，推导出得分函数的精确闭合形式表达式，消除Malliavin导数以提升实用性，为改进得分估计方法、设计新采样算法奠定基础。
2025-11-11 cs.LG math.PR stat.ML
Wavelet Score-Based Generative Modeling
ENS（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL University（巴黎文理研究大学）；Collège de France（法兰西公学院）；Flatiron Institute（弗莱提荣研究所）
基于得分的生成模型（SGM）通过运行漂移系数取决于某个概率分数的时间反演的随机微分方程（Stochastic Differential Equation，简称STD）来从高斯白噪声中合成新的数据样本。这种随机微分方程的离散化通常需要大量的时间步长，因此计算成本很高。这是因为我们在数学上分析的分数的病态属性。我们表明，SGMs可以大大加快，分解成跨尺度小波系数的条件概率的产品的数据分布。由此产生的小波基于得分的生成模型（WSGM）在所有尺度上以相同的时间步长合成小波系数，因此其时间复杂度随图像大小线性增长。这在高斯分布的数学上得到了证明，并在相变和自然图像数据集的物理过程中进行了数值计算。
2022-08-09 cs.CV cs.LG stat.ML
Speech Enhancement with Score-Based Generative Models in the Complex STFT Domain
Universität Hamburg（汉堡大学）；DESY（德国电子同步加速器研究所）
基于分数的生成模型（SGM）最近在困难的生成任务（例如自然图像和音频信号的无条件和有条件生成）方面取得了令人印象深刻的结果。在这项工作中，我们将这些模型扩展到复杂的短时傅里叶变换（STFT）域，提出了一种新的训练任务，使用复值深度神经网络进行语音增强。我们推导出随机微分方程（SDES）的形式主义内的训练任务，从而使预测校正采样器的使用。我们提供了替代配方的启发，以前的出版物上使用生成扩散模型的语音增强，避免需要任何先验假设的噪声分布和训练任务纯粹的生成，因为我们表明，在提高增强性能的结果。
2022-07-07 cs.LG cs.SD eess.AS
Classification Accuracy Score for Conditional Generative Models
DeepMind（深度思维）
图像的深度生成模型（DGMs）现在已经足够成熟，它们可以生成近乎真实感的样本，并获得类似于Frechet Inception Distance（FID）等几何学数据分布的分数。这些结果，特别是在ImageNet这样的大规模数据集上，表明DGM正在感知有意义的空间中学习数据分布，并可用于下游任务。为了测试后一个假设，我们使用来自许多模型类的类条件生成模型-变分自编码器，自回归模型和生成对抗网络（GANs）-来推断真实数据的类标签。我们通过仅使用合成数据训练图像分类器并使用分类器来预测真实数据上的标签来执行此推断。这项任务的性能，我们称之为分类准确度得分（CAS），揭示了一些传统指标无法识别的令人惊讶的结果，并构成了我们的贡献。首先，当使用最先进的GAN（BigGAN-deep）时，与原始数据相比，Top-1和Top-5的准确度分别下降了27.9%和41.6%;来自其他模型类的条件生成模型，如矢量量化变分自编码器（VQ-VAE-2）和分层自回归模型（HAM），在此基准测试中的表现大大优于GANs。其次，CAS自动表面生成模型未能捕获数据分布的特定类，并且以前在文献中是未知的。第三，我们发现传统的GAN指标，如初始得分（IS）和FID既不能预测CAS，也不能用于评估非GAN模型。此外，为了便于更好地诊断生成模型，我们开源了所提出的度量。
2019-10-28 cs.LG stat.ML
Global Well-posedness and Convergence Analysis of Score-based Generative Models via Sharp Lipschitz Estimates
本文在最小假设下建立了基于分数的生成模型的全局适定性与收敛性，通过尖锐Lipschitz估计避免了时间尺度分离，并推广到非光滑低维流形情形。
2024-05-25 cs.LG math.AP
Score-Guided Generative Adversarial Networks
College of Engineering（工程学院）；Korea University（高丽大学）；School of Electrical Engineering（电气工程学院）
我们提出了一种生成对抗网络（GAN），它使用预先训练的网络引入了评估器模块。所提出的模型，称为分数引导的GAN（ScoreGAN），是用GANs的评估度量来训练的，即，Inception评分，作为训练生成器的粗略指南。通过使用另一个预先训练的网络而不是Inception网络，ScoreGAN规避了Inception网络的过拟合，以便生成的样本不对应于Inception网络的对抗性示例。此外，为了防止过拟合，评价指标仅作为辅助作用，而主要使用GANs的常规目标。使用CIFAR-10数据集进行评估，ScoreGAN的Inception评分为10.36 $\pm$ 0.15，这相当于最先进的性能。此外，为了概括ScoreGAN的有效性，使用另一个数据集进一步评估了该模型，即，CIFAR-100;因此，ScoreGAN优于其他现有方法，其中Fréchet Inception Distance（FID）为13.98。
2020-05-27 cs.CV cs.LG eess.IV
Leverage Score Sampling for Complete Mode Coverage in Generative Adversarial Networks
KU Leuven（鲁汶大学）；Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）
通常，机器学习模型最小化经验期望。因此，经过训练的模型通常对大多数数据表现良好，但在数据集的密度较低的区域中性能可能会恶化。这个问题也出现在生成建模中。生成模型可能会忽略在经验数据分布中不太频繁的代表性不足的模式。这个问题被称为完全模式覆盖。我们提出了一种基于岭杠杆分数的采样过程，与标准方法相比，该方法显着提高了模式覆盖率，并且可以很容易地与任何GAN相结合。脊杠杆分数通过使用与GAN神经网络或预训练网络的倒数第二层相关联的显式特征图，或者通过使用与高斯核相对应的隐式特征图来计算。对最近的方法的完整模式覆盖的多个评价显示了明显的改善时，使用建议的采样策略。
2021-07-21 cs.LG stat.ML
Score-Based Generative Modeling with Critically-Damped Langevin Diffusion
NVIDIA（英伟达）；University of Waterloo（滑铁卢大学）；Vector Institute（矢量研究所）
基于分数的生成模型（SGM）已经证明了显着的合成质量。SGM依赖于扩散过程，该过程逐渐将数据扰动到易于处理的分布，而生成模型则学习去噪。除了数据分布本身之外，这种去噪任务的复杂性唯一地由扩散过程决定。我们认为，目前的SGM采用过于简单的扩散，导致不必要的复杂的去噪过程，这限制了生成建模性能。基于统计力学的连接，我们提出了一种新的临界阻尼朗之万扩散（CLD），并表明基于CLD的SGMs实现优越的性能。CLD可以被解释为在扩展空间中运行联合扩散，其中辅助变量可以被认为是耦合到数据变量的“速度”，如在哈密顿动力学中。我们推导出一个新的分数匹配CLD的目标，并表明该模型只需要学习的条件分布的速度给定的数据，一个更容易的任务比学习分数的数据直接的得分函数。我们还得到了一个新的采样方案，有效的合成CLD为基础的扩散模型。我们发现，CLD优于以前的SGM在合成质量相似的网络架构和采样计算预算。我们表明，我们的新型采样器CLD显着优于求解器，如欧拉-丸山。我们的框架为基于分数的去噪扩散模型提供了新的见解，并且可以很容易地用于高分辨率图像合成。项目页面和代码：https://nv-tlabs.github.io/CLD-SGM.
2022-03-25 cs.LG stat.ML
Anomaly Score: Evaluating Generative Models and Individual Generated Images based on Complexity and Vulnerability
School of Integrated Technology, Yonsei University（延世大学融合技术学院）
本文研究生成图像评估问题，通过分析表示空间复杂性与特征脆弱性，提出异常分数 AS 及单图指标 AS-i，用于评估生成模型和个体生成图像。
2024-04-09 cs.CV cs.LG
On Forgetting and Stability of Score-based Generative models
Sorbonne Université and Université Paris Cité, CNRS, LPSM（索邦大学和巴黎大学，CNRS，LPSM）；Center for Statistics and Images, Mines Paris, PSL University（统计与图像中心，巴黎 Mines，PSL 大学）；CREST, ENSAE Paris, Institut Polytechnique de Paris（CREST，ENSAE 巴黎，巴黎理工学院）
本文利用反向时间动力学马尔可夫链的遗忘和稳定性性质，在弱假设下通过Lyapunov漂移条件和Doeblin型小化条件，定量分析了基于分数的生成模型的采样误差，并证明了采样过程的定量稳定性。
2026-06-02 cs.LG stat.ML
Deep Generative Model using Unregularized Score for Anomaly Detection with Heterogeneous Complexity
Kobe University（神户大学）
自然图像数据集中异常样本的准确和自动检测可以通过用于图像的端到端建模的概率模型来完成。然而，这样的图像具有异质的复杂性，并且概率模型忽略了具有小异常的简单形状的对象。这是因为概率模型将不期望的较低可能性分配给形状复杂的对象，但这些对象与设定的标准一致。为了克服这个困难，我们提出了一个深度生成模型（DGMs）的非正则化分数，DGMs是利用深度神经网络的生成模型。我们发现，正则化条款的DGMs显着影响异常分数取决于样本的复杂性。通过删除这些项，我们获得了一个未正则化的分数，我们在玩具数据集和真实世界的制造数据集上进行了评估。实验结果表明，非正则化的分数是强大的样本的固有复杂性，可以用来更好地检测异常。
2018-09-04 cs.CV cs.LG stat.ML
Grade Inflation in Generative Models
Beth Israel Deaconess Medical Center (BIDMC)（贝斯以色列女执事医疗中心（BIDMC））；University of California San Francisco（加利福尼亚大学旧金山分校）；Harvard Medical School（哈佛医学院）
本研究揭示生成模型评估中的“分数膨胀”问题，提出等密度分数概念及Eden分数，其避免膨胀且更符合人类感知，优于传统等点分数。
2025-01-22 cs.AI cs.LG stat.ML
Beyond Log-Concavity and Score Regularity: Improved Convergence Bounds for Score-Based Generative Models in W2-distance
CMAP, CNRS, École polytechnique, Institut Polytechnique de Paris（CMAP、法国国家科学研究中心、巴黎高等理工学院、巴黎理工 institute）
本文提出了一种新的分析框架，通过放宽传统假设，改进了分数生成模型在W2距离下的收敛界，展示了其在高斯混合模型中的广泛应用性。
2026-10-02 cs.LG stat.ML
Applying Regularized Schrödinger-Bridge-Based Stochastic Process in Generative Modeling
Seoul National University（首尔国立大学）
与深度生成建模中现有的基于函数的模型相比，最近提出的扩散模型通过基于随机过程的方法实现了出色的性能。但由于离散化的时间步长较多，该方法需要较长的采样时间。基于薛定谔桥（SB）的模型试图通过训练分布之间的双向随机过程来解决这个问题。然而，与生成模型（如生成对抗网络）相比，它们的采样速度仍然很慢。由于双向随机过程的训练，它们需要相对较长的训练时间。因此，本研究试图减少所需的时间步长和训练时间，并提出了正则化项到现有的SB模型，使双向随机过程的一致性和稳定性与减少的时间步长。每个正则化项被集成到单个项中，以便在计算时间和内存使用方面实现更有效的训练。将该正则化随机过程应用于各种生成任务，得到了不同分布之间的期望平移，从而证实了基于具有更快采样速度的随机过程的生成建模的可能性。该代码可在https://github.com/KiUngSong/RSB上获得。
2022-08-15 cs.LG stat.ML
Non-asymptotic Convergence of Stochastic Gradient Descent in Score-based Generative Models
Sorbonne Université and Université Paris Cité, CNRS, LPSM（索邦大学和巴黎cité大学，法国国家科学研究中心，巴黎高等师范学院）；LOPF, Califrais’ Machine Learning Lab（LOPF，Califrais机器学习实验室）
针对基于得分的生成模型训练优化性质不明问题，本文对两类场景下的随机梯度下降开展理论分析，推导收敛速率与误差边界，为实际权重选择提供理论指导。
2026-10-08 cs.LG stat.ML
GREAT Score: Global Robustness Evaluation of Adversarial Perturbation using Generative Models
The Chinese University of Hong Kong（香港中文大学）；IBM Research（IBM研究院）
本文提出 GREAT Score 框架，利用生成模型估计数据分布上的平均认证抗扰动水平，实现高效、可扩展且支持黑盒远程审计的全局对抗鲁棒性评估。
2024-10-28 cs.AI cs.LG
Solving Inverse Problems with Score-Based Generative Priors learned from Noisy Data
Chandra Family Department of Electrical and Computer Engineering, The University of Texas at Austin（德克萨斯大学奥斯汀分校电气与计算机工程系）；Intel Corporation（英特尔公司）
提出SURE-Score方法，利用含噪数据学习基于分数的生成先验，通过Stein无偏风险估计联合去噪与分数匹配，应用于压缩MIMO信道估计和加速MRI重建，在低信噪比下取得竞争性性能。
2023-05-02 cs.LG eess.IV eess.SP
MadSGM: Multivariate Anomaly Detection with Score-based Generative Models
Yonsei University（延世大学）；Samsung SDS（三星SDS）；LG AI Research（LG人工智能研究院）
MadSGM提出基于分数生成模型的多变量时间序列异常检测方法，综合重构、密度和梯度三类异常度量，在五个基准数据集上取得最稳健准确的预测结果。
2023-08-29 cs.AI cs.LG
Score-of-Mixture Training: Training One-Step Generative Models Made Simple via Score Estimation of Mixture Distributions
Department of Electrical Engineering and Computer Science, Massachusetts Institute of Technology (MIT), Cambridge, Massachusetts, USA（电气工程与计算机科学系，麻省理工学院（MIT），剑桥，马萨诸塞州，美国）
提出Score-of-Mixture Training (SMT)框架，通过最小化$α$-skew Jensen-Shannon散度并估计混合分布得分来训练单步生成模型，支持从零开始训练与预训练扩散模型蒸馏，实验证明其在CIFAR-10和ImageNet 64x64上表现优异。
2025-07-14 cs.AI cs.LG stat.ML
ScoreField: Neural Inverse Scattering with Score-Based Generative Priors
Johns Hopkins University（约翰斯·霍普金斯大学）
ScoreField是结合耦合隐式神经表示与预训练得分生成先验的神经逆散射框架，可处理强多次散射，在多类基准及实验数据上的重建性能优于经典全波方法与深度学习基线。
2026-08-05 cs.LG eess.IV physics.comp-ph
Universal Smoothed Score Functions for Generative Modeling
UC Berkeley（加州大学伯克利分校）；Prescient Design, Genentech, Roche（罗氏基因泰克Prescient Design部门）；NNAISENSE（NNAISENSE公司）；Inria（法国国家信息与自动化研究所）；Ecole Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）
我们考虑了基于使用阶乘核平滑$\mathbb{R}^d$中感兴趣的未知密度的生成建模问题，阶乘核具有由Saremi和Srivastava（2022）引入的具有相等噪声水平的$M$独立高斯通道。首先，我们充分表征学习的时间复杂性所产生的平滑密度在$\mathbb{R}^{Md}$，称为M-密度，推导出一个通用的形式，其参数化的得分函数是由建设置换等变。接下来，我们通过分析高斯分布的条件数来研究采样M-密度的时间复杂度。这种谱分析给出了随着$M$的增加，M密度的“形状”的几何见解。最后，我们在CIFAR-10数据集上展示了这类生成模型的样本质量结果，其中我们报告了Fréchet起始距离（14.15），特别是在长期快速混合MCMC链上使用单一噪声水平获得的。
2023-03-21 cs.LG stat.ML
Score-based Generative Modeling Secretly Minimizes the Wasserstein Distance
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
基于得分的生成模型在图像生成和音频合成等各种应用中表现出显著的经验性能。然而，基于分数的扩散模型的理论理解仍然是不完整的。最近，Song等人表明，基于得分的生成模型的训练目标相当于最小化生成分布与数据分布的Kullback-Leibler散度。在这项工作中，我们表明，基于分数的模型也最小化它们之间的Wasserstein距离在适当的假设下的模型。具体地说，我们证明了Wasserstein距离的上界由目标函数的平方根乘法常数和一个固定的常数偏移。我们的证明是基于最优运输理论的一个新的应用，它可以独立的社会利益。我们的数值实验支持我们的研究结果。通过分析我们的上界，我们提供了一些技术，以获得更严格的上界。
2022-12-13 cs.AI cs.LG cs.NA
Well2Flow: Reconstruction of reservoir states from sparse wells using score-based generative models
Georgia Institute of Technology（佐治亚理工学院）
本文提出Well2Flow框架，利用基于分数的生成模型结合稀疏测井数据重建油藏渗透率与饱和度场，通过引入物理约束提升重建精度与泛化能力。
2025-04-07 cs.AI cs.LG
Walking the Score Manifold: Continuous-time Generative Dynamics on Learned Data Manifolds
DFKI Kaiserslautern（凯泽斯劳滕德国人工智能研究中心）；RPTU Kaiserslautern（凯泽斯劳滕-兰道工业大学）；Imperial College London（帝国理工学院）
本文提出在分数模型学习的流形上学习连续时间向量场，实现任意时间戳生成与时间超分辨率，并通过横向稳定性目标增强鲁棒性，在视频、PDE和分子动力学数据上验证了有效性。
2026-09-17 cs.AI cs.LG
