Hamiltonian Score Matching and Generative Flows
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);NVIDIA(英伟达)
本文提出哈密顿速度预测器,并据此构建HSM分数匹配方法与HGFs生成模型,将扩散和流匹配统一为零力场特例,实验证明其竞争力。
2024-10-27 cs.LG stat.ML
Sample Complexity Bounds for Score-Matching: Causal Discovery and Generative Modeling
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);Institute of Science Technology Austria(奥地利科学技术研究所)
本文为分数匹配方法建立了统计样本复杂度界,证明用深度ReLU网络和随机梯度下降可准确估计分数函数,并给出其在因果发现和生成建模中的误差上界。
2023-10-27 cs.LG stat.ML
Implicit score matching meets denoising score matching: improved rates of convergence and log-density Hessian estimation
HSE University(俄罗斯高等经济大学)
本文提出通过隐式和去噪分数匹配方法改进收敛速率,并利用微分估计对数密度Hessian,为生成扩散模型的采样器收敛性提供理论支持。
2025-12-30 cs.LG math.ST stat.ML
Improved Techniques for Training Score-Based Generative Models
Stanford University(斯坦福大学)
基于得分的生成模型可以产生与GANs相当的高质量图像样本,而不需要对抗性优化。然而,现有的训练程序仅限于低分辨率(通常低于32x32)的图像,并且在某些设置下可能不稳定。我们提供了一个新的理论分析,从高维空间中的得分模型中学习和采样,解释现有的故障模式,并激发新的解决方案,在数据集上推广。为了增强稳定性,我们还建议保持模型权重的指数移动平均值。通过这些改进,我们可以毫不费力地将基于得分的生成模型扩展到具有前所未有的分辨率(从64x64到256x256)的图像。我们基于分数的模型可以生成高保真样本,在各种图像数据集上与同类最佳GANs相媲美,包括CelebA,FFHQ和多个LSUN类别。
2020-10-23 cs.CV cs.LG stat.ML
A Generative Model for Score Normalization in Speaker Recognition
Nuance Communications, Inc.(Nuance通信公司)
我们提出了一个理论框架来思考分数归一化,这证实了在(公认脆弱的)理想条件下不需要归一化。然而,如果这些条件不满足,例如在训练和运行时之间的数据集转换,我们的理论揭示了分数之间的依赖关系,可以通过分数归一化等策略来利用。事实上,它已经证明了一遍又一遍的实验,各种ad-hoc得分归一化食谱做工作。我们首次尝试使用概率论来设计一个生成分数空间归一化模型,该模型在文本相关的RSR 2015数据库上对ZT范数进行了类似的改进。
2017-09-28 cs.LG cs.SD eess.AS
Classification via score-based generative modelling
在这项工作中,我们研究了基于分数的梯度学习在判别和生成分类设置中的应用。分数函数可以用来表征数据分布,作为密度的替代。它可以通过分数匹配有效地学习,并用于灵活地生成可信的样本,以提高区分性分类质量,恢复密度和构建生成式分类器。我们分析了涉及基于分数的表示的决策理论,并在模拟和真实世界的数据集上进行了实验,证明了它在实现和提高二进制分类性能方面的有效性,以及对扰动的鲁棒性,特别是在高维和不平衡的情况下。
2022-07-22 cs.AI cs.LG
On the Anisotropy of Score-Based Generative Models
Imperial College London(伦敦帝国学院);Apple(苹果公司)
该研究针对基于得分的生成模型,引入依赖架构的得分各向异性方向(SADs),通过合成数据和图像基准验证其可捕获模型行为并关联下游性能,为预测生成模型泛化能力提供新方法。
2026-08-07 cs.LG stat.ML
Generative Modelling for Unsupervised Score Calibration
AGNITIO Research(AGNITIO研究院);Johns Hopkins University(约翰斯·霍普金斯大学)
分数校准使自动说话人识别器能够做出具有成本效益的接受/拒绝决定。传统的校准需要监督数据,这是一种昂贵的资源。我们提出了一个2分量GMM无监督校准,并表现出良好的性能相对于NIST SRE'10和SRE'12的监督基线。贝叶斯分析表明,与无监督校准参数估计值相关的不确定性是令人惊讶的小。
2014-02-14 cs.LG stat.ML
A Hyperfinite Framework for Score-Based Generative Modeling
Kerala School of Mathematics(喀拉拉数学学院)
本文在非标准分析框架下构建了基于得分的生成建模的超有限框架,推导了相关恒等式、公式并分析了二阶一致性,建立了离散网格动力学与生成建模核心环节的关联。
2026-08-05 cs.AI cs.LG math.PR
Wavelet Score-Based Generative Modeling
ENS(巴黎高等师范学院);CNRS(法国国家科学研究中心);PSL University(巴黎文理研究大学);Collège de France(法兰西公学院);Flatiron Institute(弗莱提荣研究所)
基于得分的生成模型(SGM)通过运行漂移系数取决于某个概率分数的时间反演的随机微分方程(Stochastic Differential Equation,简称STD)来从高斯白噪声中合成新的数据样本。这种随机微分方程的离散化通常需要大量的时间步长,因此计算成本很高。这是因为我们在数学上分析的分数的病态属性。我们表明,SGMs可以大大加快,分解成跨尺度小波系数的条件概率的产品的数据分布。由此产生的小波基于得分的生成模型(WSGM)在所有尺度上以相同的时间步长合成小波系数,因此其时间复杂度随图像大小线性增长。这在高斯分布的数学上得到了证明,并在相变和自然图像数据集的物理过程中进行了数值计算。
2022-08-09 cs.CV cs.LG stat.ML
A Good Score Does not Lead to A Good Generative Model
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
该研究针对“得分函数学习好则SGM生成效果佳”的传统认知,通过反例证明特定场景下得分函数学习良好时SGM仅能生成训练数据的高斯模糊样本,补充了SGM存在记忆效应、生成失效的相关发现。
2024-01-27 cs.LG stat.ML
Score-Based Generative Modeling through Stochastic Differential Equations
Stanford University(斯坦福大学);Google Brain(谷歌大脑)
从数据中创建噪声很容易;从噪声中创建数据是生成建模。我们提出了一个随机微分方程(RSDs),通过缓慢注入噪声,将复杂的数据分布平滑地转换为已知的先验分布,以及相应的逆时RSDs,通过缓慢去除噪声,将先验分布转换回数据分布。重要的是,逆时梯度仅取决于扰动数据分布的时间相关梯度场(\aka,分数)。通过利用基于分数的生成建模的进步,我们可以用神经网络准确地估计这些分数,并使用数值解算器来生成样本。我们表明,这个框架封装了以前的方法在基于分数的生成建模和扩散概率建模,允许新的采样程序和新的建模能力。特别是,我们引入了一个预测-校正框架来校正离散逆时模型演化中的错误。我们还推导出一个等价的神经ODE,它从与神经元相同的分布中采样,但另外还可以进行精确的似然计算,并提高采样效率。此外,我们提供了一种新的方法来解决逆问题的分数为基础的模型,类条件生成,图像修补和彩色化的实验证明。结合多个架构改进,我们在CIFAR-10上实现了破纪录的无条件图像生成性能,Inception评分为9.89,FID为2.20,竞争可能性为2.99 bits/dim,并首次从基于得分的生成模型中展示了1024 x 1024图像的高保真生成。
2021-02-10 cs.LG stat.ML
Score-Based Generative Models for Molecule Generation
Julia Computing, Inc(Julia计算公司);Deep Forest Sciences Inc.(深林科学公司);Carnegie Mellon University(卡内基梅隆大学)
生成模型的最新进展使得探索从头分子生成的设计空间变得更加容易。然而,流行的生成模型,如GANs和规范化流,分别面临着由于对抗性训练和架构约束而导致的训练不稳定性等挑战。基于得分的生成模型通过使用分数函数近似对对数概率密度的梯度进行建模来回避这些挑战,而不是直接对密度函数进行建模,并使用退火Langevin动力学对其进行采样。我们相信,基于得分的生成模型可以开辟新的机会,在分子生成由于其架构的灵活性,如取代评分函数与SE(3)等变模型。在这项工作中,我们通过测试基于分数的分子生成模型的有效性奠定了基础。我们对来自ZINC数据集的150万个样本的自引用嵌入字符串(SELFIES)表示进行训练,并使用Moses基准测试框架来评估一套指标上生成的样本。
2022-03-07 cs.LG q-bio.QM
Permutation Invariant Graph Generation via Score-Based Generative Modeling
Tsinghua University(清华大学);Stanford University(斯坦福大学)
学习图结构数据的生成模型是具有挑战性的,因为图是离散的、组合的,并且底层数据分布对节点的排序是不变的。然而,大多数现有的生成模型的图是不恒定的选择的顺序,这可能会导致一个不希望的偏差,在学习的分布。为了解决这个困难,我们提出了一个置换不变的方法来建模图,使用最近的框架,基于分数的生成建模。特别地,我们设计了一个置换等变的多通道图神经网络来对输入图处的数据分布的梯度进行建模(也称为,功能)。这种置换等变梯度模型隐含地定义了图的置换不变分布。我们用分数匹配训练这个图神经网络,并用退火的Langevin动力学对其进行采样。在我们的实验中,我们首先证明了这种新的架构在学习离散图算法的能力。对于图生成,我们发现我们的学习方法在基准数据集上取得了比现有模型更好或相当的结果。
2020-03-02 cs.LG stat.ML
Wasserstein Convergence Guarantees for a General Class of Score-Based Generative Models
The Chinese University of Hong Kong(香港中文大学);Florida State University(佛罗里达州立大学)
本文针对分数生成模型(SGMs),在准确分数估计和平滑对数凹数据分布假设下建立其2-Wasserstein距离收敛保证,推导不同前向过程SGMs的迭代复杂度上下界,实验验证理论并提出更优前向过程模型。
2025-02-15 cs.LG math.PR stat.ML
Score-based Generative Modeling in Latent Space
NVIDIA(英伟达)
基于分数的生成模型(SGM)最近在样本质量和分布覆盖率方面表现出令人印象深刻的结果。然而,它们通常直接应用于数据空间,并且通常需要数千个网络评估来进行采样。在这里,我们提出了基于潜在分数的生成模型(LSGM),这是一种在潜在空间中训练SGM的新方法,依赖于变分自动编码器框架。从数据转移到潜在空间,使我们能够训练更具表现力的生成模型,将SGM应用于非连续数据,并在更小的空间中学习更平滑的SGM,从而减少网络评估和更快的采样。为了能够以可扩展和稳定的方式训练LSGM端到端,我们(i)引入适合LSGM设置的新的分数匹配目标,(ii)提出一种新的得分函数参数化,使SGM能够专注于目标分布相对于简单正态分布的不匹配,以及(iii)分析推导出用于训练目标方差减小的多种技术。LSGM在CIFAR-10上获得了2.10的最新FID分数,优于该数据集上所有现有的生成结果。在CelebA-HQ-256上,LSGM在采样质量上与之前的SGM相当,而在采样时间上则超过它们两个数量级。在对二值图像建模时,LSGM在二值化的OMNIGLOT数据集上实现了最先进的似然性。我们的项目页面和代码可以在https://nvlabs.github.io/LSGM上找到。
2021-12-02 cs.LG stat.ML
Score-based Generative Models for Calorimeter Shower Simulation
National Energy Research Scientific Computing Center(国家能源研究科学计算中心);Berkeley Lab(伯克利实验室);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室);Berkeley Institute for Data Science(伯克利数据科学研究所);University of California, Berkeley(加州大学伯克利分校)
基于分数的生成模型是一类新的生成算法,即使在高维空间中也能生成逼真的图像,目前在不同的基准类别和应用中超过了其他最先进的模型。在这项工作中,我们介绍CaloScore,一个基于分数的生成模型适用于碰撞物理量热计簇生成。使用快速量热仪模拟挑战2022数据集研究了三种不同的扩散模型。CaloScore是基于分数的生成模型在对撞机物理学中的第一个应用,能够为所有数据集生成高保真的热量计图像,为热量计淋浴模拟提供了另一种范例。
2022-10-19 cs.LG hep-ex hep-ph
Convergence of the Inexact Langevin Algorithm in KL Divergence with Application to Score-based Generative Models
Department of Statistics and Data Science, Yale University(耶鲁大学统计与数据科学系);Department of Computer Science, Yale University(耶鲁大学计算机科学系)
本文研究了在KL散度下近似兰格-恩算法的收敛性,基于分数生成模型的应用,提出了稳定偏置收敛保证,并探讨了如何获得可证明准确的分数估计器。
2026-03-28 cs.LG math.ST stat.TH
Generative Modeling with Denoising Auto-Encoders and Langevin Sampling
MIT(麻省理工学院);IBM Research(IBM研究院);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
我们研究了生成建模方法的收敛性,该方法首先使用去噪自动编码器(DAE)或去噪分数匹配(DSM)估计分布的得分函数,然后采用Langevin扩散进行采样。我们表明,DAE和DSM提供高斯平滑人口密度的分数的估计,使我们能够应用经验过程的机器。我们克服了只依赖于$L^2$边界的分数估计误差的挑战,并提供有限样本界之间的瓦瑟斯坦距离的法律的总体分布和法律的抽样方案。然后,我们将我们的结果应用于arXiv:1907.05600的同伦方法,并为其经验成功提供理论依据。
2022-10-11 cs.LG math.PR stat.ML
Score-based generative models are provably robust: an uncertainty quantification perspective
University of Chicago(芝加哥大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
通过不确定性量化视角,利用Wasserstein不确定性传播定理证明基于分数的生成模型对多种实现误差具有可证明的鲁棒性,并阐明误差来源间的权衡。
2024-05-24 cs.LG math.ST stat.ML
Deep Generative Model using Unregularized Score for Anomaly Detection with Heterogeneous Complexity
Kobe University(神户大学)
自然图像数据集中异常样本的准确和自动检测可以通过用于图像的端到端建模的概率模型来完成。然而,这样的图像具有异质的复杂性,并且概率模型忽略了具有小异常的简单形状的对象。这是因为概率模型将不期望的较低可能性分配给形状复杂的对象,但这些对象与设定的标准一致。为了克服这个困难,我们提出了一个深度生成模型(DGMs)的非正则化分数,DGMs是利用深度神经网络的生成模型。我们发现,正则化条款的DGMs显着影响异常分数取决于样本的复杂性。通过删除这些项,我们获得了一个未正则化的分数,我们在玩具数据集和真实世界的制造数据集上进行了评估。实验结果表明,非正则化的分数是强大的样本的固有复杂性,可以用来更好地检测异常。
2018-09-04 cs.CV cs.LG stat.ML
Grade Inflation in Generative Models
Beth Israel Deaconess Medical Center (BIDMC)(贝斯以色列女执事医疗中心(BIDMC));University of California San Francisco(加利福尼亚大学旧金山分校);Harvard Medical School(哈佛医学院)
本研究揭示生成模型评估中的“分数膨胀”问题,提出等密度分数概念及Eden分数,其避免膨胀且更符合人类感知,优于传统等点分数。
2025-01-22 cs.AI cs.LG stat.ML
Classification Accuracy Score for Conditional Generative Models
DeepMind(深度思维)
图像的深度生成模型(DGMs)现在已经足够成熟,它们可以生成近乎真实感的样本,并获得类似于Frechet Inception Distance(FID)等几何学数据分布的分数。这些结果,特别是在ImageNet这样的大规模数据集上,表明DGM正在感知有意义的空间中学习数据分布,并可用于下游任务。为了测试后一个假设,我们使用来自许多模型类的类条件生成模型-变分自编码器,自回归模型和生成对抗网络(GANs)-来推断真实数据的类标签。我们通过仅使用合成数据训练图像分类器并使用分类器来预测真实数据上的标签来执行此推断。这项任务的性能,我们称之为分类准确度得分(CAS),揭示了一些传统指标无法识别的令人惊讶的结果,并构成了我们的贡献。首先,当使用最先进的GAN(BigGAN-deep)时,与原始数据相比,Top-1和Top-5的准确度分别下降了27.9%和41.6%;来自其他模型类的条件生成模型,如矢量量化变分自编码器(VQ-VAE-2)和分层自回归模型(HAM),在此基准测试中的表现大大优于GANs。其次,CAS自动表面生成模型未能捕获数据分布的特定类,并且以前在文献中是未知的。第三,我们发现传统的GAN指标,如初始得分(IS)和FID既不能预测CAS,也不能用于评估非GAN模型。此外,为了便于更好地诊断生成模型,我们开源了所提出的度量。
2019-10-28 cs.LG stat.ML
A Variational Perspective on Diffusion-Based Generative Models and Score Matching
University of Montreal(蒙特利尔大学);Mila(米拉)
基于离散时间扩散的生成模型和分数匹配方法在高维图像数据建模方面显示出了良好的效果。最近,Song等人(2021)表明,将数据转换为噪声的扩散过程可以通过学习得分函数(即扰动数据的对数密度的梯度)来逆转。他们建议将学习的得分函数插入到逆公式中,以定义生成扩散过程。尽管在经验上取得了成功,但这一程序仍然缺乏理论基础。在这项工作中,我们直接接近(连续时间)生成扩散,并推导出一个变分框架的似然估计,其中包括连续时间规范化流作为一个特殊情况下,可以看作是一个无限深的变分自编码器。在这个框架下,我们证明了最小化分数匹配损失相当于最大化Song等人(2021)提出的插入式反向搜索的可能性下限,弥合了理论差距。
2021-09-30 cs.LG
A Malliavin-Gamma calculus approach to Score Based Diffusion Generative models for random fields
Università degli studi di Roma Tor Vergata(罗马大学)
该研究利用Gamma与Malliavin微积分将基于分数的扩散生成模型推广至无限维希尔伯特空间,推导了分数函数的性质,扩展了熵收敛界,并针对球面随机场进行了具体分析。
2025-10-03 cs.LG math.PR stat.ML
Score-of-Mixture Training: Training One-Step Generative Models Made Simple via Score Estimation of Mixture Distributions
Department of Electrical Engineering and Computer Science, Massachusetts Institute of Technology (MIT), Cambridge, Massachusetts, USA(电气工程与计算机科学系,麻省理工学院(MIT),剑桥,马萨诸塞州,美国)
提出Score-of-Mixture Training (SMT)框架,通过最小化$α$-skew Jensen-Shannon散度并估计混合分布得分来训练单步生成模型,支持从零开始训练与预训练扩散模型蒸馏,实验证明其在CIFAR-10和ImageNet 64x64上表现优异。
2025-07-14 cs.AI cs.LG stat.ML
Leverage Score Sampling for Complete Mode Coverage in Generative Adversarial Networks
KU Leuven(鲁汶大学);Univ. Lille(里尔大学);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院)
通常,机器学习模型最小化经验期望。因此,经过训练的模型通常对大多数数据表现良好,但在数据集的密度较低的区域中性能可能会恶化。这个问题也出现在生成建模中。生成模型可能会忽略在经验数据分布中不太频繁的代表性不足的模式。这个问题被称为完全模式覆盖。我们提出了一种基于岭杠杆分数的采样过程,与标准方法相比,该方法显着提高了模式覆盖率,并且可以很容易地与任何GAN相结合。脊杠杆分数通过使用与GAN神经网络或预训练网络的倒数第二层相关联的显式特征图,或者通过使用与高斯核相对应的隐式特征图来计算。对最近的方法的完整模式覆盖的多个评价显示了明显的改善时,使用建议的采样策略。
2021-07-21 cs.LG stat.ML
Anomaly Detection in Networks via Score-Based Generative Models
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院);Artificial Intelligence Research Institute(人工智能研究院)
针对属性图中节点离群点检测缺乏通用方法的问题,提出利用基于分数的图生成模型进行检测,在小规模图上取得竞争力结果,并实证分析了狄利克雷能量的重构难点。
2023-06-27 cs.LG
Score-Based Generative Models Detect Manifolds
Universität Potsdam(波茨坦大学);Institut für Mathematik(数学研究所)
基于分数的生成模型(SGM)需要近似中间分布的分数$\nabla \log p_t$以及前向过程的最终分布$p_T$。这些近似值的影响的理论基础仍然缺乏。我们找到精确的条件下,SGMs能够产生样本的底层(低维)数据流形$\mathcal{M}$。这保证了SGM能够生成“正确类型的样本”。例如,将$\mathcal{M}$作为面部图像的子集,我们找到SGM稳健地产生面部图像的条件,即使这些图像的相对频率可能不准确地表示真实的数据生成分布。此外,这种分析是理解SGM泛化特性的第一步:将$\mathcal{M}$作为所有训练样本的集合,我们的结果提供了SGM何时记忆其训练数据的精确描述。
2022-10-15 cs.LG cs.NA math.NA
Score-Based Generative Modeling with Critically-Damped Langevin Diffusion
NVIDIA(英伟达);University of Waterloo(滑铁卢大学);Vector Institute(矢量研究所)
基于分数的生成模型(SGM)已经证明了显着的合成质量。SGM依赖于扩散过程,该过程逐渐将数据扰动到易于处理的分布,而生成模型则学习去噪。除了数据分布本身之外,这种去噪任务的复杂性唯一地由扩散过程决定。我们认为,目前的SGM采用过于简单的扩散,导致不必要的复杂的去噪过程,这限制了生成建模性能。基于统计力学的连接,我们提出了一种新的临界阻尼朗之万扩散(CLD),并表明基于CLD的SGMs实现优越的性能。CLD可以被解释为在扩展空间中运行联合扩散,其中辅助变量可以被认为是耦合到数据变量的“速度”,如在哈密顿动力学中。我们推导出一个新的分数匹配CLD的目标,并表明该模型只需要学习的条件分布的速度给定的数据,一个更容易的任务比学习分数的数据直接的得分函数。我们还得到了一个新的采样方案,有效的合成CLD为基础的扩散模型。我们发现,CLD优于以前的SGM在合成质量相似的网络架构和采样计算预算。我们表明,我们的新型采样器CLD显着优于求解器,如欧拉-丸山。我们的框架为基于分数的去噪扩散模型提供了新的见解,并且可以很容易地用于高分辨率图像合成。项目页面和代码:https://nv-tlabs.github.io/CLD-SGM.
2022-03-25 cs.LG stat.ML
Score-Based Generative Classifiers
University of Tübingen(蒂宾根大学);Stanford University(斯坦福大学);Norwegian University of Science and Technology(挪威科技大学)
近年来生成模型的巨大成功提出了一个问题,即它们是否也可以用于执行分类。生成模型已被用作简单数据集(如MNIST)上的对抗鲁棒分类器,但在更复杂的数据集(如CIFAR-10)上尚未观察到这种鲁棒性。此外,在自然图像数据集上,以前的结果表明数据的可能性和分类精度之间的权衡。在这项工作中,我们研究了基于分数的生成模型作为自然图像的分类器。我们表明,这些模型不仅获得了有竞争力的似然值,但同时实现了CIFAR-10上的生成分类器的最先进的分类精度。然而,我们发现,这些模型只是稍微,如果在所有,更强大的区别性基线模型的基础上常见的图像损坏的分布任务。类似地,与以前的结果相反,我们发现,基于分数的倾向于最坏情况下的分布变化的形式对抗扰动。我们的工作强调,与标准判别模型相比,基于分数的生成模型正在缩小分类准确性的差距。虽然它们还没有实现对抗性和域外鲁棒性的承诺,但它们提供了一种不同的分类方法,值得进一步研究。
2021-12-11 cs.CV cs.LG stat.ML
On Forgetting and Stability of Score-based Generative models
Sorbonne Université and Université Paris Cité, CNRS, LPSM(索邦大学和巴黎大学,CNRS,LPSM);Center for Statistics and Images, Mines Paris, PSL University(统计与图像中心,巴黎 Mines,PSL 大学);CREST, ENSAE Paris, Institut Polytechnique de Paris(CREST,ENSAE 巴黎,巴黎理工学院)
本文利用反向时间动力学马尔可夫链的遗忘和稳定性性质,在弱假设下通过Lyapunov漂移条件和Doeblin型小化条件,定量分析了基于分数的生成模型的采样误差,并证明了采样过程的定量稳定性。
2026-06-02 cs.LG stat.ML
Geometry of Score Based Generative Models
Northeastern University(东北大学)
在这项工作中,我们从几何角度来看待基于得分的生成模型(也称为扩散生成模型)。从一个新的角度证明了在概率测度空间中,加噪声和由噪声生成的前向过程和后向过程都是Wasserstein梯度流。我们是第一个证明这种联系的人。我们对基于分数(和扩散)的生成模型的理解已经成熟,并通过借鉴贝叶斯推理,控制理论,随机微分方程和薛定谔桥等不同领域的思想变得更加完整。然而,许多悬而未决的问题和挑战依然存在。例如,一个问题是如何减少采样时间?我们证明,从几何的角度来看,使我们能够回答许多这些问题,并提供新的解释,一些已知的结果。此外,几何角度使我们能够设计一个直观的几何解决方案的问题,更快的采样。通过对传统的基于得分的生成模型增加投影步骤,我们证明了我们可以用更少的采样步骤生成高质量的图像。
2023-02-09 cs.AI cs.LG
Speech Enhancement with Score-Based Generative Models in the Complex STFT Domain
Universität Hamburg(汉堡大学);DESY(德国电子同步加速器研究所)
基于分数的生成模型(SGM)最近在困难的生成任务(例如自然图像和音频信号的无条件和有条件生成)方面取得了令人印象深刻的结果。在这项工作中,我们将这些模型扩展到复杂的短时傅里叶变换(STFT)域,提出了一种新的训练任务,使用复值深度神经网络进行语音增强。我们推导出随机微分方程(SDES)的形式主义内的训练任务,从而使预测校正采样器的使用。我们提供了替代配方的启发,以前的出版物上使用生成扩散模型的语音增强,避免需要任何先验假设的噪声分布和训练任务纯粹的生成,因为我们表明,在提高增强性能的结果。
2022-07-07 cs.LG cs.SD eess.AS
TSGM: Regular and Irregular Time-series Generation using Score-based Generative Models
LG AI Research(LG人工智能研究)
本文提出TSGM模型,通过条件分数网络和定制的去噪分数匹配损失,实现规则和不规则时间序列的高质量生成。
2025-11-26 cs.LG
Score-based generative models learn manifold-like structures with constrained mixing
DeepMind
该研究通过线性近似和局部特征子空间分析,发现基于分数的生成模型在流形内使用非保守场混合样本,同时保持流形外法向去噪,从而灵活维持数据分布的流形类结构。
2023-11-16 cs.CV cs.LG stat.ML
From Global to Tail Convergence: Dynamics of $α$-Stable Score-Based Generative Models
Ecole Normale Supérieur Paris-Saclay(巴黎高等师范学院);Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Laboratoire de mathématiques d’Orsay(奥赛数学实验室);Institut Universitaire de France(法国大学学院)
该研究针对α稳定基于得分的生成模型开展非渐近收敛分析,发现其与布朗动力学在全局Wasserstein收敛上无本质差异,但尾部收敛存在显著区别,尾指数匹配是其捕捉极端事件的关键机制。
2026-10-15 cs.LG math.PR stat.ML
Beyond Log-Concavity and Score Regularity: Improved Convergence Bounds for Score-Based Generative Models in W2-distance
CMAP, CNRS, École polytechnique, Institut Polytechnique de Paris(CMAP、法国国家科学研究中心、巴黎高等理工学院、巴黎理工 institute)
本文提出了一种新的分析框架,通过放宽传统假设,改进了分数生成模型在W2距离下的收敛界,展示了其在高斯混合模型中的广泛应用性。
2026-10-02 cs.LG stat.ML
Non-asymptotic Convergence of Stochastic Gradient Descent in Score-based Generative Models
Sorbonne Université and Université Paris Cité, CNRS, LPSM(索邦大学和巴黎cité大学,法国国家科学研究中心,巴黎高等师范学院);LOPF, Califrais’ Machine Learning Lab(LOPF,Califrais机器学习实验室)
针对基于得分的生成模型训练优化性质不明问题,本文对两类场景下的随机梯度下降开展理论分析,推导收敛速率与误差边界,为实际权重选择提供理论指导。
2026-10-08 cs.LG stat.ML
CoCoGen: Physically-Consistent and Conditioned Score-based Generative Models for Forward and Inverse Problems
University of Michigan(密歇根大学);Michigan Institute for Computational Discovery & Engineering(密歇根计算发现与工程研究所)
本文提出CoCoGen框架,将离散化物理信息融入基于分数的生成模型,实现物理一致的样本生成,并利用条件模型与冻结的无条件模型结合,高效求解PDE正问题和反问题。
2024-10-20 cs.LG
Nearest Neighbour Score Estimators for Diffusion Generative Models
University of British Columbia(不列颠哥伦比亚大学);Inverted AI
本文提出一种基于最近邻的得分估计器,利用训练集多个样本降低方差,显著提升一致性模型的收敛速度与样本质量,并可替代扩散模型中学习网络进行概率流ODE积分。
2024-07-16 cs.CV cs.LG stat.ML
High-Fidelity Image Compression with Score-based Generative Models
Google Research(谷歌研究院);Amsterdam(阿姆斯特丹);Reykjavík(雷克雅未克);Zürich(苏黎世);Mountain View(芒廷维尤);London(伦敦)
针对扩散模型难应用于图像压缩的问题,提出结合MSE自编码器与基于分数解码器的两阶段方法,在给定比特率下FID分数优于PO-ELIC和HiFiC,同时指出实现细节对效果影响显著。
2024-03-07 cs.CV cs.LG eess.IV
Score-Guided Generative Adversarial Networks
College of Engineering(工程学院);Korea University(高丽大学);School of Electrical Engineering(电气工程学院)
我们提出了一种生成对抗网络(GAN),它使用预先训练的网络引入了评估器模块。所提出的模型,称为分数引导的GAN(ScoreGAN),是用GANs的评估度量来训练的,即,Inception评分,作为训练生成器的粗略指南。通过使用另一个预先训练的网络而不是Inception网络,ScoreGAN规避了Inception网络的过拟合,以便生成的样本不对应于Inception网络的对抗性示例。此外,为了防止过拟合,评价指标仅作为辅助作用,而主要使用GANs的常规目标。使用CIFAR-10数据集进行评估,ScoreGAN的Inception评分为10.36 $\pm$ 0.15,这相当于最先进的性能。此外,为了概括ScoreGAN的有效性,使用另一个数据集进一步评估了该模型,即,CIFAR-100;因此,ScoreGAN优于其他现有方法,其中Fréchet Inception Distance(FID)为13.98。
2020-05-27 cs.CV cs.LG eess.IV
A Stochastic Analysis Perspective on Diffusion Models
本文从随机分析视角研究基于分数的生成模型,结合经典采样理论等思想,关联朗之万采样与分数匹配,提出扩散时间反转的路径空间处理,连接理想反向扩散与实际生成算法。
2026-10-14 cs.LG math.PR stat.ML
Score-based Generative Modeling Through Backward Stochastic Differential Equations: Inversion and Generation
Harvard University(哈佛大学)
本研究提出一种基于BSDE的新型扩散模型,通过适配现有分数函数确定目标分布的初始条件,证明了理论保证与Lipschitz网络的优势,可应用于扩散反演等多领域,为生成学习提供新方向。
2023-04-26 cs.AI cs.LG
Universal Smoothed Score Functions for Generative Modeling
UC Berkeley(加州大学伯克利分校);Prescient Design, Genentech, Roche(罗氏基因泰克Prescient Design部门);NNAISENSE(NNAISENSE公司);Inria(法国国家信息与自动化研究所);Ecole Normale Supérieure(巴黎高等师范学院);PSL Research University(巴黎文理研究大学)
我们考虑了基于使用阶乘核平滑$\mathbb{R}^d$中感兴趣的未知密度的生成建模问题,阶乘核具有由Saremi和Srivastava(2022)引入的具有相等噪声水平的$M$独立高斯通道。首先,我们充分表征学习的时间复杂性所产生的平滑密度在$\mathbb{R}^{Md}$,称为M-密度,推导出一个通用的形式,其参数化的得分函数是由建设置换等变。接下来,我们通过分析高斯分布的条件数来研究采样M-密度的时间复杂度。这种谱分析给出了随着$M$的增加,M密度的“形状”的几何见解。最后,我们在CIFAR-10数据集上展示了这类生成模型的样本质量结果,其中我们报告了Fréchet起始距离(14.15),特别是在长期快速混合MCMC链上使用单一噪声水平获得的。
2023-03-21 cs.LG stat.ML
Unifying GANs and Score-Based Diffusion as Generative Particle Models
Criteo AI Lab(Criteo人工智能实验室);LIGM(LIGM实验室);Ecole des Ponts(巴黎路桥学院);Univ Gustave Eiffel(古斯塔夫·埃菲尔大学);CNRS(法国国家科学研究中心);ETH Zürich(苏黎世联邦理工学院)
本文提出统一粒子与对抗生成模型的框架,将生成器训练视为粒子模型的推广,并验证了在扩散模型中集成生成器及无生成器训练GAN的可行性。
2023-12-21 cs.CV cs.LG cs.NE
Geometry Score: A Method For Comparing Generative Adversarial Networks
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院);Institute of Numerical Mathematics RAS(俄罗斯科学院数值数学研究所)
生成对抗网络(GANs)研究中的最大挑战之一是评估生成样本的质量并检测各种级别的模式坍塌。在这项工作中,我们构建了一个新的衡量性能的GAN的基础数据流形和生成的,这提供了定性和定量的评价手段的几何属性进行比较。我们的算法可以应用于任意性质的数据集,并不限于视觉数据。我们在各种现实模型和数据集上测试了所获得的度量,并证明我们的方法为GANs的属性提供了新的见解。
2018-06-09 cs.CG cs.LG stat.ML
Score-based generative models break the curse of dimensionality in learning a family of sub-Gaussian probability distributions
University of Minnesota(明尼苏达大学)
本文研究基于分数的生成模型在学习亚高斯分布时的逼近与泛化,提出以相对密度定义的复杂度概念,并证明经验分数匹配可在总变差意义下以维度无关速率逼近目标分布,从而突破维度灾难。
2024-02-23 cs.LG stat.ML
Score-based Generative Modeling Secretly Minimizes the Wasserstein Distance
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
基于得分的生成模型在图像生成和音频合成等各种应用中表现出显著的经验性能。然而,基于分数的扩散模型的理论理解仍然是不完整的。最近,Song等人表明,基于得分的生成模型的训练目标相当于最小化生成分布与数据分布的Kullback-Leibler散度。在这项工作中,我们表明,基于分数的模型也最小化它们之间的Wasserstein距离在适当的假设下的模型。具体地说,我们证明了Wasserstein距离的上界由目标函数的平方根乘法常数和一个固定的常数偏移。我们的证明是基于最优运输理论的一个新的应用,它可以独立的社会利益。我们的数值实验支持我们的研究结果。通过分析我们的上界,我们提供了一些技术,以获得更严格的上界。
2022-12-13 cs.AI cs.LG cs.NA
Score-based Generative Modeling for Conditional Independence Testing
Fudan University(复旦大学);Alibaba Group(阿里巴巴集团);SIAT, Chinese Academy of Sciences(中国科学院软件研究所);Tongji University(同济大学)
针对现有基于生成模型的条件独立性测试在条件分布建模和训练稳定性上的不足,提出基于分数的生成建模方法,通过切片条件分数匹配和Langevin动力学采样实现精确的第一类错误控制与强测试功效,实验证明其显著优于现有方法。
2025-05-29 cs.AI cs.LG
Generative Score Inference for Multimodal Data
School of Statistics, University of Minnesota(明尼苏达大学统计学院)
本文提出生成分数推断(GSI)框架,通过深度生成模型生成合成样本近似条件分数分布,提升多模态学习中的不确定性量化能力,在大语言模型幻觉检测和图像描述不确定性估计中取得最佳性能。
2026-03-27 cs.AI cs.LG stat.ML
Efficient Learning of Generative Models via Finite-Difference Score Matching
Tsinghua University(清华大学);Stanford University(斯坦福大学)
若干机器学习应用涉及高阶导数的优化(例如,梯度的梯度),即使在自动微分的情况下,这在存储器和计算方面也是昂贵的。作为生成式建模中的一个典型例子,分数匹配(SM)涉及到Hessian轨迹的优化。为了提高计算效率,我们重写SM目标及其变种的方向导数,并提出了一个通用的策略,有效地近似任意阶方向导数有限差分(FD)。我们的近似只涉及函数求值,可以并行执行,没有梯度计算。因此,它降低了总的计算成本,同时也提高了数值稳定性。我们提供了两个实例,通过重新制定到FD形式的SM目标的变体。从经验上讲,我们证明了我们的方法产生的结果与基于梯度的同行相比,同时计算效率更高。
2020-11-25 cs.LG stat.ML
Improved Analysis of Score-based Generative Modeling: User-Friendly Bounds under Minimal Smoothness Assumptions
Peking University(北京大学);Johns Hopkins University(约翰斯·霍普金斯大学);Duke University(杜克大学)
我们给出了一个改进的基于分数的生成式建模的理论分析。在分数估计与小$L^2$错误(平均跨时间步),我们提供了有效的收敛保证任何数据分布的二阶矩,通过采用提前停止或假设光滑条件的分数函数的数据分布。我们的结果不依赖于任何对数不等式或函数不等式的假设,并有一个对数依赖的光滑性。特别是,我们表明,只有在有限的二阶矩条件下,近似以下在$ε$ -准确性的反向KL发散可以在$\tilde O\left(\frac{d \log (1/δ)}ε\right)$步骤:1)方差- $δ$高斯扰动的任何数据分布; 2)数据分布与$1/δ$ -平滑得分函数。我们的分析还提供了不同的离散近似之间的定量比较,并可能指导在实践中的离散点的选择。
2023-02-02 cs.LG