Score-of-Mixture Training: Training One-Step Generative Models Made Simple via Score Estimation of Mixture Distributions
Department of Electrical Engineering and Computer Science, Massachusetts Institute of Technology (MIT), Cambridge, Massachusetts, USA（电气工程与计算机科学系，麻省理工学院（MIT），剑桥，马萨诸塞州，美国）
提出Score-of-Mixture Training (SMT)框架，通过最小化$α$-skew Jensen-Shannon散度并估计混合分布得分来训练单步生成模型，支持从零开始训练与预训练扩散模型蒸馏，实验证明其在CIFAR-10和ImageNet 64x64上表现优异。
2025-07-14 cs.AI cs.LG stat.ML
Score-Based Generative Models for Molecule Generation
Julia Computing, Inc（Julia计算公司）；Deep Forest Sciences Inc.（深林科学公司）；Carnegie Mellon University（卡内基梅隆大学）
生成模型的最新进展使得探索从头分子生成的设计空间变得更加容易。然而，流行的生成模型，如GANs和规范化流，分别面临着由于对抗性训练和架构约束而导致的训练不稳定性等挑战。基于得分的生成模型通过使用分数函数近似对对数概率密度的梯度进行建模来回避这些挑战，而不是直接对密度函数进行建模，并使用退火Langevin动力学对其进行采样。我们相信，基于得分的生成模型可以开辟新的机会，在分子生成由于其架构的灵活性，如取代评分函数与SE（3）等变模型。在这项工作中，我们通过测试基于分数的分子生成模型的有效性奠定了基础。我们对来自ZINC数据集的150万个样本的自引用嵌入字符串（SELFIES）表示进行训练，并使用Moses基准测试框架来评估一套指标上生成的样本。
2022-03-07 cs.LG q-bio.QM
Score-based Generative Models for Calorimeter Shower Simulation
National Energy Research Scientific Computing Center（国家能源研究科学计算中心）；Berkeley Lab（伯克利实验室）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；Berkeley Institute for Data Science（伯克利数据科学研究所）；University of California, Berkeley（加州大学伯克利分校）
基于分数的生成模型是一类新的生成算法，即使在高维空间中也能生成逼真的图像，目前在不同的基准类别和应用中超过了其他最先进的模型。在这项工作中，我们介绍CaloScore，一个基于分数的生成模型适用于碰撞物理量热计簇生成。使用快速量热仪模拟挑战2022数据集研究了三种不同的扩散模型。CaloScore是基于分数的生成模型在对撞机物理学中的第一个应用，能够为所有数据集生成高保真的热量计图像，为热量计淋浴模拟提供了另一种范例。
2022-10-19 cs.LG hep-ex hep-ph
Score-based Generative Modeling Through Backward Stochastic Differential Equations: Inversion and Generation
Harvard University（哈佛大学）
本研究提出一种基于BSDE的新型扩散模型，通过适配现有分数函数确定目标分布的初始条件，证明了理论保证与Lipschitz网络的优势，可应用于扩散反演等多领域，为生成学习提供新方向。
2023-04-26 cs.AI cs.LG
Score-based Generative Modeling for Conditional Independence Testing
Fudan University（复旦大学）；Alibaba Group（阿里巴巴集团）；SIAT, Chinese Academy of Sciences（中国科学院软件研究所）；Tongji University（同济大学）
针对现有基于生成模型的条件独立性测试在条件分布建模和训练稳定性上的不足，提出基于分数的生成建模方法，通过切片条件分数匹配和Langevin动力学采样实现精确的第一类错误控制与强测试功效，实验证明其显著优于现有方法。
2025-05-29 cs.AI cs.LG
Score-based Generative Modeling in Latent Space
NVIDIA（英伟达）
基于分数的生成模型（SGM）最近在样本质量和分布覆盖率方面表现出令人印象深刻的结果。然而，它们通常直接应用于数据空间，并且通常需要数千个网络评估来进行采样。在这里，我们提出了基于潜在分数的生成模型（LSGM），这是一种在潜在空间中训练SGM的新方法，依赖于变分自动编码器框架。从数据转移到潜在空间，使我们能够训练更具表现力的生成模型，将SGM应用于非连续数据，并在更小的空间中学习更平滑的SGM，从而减少网络评估和更快的采样。为了能够以可扩展和稳定的方式训练LSGM端到端，我们（i）引入适合LSGM设置的新的分数匹配目标，（ii）提出一种新的得分函数参数化，使SGM能够专注于目标分布相对于简单正态分布的不匹配，以及（iii）分析推导出用于训练目标方差减小的多种技术。LSGM在CIFAR-10上获得了2.10的最新FID分数，优于该数据集上所有现有的生成结果。在CelebA-HQ-256上，LSGM在采样质量上与之前的SGM相当，而在采样时间上则超过它们两个数量级。在对二值图像建模时，LSGM在二值化的OMNIGLOT数据集上实现了最先进的似然性。我们的项目页面和代码可以在https://nvlabs.github.io/LSGM上找到。
2021-12-02 cs.LG stat.ML
Score-based Generative Modeling Secretly Minimizes the Wasserstein Distance
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
基于得分的生成模型在图像生成和音频合成等各种应用中表现出显著的经验性能。然而，基于分数的扩散模型的理论理解仍然是不完整的。最近，Song等人表明，基于得分的生成模型的训练目标相当于最小化生成分布与数据分布的Kullback-Leibler散度。在这项工作中，我们表明，基于分数的模型也最小化它们之间的Wasserstein距离在适当的假设下的模型。具体地说，我们证明了Wasserstein距离的上界由目标函数的平方根乘法常数和一个固定的常数偏移。我们的证明是基于最优运输理论的一个新的应用，它可以独立的社会利益。我们的数值实验支持我们的研究结果。通过分析我们的上界，我们提供了一些技术，以获得更严格的上界。
2022-12-13 cs.AI cs.LG cs.NA
A Variational Perspective on Diffusion-Based Generative Models and Score Matching
University of Montreal（蒙特利尔大学）；Mila（米拉）
基于离散时间扩散的生成模型和分数匹配方法在高维图像数据建模方面显示出了良好的效果。最近，Song等人（2021）表明，将数据转换为噪声的扩散过程可以通过学习得分函数（即扰动数据的对数密度的梯度）来逆转。他们建议将学习的得分函数插入到逆公式中，以定义生成扩散过程。尽管在经验上取得了成功，但这一程序仍然缺乏理论基础。在这项工作中，我们直接接近（连续时间）生成扩散，并推导出一个变分框架的似然估计，其中包括连续时间规范化流作为一个特殊情况下，可以看作是一个无限深的变分自编码器。在这个框架下，我们证明了最小化分数匹配损失相当于最大化Song等人（2021）提出的插入式反向搜索的可能性下限，弥合了理论差距。
2021-09-30 cs.LG
Classification Accuracy Score for Conditional Generative Models
DeepMind（深度思维）
图像的深度生成模型（DGMs）现在已经足够成熟，它们可以生成近乎真实感的样本，并获得类似于Frechet Inception Distance（FID）等几何学数据分布的分数。这些结果，特别是在ImageNet这样的大规模数据集上，表明DGM正在感知有意义的空间中学习数据分布，并可用于下游任务。为了测试后一个假设，我们使用来自许多模型类的类条件生成模型-变分自编码器，自回归模型和生成对抗网络（GANs）-来推断真实数据的类标签。我们通过仅使用合成数据训练图像分类器并使用分类器来预测真实数据上的标签来执行此推断。这项任务的性能，我们称之为分类准确度得分（CAS），揭示了一些传统指标无法识别的令人惊讶的结果，并构成了我们的贡献。首先，当使用最先进的GAN（BigGAN-deep）时，与原始数据相比，Top-1和Top-5的准确度分别下降了27.9%和41.6%;来自其他模型类的条件生成模型，如矢量量化变分自编码器（VQ-VAE-2）和分层自回归模型（HAM），在此基准测试中的表现大大优于GANs。其次，CAS自动表面生成模型未能捕获数据分布的特定类，并且以前在文献中是未知的。第三，我们发现传统的GAN指标，如初始得分（IS）和FID既不能预测CAS，也不能用于评估非GAN模型。此外，为了便于更好地诊断生成模型，我们开源了所提出的度量。
2019-10-28 cs.LG stat.ML
Leverage Score Sampling for Complete Mode Coverage in Generative Adversarial Networks
KU Leuven（鲁汶大学）；Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）
通常，机器学习模型最小化经验期望。因此，经过训练的模型通常对大多数数据表现良好，但在数据集的密度较低的区域中性能可能会恶化。这个问题也出现在生成建模中。生成模型可能会忽略在经验数据分布中不太频繁的代表性不足的模式。这个问题被称为完全模式覆盖。我们提出了一种基于岭杠杆分数的采样过程，与标准方法相比，该方法显着提高了模式覆盖率，并且可以很容易地与任何GAN相结合。脊杠杆分数通过使用与GAN神经网络或预训练网络的倒数第二层相关联的显式特征图，或者通过使用与高斯核相对应的隐式特征图来计算。对最近的方法的完整模式覆盖的多个评价显示了明显的改善时，使用建议的采样策略。
2021-07-21 cs.LG stat.ML
Speech Enhancement with Score-Based Generative Models in the Complex STFT Domain
Universität Hamburg（汉堡大学）；DESY（德国电子同步加速器研究所）
基于分数的生成模型（SGM）最近在困难的生成任务（例如自然图像和音频信号的无条件和有条件生成）方面取得了令人印象深刻的结果。在这项工作中，我们将这些模型扩展到复杂的短时傅里叶变换（STFT）域，提出了一种新的训练任务，使用复值深度神经网络进行语音增强。我们推导出随机微分方程（SDES）的形式主义内的训练任务，从而使预测校正采样器的使用。我们提供了替代配方的启发，以前的出版物上使用生成扩散模型的语音增强，避免需要任何先验假设的噪声分布和训练任务纯粹的生成，因为我们表明，在提高增强性能的结果。
2022-07-07 cs.LG cs.SD eess.AS
Score-Based Generative Modeling with Critically-Damped Langevin Diffusion
NVIDIA（英伟达）；University of Waterloo（滑铁卢大学）；Vector Institute（矢量研究所）
基于分数的生成模型（SGM）已经证明了显着的合成质量。SGM依赖于扩散过程，该过程逐渐将数据扰动到易于处理的分布，而生成模型则学习去噪。除了数据分布本身之外，这种去噪任务的复杂性唯一地由扩散过程决定。我们认为，目前的SGM采用过于简单的扩散，导致不必要的复杂的去噪过程，这限制了生成建模性能。基于统计力学的连接，我们提出了一种新的临界阻尼朗之万扩散（CLD），并表明基于CLD的SGMs实现优越的性能。CLD可以被解释为在扩展空间中运行联合扩散，其中辅助变量可以被认为是耦合到数据变量的“速度”，如在哈密顿动力学中。我们推导出一个新的分数匹配CLD的目标，并表明该模型只需要学习的条件分布的速度给定的数据，一个更容易的任务比学习分数的数据直接的得分函数。我们还得到了一个新的采样方案，有效的合成CLD为基础的扩散模型。我们发现，CLD优于以前的SGM在合成质量相似的网络架构和采样计算预算。我们表明，我们的新型采样器CLD显着优于求解器，如欧拉-丸山。我们的框架为基于分数的去噪扩散模型提供了新的见解，并且可以很容易地用于高分辨率图像合成。项目页面和代码：https://nv-tlabs.github.io/CLD-SGM.
2022-03-25 cs.LG stat.ML
Score-Guided Generative Adversarial Networks
College of Engineering（工程学院）；Korea University（高丽大学）；School of Electrical Engineering（电气工程学院）
我们提出了一种生成对抗网络（GAN），它使用预先训练的网络引入了评估器模块。所提出的模型，称为分数引导的GAN（ScoreGAN），是用GANs的评估度量来训练的，即，Inception评分，作为训练生成器的粗略指南。通过使用另一个预先训练的网络而不是Inception网络，ScoreGAN规避了Inception网络的过拟合，以便生成的样本不对应于Inception网络的对抗性示例。此外，为了防止过拟合，评价指标仅作为辅助作用，而主要使用GANs的常规目标。使用CIFAR-10数据集进行评估，ScoreGAN的Inception评分为10.36 $\pm$ 0.15，这相当于最先进的性能。此外，为了概括ScoreGAN的有效性，使用另一个数据集进一步评估了该模型，即，CIFAR-100;因此，ScoreGAN优于其他现有方法，其中Fréchet Inception Distance（FID）为13.98。
2020-05-27 cs.CV cs.LG eess.IV
Nearest Neighbour Score Estimators for Diffusion Generative Models
University of British Columbia（不列颠哥伦比亚大学）；Inverted AI
本文提出一种基于最近邻的得分估计器，利用训练集多个样本降低方差，显著提升一致性模型的收敛速度与样本质量，并可替代扩散模型中学习网络进行概率流ODE积分。
2024-07-16 cs.CV cs.LG stat.ML
Unifying GANs and Score-Based Diffusion as Generative Particle Models
Criteo AI Lab（Criteo人工智能实验室）；LIGM（LIGM实验室）；Ecole des Ponts（巴黎路桥学院）；Univ Gustave Eiffel（古斯塔夫·埃菲尔大学）；CNRS（法国国家科学研究中心）；ETH Zürich（苏黎世联邦理工学院）
本文提出统一粒子与对抗生成模型的框架，将生成器训练视为粒子模型的推广，并验证了在扩散模型中集成生成器及无生成器训练GAN的可行性。
2023-12-21 cs.CV cs.LG cs.NE
GREAT Score: Global Robustness Evaluation of Adversarial Perturbation using Generative Models
The Chinese University of Hong Kong（香港中文大学）；IBM Research（IBM研究院）
本文提出 GREAT Score 框架，利用生成模型估计数据分布上的平均认证抗扰动水平，实现高效、可扩展且支持黑盒远程审计的全局对抗鲁棒性评估。
2024-10-28 cs.AI cs.LG
From Global to Tail Convergence: Dynamics of $α$-Stable Score-Based Generative Models
Ecole Normale Supérieur Paris-Saclay（巴黎高等师范学院）；Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Laboratoire de mathématiques d’Orsay（奥赛数学实验室）；Institut Universitaire de France（法国大学学院）
该研究针对α稳定基于得分的生成模型开展非渐近收敛分析，发现其与布朗动力学在全局Wasserstein收敛上无本质差异，但尾部收敛存在显著区别，尾指数匹配是其捕捉极端事件的关键机制。
2026-10-15 cs.LG math.PR stat.ML
Geometry Score: A Method For Comparing Generative Adversarial Networks
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Institute of Numerical Mathematics RAS（俄罗斯科学院数值数学研究所）
生成对抗网络（GANs）研究中的最大挑战之一是评估生成样本的质量并检测各种级别的模式坍塌。在这项工作中，我们构建了一个新的衡量性能的GAN的基础数据流形和生成的，这提供了定性和定量的评价手段的几何属性进行比较。我们的算法可以应用于任意性质的数据集，并不限于视觉数据。我们在各种现实模型和数据集上测试了所获得的度量，并证明我们的方法为GANs的属性提供了新的见解。
2018-06-09 cs.CG cs.LG stat.ML
Audio-Visual Speech Enhancement with Score-Based Generative Models
Universität Hamburg（汉堡大学）
提出一种以视觉信息为条件、融合自监督视听嵌入与扩散模型的语音增强系统，实验证明其可提升语音质量、减少伪影并显著降低低信噪比下的ASR词错误率。
2023-06-02 cs.LG eess.AS
A Stochastic Analysis Perspective on Diffusion Models
本文从随机分析视角研究基于分数的生成模型，结合经典采样理论等思想，关联朗之万采样与分数匹配，提出扩散时间反转的路径空间处理，连接理想反向扩散与实际生成算法。
2026-10-14 cs.LG math.PR stat.ML
SOS: Score-based Oversampling for Tabular Data
Yonsei University（延世大学）；Samsung SDS（三星SDS）
基于得分的生成模型（SGM）是生成假图像的最新突破。已知SGM优于其他生成模型，例如，生成对抗网络（GANs）和变分自编码器（VAE）。受到他们巨大成功的启发，在这项工作中，我们完全定制了他们来生成虚假的表格数据。特别是，我们对过采样子类感兴趣，因为不平衡的类经常导致次优的训练结果。据我们所知，我们是第一个提出了基于分数的表格数据过采样方法。首先，我们重新设计了我们自己的评分网络，因为我们必须处理表格数据。其次，我们提出了两种选择，我们的生成方法：前者是相当于一个表格数据的风格转移，后者使用标准的生成策略的SGM。最后，我们定义了一种微调方法，进一步提高了过采样质量。在我们使用6个数据集和10个基线的实验中，我们的方法在所有情况下都优于其他过采样方法。
2022-06-17 cs.AI cs.LG
Training-Free Generative Sampling via Moment-Matched Score Smoothing
College of Computing and Data Science（计算与数据科学学院）；Nanyang Technological University（南洋理工大学）
本文提出无需训练的动量匹配分数平滑过阻尼兰格-恩斯坦动力学（MM-SOLD），通过在采样轨迹中强制目标动量，实现高效的训练自由采样，实验显示其在CPU上能快速稳健地生成高质量样本。
2026-11-09 cs.LG stat.ML
DiffFlow: A Unified SDE Framework for Score-Based Diffusion Models and Generative Adversarial Networks
HKUST（香港科技大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本文提出统一SDE框架DiffFlow，将SDMs和GANs的学习动力学纳入同一随机微分方程，通过调节分数权重实现两类模型平滑过渡，并给出具有精确似然推断的新算法。
2023-07-05 cs.CV cs.LG math.AP
MetricGAN: Generative Adversarial Networks based Black-box Metric Scores Optimization for Speech Enhancement
National Taiwan University（台湾大学）；Academia Sinica（中央研究院）
条件生成对抗网络（GAN）中的对抗性损失并不被设计为直接优化目标任务的评估度量，因此可能并不总是引导GAN中的生成器生成具有改进的度量分数的数据。为了克服这个问题，我们提出了一种新的MetricGAN方法，旨在优化生成器的一个或多个评估指标。此外，基于MetricGAN，生成数据的度量分数也可以由用户任意指定。我们在语音增强任务上测试了所提出的MetricGAN，这特别适合于验证所提出的方法，因为存在测量语音信号的不同方面的多个度量。此外，这些指标通常是复杂的，并且不能通过Lp或传统的对抗性损失来完全优化。
2019-05-13 cs.LG cs.SD eess.AS
The Score-Difference Flow for Implicit Generative Modeling
Disney Research（迪士尼研究）
本文提出分数差流作为隐式生成建模的一种新方法，通过最优减少两个分布之间的KL散度，展示了其与去噪扩散模型的等价性，并揭示了生成对抗网络训练中隐含的数据优化子问题与分数差流之间的联系。
2026-05-20 cs.LG stat.ML
Score-Based Generative Models for Robust Channel Estimation
University of Texas at Austin（德克萨斯大学奥斯汀分校）
信道估计是数字通信中的一项关键任务，它对端到端系统的性能有很大影响。在这项工作中，我们介绍了一种新的方法，多输入多输出（MIMO）信道估计使用基于分数的生成模型。我们的方法使用了一个深度神经网络，该网络经过训练可以估计高维空间中任何点处无线信道的对数先验梯度，并利用该模型通过后验采样来解决信道估计。我们训练一个基于分数的模型，从CDL-D模型的两个天线间距的信道实现，并表明，该方法导致竞争力的分布性能相比，生成对抗网络（GAN）和压缩感知（CS）的方法。当在CDL-D信道上测试时，与$λ/2$天线间隔处的分布中的GAN方法相比，该方法导致信道估计误差的至少$5$ dB的增益。当在训练或微调期间从未见过的CDL-C信道上测试时，与CS方法相比，该方法导致高达$3$ dB的端到端编码性能增益，并且与理想信道知识相比，仅损失$0.5$ dB。
2022-02-15 cs.LG eess.SP
Refining Generative Process with Discriminator Guidance in Score-based Diffusion Models
KAIST（韩国科学技术院）；NAVER Cloud（NAVER云）
本文提出 Discriminator Guidance，在预训练分数扩散模型生成时加入判别器辅助项以校正分数估计，并在 ImageNet 256×256 上取得 FID 1.83 的最优结果。
2023-06-04 cs.AI cs.CV cs.LG
Adversarial score matching and improved sampling for image generation
University of Montreal（蒙特利尔大学）；Microsoft Research Lab（微软研究院实验室）
去噪得分匹配与退火Langevin采样（DSM-ALS）最近发现在生成建模的成功。该方法的工作原理是首先训练一个神经网络来估计分布的分数，然后使用Langevin动力学从分数网络假设的数据分布中采样。尽管样本的视觉质量令人信服，但在Fréchet Inception Distance（生成模型的标准度量）下，这种方法的表现似乎比生成对抗网络（GANs）更差。我们表明，这种明显的差距消失时，使用分数网络去噪的最终Langevin样本。此外，我们提出了对DSM-ALS的两项改进：1）一致退火采样作为退火Langevin采样的更稳定的替代方案，以及2）混合训练公式，由去噪得分匹配和对抗目标组成。通过结合这两种技术和探索不同的网络架构，我们提升了分数匹配方法，并获得了与CIFAR-10上最先进的图像生成相竞争的结果。
2020-10-10 cs.CV cs.LG stat.ML
Score-based Generative Diffusion Models for Social Recommendations
Department of Computing, The Hong Kong Polytechnic University（计算系，香港理工大学）
本文针对社交推荐中低社交同质性问题，提出基于分数的生成扩散模型SGSR，通过生成最优用户社交表示并结合联合课程训练与自监督学习，有效过滤冗余社交信息并提升推荐性能。
2025-08-27 cs.AI cs.LG cs.SI
Capturing the Topological Phase Transition and Thermodynamics of the 2D XY Model via Manifold-Aware Score-Based Generative Modeling
Bengaluru, India（印度班加罗尔）
本文提出流形感知的分数生成模型，用于捕捉二维XY模型的拓扑相变与热力学特性，实现了高精度的分数估计和零样本泛化。
2026-02-07 cond-mat.stat-mech cs.LG
Analyzing Neural Network-Based Generative Diffusion Models through Convex Optimization
Stanford University（斯坦福大学）
本研究通过将分数匹配和去噪分数匹配转化为凸优化，为基于两层神经网络的扩散模型建立了理论框架，证明了浅层网络训练可归结为单个凸程序，并在有限数据下精确刻画了预测分数函数与收敛性。
2024-05-22 cs.LG math.OC
Generalizing Score-based generative models for Heavy-tailed Distributions
STIM, Mines Paris（STIM， Mines巴黎）；LPSM, Sorbonne Université（LPSM，索邦大学）
本文提出一种统一的生成框架，通过正常化流捕捉厚尾行为并作为SGM的初始化先验，从而在理论上克服了现有方法的局限。
2026-05-14 cs.LG stat.ML
Don't be so negative! Score-based Generative Modeling with Oracle-assisted Guidance
Department of Computer Science, University of British Columbia, Vancouver, Canada；Montr\'eal Institute for Learning Algorithms (MILA)
针对分数扩散模型在受限领域应用不足的问题，提出利用oracle辅助信息引导生成过程的新方法Gen-neG，通过分类器引导将生成导向正支持区域，并在自动驾驶避障等应用中验证了其有效性。
2025-07-12 cs.LG stat.ML
Score-Based Multimodal Autoencoder
University of Illinois Chicago（伊利诺伊大学芝加哥分校）
针对多模态 VAE 随模态增多而生成质量下降的问题，本文用 SBM 联合建模独立单模态 VAE 的潜空间，在保持生成质量的同时实现跨模态一致整合。
2024-12-10 cs.CV cs.LG
A diffusion-based generative model for financial time series via geometric Brownian motion
Department of Mathematics, POSTECH（POSTECH数学系）；Department of Financial Mathematics, Gachon University（高丽大学金融数学系）；Department of Applied Artificial Intelligence, SeoulTech（首尔科技大学应用人工智能系）
针对金融时间序列的异方差特性，提出将几何布朗运动融入扩散前向过程的生成框架，并用CSDI式Transformer训练反向生成，更真实地再现多种金融程式化事实。
2025-07-25 cs.AI cs.LG cs.NA
How Much is Enough? A Study on Diffusion Times in Score-based Generative Models
EURECOM（欧洲通信学院）；Huawei Technologies（华为技术有限公司）
本文研究基于分数扩散模型中扩散时间 T 的权衡，提出用辅助模型弥补短时间前向动力学与理想噪声分布间的差距，从而提升训练与采样效率并保持图像生成质量。
2022-06-10 cs.LG stat.ML
CRASH: Raw Audio Score-based Generative Modeling for Controllable High-resolution Drum Sound Synthesis
Sony CSL（索尼计算机科学实验室）；CentraleSupélec（巴黎中央理工-高等电力学院）
在本文中，我们提出了一种新的无条件原始音频合成的分数为基础的生成模型。我们的建议建立在扩散过程建模与随机微分方程的最新发展，这已经证明了有前途的结果图像生成。我们激励新的扩散过程更适合音频生成的选择，并考虑使用一个有条件的U-网近似的分数函数。虽然以前的方法对音频的扩散模型主要是设计为语音声码器在中等分辨率，我们的方法被称为CRASH（可控的原始音频合成与高分辨率）允许我们以可控的方式产生短的44.1kHz的混响声音。通过大量的实验，我们展示了鼓的声音生成任务的众多采样方案提供了我们的方法（无条件生成，确定性生成，修复，插值，变化，类条件采样），并提出了类混合采样，一种新的方式来生成“混合”的声音。我们提出的方法缩小了与基于GAN的方法在原始音频上的差距，同时提供了更灵活的生成功能，具有更轻和更小的训练模型。
2021-06-14 cs.LG cs.SD eess.AS
Image Quality Assessment Techniques Show Improved Training and Evaluation of Autoencoder Generative Adversarial Networks
Carleton University（卡尔顿大学）
我们提出了一种自动编码器生成对抗网络（GANs）的训练和评估方法，特别是边界平衡生成对抗网络（BEGAN），基于图像质量评估文献中的方法。我们的方法探讨了一个多维的评价标准，利用三个距离函数：一个$l_1$分数，梯度幅度相似性平均值（GMSM）分数，和色度分数。我们发现，每个不同的距离函数捕捉图像空间中的一组略有不同的属性，因此，需要自己的评估标准，以正确评估相关属性是否已经充分学习。我们证明了使用新距离函数的模型能够以预测的方式产生比原始BEGAN模型更好的图像。
2017-08-06 cs.CV cs.LG
OptiGAN: Generative Adversarial Networks for Goal Optimized Sequence Generation
Monash University（莫纳什大学）；The University of Melbourne（墨尔本大学）
序列生成任务中的一个挑战性问题是具有特定期望目标的序列的优化生成。当前的序列生成模型主要生成序列以紧密地模仿训练数据，而没有直接优化特定于任务的期望目标或属性。我们引入了OptiGAN，这是一种生成模型，它结合了生成对抗网络（GAN）和强化学习（RL），使用策略梯度来优化所需的目标得分。我们将我们的模型应用于文本和实值序列生成，其中我们的模型能够获得比GAN和RL基线更高的期望分数，同时不牺牲输出样本多样性。
2021-01-14 cs.LG stat.ML
Dirichlet Diffusion Score Model for Biological Sequence Generation
University of Texas Southwestern Medical Center（德克萨斯大学西南医学中心）
针对离散生物序列建模需求，提出基于概率单纯形空间Dirichlet平稳分布的扩散得分模型，可生成满足硬约束的样本，还能无额外训练解数独，并成功构建首个具备天然特性的人类启动子DNA序列设计模型。
2023-06-16 cs.LG q-bio.GN q-bio.QM
A Unified Measure-Theoretic View of Diffusion, Score-Based, and Flow Matching Generative Models
Center for Applied Scientific Computing（应用科学计算中心）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；University of California Merced（加州默塞德大学）
本文从测度论角度统一了扩散、基于分数和流匹配生成模型，探讨了时间依赖向量场诱导的边缘分布，并分析了采样、稳定性和计算的权衡。
2026-05-07 cs.CV cs.ET cs.IT
The Vendi Score: A Diversity Evaluation Metric for Machine Learning
Princeton University（普林斯顿大学）；Vertaix
提出 Vendi Score 多样性评估指标，基于相似矩阵特征值的 Shannon 熵，无需参考数据集，适用于任意生成模型与数据集，揭示了 GAN 模式崩溃等问题并支持数据增强。。
2023-07-02 cond-mat.mtrl-sci cs.LG stat.ML
Volterra Generative Models via Markovian Lifting
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
提出Volterra生成模型，通过分数阶核引入路径依赖噪声，利用马尔可夫提升和残差状态学习，解决非马尔可夫动力学下的扩散生成问题，在MNIST和CIFAR-10上验证有效性。
2026-11-06 cs.AI cs.LG
Proximal-Based Generative Modeling for Bayesian Inverse Problems
School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences（中国科学院大学先进交叉科学学院）；School of Mathematics, Sichuan University（四川大学数学学院）；School of Mathematical Sciences, Beijing University of Posts and Telecommunications（北京邮电大学数学科学学院）；Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；Ministry of Education Key Laboratory of Mathematics and Information Networks（教育部数学与信息网络重点实验室）
针对扩散模型在逆问题中似然分数难以计算的问题，提出基于近端算子的生成建模框架，利用Moreau-Yosida正则化与高斯卷积的理论等价性，通过Moreau分数匹配学习近端算子，实现无需显式似然评估的采样，理论上去除早期停止偏差并达到非渐近收敛，实验在重建质量和采样时间上超越现有方法。
2026-05-27 cs.LG math.OC
MeshDiffusion: Score-based Generative 3D Mesh Modeling
Mila（米拉人工智能研究所）；Université de Montréal（蒙特利尔大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；ETH Zürich（苏黎世联邦理工学院）；McGill University（麦吉尔大学）；University of Cambridge（剑桥大学）
本文提出MeshDiffusion，利用可变形四面体网格表示三维网格并训练扩散模型，以解决现有方法生成表面过平滑或含噪声、缺乏几何细节的问题，并在多个生成任务上验证了有效性。
2023-04-15 cs.AI cs.CV cs.GR
EnJoi: Ensemble Joint Score Filter for Generative Data Assimilation
Inria Paris（巴黎Inria研究所）；DI ENS（巴黎高等师范学校计算机科学系）；PSL Research University（巴黎文理研究大学）；Renault Group（雷诺集团）
本文提出EnJoi，一种基于扩散模型的数据同化算法，通过学习联合状态分布并改进En4DVar，动态平衡当前状态与观测置信度，在稀疏非均匀观测下提升重建性能。
2026-09-30 cs.LG
Conditional Vendi Score: Prompt-Aware Diversity Evaluation for Generative AI Models and LLMs
Department of Computer Science and Engineering, The Chinese University of Hong Kong（计算机科学与工程系，香港中文大学）；Department of Information Engineering, The Chinese University of Hong Kong（信息工程系，香港中文大学）
针对文本提示引导的生成模型，提出条件 Vendi 和条件 RKE 分数，通过条件熵分离模型自身多样性，并证明收敛性及在多个任务中恢复真实多样性排序。
2026-10-12 cs.AI cs.CV cs.IT
Score and Lyrics-Free Singing Voice Generation
Taiwan AI Labs（台湾人工智能实验室）；Academia Sinica（中央研究院）
歌唱声音的生成模型主要涉及“歌唱声音合成”的任务，即，以产生给定乐谱和文本歌词的歌唱声音波形。在这项工作中，我们探索了一种新颖但具有挑战性的替代方案：在训练和推理时间内，没有预先分配的分数和歌词的歌声生成。特别是，我们概述了三个这样的发电计划，并提出了一个管道来解决这些新的任务。此外，我们使用生成对抗网络实现了这些模型，并对它们进行了客观和主观的评估。
2020-07-21 cs.LG cs.SD eess.AS
Hybrid quantum cycle generative adversarial network for small molecule generation
Terra Quantum AG（泰拉量子公司）
本研究将参数化量子电路集成到分子生成对抗网络中，提出量子循环架构，在QM9和PC9数据集上使药物相似性定量估计提升高达30%，助力快速准确的药物发现。
2024-09-19 cs.ET cs.LG physics.bio-ph
Generative Diffusion From An Action Principle
Kavli Institute for Cosmological Physics（卡夫利宇宙物理研究所）；University of Chicago（芝加哥大学）
本文从作用量原理推导得分匹配，将逆向扩散视为最优控制问题，揭示不同扩散模型间的联系。
2023-10-06 cs.LG physics.class-ph
Diffusion-Model-Assisted Supervised Learning of Generative Models for Density Estimation
Oak Ridge National Laboratory（橡树岭国家实验室）；Florida State University（佛罗里达州立大学）；Auburn University（奥本大学）
针对生成模型无监督训练存在的问题，提出基于扩散模型的免训练分数估计方法生成带标签数据，实现监督学习，提升采样效率并避免雅可比矩阵计算。
2023-10-22 cs.LG cs.NA math.NA
Riemannian Score-Based Generative Modelling
ENS（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL University（巴黎文理研究大学）；University of Oxford（牛津大学）
基于得分的生成模型（SGM）是一类功能强大的生成模型，具有显著的经验性能。基于分数的生成建模（SGM）包括一个“噪声”阶段，其中扩散被用来逐渐添加高斯噪声到数据中，以及一个生成模型，它需要一个“去噪”过程，通过近似扩散的时间反演来定义。现有的SGM假设数据支持在欧几里得空间上，即具有平坦几何形状的流形。在许多领域，如机器人，地球科学或蛋白质建模，数据往往是自然描述的分布生活在黎曼流形和目前的SGM技术是不合适的。我们在这里介绍黎曼基于得分的生成模型（RSGMs），一类生成模型扩展SGMs到黎曼流形。我们展示了我们的方法在各种流形上，特别是地球和气候科学球形数据。
2022-11-22 cs.LG math.PR stat.ML
Classification via score-based generative modelling
在这项工作中，我们研究了基于分数的梯度学习在判别和生成分类设置中的应用。分数函数可以用来表征数据分布，作为密度的替代。它可以通过分数匹配有效地学习，并用于灵活地生成可信的样本，以提高区分性分类质量，恢复密度和构建生成式分类器。我们分析了涉及基于分数的表示的决策理论，并在模拟和真实世界的数据集上进行了实验，证明了它在实现和提高二进制分类性能方面的有效性，以及对扰动的鲁棒性，特别是在高维和不平衡的情况下。
2022-07-22 cs.AI cs.LG
Convergence for score-based generative modeling with polynomial complexity
Johns Hopkins University（约翰斯·霍普金斯大学）；Duke University（杜克大学）
该研究证明了基于分数的生成建模核心机制的首个多项式收敛保证，规避了指数误差与维数灾难，为退火过程的必要性提供理论支撑，且验证了预测-校正算法的更优收敛性。
2023-05-03 cs.LG math.PR math.ST
