Midpoint Generative Models
AXXX, Russia（俄罗斯AXXX）；Applied AI Institute, Russia（俄罗斯应用人工智能研究所）；Kandinsky Lab, Russia（俄罗斯康德斯基实验室）
提出中点生成模型（MGM），利用流匹配的对称性定义中点散度，并通过变分目标训练单步生成模型，在性能上与现有方法竞争。
2026-06-08 cs.LG
Brief analysis of DeepSeek R1 and its implications for Generative AI
The Alan Turing Institute（阿兰·图灵研究所）
本文简要分析了DeepSeek R1推理模型，指出其以极低成本实现与OpenAI模型相当的竞争力，并探讨了中国近期模型在MoE、RL和工程创新方面的共性及其对生成式AI领域的广泛影响。
2025-02-07 cs.LG
Multimodal Generative Learning Utilizing Jensen-Shannon-Divergence
ETH Zurich（苏黎世联邦理工学院）
提出利用Jensen-Shannon散度的新目标函数mmJSD，通过动态先验同时近似单模态与联合多模态后验，理论证明优化ELBO，实验显示在无监督生成学习中的优势。
2020-11-02 cs.LG stat.ML
$f$-GAIL: Learning $f$-Divergence for Generative Adversarial Imitation Learning
Worcester Polytechnic Institute（伍斯特理工学院）；University of Minnesota（明尼苏达大学）
模仿学习（IL）的目的是从专家示范中学习一种策略，最大限度地减少学习者和专家行为之间的差异。已经提出了各种模仿学习算法，其具有不同的预定分歧以量化差异。这自然产生了以下问题：给定一组专家演示，哪种分歧可以更准确地恢复专家策略，并具有更高的数据效率？在这项工作中，我们提出了$f$ -GAIL，一个新的生成对抗模仿学习（GAIL）模型，自动学习的差异措施，从$f$分歧家庭以及能够产生专家般的行为的政策。与具有各种预定义偏差度量的IL基线相比，$f$ -GAIL在六个基于物理的控制任务中学习到更好的策略和更高的数据效率。
2020-11-19 cs.AI cs.LG stat.ML
Active Divergence with Generative Deep Learning -- A Survey and Taxonomy
Goldsmiths, University of London（伦敦大学金史密斯学院）；University of The Arts London（伦敦艺术大学）；Queen Mary University of London（伦敦玛丽女王大学）；Monash University（莫纳什大学）
生成式深度学习系统提供了用于伪影生成的强大工具，因为它们能够对数据分布进行建模并生成高保真结果。然而，在计算创造性的背景下，一个主要的缺点是，它们无法以创造性的方式显式地偏离训练数据，并且仅限于拟合目标数据分布。为了解决这些限制，已经有越来越多的方法用于优化、破解和重写这些模型，以便主动地偏离训练数据。我们提出了一个分类和全面调查的最先进的主动发散技术，突出了计算创造力研究人员的潜力，以推进这些方法，并在真正的创造性系统中使用深度生成模型。
2021-07-12 cs.AI cs.LG
Robust Generative Learning with Lipschitz-Regularized $α$-Divergences Allows Minimal Assumptions on Target Distributions
Department of Mathematics and Statistics, University of Massachusetts Amherst（数学与统计学系，马萨诸塞大学阿默斯特分校）；School of Mathematics, Georgia Institute of Technology（数学学院，佐治亚理工学院）
本文证明Lipschitz正则化α-散度在生成建模中具有鲁棒性，仅需源分布有限一阶矩即可稳定学习任意目标分布，并给出重尾条件下的充分必要条件及样本复杂度界，实验验证其在重尾、低维等挑战场景的有效性。
2025-09-08 cs.LG stat.ML
Training Normalizing Flows with the Precision-Recall Divergence
LAMSADE（拉马萨德实验室）；CNRS（法国国家科学研究中心）；Université Paris-Dauphine-PSL（巴黎多芬大学-巴黎文理研究大学）
生成模型可能具有不同的故障模式，如模式丢弃和低质量样本，这无法通过单个标量度量来捕获。为了解决这个问题，最近的工作提出了使用精度和召回率来评估生成模型，其中精度测量样本的质量，召回率测量目标分布的覆盖范围。尽管目标和估计分布之间的各种差异度量用于训练生成模型，但尚不清楚差异度量的各种选择会实现什么精确度-召回权衡。在本文中，我们表明，实现一个指定的精度召回权衡对应于最小化的分歧，从一个家庭，我们称之为{ \em PR分歧}。相反，任何偏差都可以被写为PR偏差的线性组合，因此对应于最小化加权的准确率-召回率权衡。此外，我们提出了一种新的生成模型，能够训练一个规范化的流程，以尽量减少任何分歧，特别是，实现了给定的精度召回权衡。
2023-02-02 cs.LG stat.ML
Equalized Generative Treatment: Matching f-divergences for Fairness in Generative Models
DI ENS, École normale supérieure, Université PSL, CNRS, Paris, France；Sorbonne Universit\'e, Universit\'e Paris Cit\'e, CNRS, Laboratoire de Probabilit\'es, Statistique et Mod\'elisation, LPSM, Paris, France；Miles, LAMSADE, Universit\'e Paris-Dauphine-PSL, CNRS, Paris, France
本文提出均等生成处理（EGT）作为生成模型的公平性定义，通过min-max微调方法平衡f-分歧度，提升生成质量的公平性。
2026-02-09 cs.AI cs.LG
BreGMN: scaled-Bregman Generative Modeling Networks
MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）
f-divergences家族被广泛应用于生成式建模，以使模型的分布适应数据的分布。然而，f-发散的良好定义要求数据和模型的分布在训练的每个时间步中完全重叠。结果，一旦数据和模型的分布的广义函数支集支持包含非重叠部分，则相应模型的基于梯度的训练就变得无望。生成建模的最新进展充满了处理这种支持不匹配问题的补救措施：关键思想包括将目标函数修改为即使在不相交概率上也表现良好的积分概率测度（IPM），或者优化表现良好的变分下限而不是真正的目标。另一方面，我们认为完全改变目标函数是不必要的，相反，增加有问题的分歧的基本度量可以解决这个问题。基于这一观察，我们提出了一个生成模型，利用类的缩放Bregman分歧和推广f-分歧和Bregman分歧。我们分析了这类分歧，并表明，与适当的选择的基础措施，它可以解决支持失配问题，并纳入几何信息。最后，我们研究了所提出的方法的性能，并在MNIST，CelebA和CIFAR-10数据集上展示了有希望的结果。
2019-06-01 cs.LG stat.ML
Gradient Flow Drifting: Generative Modeling via Wasserstein Gradient Flows of KDE-Approximated Divergences
The Chinese University of Hong Kong（香港中文大学）；Civil Aviation University of China（中国民航大学）
本文提出梯度流漂移模型，通过Wasserstein梯度流生成模型，结合反向KL和χ²发散避免模式崩溃与模糊，扩展至黎曼流形以适应语义空间。
2026-03-11 cs.AI cs.LG
Moser Flow: Divergence-based Generative Modeling on Manifolds
Weizmann Institute of Science（魏茨曼科学研究学院）；Facebook AI Research（Facebook人工智能研究院）；UCLA（加利福尼亚大学洛杉矶分校）
我们有兴趣学习生成模型，通过流形描述复杂的几何形状，如球体，环面和其他隐式表面。现有的（欧几里德）生成模型的当前扩展仅限于特定的几何形状，并且通常遭受高计算成本。我们介绍Moser流（MF），一类新的生成模型的连续规范化流（CNF）的家庭。MF还通过变量变化公式的解产生CNF，然而与其他CNF方法不同，其模型（学习）密度被参数化为源（先验）密度减去神经网络（NN）的发散。散度是一个局部的线性微分算子，易于在流形上近似和计算。因此，与其他CNF不同，MF不需要在训练期间通过ODE求解器调用或反向传播。此外，将模型密度显式表示为NN的散度而不是ODE的解有助于学习高保真度密度。理论上，我们证明了MF构成一个普遍的密度逼近适当的假设下。从经验上讲，我们第一次展示了使用流动模型从一般曲面采样，并在密度估计，样本质量和训练复杂性方面取得了显着改善，超过现有的CNFs对具有挑战性的合成几何形状和现实世界的基准，从地球和气候科学。
2021-11-02 cs.AI cs.LG stat.ML
Spread Divergence
University College London（伦敦大学学院）
对于具有不同支撑或未定义密度的分布$\mathbb{P}$和$\mathbb{Q}$，发散$\textrm{D}(\mathbb{P}||\mathbb{Q})$可能不存在。我们定义了一个扩散发散$\tilde{\textrm{D}}(\mathbb{P}||\mathbb{Q})$上修改的$\mathbb{P}$和$\mathbb{Q}$，并描述了存在这样的分歧的充分条件。我们演示了如何通过参数化和学习传播来最大限度地提高给定分歧的歧视能力。我们还给出了使用扩散发散来训练隐式生成模型的示例，包括线性模型（独立分量分析）和非线性模型（深度生成网络）。
2022-12-05 cs.LG stat.ML
Don't Generate Me: Training Differentially Private Generative Models with Sinkhorn Divergence
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；University of Waterloo（滑铁卢大学）；NVIDIA（英伟达）
尽管在海量数据上训练的机器学习模型在多个领域取得了突破性进展，但由于数据访问受限，它们在隐私敏感领域的部署仍然有限。使用私有数据的隐私约束训练的生成模型可以避开这一挑战，而是提供对私有数据的间接访问。我们提出了DP-Sinkhorn，一种新的基于最优传输的生成方法，用于从具有差分隐私的私有数据中学习数据分布。DP-Sinkhorn最大限度地减少了Sinkhorn发散，一个计算效率高的近似精确的最佳传输距离，模型和数据之间的差异私人的方式，并使用一种新的技术控制的偏差方差权衡梯度估计。与现有的训练差异私有生成模型的方法不同，这些方法主要基于生成对抗网络，我们不依赖于对抗目标，这是众所周知的难以优化，特别是在存在隐私约束所施加的噪声的情况下。因此，DP-Sinkhorn易于训练和部署。在实验上，我们改进了最先进的多个图像建模基准，并显示了信息丰富的RGB图像的差异私人合成。项目页面：https://nv-tlabs.github.io/DP-Sinkhorn。
2021-11-29 cs.CR cs.LG
Bidirectional Generative Modeling Using Adversarial Gradient Estimation
The Hong Kong University of Science and Technology（香港科技大学）
本文考虑了双向生成建模的一般$f$ -发散公式，其中包括VAE和BiGAN作为特例。我们提出了一种新的优化方法，这种配方，其中的梯度计算使用一个adversarially学习的神经网络。在我们的框架中，我们表明，不同的分歧诱导类似的算法在梯度评估，除了不同的缩放。因此，本文给出了一个一般配方的一类原则性的$f$ -发散的生成式建模方法。理论的理由和广泛的实证研究，证明我们的方法比现有的方法的优势。
2020-06-30 cs.CV cs.LG stat.ML
Many Paths to Equilibrium: GANs Do Not Need to Decrease a Divergence At Every Step
Google Brain（谷歌大脑）；DeepMind（深度思维）
生成对抗网络（GANs）是一系列生成模型，它们不会最小化单个训练标准。与其他生成模型不同，数据分布是通过生成器（生成模型）和教师（提供训练信号的教师）之间的游戏来学习的，每个生成器和教师都最小化自己的成本。GANs的设计目的是达到一个纳什均衡，在这个均衡中，每个参与者都不能在不改变其他参与者参数的情况下降低成本。GANs理论的一个有用方法是证明训练分布和模型分布之间的分歧在平衡时达到最小值。最近的几个研究方向的动机是这样一种想法，即这种分歧是学习过程的主要指导，学习的每一步都应该减少分歧。我们表明，这种观点是过于限制。在GAN训练期间，在分布之间的偏差的梯度将没有用的情况下，该训练器提供学习信号。我们提供了经验反例的观点，GAN训练发散最小化。具体来说，我们证明了GANs能够在发散最小化观点预测它们会失败的情况下学习分布。我们还表明，从发散最小化的角度出发的梯度处罚同样有帮助时，在其他情况下，发散最小化的角度不预测他们会有帮助。这有助于越来越多的证据表明，GAN训练可能更有效地被视为通过轨迹接近纳什均衡，这些轨迹不一定在每一步都最小化特定的分歧。
2018-02-20 cs.LG stat.ML
Training Deep Energy-Based Models with f-Divergence Minimization
Stanford University（斯坦福大学）
基于能量的深度模型（EBM）在分布参数化方面非常灵活，但由于难以处理的配分函数而具有计算挑战性。它们通常通过最大似然进行训练，使用对比发散来近似数据和模型分布之间的KL发散的梯度。虽然KL发散有许多理想的属性，但其他f发散在训练隐式密度生成模型（如生成对抗网络）方面表现出了优势。在本文中，我们提出了一个通用的变分框架称为f-EBM训练EBM使用任何所需的f-发散。我们引入了相应的优化算法，并利用非线性动力系统理论证明了其局部收敛性。实验结果证明了f-EBM优于对比发散，以及使用KL以外的f-发散训练EBM的好处。
2020-07-21 cs.LG stat.ML
Discriminator Contrastive Divergence: Semi-Amortized Generative Modeling by Exploring Energy of the Discriminator
Shanghai Jiao Tong University（上海交通大学）；Microsoft Research（微软研究院）
生成对抗网络（GANs）在高维数据建模方面显示出巨大的潜力。GANs的学习目标通常是最小化一些度量差异，\textit{e.g.}，$f$ -散度~（$f$ -GANs）或积分概率度量~（Wasserstein GANs）。以$f$ -散度为目标函数，该算法本质上是对密度比的估计，并且该估计的密度比被证明对进一步提高生成器的样本质量是有用的。然而，如何利用Wasserstein GANs（WGAN）中包含的信息却很少被探索。本文基于WGAN的特征及其与能量模型的关系，引入了鉴别器对比散度。与标准GANs相比，其中直接利用生成器来获得新样本，我们的方法提出了一种半摊销生成过程，其中以生成器的输出作为初始状态来生成样本。然后，几个步骤的朗之万动力学进行使用的梯度的。我们证明了显着改善生成的好处，合成数据和几个真实世界的图像生成基准。
2020-04-05 cs.CV cs.LG stat.ML
Generative Maximum Entropy Learning for Multiclass Classification
Indian Institute of Science（印度科学学院）
最大熵分类方法在应用统计学和机器学习中得到了很好的研究，文献中存在的几乎所有方法本质上都是判别式的。本文针对文本数据集这类具有生成性的数据，提出了一种基于特征选择的最大熵分类方法。为了解决大数据集的维数灾难，我们采用条件独立假设（朴素贝叶斯），我们同时执行特征选择，通过执行“最大歧视”估计类条件密度之间。对于两类问题，我们利用Jeffreys（$J$）散度来判别两类问题的条件密度.为了将我们的方法扩展到多类的情况下，我们提出了一个全新的方法，通过考虑多分布的分歧：我们取代Jeffreys分歧的詹森-香农（$JS$）分歧，以区分多个类的条件密度。为了降低计算复杂性，我们采用了一种基于AM-GM不等式的修正Jensen-Shannon散度（$JS_{GM}$）。我们表明，由此产生的分歧是一个自然的推广杰弗里斯分歧的多个分布的情况下。至于理论上的理由，我们表明，当一个人打算选择最好的功能，在生成的最大熵方法，最大的歧视使用$J-$分歧自然出现在二进制分类。所提出的算法的性能和比较研究已被证明在大尺寸的文本和基因表达数据集上，表明我们的方法可以很好地扩展到大尺寸的数据集。
2013-12-30 cs.IT cs.LG math.IT
Divergence-kernel method for linear responses of densities and generative models
Department of Mathematics, University of California, Irvine（数学系，加州大学伊文斯顿分校）
本文提出偏差核方法用于生成模型的线性响应，通过KL散度作为训练目标，降低内存成本并提升模型性能。
2025-12-28 cs.LG math.DS math.PR
Online Contrastive Divergence with Generative Replay: Experience Replay without Storing Data
Eindhoven University of Technology（埃因霍温理工大学）；University of Pennsylvania（宾夕法尼亚大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
在20世纪90年代早期，经验重放（ER）被证明是一种成功的机制，允许在线学习算法重用过去的经验。传统上，ER可以应用于所有机器学习范例（即，无监督、有监督和强化学习）。最近，ER有助于提高深度强化学习的性能。然而，它在许多实际环境中的应用仍然受到ER的内存要求的限制，需要明确存储以前的观察结果。为了解决这个问题，我们探索了一种新的方法，在线对比发散与生成重放（OCD_GR），它使用限制玻尔兹曼机（RBM）的生成能力，而不是记录过去的经验。RBM是在线训练的，并且不需要系统存储任何观察到的数据点。我们在9个真实世界的数据集上比较了OCD_GR和ER，考虑了最坏的情况（以排序顺序到达的数据点）以及更现实的情况（顺序随机顺序的数据点）。我们的结果表明，在64.28%的情况下，OCD_GR优于ER，在剩余的35.72%情况下，它具有几乎相同的性能，同时具有显著降低的空间复杂度（即，存储器使用）以相当的时间复杂度。
2016-10-18 cs.LG cs.NE
Sinkhorn-Drifting Generative Models
Vanderbilt University（范德堡大学）；University of California, Davis（加州大学戴维斯分校）；Purdue University（普渡大学）
本文研究了Sinkhorn漂动生成模型与Sinkhorn散度梯度流的理论联系，提出漂动生成模型可作为Sinkhorn散度梯度流的替代方案，通过熵最优传输耦合解决可识别性问题，并在实验中验证其在生成质量与稳定性上的优势。
2026-03-26 cs.LG
Challenges in creative generative models for music: a divergence maximization perspective
IRCAM（声学/音乐研究和协作研究所）
通过最近预训练模型的可用性和可用性的改进，创造性实践中生成机器学习（ML）模型的发展正在引起艺术家，从业者和表演者越来越多的兴趣。然而，在艺术领域引入这种技术也暴露出许多局限性，这些局限性逃脱了科学家目前使用的评估方法。值得注意的是，大多数模型仍然无法生成位于训练数据集定义的域之外的内容。在本文中，我们提出了一个替代的前瞻性框架，从一个新的一般制定的ML目标，我们得出描绘可能的影响和解决方案，已经存在于ML文献（特别是音频和音乐领域）。我们还讨论了生成模型和计算创造力之间的现有关系，以及我们的框架如何帮助解决现有模型中缺乏创造力的问题。
2022-11-16 cs.LG stat.AP stat.ML
Flow Density Control: Generative Optimization Beyond Entropy-Regularized Fine-Tuning
ETH Zurich（苏黎世联邦理工学院）；ETH AI Center（苏黎世人工智能中心）
流密度控制通过简化复杂优化问题，实现超越熵正则化微调的生成模型优化，适用于分子设计和图像生成等任务。
2025-11-27 cs.LG
A Convex Duality Framework for GANs
Stanford University（斯坦福大学）
生成对抗网络（GAN）是一个模仿真实模型的生成器和一个区分生成器产生的样本与真实训练样本之间的极大极小博弈。给定一个无约束的可逼近任何函数，这个游戏简化为找到生成模型，最小化数据分布的发散度量，例如Jensen-Shannon（JS）发散。然而，在实践中，该方法被限制在较小的类$\mathcal{F}$中，例如神经网络。然后，一个自然的问题是，当我们约束$\mathcal{F}$时，发散最小化解释如何变化。在这项工作中，我们通过开发一个用于分析GANs的凸对偶框架来解决这个问题。对于凸集$\mathcal{F}$，该对偶框架将原始GAN公式解释为找到具有最小JS-发散的生成模型，该生成模型对被惩罚以匹配数据分布的矩的分布具有最小JS-发散，其中矩由$\mathcal{F}$中的鉴别器指定。我们表明，这种解释更普遍地适用于f-GAN和Wasserstein GAN。作为一个副产品，我们将对偶框架应用于f-散度和Wasserstein距离的混合。与f-发散不同，我们证明了所提出的混合发散随着生成模型而连续变化，这表明在f-GAN和vanilla GAN中正则化Lipschitz常数。我们数值评估的权力，建议的正则化计划，以提高GAN的训练性能。
2018-10-28 cs.LG stat.ML
Feature Likelihood Divergence: Evaluating the Generalization of Generative Models Using Samples
Université de Montréal（蒙特利尔大学）；Mila（米拉研究所）；McGill University（麦吉尔大学）；Google Deepmind（谷歌DeepMind）
提出特征似然散度（FLD）指标，通过密度估计综合评估生成样本的新颖性、保真度和多样性，能有效识别过拟合，优于现有指标如FID。
2024-03-13 cs.CV cs.LG
Learning Implicit Generative Models by Teaching Explicit Ones
Tsinghua University（清华大学）
隐式生成模型由于没有定义显式密度函数而难以训练。生成对抗网络（GANs）提供了一个极小极大框架来训练这样的模型，但是由于JS发散的性质，它可能会遭受模式坍塌。本文提出了一种通过教学学习（LBT）方法来学习隐式模型，该方法通过优化GANs中的KL发散而不是JS发散来避免模式坍塌问题。在LBT中，引入辅助密度估计来拟合隐模型的分布，而隐模型教导密度估计来匹配数据分布。LBT被表示为一个双层优化问题，其最优生成器与真实数据分布相匹配。LBT可以自然地与GANs集成，以获得享受免费好处的混合LBT-GAN。最后，我们提出了一种带展开的随机梯度上升算法来解决具有挑战性的学习问题。实验结果证明了该方法的有效性。
2020-06-24 cs.LG stat.ML
Convergence of the Inexact Langevin Algorithm in KL Divergence with Application to Score-based Generative Models
Department of Statistics and Data Science, Yale University（耶鲁大学统计与数据科学系）；Department of Computer Science, Yale University（耶鲁大学计算机科学系）
本文研究了在KL散度下近似兰格-恩算法的收敛性，基于分数生成模型的应用，提出了稳定偏置收敛保证，并探讨了如何获得可证明准确的分数估计器。
2026-03-28 cs.LG math.ST stat.TH
Adaptive Divergence Regularized Policy Optimization for Fine-tuning Generative Models
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对生成模型强化学习微调中探索与利用的平衡难题，提出自适应散度正则化策略优化ADRPO，可自动调整正则化强度，在多模态多任务上超越现有方法，适配多种生成架构。
2025-10-20 cs.AI cs.LG
MAE: Mutual Posterior-Divergence Regularization for Variational AutoEncoders
Carnegie Mellon University（卡内基梅隆大学）
变分自编码器（VAE）是一种简单有效的深度生成模型，已经取得了许多令人印象深刻的经验成功，并催生了许多先进的变体和理论研究。然而，最近的研究表明，当配备了表达生成分布（又名。解码器），VAE遭受学习无信息的潜在表示与观察称为KL清漆，在这种情况下，VAE崩溃成一个无条件的生成模型。在这项工作中，我们引入了相互后向发散正则化，这是一种新的正则化，能够控制潜在空间的几何形状，以完成有意义的表示学习，同时实现可比或优越的密度估计能力。在三个图像基准数据集上的实验表明，当配备强大的解码器时，我们的模型在密度估计和表示学习方面都表现良好。
2019-01-06 cs.CV cs.LG stat.ML
$f$-Trajectory Balance: A Loss Family for Tuning GFlowNets, Generative Models, and LLMs with Off- and On-Policy Data
Department of Statistics, University College London, UK（伦敦大学学院统计学系）；Valence Labs, London, UK（伦敦Valence实验室）
本文提出一种基于$f$-散度的损失家族，通过on-policy和off-policy数据调整生成模型，提升模型覆盖性和泛化能力。
2026-05-14 cs.AI cs.LG
Deep Generative Learning via Variational Gradient Flow
Xi’an Jiaotong University（西安交通大学）；Zhongnan University of Economics and Law（中南财经政法大学）；The Hong Kong University of Science and Technology（香港科技大学）
我们提出了一个通用框架，通过概率空间上的\textbf{V}变量\textbf{Gr} adient Fl \textbf{ow}（VGrow）来学习深度生成模型。渐近收敛到目标分布的演化分布由向量场控制，该向量场是它们之间的$f$ -散度的第一变分的负梯度。我们通过残差映射的无限小时间合成证明了演化分布与前推分布一致，残差映射是单位映射沿向量场的扰动。向量场取决于前推分布和目标分布的密度比，这可以从二元分类问题中一致地学习。我们提出的VGrow方法与其他流行的方法，如VAE，GAN和基于流的方法，已经在这个框架中建立了联系，获得了深度生成学习的新见解。我们还评估了几个常用的分歧，包括Kullback-Leibler，Jensen-Shannon，Jeffrey分歧以及我们新发现的“logD”分歧，它作为logD技巧GAN的目标函数。在基准数据集上的实验结果表明，VGrow可以以稳定和高效的方式生成高保真图像，与最先进的GANs相比具有竞争力的性能。
2019-05-04 cs.LG stat.ML
Quantum Generative Modeling using Parameterized Quantum Circuits
本研究实现了一种3量子比特参数化量子电路玻恩机，通过KL散度损失和参数平移优化训练以拟合3比特高斯分布，验证了小规模量子生成学习的可行性。
2025-07-31 cs.LG quant-ph
Mutual Information Divergence: A Unified Metric for Multimodal Generative Models
NAVER AI Lab（NAVER人工智能实验室）；CLOVA；SNU AIIS（首尔大学人工智能研究所）；KAIST AI（韩国科学技术院人工智能研究生院）
文本到图像生成和图像描述是最近出现的一种新的实验范式，以评估机器智能。他们预测连续的数量伴随着他们的抽样技术在一代，使评估复杂和棘手的边缘分布。基于多模态生成评估利用视觉和语言预训练模型的最新趋势，我们提出了使用CLIP特征作为统一度量的负高斯交叉互信息，由互信息发散度（MID）创造。为了验证，我们广泛地比较它与竞争的指标，使用精心生成的或人类注释的判断，在文本到图像生成和图像描述任务。建议MID显着优于竞争力的方法，具有跨基准的一致性，样本简约性，并对利用CLIP模型的鲁棒性。我们期待着看到高斯交叉互信息在多模态表示学习中的代表性不足的影响，以及基于这一新命题的未来工作。
2022-05-25 cs.AI cs.CL cs.CV
Generative Adversarial Mapping Networks
Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）
生成对抗网络（GANs）在生成照片般逼真的图像方面表现出令人印象深刻的性能。它们通过最小化真实图像分布与生成数据分布之间的一定距离度量来拟合生成模型。已有多种距离度量方法，如Jensen-Shannon散度、$f$ -散度和Wasserstein距离，选择合适的距离度量方法对生成网络的训练非常重要。在本文中，我们选择使用最大平均差异（MMD）作为距离度量，这有几个很好的理论保证。事实上，生成矩匹配网络（GMMN）（Li，Swersky，and Zemel 2015）是这样一种生成模型，其仅包含一个生成器网络$G$，该生成器网络通过直接最小化真实分布和生成分布之间的MMD来训练。然而，它无法在具有挑战性的基准数据集（如CIFAR-10和LSUN）上生成有意义的样本。为了改进GMMN，我们建议增加一个额外的网络$F$，称为映射器。$F$将真实数据分布和生成数据分布从原始数据空间映射到特征表示空间$\mathcal{R}$，并且它被训练以最大化$\mathcal{R}$中的两个映射分布之间的MMD，而生成器$G$试图最小化MMD。我们称这种新模型为生成对抗映射网络（GAMN）。我们证明了对抗映射器$F$可以帮助$G$更好地捕获底层数据分布。我们还表明，GAMN显着优于GMMN，也优于或与其他国家的最先进的GAN基于MNIST，CIFAR-10和LSUN-Bedrooms数据集的方法。
2017-09-28 cs.LG
Kullback-Leibler Divergence-Based Out-of-Distribution Detection with Flow-Based Generative Models
Hunan University（湖南大学）；National University of Defense Technology（国防科技大学）；Southwest University（西南大学）；National Research Center of Parallel Computer Engineering and Technology（国家并行计算机工程技术研究中心）
最近的研究表明，包括基于流的模型和变分自编码器在内的深度生成模型可能会为分布外（OOD）数据分配比分布内（ID）数据更高的可能性。但是，我们不能从模型中抽取OOD数据。这种违反直觉的现象尚未得到令人满意的解释，并带来了障碍，面向对象的检测与基于流的模型。本文证明了流基模型中Kullback-Leibler发散的一些定理，并对上述现象给出了两种解释。基于我们的理论分析，我们提出了一种新的方法\PADmethod \利用KL散度和局部像素依赖的表示来执行异常检测。在流行的基准测试上的实验结果证明了该方法的有效性和鲁棒性。对于组异常检测，我们的方法平均达到98.1\%AUROC与小批量大小为5。相反，基于基线典型性检验的方法由于其在挑战性问题上的失败，平均仅获得64.6%的AUROC。我们的方法也优于国家的最先进的方法的9.1\% AUROC。对于逐点异常检测，我们的方法平均达到90.7%的AUROC，比基线高出5.2%的AUROC。此外，我们的方法有最少的显着失败，是最强大的。
2023-03-02 cs.CV cs.LG stat.ML
Asymptotic Statistical Analysis of $f$-divergence GAN
ETH Zürich（苏黎世联邦理工学院）；HKUST（香港科技大学）
生成对抗网络（GANs）在数据生成方面取得了巨大的成功。然而，其统计特性尚未完全了解。在本文中，我们考虑的统计行为的一般$f$ -发散制定的GAN，其中包括Kullback-Leibler分歧是密切相关的最大似然原理。我们证明了，对于正确指定的参数生成模型，在适当的正则性条件下，具有相同类的所有$f$ -发散GANs都是渐近等价的。此外，通过适当地选择局部最优估计，它们渐近地等价于最大似然估计。对于错误指定的生成模型，具有不同$f$ -发散的GANs {收敛到不同的估计器}，因此不能直接比较。然而，研究表明，对于一些常用的$f$ -分歧，原始$f$ -GAN并不是最佳的，因为当原始$f$ -GAN公式中的鉴别器训练被逻辑斯谛回归取代时，可以实现更小的渐进方差。由此产生的估计方法被称为对抗梯度估计（AGE）。实验结果支持了该理论，并证明了在模型误设定情况下AGE优于原始$f$ -GANs。
2022-09-14 cs.LG math.ST stat.ML
Deep Generative Sampling in the Dual Divergence Space: A Data-efficient & Interpretative Approach for Generative AI
Morgan Stanley（摩根士丹利）；NIST（美国国家标准与技术研究院）；Georgetown University（乔治城大学）；IBM Research（IBM研究院）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）
针对小样本下多变量时间序列类图像生成的难题，提出基于信息论的对偶散度空间直接采样方法，兼具数据效率与可解释性，理论和实验均验证其优于现有SOTA深度学习方法。
2024-04-10 cs.AI cs.CL cs.CV
A Unifying View of Variational Generative Wasserstein Flows
CMAP, CNRS, École Polytechnique, Institut Polytechnique de Paris, Palaiseau, France（CMAP、法国国家科学研究中心、巴黎高等理工学院、巴黎理工 institute、Palaiseau，法国）
本文提出生成式Wasserstein流（GWF）的统一理论框架，将多种现有生成模型视为f-散度目标的参数化JKO方案实例，并扩展至积分概率度量与最大均值差异，推导新算法并阐明与GAN的联系。
2026-05-29 cs.CV cs.LG
Approximation and Convergence Properties of Generative Adversarial Learning
University of California, San Diego（加州大学圣迭戈分校）；Google Brain（谷歌大脑）
生成对抗网络（GAN）通过生成器和代理之间的“两人游戏”联合优化目标函数来近似目标数据分布。尽管他们的经验成功，但是，两个非常基本的问题，他们可以近似的目标分布仍然没有答案。首先，它是不知道如何限制的逼近族影响的近似质量。其次，虽然已经提出了一些不同的目标函数，我们不明白什么时候收敛到全局最小的目标函数导致收敛到目标分布下的各种概念的分布收敛。在本文中，我们解决这些问题，在一个广泛的和统一的设置，通过定义一个概念的对抗分歧，包括一些最近提出的目标函数。我们表明，如果目标函数是一个对抗性的分歧与一些额外的条件，然后使用一个限制性的moment匹配的效果。此外，我们表明，目标函数是严格的对抗性分歧，收敛的目标函数意味着弱收敛，从而推广了以前的结果。
2017-05-24 cs.LG stat.ML
A Gaussian Perspective for Distributional Discrepancy in Generative Diffusion Models
本文提出一种解析方法量化优化生成扩散模型的分布差异，针对多元高斯源推导闭合演化轨迹和KL散度，通过变分法最小化主导项得到切线律噪声调度，并证明高斯源的极值性质，最后利用解析KL散度优化预训练模型的时间离散化策略。
2026-06-29 cs.IT cs.LG math.IT
A Unified f-divergence Framework Generalizing VAE and GAN
Stanford University（斯坦福大学）
开发深度生成模型，灵活地结合不同的概率距离度量是一个重要的研究领域。在这里，我们开发了一个统一的数学框架的f-发散生成模型，f-GM，它结合了VAE和f-GAN，并使易于处理的学习与一般的f-发散。f-GM允许实验者在不改变网络结构或学习过程的情况下灵活地设计f-散度函数。f-GM联合建模三个组件：生成器，推理网络和密度估计器。因此，它同时使采样，后验推理的潜在变量以及评估的可能性的任意数据。f-GM属于编码器-解码器GANs类：我们的密度估计器可以被解释为在潜在代码和观察空间的联合空间中的样本之间扮演一个角色。我们证明了f-GM自然简化为标准VAE和f-GAN作为特殊情况，并说明了不同的编码器-解码器GAN架构之间的连接。f-GM与通用网络架构和优化器兼容。我们利用它来实验性地探索f发散的不同选择的影响-例如模式崩溃和图像清晰度。
2022-05-11 cs.LG stat.ML
Precision-Recall Curves Using Information Divergence Frontiers
Google Research（谷歌研究院）
尽管在生成模型的估计方面取得了巨大进展，但用于诊断其故障和评估其性能的工具的开发却以缓慢得多的速度前进。最近的发展已经研究了量化真实分布的哪些部分被很好地建模的度量，相反，模型未能捕获的度量，类似于信息检索中的精确度和召回率。在本文中，我们提出了一个通用的生成模型的评估框架，使用Rényi分歧来衡量精度和召回率之间的权衡。我们的框架提供了一个新的角度对现有的技术，并将其扩展到更一般的领域。作为一个关键的优势，这个公式包括连续和离散模型，并允许设计高效的算法，而不必对数据进行优化。我们进一步分析了在实践中使用的近似的偏差。
2020-06-08 cs.LG stat.ML
Robustness and Structure Preservation in Flow-Based Generative Models via Wasserstein Path-Space Divergences
Department of Mathematics and Statistics（数学与统计学系）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Division of Applied Mathematics（应用数学系）；Brown University（布朗大学）
本文首次理论分析了分数基于生成模型在学习具有对称性的分布时的性能保障，并比较了数据增强与添加等价诱导偏差的效果。
2026-06-28 cs.LG math.PR stat.ML
A solvable generative model with a linear, one-step denoiser
Harvard University（哈佛大学）
本文提出基于线性去噪器的可解单步扩散模型，推导KL散度公式，发现数据集大小达数据维度时KL开始单调下降，并解释高扩散步数提升质量的原因。
2025-08-06 cs.CV cs.LG
Information Theoretic-Learning Auto-Encoder
University of Florida（佛罗里达大学）
提出了神经网络变分正则化的信息理论学习（ITL）发散测度。我们还探索了ITL正则化自编码器作为变分自编码贝叶斯，对抗性自编码器和生成对抗网络的替代方案，用于随机生成样本数据，而无需显式定义分区函数。本文还形式化，生成矩匹配网络下的ITL框架。
2016-03-22 cs.LG
First Order Generative Adversarial Networks
Zalando Research（扎兰多研究院）；Johannes Kepler University Linz（约翰内斯·开普勒大学林茨）
GANs擅长学习高维分布，但它们可以在与目标的最陡下降方向不对应的方向上更新生成器参数。有问题的更新方向的突出示例包括Goodfellow的原始GAN和WGAN-GP中使用的更新方向。为了正式描述一个最佳的更新方向，我们引入了一个理论框架，它允许推导的发散和相应的方法来确定更新方向的要求，这些要求保证无偏的小批量更新的最陡下降的方向。我们提出了一种新的分歧，近似Wasserstein距离，同时规范化的评论家的一阶信息。与伴随的更新方向一起，该发散满足无偏最陡下降更新的要求。我们验证了我们的方法，一阶GAN，在CelebA，LSUN和CIFAR-10上生成图像，并在十亿字语言生成任务上设定了一个新的艺术状态。代码重现实验是可用的。
2018-06-07 cs.LG stat.ML
Perron--Frobenius Operator Matching for Generative Modeling
Texas A&M University（德克萨斯农工大学）；City University of Hong Kong（香港城市大学）
提出Perron-Frobenius算子匹配（PFOM）生成框架，通过积分PF算子匹配密度演化，统一流、扩散和跳跃模型，并证明KL散度在Bregman散度中唯一保持密度级与样本条件目标等价，开发Nesterov加速训练和采样方法。
2026-06-17 cs.LG cs.SY eess.SY
KL Divergence Between Gaussians: A Step-by-Step Derivation for the Variational Autoencoder Objective
Instituto Tecnológico de Buenos Aires（布宜诺斯艾利斯理工学院）
本文推导了高斯分布间KL散度的闭式表达式，重点讨论了其在VAE中的应用及对训练动态的影响。
2026-04-13 cs.LG
Linking Generative Adversarial Learning and Binary Classification
在这篇文章中，我们指出了生成对抗（GA）训练和二进制分类之间的基本联系-任何强大的分类器本质上都会计算真实样本和生成样本之间的（f-）分歧。在决策理论中反复重新推导的结果对GA网络（GANs）具有影响，通过设计模糊损失函数，为训练f-GANs提供了另一种视角。
2017-09-05 cs.AI cs.LG stat.ML
Regularizing Generative Adversarial Networks under Limited Data
Google Research（谷歌研究院）；University of California Merced（加州大学默塞德分校）；Waymo；Yonsei University（延世大学）
近年来，生成对抗网络（GANs）取得了快速发展。然而，GAN模型的成功取决于大量的训练数据。本文提出了一种正则化方法，用于在有限的数据上训练鲁棒的GAN模型。我们从理论上证明了正则化损失和称为LeCam发散的f发散之间的联系，我们发现在有限的训练数据下更鲁棒。在多个基准数据集上的大量实验表明，所提出的正则化方案1）提高了泛化性能，并在有限的训练数据下稳定了GAN模型的学习动态，2）补充了最近的数据增强方法。当只有ImageNet基准测试的有限训练数据可用时，这些属性有助于训练GAN模型以实现最先进的性能。
2021-04-07 cs.CV cs.LG
Assessing Generative Models via Precision and Recall
MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；Google Brain（谷歌大脑）
生成建模的最新进展导致了对作为模型比较手段的统计分歧的研究的兴趣增加。常用的评估方法，如Frechet起始距离（FID），与样品的感知质量密切相关，并且对模式下降敏感。然而，这些指标无法区分不同的故障情况，因为它们只产生一维分数。我们提出了一个新的定义的精度和召回的分布，解开分歧成两个独立的维度。所提出的概念是直观的，保留了理想的属性，并自然导致一个有效的算法，可用于评估生成模型。我们将这个概念与总变化以及最近的评估指标，如初始分数和FID。为了证明所提出的方法的实际效用，我们对生成对抗网络和变分自动编码器的几种变体进行了实证研究。在一组广泛的实验中，我们表明，所提出的度量是能够解开所生成的样本的质量从目标分布的覆盖范围。
2018-10-28 cs.LG stat.ML
Statistical Inference for Generative Model Comparison
Marshall School of Business, University of Southern California, USA（美国南加州大学马歇尔商学院）；Department of Mathematical Science, New Jersey Institute of Technology, USA（美国新泽西理工学院数学科学系）；School of Statistics, Beijing Normal University, People’s Republic of China（中国北京师范大学统计学院）
研究如何比较不同生成模型与测试样本潜在分布的接近程度，核心方法是用KL散度衡量距离并扩展到条件生成模型，利用Edgeworth展开处理有限数据，在模拟及图像文本数据集上有有效覆盖率且结论有统计置信度。
2026-07-24 cs.LG stat.ML
A Unifying Generator Loss Function for Generative Adversarial Networks
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
提出统一的α参数化生成器损失函数L_α-GAN，在最优判别器下最小化Jensen-f_α散度，统一了多种GAN变体，并在三个数据集上验证了性能。
2024-03-18 cs.LG
Fortifying Fully Convolutional Generative Adversarial Networks for Image Super-Resolution Using Divergence Measures
Electronics and Communication Sciences Unit (ECSU), Dolby Laboratories, India（电子与通信科学单元（ECSU），多利贝实验室，印度）；Statistics and Mathematics Unit (SMU), Indian Statistical Institute, Kolkata, India（统计与数学单元（SMU），印度统计研究所，加尔各答，印度）
提出基于全卷积生成对抗网络的超分辨率生成器SuRGe，用可学习凸权重组合不同深度卷积特征，采用JS和GW损失辅助生成器，用带梯度惩罚的Wasserstein损失训练判别器，在多数据集上性能优于28种方法。
2026-07-07 cs.CV cs.LG eess.IV
