Meta-Learning Divergences of Variational Inference
Cornell University（康奈尔大学）；Imperial College London（帝国理工学院）；Microsoft Research（微软研究院）
变分推理（VI）由于其计算效率和广泛的适用性，在近似贝叶斯推理中起着至关重要的作用。VI的性能的关键是选择相关的分歧措施，因为VI通过最小化这种分歧来近似棘手的分布。在本文中，我们提出了一个元学习算法来学习适合于感兴趣的任务的发散度量，自动化的VI方法的设计。此外，当我们的方法部署在少样本学习场景中时，我们学习变分参数的初始化而不需要额外的成本。我们证明了我们的方法优于标准VI的高斯混合分布近似，贝叶斯神经网络回归，图像生成与变分自编码器和推荐系统与部分变分自编码器。
2021-06-22 cs.LG stat.ML
Tighter Variational Representations of f-Divergences via Restriction to Probability Measures
Research School of Computer Science, Australian National University（澳大利亚国立大学计算机科学研究学院）；NICTA
我们表明，目前在文献中使用的f-发散的变分表示可以收紧。这对最近基于这种表示提出的一些方法有影响。作为示例应用，我们使用更严格的表示来推导基于两个独立同分布的通用f-发散估计量样本，并推导出该估计器的对偶程序，该估计器在经验上表现良好。我们还指出了我们的估计和MMD之间的连接。
2012-06-18 cs.LG stat.ML
Variational f-divergence Minimization
University College London（伦敦大学学院）；London School of Economics（伦敦政治经济学院）
本文提出一种结合Spread Divergence的变分方法，使得任意f-散度均可用于训练广泛的潜变量模型，扩展了非似然训练准则的适用范围。
2024-12-14 cs.LG stat.ML
A Divergence Bound for Hybrids of MCMC and Variational Inference and an Application to Langevin Dynamics and SGVI
近似推理的两种流行方法是马尔可夫链蒙特卡罗（MCMC）和变分推理。MCMC如果运行足够长的时间，则趋于准确，而变分推理则趋于在较短的时间范围内给出更好的近似。然而，MCMC超过变分方法的性能所需的时间量可能相当高，从而激发了更细粒度的权衡。本文推导出一个分布变分参数，旨在最大限度地减少所产生的边际分布和目标之间的分歧的界限，并给出了一个例子，如何从这个分布中的方式，插值的行为之间的现有方法的基础上朗之万动力学和随机梯度变分推理（SGVI）。
2017-06-20 cs.LG stat.ML
Variational Inference with Tail-adaptive f-Divergence
UT Austin（得克萨斯大学奥斯汀分校）；UESTC（电子科技大学）
α-发散变分推理在现代概率机器学习中得到了广泛的应用。与Kullback-Leibler（KL）发散相比，使用α发散（具有正α值）的主要优点是它们的质量覆盖性质。然而，估计和优化α-散度需要使用重要性采样，由于重要性权重的厚尾，这可能具有极大或无限的方差。在本文中，我们提出了一类新的尾部自适应f-发散，自适应地改变凸函数f与尾部的重要性权重，在理论上保证有限的时刻，同时实现质量覆盖的性质。我们在贝叶斯神经网络上测试了我们的方法，以及深度强化学习，其中我们的方法被应用于改进最近的软演员-评论家（SAC）算法。我们的结果表明，我们的方法产生显着的优势相比，现有的方法的基础上经典KL和α-分歧。
2019-09-09 cs.LG stat.ML
Moreau-Yosida $f$-divergences
Alfréd Rényi Institute of Mathematics（阿尔弗雷德·雷尼数学研究所）
$f$ -发散的变分表示是许多机器学习算法的核心，最近Lipschitz约束变分得到了关注。受此启发，我们定义了Moreau-Yosida近似的$f$ -分歧的Wasserstein- $1$度量。相应的变分公式提供了一些最近的结果，新的特殊情况下的兴趣和放松的硬Lipschitz约束的推广。证明了$f$ -发散的紧变分表示可以在Lipschitz函数的商空间上取用，并给出了在变分表示中达到上确界的函数的一个特征.在实用方面，我们提出了一个算法来计算紧凸共轭的$f$ -分歧兼容的自动微分框架。作为我们的结果的应用，我们提出了Moreau-Yosida $f$ -GAN，提供了Kullback-Leibler，反向Kullback-Leibler，$χ^2$，反向$χ^2$，平方Hellinger，Jensen-Shannon，Jeffreys，三角判别和全变差发散的变分公式的实现，作为在CIFAR-10上训练的GANs，从而导致竞争性结果和最优评价者的唯一性问题的简单解决方案。
2021-06-11 cs.IT cs.LG math.FA
Variational Inference based on Robust Divergences
对离群值的鲁棒性是现实世界机器学习应用中的核心问题。当将模型替换为重尾模型时（例如，从高斯到Student-t）是鲁棒化的标准方法，但它只能应用于简单模型。本文基于Zellner的最优化和贝叶斯推断的变分形式，提出了一种离群稳健的伪贝叶斯变分方法，该方法将用于数据拟合的库尔贝克-莱布勒散度替换为稳健的散度，如beta和gamma-divergence。我们的方法的一个优点是，也可以处理高级但复杂的模型，如深度网络。我们从理论上证明，对于具有ReLU激活函数的深度网络，我们提出的方法中的\emph{influence function}是有界的，而在普通的变分推断中是无界的。这意味着，我们提出的方法是鲁棒的输入和输出离群值，而普通的变分方法不是。我们通过实验证明，我们的鲁棒变分方法在深度网络的回归和分类中优于普通的变分推断。
2018-02-28 stat.ML
f-GAN: Training Generative Neural Samplers using Variational Divergence Minimization
Microsoft Research（微软研究院）
生成式神经采样器是使用前馈神经网络实现采样的概率模型：它们采用随机输入向量并从由网络权重定义的概率分布中产生样本。这些模型具有表达能力，可以有效地计算样本和导数，但不能用于计算似然性或边缘化。生成对抗训练方法允许通过使用辅助判别神经网络来训练这样的模型。我们表明，生成对抗的方法是一个特殊的情况下，现有的更一般的变分散度估计方法。我们证明了任何f-发散都可以用于训练生成神经采样器。我们讨论了不同的发散函数选择对训练复杂性和生成模型质量的好处。
2016-06-02 cs.LG stat.ME stat.ML
Perturbative Black Box Variational Inference
Disney Research（迪士尼研究院）；TU Berlin（柏林工业大学）
黑盒变分推断（BBVI）与重新参数化梯度触发的发散措施以外的Kullback-Leibler（KL）分歧，如阿尔法发散的探索。在本文中，我们认为BBVI广义分歧的形式估计的边际似然通过偏重要性抽样。发散度的选择决定了边缘似然（低偏差）和其梯度估计量的方差之间的偏差-方差权衡。利用统计物理学的变分微扰理论，我们利用这些见解来构造一个新的变分界限。由奇数阶$K$枚举，该族捕获$K=1$的标准KL界，并收敛到精确的边际似然为$K\to\infty$。与alpha发散相比，我们的重新参数化梯度具有更低的方差。我们在高斯过程和变分自动编码器上的实验中表明，新的边界具有更多的质量覆盖，并且由此产生的后验协方差更接近真实的后验，并导致保留数据的可能性更高。
2018-01-06 cs.LG stat.ML
Variational Representations of Annealing Paths: Bregman Information under Monotonic Embedding
Vector Institute（向量研究所）；USC Information Sciences Institute（南加州大学信息科学研究所）；Sony Computer Science Laboratories Inc（索尼计算机科学实验室公司）
本文通过单调嵌入下的Bregman散度框架，证明拟算术均值在变换后最小化期望散度，从而揭示退火路径中间密度的变分表示及其与常见散度泛函的关联。
2024-02-06 cs.IT cs.LG math.IT
Reparameterized Variational Divergence Minimization for Stable Imitation
Stanford University（斯坦福大学）；Microsoft Research（微软研究院）
虽然最近对抗性模仿学习算法的最新成果令人鼓舞，但最近探索从观察中模仿学习（ILO）设置的工作，其中轨迹\textit{only}包含专家观察，并没有取得同样的成功。受标准模仿学习设置的$f$ -发散操纵的最近研究的启发（Ke等人，2019; Ghasemipour等人，2019），我们在这里研究概率发散选择的变化可能产生更高性能的ILO算法的程度。不幸的是，我们发现通过强化学习的$f$ -发散最小化容易受到数值不稳定性的影响。我们为对抗性模仿学习提供了一个重新参数化的技巧，以减轻有前途的$f$ -发散最小化框架的优化挑战。从经验上讲，我们证明了我们的设计选择允许劳工组织的算法，优于基线方法，更密切地匹配专家在低维连续控制任务的性能。
2020-06-18 cs.LG stat.ML
Wasserstein variational gradient descent: From semi-discrete optimal transport to ensemble variational inference
Radboud University（拉德堡德大学）
基于粒子的变分推断提供了一种用一组粒子来逼近复杂后验分布的灵活方法。本文基于半离散最优输运理论，提出了一种新的基于粒子的变分推断方法。而不是最小化的库尔贝克-莱布勒散度之间的后变分近似，我们最小化半离散的最佳运输分歧。所得到的最佳运输问题的解决方案提供了一个粒子近似和一组最佳运输密度，每个粒子映射到一个部分的后验分布。我们近似这些运输密度之间的截尾分布和最佳运输解决方案的库尔贝克-莱布勒散度最小化。由此产生的算法可以被解释为一种形式的合奏变分推断，其中每个粒子与一个局部变分近似。
2019-05-15 cs.LG stat.ML
Variational Approach for Efficient KL Divergence Estimation in Dirichlet Mixture Models
LMU Munich（慕尼黑大学）
提出变分闭式解高效估计狄利克雷混合模型中的KL散度，显著提升计算效率与准确性，优于蒙特卡洛方法，促进组合数据聚类分析。
2024-03-18 cs.LG math.ST stat.ML
Constraining Variational Inference with Geometric Jensen-Shannon Divergence
University of Cambridge（剑桥大学）
我们研究的问题，潜在的空间正则化控制发散变分自编码器。具体地，当旨在经由潜在空间$z\in\mathbb{R}^{n}$（$n\leq m$）重构示例$x\in\mathbb{R}^{m}$时，同时平衡这与对可泛化潜在表示的需要。我们提出了一个正则化机制的基础上斜几何詹森-香农发散$\left(\textrm{JS}^{\textrm{G}_α}\right)$。我们发现$\textrm{JS}^{\textrm{G}_α}$的变化，受到限制的情况下，这导致了一个直观的插值空间的分布和分歧之间的前向和反向KL。我们激励其潜在的好处VAE通过低维的例子，然后提出定量和定性的结果。我们的实验表明，在$\textrm{JS}^{\textrm{G}_α}$ -VAE的背景下，与几种基线VAE相比，偏斜我们的$\textrm{JS}^{\textrm{G}_α}$变体导致更好的重建和生成。我们的方法是完全无监督的，只使用一个超参数，可以很容易地解释在潜在的空间。
2021-01-04 cs.LG stat.ML
Variational approximations using Fisher divergence
North Carolina State University（北卡罗来纳州立大学）；University of Melbourne（墨尔本大学）
贝叶斯推断的现代应用涉及足够复杂的模型，使得相应的后验分布难以处理并且必须近似。最常见的近似是基于马尔可夫链蒙特卡罗，但当数据集很大和/或模型很复杂时，这些可能是昂贵的，因此更有效的变分近似最近受到了相当大的关注。传统的变分方法，寻求最大限度地减少库尔贝克-莱布勒散度之间的后验和一个相对简单的参数家庭，提供准确和有效的估计后验均值，但往往不捕捉其他时刻，并有局限性的模型，它们可以应用。在这里，我们提出了基于最小化Fisher散度的变分近似的建设，并开发了一个有效的计算算法，可以应用于广泛的模型，没有共轭或潜在的不切实际的平均场假设。我们证明了所提出的方法的性能优越的基准情况下，逻辑斯谛回归。
2019-05-13 cs.LG stat.CO stat.ME
Forward $χ^2$ Divergence Based Variational Importance Sampling
School of Computational Science & Engineering（计算科学与工程学院）；Georgia Institute of Technology（佐治亚理工学院）
针对变分推断处理复杂后验时对数似然偏低的问题，提出基于前向$\chi^2$散度的变分重要性采样方法，在多种潜变量模型上的表现优于现有最优基线。
2024-02-02 cs.LG stat.CO stat.ML
Stochastic Variational Inference via Upper Bound
Kuang-Chi Institute of Advanced Technology（光启高等理工研究院）；ZenRhyme Consulting Services（ZenRhyme咨询服务公司）
随机变分推理（SVI）在贝叶斯深度学习中起着关键作用。最近，各种分歧已被提出来设计变分推理的替代损失。我们提出了一个简单的上限的证据作为替代损失。该证据上限（EUBO）等于对数边际似然加上后验和建议之间的KL-分歧。我们表明，建议的EUBO是紧比以前的上限引入$χ$ -发散或$α$ -发散。为了便于可扩展的推理，我们提出了数值近似的梯度的EUBO和应用SGD算法迭代优化变分参数。贝叶斯逻辑回归的模拟研究表明，上界和下界很好地夹在证据和建议的上限是有利的紧。对于贝叶斯神经网络，所提出的EUBO-VI算法优于国家的最先进的各种例子的结果。
2019-12-02 cs.LG stat.ML
Variational Refinement for Importance Sampling Using the Forward Kullback-Leibler Divergence
University of California Berkeley（加州大学伯克利分校）；Duke University（杜克大学）；Google Research（谷歌研究院）；University of California San Diego（加州大学圣迭戈分校）
变分推断是贝叶斯推断中渐近精确抽样的一种常用方法。它的主要工作是优化反向库尔贝克-莱布勒散度（RKL），这通常会低估后验的尾部，导致误校准和潜在的退化。另一方面，重要性抽样（IS）通常用于对近似贝叶斯推断过程的估计进行微调和去偏。信息系统的质量在很大程度上取决于建议分发的选择。理想情况下，建议分布的尾部比目标分布的尾部重，这很少能通过最小化RKL来实现。因此，我们提出了一种新的组合的优化和采样技术的近似贝叶斯推断通过构建一个IS建议分布通过最小化的前向KL（FKL）的分歧。这种方法保证了最优IS估计和最优变分逼近的渐近一致性和快速收敛性。我们实证证明，我们的方法是有竞争力的变分助推和MCMC的真实数据。
2021-06-30 cs.LG stat.CO stat.ML
MAE: Mutual Posterior-Divergence Regularization for Variational AutoEncoders
Carnegie Mellon University（卡内基梅隆大学）
变分自编码器（VAE）是一种简单有效的深度生成模型，已经取得了许多令人印象深刻的经验成功，并催生了许多先进的变体和理论研究。然而，最近的研究表明，当配备了表达生成分布（又名。解码器），VAE遭受学习无信息的潜在表示与观察称为KL清漆，在这种情况下，VAE崩溃成一个无条件的生成模型。在这项工作中，我们引入了相互后向发散正则化，这是一种新的正则化，能够控制潜在空间的几何形状，以完成有意义的表示学习，同时实现可比或优越的密度估计能力。在三个图像基准数据集上的实验表明，当配备强大的解码器时，我们的模型在密度估计和表示学习方面都表现良好。
2019-01-06 cs.CV cs.LG stat.ML
Robust Variational Autoencoder for Tabular Data with Beta Divergence
University of Southern California（南加利福尼亚大学）；Amazon Web Service（亚马逊云科技）
我们提出了一个强大的变分自编码器与$β$分歧的表格数据（RTVAE）的混合分类和连续功能。变分自编码器（VAE）及其变体是异常检测问题的流行框架。主要假设是我们可以通过VAE学习正常模式的表示，任何偏离都可以指示异常。然而，训练数据本身可能包含离群值。训练数据中离群值的来源包括数据汇集过程本身（随机噪声）或可能以降低机器学习模型性能为目标的恶意攻击者（数据投毒）。在任何一种情况下，这些离群值都会不成比例地影响VAE的训练过程，并可能导致关于正常行为的错误结论。在这项工作中，我们推导出一种新形式的变分自编码器的表格数据集的分类和连续的功能，是强大的离群值在训练数据。在网络流量数据集的异常检测应用上的实验结果表明了该方法的有效性。
2020-06-16 cs.LG eess.IV eess.SP
Alpha-divergence Variational Inference Meets Importance Weighted Auto-Encoders: Methodology and Asymptotics
University of Oxford（牛津大学）
针对现有基于变分Rényi界的alpha散度最小化算法梯度有偏、缺乏理论保证的问题，提出并研究IWAE界的推广形式VR-IWAE界，证明其重参数化下梯度无偏且流程与VR界一致，给出两种互补理论分析并通过实验验证结论。
2023-07-19 cs.LG stat.ML
Refined $α$-Divergence Variational Inference via Rejection Sampling
IIT Kanpur（印度理工学院坎普尔分校）；Google Research（谷歌研究院）
我们提出了一种近似推理方法，基于Rényi $α$ -发散变分推理（RDVI）和拒绝抽样（RS）的协同组合。RDVI基于真实分布$p(x)$和变分近似$q(x)$之间的Rényi $α$ -散度$D_α(p||q)$的最小化; RS使用提议$p(x) = \tilde{p}(x)/Z_{p}$，s.t. $Mq(x) \geq \tilde{p}(x), \forall x$。我们的推理方法是基于一个重要的观察，即$D_\infty(p||q)$等于$\log M(θ)$，其中$M(θ)$是给定建议$q_θ(x)$的RS常数的最佳值。这使我们能够开发一个\emph{two-stage}混合推理算法。阶段1执行RDVI以通过最小化$D_α(p||q)$的估计器来学习$q_θ$，并且使用学习的$q_θ$来找到（近似）最佳$\tilde{M}(θ)$。阶段2使用常数$\tilde{M}(θ)$执行RS以改进近似分布$q_θ$并获得基于样本的近似。我们证明，这两个阶段的方法，使我们能够学习更准确的近似相比，RDVI的目标分布。我们证明了我们的方法的有效性，通过几个实验合成和真实的数据集。
2019-10-29 cs.LG stat.ML
On the Robustness to Misspecification of $α$-Posteriors and Their Variational Approximations
Columbia University（哥伦比亚大学）；Northwestern University（西北大学）
$α$ -后验和它们的变分近似通过降低似然的权重和引入变分近似误差来扭曲标准后验推断。我们表明，这种扭曲，如果调整适当，减少Kullback-Leibler（KL）偏离真实的，但也许是不可行的，后验分布时，有潜在的参数模型误设定。为了使这一点，我们推导出一个Bernstein-von Mises定理，显示收敛的全变差距离的$α$后验和他们的变分近似极限高斯分布。我们使用这些分布来评估真实和报告后验之间的库尔贝克-莱布勒散度。我们表明，这种分歧是最小化的选择严格小于一个$α$，假设有一个消失的小概率模型误设定。当错误设定变得更严重时，优化值变得更小。优化后的库尔贝克-莱布勒散度在错误指定的程度上线性增加，而不是像通常的后验那样线性增加。
2021-04-16 cs.LG math.ST stat.ML
Geometric Convergence Analysis of Variational Inference via Bregman Divergences
MBZUAI, Abu Dhabi, UAE（马克斯·普朗克智能系统研究所，阿布扎比，阿联酋）；OIST, Okinawa, Japan（海洋研究所，冲绳，日本）
本文利用指数族结构将负ELBO表示为Bregman散度，建立弱单调性，并基于Fisher信息矩阵谱特征证明梯度下降在常数和递减步长下的非渐近收敛速率。
2025-10-17 cs.LG stat.ML
On Sparse variational methods and the Kullback-Leibler divergence between stochastic processes
学习诱导变量的变分框架（Titsias，2009 a）对高斯过程文献产生了很大的影响。该框架可以被解释为最小化近似和后突之间严格定义的库尔贝克-莱布勒散度。据我们所知，这种联系迄今为止在文献中还没有被注意到。在本文中，我们对这一主题的文献进行了大量的概括。我们给出了一个新的证明结果的无限指数集，它允许诱导点，不是数据点和依赖于所有函数值的似然。然后，我们讨论了增广指数集，并表明，与以前的作品，边际一致性的增强是不足以保证一致的变分推断与原模型。然后，我们描述了一个额外的条件，这样的保证是可获得的。最后，我们展示了我们的框架如何揭示域间稀疏近似和稀疏近似Cox过程。
2015-12-04 stat.ML
Sum-of-Squares Relaxations for Information Theory and Variational Inference
本文针对 $f$-散度相关的矩估计、归一化积分和变分推断问题，提出基于平方和与谱信息散度的凸松弛及可处理凸优化算法，在保留凸性或单调性的同时实现多项式时间计算。
2023-09-18 cs.IT cs.LG math.IT
Rethinking Collapsed Variational Bayes Inference for LDA
The University of Tokyo（东京大学）
我们提出了一种新的解释折叠变分贝叶斯推断与零阶泰勒展开近似，称为CVB 0推断，潜在的Dirichlet分配（LDA）。我们澄清的性质的CVB 0推断使用α发散。我们证明了CVB 0推理由两个不同的发散投影组成：α =1和-1。这一解读将有助于理解CVB 0作品。
2012-06-27 cs.LG stat.ML
RenyiCL: Contrastive Representation Learning with Skew Renyi Divergence
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
对比表征学习试图通过估计数据的多个视图之间的共享信息来获得有用的表征。在这里，数据增强的选择对学习表示的质量很敏感：随着数据增强的应用，视图共享更多的任务相关信息，但也与任务无关，这可能会阻碍表示的泛化能力。基于此，我们提出了一种新的鲁棒对比学习方案，称为RényiCL，它可以通过利用Rényi发散来有效地管理更难的增强。我们的方法是建立在Rényi散度的变分下界上的，但是由于方差很大，变分方法的天真使用是不切实际的。为了应对这一挑战，我们提出了一个新的对比目标，该目标对偏斜Rényi分歧进行变分估计，并为偏斜分歧的变分估计如何导致稳定的训练提供理论保证。我们表明，Rényi对比学习目标执行先天的硬负采样和容易的正采样，同时，它可以选择性地学习有用的功能，忽略讨厌的功能。通过在ImageNet上的实验，我们证明了具有更强增强的Rényi对比学习优于其他自监督方法，而无需额外的正则化或计算开销。此外，我们还验证了我们的方法在其他领域，如图形和表格，显示经验增益比其他对比方法。
2023-01-17 cs.LG stat.ML
Wasserstein Variational Inference
Radboud University（拉德堡德大学）；University of Amsterdam（阿姆斯特丹大学）
本文介绍了Wasserstein变分推断，一种基于最优运输理论的近似贝叶斯推断的新形式。Wasserstein变分推断使用一个新的分歧族，其中包括f-分歧和瓦瑟斯坦距离作为特殊情况。Wasserstein变分损失的梯度通过Sinkhorn迭代反向传播得到。这种技术产生了一种非常稳定的无似然训练方法，可用于隐式分布和概率程序。使用Wasserstein变分推断框架，我们介绍了几种新形式的自动编码器和测试其鲁棒性和性能对现有的变分自动编码技术。
2018-06-04 cs.LG stat.ML
Faster Stochastic Variational Inference using Proximal-Gradient Methods with General Divergence Functions
Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；University of British Columbia（不列颠哥伦比亚大学）；University of Waterloo（滑铁卢大学）；University of Tokyo（东京大学）
最近的几项工作探讨了随机梯度方法的变分推断，利用几何的变分参数空间。然而，这些方法的理论性质还没有得到很好的理解，这些方法通常只适用于条件共轭模型。我们提出了一种新的随机方法变分推断，利用几何的变分参数空间，也产生简单的封闭形式的更新，即使是非共轭模型。我们还给出了我们的方法和许多其他以前的方法，利用几何空间的收敛速度分析。我们的分析概括了现有的收敛结果随机镜像下降非凸目标，通过使用更一般的一类发散函数。除了给出一个理论上的理由，最近的各种方法，我们的实验表明，在这个框架中派生的新算法导致各种问题的最先进的结果。此外，由于其通用性，我们希望我们的理论分析也可以适用于其他应用。
2016-08-12 cs.LG stat.CO stat.ML
Sliced Wasserstein Variational Inference
University of Bristol（布里斯托大学）
变分推断通过最小化Kullback-Leibler（KL）发散来近似未归一化的分布。这种发散性虽然计算效率高，并且在实际应用中得到了广泛的应用，但也存在一些不合理的性质。例如，它不是一个适当的指标，即，它是非对称的，并且不保持三角不等式。另一方面，最佳运输距离最近已经显示出比库尔贝克-莱布勒散度更大的优势。借助这些优点，我们提出了一种新的变分推断方法，通过最小化切片瓦瑟斯坦距离，一个有效的度量所产生的最佳运输。该切片瓦瑟斯坦距离可以简单地通过运行MCMC来近似，而无需求解任何优化问题。我们的近似也不需要一个易处理的密度函数的变分分布，使近似家庭可以摊销的发电机一样，神经网络。此外，我们提供了我们的方法的理论特性的分析。仿真和真实数据的实验结果表明了该方法的有效性。
2022-07-26 cs.LG stat.ML
Variational (Gradient) Estimate of the Score Function in Energy-based Latent Variable Models
Tsinghua University（清华大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
没有任何结构假设的基于能量的隐变量模型（EBLVMs）的学习和评估具有很大的挑战性，因为这种模型中的真后验和配分函数通常是难以处理的。本文给出了一般EBLVM中得分函数及其梯度关于模型参数的变分估计，分别称为VaES和VaGES。训练变分后验以最小化与真实模型后验的一定发散，并且理论上两种估计的偏差可以由发散限制。在最小模型假设的情况下，VaES和VaGES可以应用于基于核化Stein差异（KSD）和分数匹配（SM）的方法来学习EBLVM。此外，VaES还可以用来估计数据和一般EBLVMs之间的Fisher散度。
2021-06-06 cs.LG stat.ML
Batch and match: black-box variational inference with a score-based divergence
Flatiron Institute（弗莱堡研究所）；Columbia University（哥伦比亚大学）
本文提出批量匹配（BaM）方法，用基于分数的散度替代 ELBO 优化进行黑盒变分推断，并证明其在高斯情形下具有指数收敛性，实验表明其收敛所需梯度评估次数通常显著少于主流 BBVI 方法。
2024-06-12 cs.AI cs.LG stat.CO
Regularized KL-Divergence for Well-Defined Function-Space Variational Inference in Bayesian neural networks
University of Tübingen, Germany（图宾根大学）
本文针对贝叶斯神经网络函数空间变分推断中ELBO为负无穷大的问题，提出基于广义VI和正则化KL散度的首个良定义变分目标，并在回归、分类和分布外检测中验证了其有效性。
2025-06-05 cs.LG stat.ML
Generalized Guarantees for Variational Inference in the Presence of Even and Elliptical Symmetry
University of British Columbia, Department of Statistics（不列颠哥伦比亚大学统计学系）；Flatiron Institute, Center for Computational Mathematics（Flatiron研究所计算数学中心）
本文证明，对于所有f-散度，在偶对称和椭圆对称条件下，变分推断的驻点能分别恢复目标密度的均值和相关矩阵，推广了先前对逆KL散度的结果。
2026-05-30 cs.LG stat.CO stat.ML
Differentially Private Variational Autoencoders with Term-wise Gradient Aggregation
LINE Corporation（LINE公司）；Kyoto University（京都大学）；SOKENDAI（综合研究大学院大学）
本文研究了在差分隐私约束下，如何学习具有多种发散性的变分自编码器。我们通常使用适当的先验分布来构建VAE，以描述所学习的表示的期望属性，并引入发散作为正则化项，以使表示接近先验。使用差分私有SGD（DP-SGD），通过注入根据梯度敏感度设计的专用噪声来随机化随机梯度，我们可以轻松构建差分私有模型。然而，我们发现，附加几个分歧增加的灵敏度从O（1）到O（B）的批量大小B。这导致注入大量的噪音，使其难以学习。为了解决上述问题，我们提出了逐项DP-SGD，其以两种不同的方式根据损失项的组成来定制随机梯度。即使在附加散度时，逐项DP-SGD也将灵敏度保持在O（1）。因此，我们可以减少噪音。在我们的实验中，我们证明了我们的方法可以很好地与两对先验分布和发散。
2020-06-19 cs.CR cs.LG stat.ML
Function-space regularized Rényi divergences
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Institute of Applied and Computational Mathematics（应用与计算数学研究所）；Foundation for Research and Technology - Hellas（希腊研究与技术基金会）；Brown University（布朗大学）
我们提出了一个新的正规化Rényi发散族参数不仅由顺序$α$，但也由变分函数空间。这些新的对象是通过取标准Rényi散度与所选函数空间相关联的积分概率距离（IPM）的下底卷积来定义的。我们推导出一种新的对偶变分表示，可用于构造数值上易于处理的发散估计。这种表示避免了风险敏感项，因此表现出较低的方差，使其在$α>1$时表现良好;这解决了现有方法的显著弱点。我们证明了这些新的分歧的几个属性，表明他们之间的经典Rényi分歧和IPM插值。我们还研究了$α\to\infty$极限，这导致了一个正则化的最坏情况下的遗憾和一个新的变分表示在经典的情况下。此外，我们表明，所提出的正则化Rényi分歧继承了IPM的特征，例如比较非绝对连续分布的能力，例如，低维支持的经验测量和分布。我们在合成数据集和真实数据集上给出了数值结果，显示了这些新的分歧在估计和GAN训练应用中的实用性;特别是，我们证明了方差的显着降低和训练性能的提高。
2023-02-14 cs.LG stat.ML
When Optimizing $f$-divergence is Robust with Label Noise
University of California, Santa Cruz（加州大学圣克鲁兹分校）
我们表明，当最大化一个正确定义的$f$ -发散措施相对于分类器的预测和监督标签是强大的标签噪声。利用它的变分形式，我们得到一个很好的解耦属性的家庭$f$的分歧措施时，标签噪声的存在，其中的分歧是一个线性组合的变分差定义的清洁分布和偏见项由于噪声。上述推导有助于我们分析不同$f$ -发散函数的鲁棒性。随着建立的鲁棒性，这个家庭的$f$发散函数出现作为有用的度量的问题，学习与噪声标签，这不需要规范的标签的噪声率。当它们可能不健壮时，我们会提出修复措施来使它们变得健壮。除了分析结果，我们提出了彻底的实验证据。我们的代码可在https://github.com/UCSC-REAL/Robust-f-divergence-measures上获得。
2021-08-18 cs.LG stat.ML
$t^3$-Variational Autoencoder: Learning Heavy-tailed Data with Student's t and Power Divergence
The University of Tokyo（东京大学）；RIKEN（理化学研究所）；Seoul National University（首尔大学）
针对高斯先验 VAE 难以建模重尾数据的问题，提出基于 Student's t 分布和 $γ$-幂散度的 $t^3$VAE，并在合成及 CelebA、不平衡 CIFAR-100 数据集上验证其优势。
2024-03-03 cs.LG stat.ML
On Output Activation Functions for Adversarial Losses: A Theoretical Analysis via Variational Divergence Minimization and An Empirical Study on MNIST Classification
University of California San Diego（加州大学圣地亚哥分校）；Academia Sinica（中央研究院）；Taiwan AI Labs（台湾人工智能实验室）
近年来，对抗性损失被应用到许多领域。它们的应用范围超出了最初提出的生成建模，条件生成和歧视设置。虽然先前的工作已经提出了各种输出激活函数和正则化方法，一些开放的问题仍然没有答案。本文主要研究以下两个问题：1）什么样的输出激活函数会形成一个行为良好的对抗损失？2)输出激活函数和正则化方法的不同组合如何根据经验彼此执行？为了回答第一个问题，我们采用变分散度最小化的观点，并考虑一个对抗性损失表现良好，如果它表现为数据和模型分布之间的一个类似散度的度量。利用广义的对抗性损失公式，我们推导出一个良好的对抗性损失的必要和充分条件。我们的分析揭示了一大类理论上有效的对抗性损失。对于第二个问题，我们提出了一个简单的比较框架，使用歧视性对抗网络对抗损失。所提出的框架允许我们使用标准评估指标（如分类准确性）有效地评估对抗性损失。与建议的框架，我们评估了一个全面的168个组合的12个输出激活函数和14个正则化方法的手写数字分类问题，以解耦其影响。我们的实证研究结果表明，在所有设置中，输出激活函数和正则化方法没有单一的获胜组合。我们的理论和实证结果可以作为未来研究中选择或设计对抗性损失的参考。
2022-11-07 cs.LG stat.ML
Information, Divergence and Risk for Binary Experiments
我们统一f-分歧，布雷格曼分歧，替代损失界（遗憾界），适当的评分规则，匹配损失，成本曲线，ROC曲线和信息。我们这样做，通过系统地研究这些对象的积分和变分表示，并在这样做，确定他们的原语，所有相关的成本敏感的二进制分类。以及澄清之间的关系生成和歧视性的学习观点，新的机器导致紧密和更一般的代理损失的界限和广义Pinsker不等式有关的f-分歧变分分歧。新的观点阐明了现有的算法：它提供了一个新的推导支持向量机的分歧，并与最大均值离散Fisher线性判别。它还提出了新的技术估计f-发散。
2009-01-05 math.ST stat.ML stat.TH
Stein Variational Gradient Descent: A General Purpose Bayesian Inference Algorithm
Dartmouth College（达特茅斯学院）
我们提出了一个通用的变分推断算法，形成了一个自然的梯度下降优化。我们的方法迭代地传输一组粒子，以匹配目标分布，通过应用一种形式的函数梯度下降，最大限度地减少库尔贝克-莱布勒散度。在各种真实世界的模型和数据集上进行了实证研究，在这些模型和数据集上，我们的方法与现有的最先进的方法具有竞争力。我们的方法的推导是基于一个新的理论结果，连接的衍生物的库尔贝克-莱布勒散度光滑变换下的Stein的身份和最近提出的核化Stein差异，这是独立的利益。
2019-09-09 cs.LG stat.ML
Functional Variational Bayesian Neural Networks
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Tsinghua University（清华大学）
变分贝叶斯神经网络（BNN）对权值进行变分推理，但在高维权值空间中很难确定有意义的先验和近似后验。我们介绍了功能变分贝叶斯神经网络（fBNN），最大化的证据下界（ELBO）直接定义的随机过程，即分布函数。我们证明了随机过程之间的KL分歧等于所有有限输入集上的边际KL分歧的上确界。在此基础上，我们引入了一个实用的训练目标，它使用有限的测量集和谱Stein梯度估计近似的功能ELBO。使用fBNN，我们可以指定包含丰富结构的先验，包括高斯过程和隐式随机过程。根据经验，我们发现fBNN使用各种结构化先验进行外推，提供可靠的不确定性估计，并扩展到大型数据集。
2019-03-14 cs.LG stat.ML
Robust Variational Autoencoder
University of Southern California（南加州大学）；Stevens Institute of Technology（史蒂文斯理工学院）
机器学习方法通常需要大量的标记训练数据。由于训练数据被假设为地面实况，离群值会严重降低学习的表示和训练模型的性能。在这里，我们应用鲁棒统计的概念，推导出一种新的变分自动编码器，它对训练数据中的离群值具有鲁棒性。变分自动编码器（VAE）提取低维编码特征表示，我们可以从中生成新的数据样本。当使用损坏的训练数据时，自动编码器对离群值的鲁棒性对于在编码空间中生成特定数据类型的可靠表示至关重要。我们的鲁棒VAE是基于β发散，而不是标准的Kullback-Leibler（KL）发散。我们提出的下限导致RVAE模型，具有相同的计算复杂度的VAE，并包含一个单一的调整参数来控制鲁棒性的程度。我们证明了我们的$β$发散为基础的自动编码器的一系列图像数据集的性能，提高了鲁棒性离群定性和定量。我们还说明了使用我们强大的VAE离群值检测。
2019-12-21 cs.LG eess.IV stat.ML
Variational Autoencoder with Implicit Optimal Priors
NTT Software Innovation Center（NTT软件创新中心）；NTT Communication Science Laboratories（NTT通信科学实验室）；NTT Secure Platform Laboratories（NTT安全平台实验室）
变分自动编码器（VAE）是一个强大的生成模型，可以通过使用潜在变量来估计数据点的概率。在VAE中，给定数据点的潜变量的后验通过潜变量的先验使用Kullback Leibler（KL）散度进行正则化。虽然标准高斯分布通常用于先验，但这种简单的先验会导致过度正则化。作为一种复杂的先验，聚合后验被引入，它是对数据分布的后验的期望。就最大化训练目标函数而言，该先验对于VAE是最优的。然而，库尔贝克-莱布勒散度与聚合后验不能计算在一个封闭的形式，这使得我们不能使用这个最佳的先验。利用所提出的方法，我们引入密度比技巧来估计这种库尔贝克-莱布勒散度，而无需明确地对聚合后验进行建模。由于密度比技巧在高维中不能很好地工作，我们将包含高维密度比的这个库尔贝克-莱布勒散度重写为可解析计算的项和低维密度比项的和，并对其应用密度比技巧。在不同数据集上的实验表明，该方法具有较高的密度估计性能。
2019-12-27 cs.LG stat.ML
Operator Variational Inference
Princeton University（普林斯顿大学）；Columbia University（哥伦比亚大学）
变分推断是将贝叶斯推断转换为优化的算法的总称。经典地，变分推断使用库尔贝克-莱布勒散度来定义优化。虽然这种分歧已被广泛使用，所得到的后验近似可能遭受不希望的统计特性。为了解决这个问题，我们重新审查变分推断从它的根源作为一个优化问题。我们使用算子或函数的函数来设计变分目标。作为一个例子，我们设计了一个变分目标与Langevin-Stein算子。我们开发了一个黑箱算法，运营商变分推断（OPVI），优化任何运营商的目标。重要的是，运算符使我们能够明确变分推断的统计和计算权衡。我们可以描述变分目标的不同属性，例如允许数据子采样的目标-允许推理扩展到海量数据-以及允许变分程序的目标-一个不需要易处理密度的丰富的后验近似类。我们说明了混合模型和生成模型的图像上的OPVI的好处。
2018-03-15 cs.LG stat.CO stat.ME
Stein Variational Gradient Descent as Gradient Flow
Stein变分梯度下降（SVGD）是一种确定性采样算法，其基于有效的基于梯度的更新来迭代地传输一组粒子以近似给定的分布，该更新保证在函数空间内最佳地减小库尔贝克-莱布勒散度。本文首次对SVGD进行了理论分析，讨论了它的弱收敛性质，并证明了它的渐近性态被Stein算子引入的新度量结构下的库尔贝克-莱布勒散度泛函的梯度流所捕获.利用弱导数的概念给出了Stein算子和Stein恒等式的一些结果，包括在弱条件下Stein不等式的可解性的一个新证明。
2017-11-14 stat.ML
Variational Inference for Uncertainty Quantification: an Analysis of Trade-offs
Department of Statistics University of British Columbia（统计学系大学哥伦比亚大学）；CERMICS Laboratory Ecole des Ponts ParisTech（巴黎高等理工学院CERMICS实验室）；Center for Computational Mathematics Flatiron Institute（Flatiron研究所计算数学中心）
本文研究平均场变分推断在不确定性量化中的根本权衡，证明非分解目标下边际方差、精度和广义方差至多正确估计其一，并比较多种散度的排序。
2025-10-19 cs.LG stat.CO stat.ML
Even More Guarantees for Variational Inference in the Presence of Symmetries
School of Informatics（信息学院）；University of Edinburgh（爱丁堡大学）
本文扩展了变分推断在目标对称性下的鲁棒性理论，证明了使用前向KL散度和α-散度时，即使模型误设也能精确恢复目标均值和相关矩阵，并放宽了对数凹假设，适用于多模态分布。
2026-06-04 cs.LG stat.CO stat.ML
Deep Generative Learning via Variational Gradient Flow
Xi’an Jiaotong University（西安交通大学）；Zhongnan University of Economics and Law（中南财经政法大学）；The Hong Kong University of Science and Technology（香港科技大学）
我们提出了一个通用框架，通过概率空间上的\textbf{V}变量\textbf{Gr} adient Fl \textbf{ow}（VGrow）来学习深度生成模型。渐近收敛到目标分布的演化分布由向量场控制，该向量场是它们之间的$f$ -散度的第一变分的负梯度。我们通过残差映射的无限小时间合成证明了演化分布与前推分布一致，残差映射是单位映射沿向量场的扰动。向量场取决于前推分布和目标分布的密度比，这可以从二元分类问题中一致地学习。我们提出的VGrow方法与其他流行的方法，如VAE，GAN和基于流的方法，已经在这个框架中建立了联系，获得了深度生成学习的新见解。我们还评估了几个常用的分歧，包括Kullback-Leibler，Jensen-Shannon，Jeffrey分歧以及我们新发现的“logD”分歧，它作为logD技巧GAN的目标函数。在基准数据集上的实验结果表明，VGrow可以以稳定和高效的方式生成高保真图像，与最先进的GANs相比具有竞争力的性能。
2019-05-04 cs.LG stat.ML
A Variational Perspective on Generative Flow Networks
University of Amsterdam（阿姆斯特丹大学）；Linköping University（林雪平大学）
生成流网络（generative flow networks，GFN）是一类用于复合对象的序贯抽样的模型，它近似于根据能量函数或奖励定义的目标分布。GFN通常使用流匹配或轨迹平衡目标来训练，其匹配轨迹上的前向和后向转换模型。在这项工作中，我们定义变分目标GFNs的Kullback-Leibler（KL）之间的分歧的前向和后向分布。我们表明，变分推断在GFNs是相当于最小化的轨迹平衡目标时，从前向模型的轨迹采样。我们通过优化反向和正向库尔贝克-莱布勒散度的凸组合来推广这种方法。这种见解表明，变分推断方法可以用作定义用于训练生成流网络的更一般的目标族的手段，例如，通过结合通常用于变分推断的控制变量，以减少轨迹平衡目标的梯度的方差。我们评估我们的研究结果和性能的建议变目标数值比较，它的轨迹平衡目标上的两个合成任务。
2022-10-14 cs.LG stat.ML
Alpha-VI DeepONet: A prior-robust variational Bayesian approach for enhancing DeepONets with uncertainty quantification
Department of Applied Mechanics（应用力学系）；Indian Institute of Technology Delhi（印度理工学院德里）；Department of Mechanical Engineering（机械工程系）；Northern Arizona University（北亚利桑那大学）
Alpha-VI DeepONet通过引入Rényi的α-分歧改进DeepONet，提升不确定性量化能力，在机械系统中表现出更高的预测准确性和鲁棒性。
2025-12-06 cs.LG stat.ML
Differentiable Annealed Importance Sampling Minimizes The Symmetrized Kullback-Leibler Divergence Between Initial and Target Distribution
University of Tübingen（蒂宾根大学）；Tübingen AI Center（蒂宾根人工智能中心）；IMPRS-IS（马克斯·普朗克智能系统研究所国际马克斯·普朗克研究学院）
本文证明 DAIS 在多转移极限下最小化初始与目标分布的对称 KL 散度，可视为变分推断，并在合成与真实数据上显示其不确定性估计更准确。
2024-08-09 cs.LG stat.ML
Alpha-divergence loss function for neural density ratio estimation
NTT DATA Mathematical Systems Inc.（NTT DATA数学系统公司）
针对神经密度比估计中 KL 等散度损失的优化难题，论文推导并验证 α-Div 损失，证明其优化更稳定，但 RMSE 精度未显著优于 KL 损失。
2025-03-17 cs.LG stat.ML
