A Non-Asymptotic Analysis for Stein Variational Gradient Descent
University College London（伦敦大学学院）；KAUST（阿卜杜拉国王科技大学）
我们研究了Stein变分梯度下降（SVGD）算法，该算法优化一组粒子来近似$\mathbb{R}^d$上的目标概率分布$π\propto e^{-V}$。在总体极限中，SVGD在关于$π$的库尔贝克-莱布勒散度的概率分布空间中执行梯度下降，其中梯度通过核积分算子平滑。在本文中，我们提供了一个新的有限时间分析的SVGD算法。我们提供了一个下降引理，建立该算法在每次迭代中降低目标，并为平均Stein Fisher发散（也称为核Stein离散）的收敛速度。我们还提供了一个收敛结果的有限粒子系统对应的SVGD的实际实施，其人口版本。
2021-01-03 cs.LG stat.ML
Probability Functional Descent: A Unifying Perspective on GANs, Variational Inference, and Reinforcement Learning
Institute for Computational & Mathematical Engineering, Stanford University（斯坦福大学计算与数学工程研究所）；Management Science & Engineering, Stanford University（斯坦福大学管理科学与工程系）
本文通过将机器学习中感兴趣的各种问题构建为概率测度空间上定义的泛函的最小化，提供了一个统一的观点。特别是，我们证明了生成对抗网络，变分推理和强化学习中的演员-评论家方法都可以通过我们框架的镜头看到。然后，我们讨论了一个通用的优化算法，我们的配方，称为概率函数下降（PFD），并显示该算法如何恢复现有的独立开发的方法在前面提到的设置。
2019-05-19 cs.LG stat.ML
VAE Learning via Stein Variational Gradient Descent
Duke University（杜克大学）
提出了一种基于Stein变分梯度下降的变分自编码器（VAE）学习方法。这种方法的一个关键优点是，不需要对编码器分布的形式进行参数假设。通过将所提出的编码器与重要性采样相结合，进一步提高了性能。在多个无监督和半监督问题中表现出出色的性能，包括ImageNet数据的半监督分析，证明了模型对大型数据集的可扩展性。
2017-11-17 cs.LG
Condensed Stein Variational Gradient Descent for Uncertainty Quantification of Neural Networks
Cornell University（康奈尔大学）；Sandia National Laboratories（桑迪亚国家实验室）；Pasteur Labs（巴斯德实验室）
提出cSVGD方法，通过图协调与浓缩过程同时稀疏化、训练复杂模型并提供参数级不确定性量化，加速收敛，在固体力学应用中验证了有效性。
2024-12-21 cs.LG physics.comp-ph stat.ML
A stochastic version of Stein Variational Gradient Descent for efficient sampling
Shanghai Jiao Tong University（上海交通大学）；Duke University（杜克大学）
在这项工作中，我们提出RBM-SVGD，斯坦变分梯度下降（SVGD）方法的随机版本有效地从一个给定的概率测度采样，从而有用的贝叶斯推断。该方法是将Jin等人提出的相互作用粒子系统的随机批处理方法（RBM）应用于SVGD中的相互作用粒子系统。在保持SVGD行为的同时，减少了计算量，特别是当相互作用的核具有长范围时。数值算例验证了该方法的有效性。
2019-04-11 cs.LG math.PR stat.ML
A Finite-Particle Convergence Rate for Stein Variational Gradient Descent
Stanford University（斯坦福大学）；Microsoft Research New England（微软研究院新英格兰分院）
该研究首次推导了Stein变分梯度下降（SVGD）的有限粒子非渐近收敛速率，证明在次高斯目标分布下核Stein差异以1/√(log log n)速率收敛，并提出可作为后续优化模板的显式证明策略。
2023-11-02 cs.LG stat.ML
Stein Variational Gradient Descent With Matrix-Valued Kernels
UT Austin（德克萨斯大学奥斯汀分校）
Stein变分梯度下降（SVGD）是一种基于粒子的推理算法，它利用梯度信息进行有效的近似推理。在这项工作中，我们提高了SVGD利用预处理矩阵，如Hessian和费舍尔信息矩阵，将几何信息到SVGD更新。我们通过提出SVGD的一般化来实现这一点，该一般化用更一般的矩阵值核取代vanilla SVGD中的标数值核。这产生了SVGD的显著扩展，更重要的是，允许我们灵活地结合各种预处理矩阵来加速概率景观中的探索。实证结果表明，我们的方法优于香草SVGD和各种基线方法在一系列现实世界的贝叶斯推断任务。
2019-11-05 cs.LG stat.ML
Further analysis of multilevel Stein variational gradient descent with an application to the Bayesian inference of glacier ice models
Courant Institute of Mathematical Sciences, New York University（纽约大学柯朗数学科学研究所）；University of California, Merced（加州大学默塞德分校）
本研究扩展了多级Stein变分梯度下降的代价复杂度分析，使其适用于单级方法收敛速率依赖迭代参数的场景，并将该方法应用于冰川冰模型贝叶斯反问题，实现了数个数量级的加速。
2023-04-29 cs.LG cs.NA math.NA
Variational Stochastic Gradient Descent for Deep Neural Networks
Eindhoven University of Technology（埃因霍温理工大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
针对梯度不确定性建模需求，提出结合自适应梯度方法与概率框架的VSGD优化器，通过概率模型与随机变分推断推导更新规则，实验证明其在图像分类任务上性能优于Adam和SGD。
2025-04-18 cs.LG stat.ML
Projected Stein Variational Gradient Descent
Oden Institute for Computational Engineering and Sciences（奥登计算工程与科学研究所）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
维数灾难是高维贝叶斯推理中的一个长期挑战。在这项工作中，我们提出了一个投影斯坦变分梯度下降（pSVGD）的方法来克服这一挑战，利用的基本属性的内在低维的数据知情的子空间源于不适定性的问题。我们自适应地构造子空间使用的梯度信息矩阵的对数似然，并应用pSVGD的参数投影的低得多的维系数。该方法比SVGD方法更准确、更高效。它也被证明是更可扩展的参数，样本，数据点，和处理器内核的数量，通过实验与参数尺寸范围从数百到数万。
2020-06-10 cs.LG stat.ML
Wasserstein Gradient Flow over Variational Parameter Space for Variational Inference
Hokkaido University（北海道大学）；University of Tsukuba（茨口大学）；Kyoto University（京都大学）
本文将变分推断重构为变分参数空间上的概率分布优化问题，提出Wasserstein梯度下降方法，统一了黑箱VI与自然梯度VI，并通过合成数据实验和理论分析验证了其有效性。
2025-04-22 cs.LG stat.ML
A Note on the Convergence of Mirrored Stein Variational Gradient Descent under $(L_0,L_1)-$Smoothness Condition
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；KAUST（阿卜杜拉国王科技大学）
本文建立了总体极限的MiraminStein变分梯度法~（MSVGD）的一个下降引理。该下降引理不依赖于MSVGD的路径信息，而是依赖于镜像分布$\nablaΨ_{\#}π\propto\exp(-V)$的简单假设。我们的分析表明，MSVGD可以适用于更广泛的一类非光滑$V$的约束抽样问题。我们还调查的复杂性的人口限制MSVGD方面的尺寸$d$。
2022-06-20 cs.LG math.OC math.ST
Accelerating Convergence of Stein Variational Gradient Descent via Deep Unfolding
Tokyo Institute of Technology（东京工业大学）
本文提出将深度展开技术融入 Stein 变分梯度下降，通过可训练方式学习其内部参数以加速收敛，并在高斯混合采样、贝叶斯逻辑回归和贝叶斯神经网络任务中验证了其优于传统 SVGD 变体的收敛性能。
2024-02-23 cs.LG stat.ML
Multivariate Gaussian Variational Inference by Natural Gradient Descent
University of Toronto（多伦多大学）；Institute for Aerospace Studies（航空航天研究所）
这篇短文回顾了所谓的多元高斯的自然梯度下降（NGD）。推导了几种不同高斯参数化下的费舍尔信息矩阵。在计算导数时，要特别注意协方差阵的对称性。我们发现，有一些优点，选择一个参数化，包括平均值和逆协方差阵，并提供一个简单的NGD更新，占对称（和稀疏）性质的逆协方差阵。
2020-10-19 cs.LG cs.RO math.ST
Grassmann Stein Variational Gradient Descent
Imperial College London（帝国理工学院）；University of Oxford（牛津大学）
Stein变分梯度下降（SVGD）是一种确定性粒子推理算法，它为马尔可夫链蒙特卡罗提供了一种有效的替代方案。然而，SVGD已被发现遭受方差低估时，目标分布的维数是高的。最近的发展主张投影的得分函数和数据到真正的线，以回避这个问题，虽然这可能会严重高估的认识（模型）的不确定性。在这项工作中，我们提出了格拉斯曼斯坦变分梯度下降（GSVGD）作为一种替代方法，它允许投影到任意维的子空间。与其他依赖于降维的SVGD算法相比，GSVGD算法同时更新得分函数和数据的投影，最优投影通过探索有利子空间的耦合Grassmann扩散过程确定.我们的理论和实验结果表明，GSVGD享有有效的状态空间探索高维问题，具有内在的低维结构。
2022-03-11 cs.LG stat.ME stat.ML
Variational Principles for Mirror Descent and Mirror Langevin Dynamics
Columbia University（哥伦比亚大学）；University of Illinois（伊利诺伊大学）；INRIA（法国国家信息与自动化研究所）；Ecole Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）
镜像下降法是由Nemirovski和Yudin在20世纪70年代提出的一种原始-对偶凸优化方法，它可以通过选择强凸势函数来适应当前最优化问题的几何形状。它在各种应用中作为基本的原语出现，包括大规模优化，机器学习和控制。本文提出了一种变分形式的镜像下降及其随机变量，镜像朗之万动力学。受Brezis和Ekeland关于梯度流的变分原理的经典工作的启发，本文的主要思想是证明镜像下降是作为某个最优控制问题的闭环解出现的，而Bellman值函数是由初始条件和目标函数的全局极小值之间的Bregman发散给出的。
2023-03-16 cs.LG math.OC
On the geometry of Stein variational gradient descent
Imperial College London（帝国理工学院）；The Alan Turing Institute（艾伦·图灵研究所）；University of Edinburgh（爱丁堡大学）
贝叶斯推断问题需要对高维概率分布进行采样或近似。本文的重点是最近推出的斯坦变分梯度下降法，一类算法，依赖于迭代最速下降步骤的再生核希尔伯特空间范数。这种构造导致相互作用的粒子系统，其平均场极限是在具有一定几何结构的概率分布空间上的梯度流。我们利用这个观点来阐明算法的收敛性，特别是解决选择一个合适的正定核函数的问题。我们的分析使我们考虑某些不可微内核调整的尾巴。我们证明了显着的性能增益，这些在各种数值实验。
2023-02-12 cs.LG math.AP math.ST
Annealed Stein Variational Gradient Descent
ETH Zürich（苏黎世联邦理工学院）
基于粒子的优化算法最近已经被开发为迭代地更新一组粒子以近似目标分布的采样方法。特别是Stein变分梯度下降已经获得了近似推理文学的灵活性和准确性的关注。我们经验性地探索了这种方法从多模态分布中采样的能力，并专注于两个重要问题：（i）粒子无法从局部模式中逃脱;（ii）在再现不同区域的密度时的无效性。我们提出了一个退火时间表来解决这些问题，并显示，通过各种实验，这个简单的解决方案如何导致模式覆盖率的显着改善，而不会使原算法的任何理论属性无效。
2021-03-18 cs.LG
Learning Equivariant Energy Based Models with Equivariant Stein Variational Gradient Descent
Bosch-Delta Lab（博世-德尔塔实验室）；University of Amsterdam（阿姆斯特丹大学）
我们专注于问题的有效采样和学习的概率密度，将对称性的概率模型。我们首先介绍了等变Stein变分梯度下降算法--一种基于Stein恒等式的等变采样方法，用于对称密度的采样。等变SVGD通过等变核显式地将对称信息并入密度中，这使得所得到的采样器在样本复杂度和所生成样本的质量方面都是有效的。随后，我们定义了基于等变能量的模型来模拟使用对比发散学习的不变密度。通过利用我们的等变SVGD来训练等变EBM，我们提出了改进和扩展基于能量的模型训练的新方法。我们将这些等变能量模型应用于图像数据集，多体粒子系统和分子结构生成的回归和分类任务中的联合密度建模。
2021-07-29 cs.AI cs.LG stat.ML
Multilevel Stein variational gradient descent with applications to Bayesian inverse problems
Courant Institute of Mathematical Sciences, New York University（纽约大学库朗数学科学研究所）
这项工作提出了一个多层次的变化斯坦变分梯度下降，更有效地从目标分布的样本。关键成分是一系列分布，其保真度和成本不断增加，并向目标利益分布收敛。例如，这样的分布序列是由贝叶斯逆问题中的正向模型的更精细离散化水平的层次结构给出的。所提出的多级Stein变分梯度下降将大部分迭代移动到较低，较便宜的水平，目的是与仅使用最高级别分布的传统单级Stein变分梯度下降变体相比，仅需要在较高，较昂贵的水平上进行少量迭代。在一定的假设下，在平均场的限制，所提出的多级Stein方法的误差衰减的对数因子比单级对应的计算成本方面的错误。贝叶斯反问题的数值实验表明，加速比一个以上的数量级的建议多层次的斯坦方法相比，单级的变体，只使用最高级别。
2021-04-05 cs.LG cs.NA math.NA
Stein Variational Gradient Descent as Moment Matching
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
Stein变分梯度下降（SVGD）是一种非参数推理算法，它演化一组粒子来拟合给定的感兴趣分布。我们分析了非渐近性质的SVGD，存在一组功能，我们称之为Stein匹配集，其期望值是完全估计的任何一组粒子，满足不动点方程的SVGD。该集合是Stein算子在SVGD中使用的正定核的特征映射上的图像。我们的研究结果提供了一个理论框架，分析不同的内核的SVGD的性能，脱落洞察到最佳的内核选择。特别是，我们表明，SVGD与线性内核产生精确估计的均值和方差的高斯分布，而随机傅立叶特征使概率界分布近似。我们的研究结果提供了一个令人耳目一新的观点，经典的推理问题，拟合斯坦的身份或解决斯坦方程，这可能会激发更有效的算法。
2018-10-27 cs.LG stat.ML
Semi-Implicit Variational Inference via Kernelized Path Gradient Descent
Department of Statistics, LMU Munich（统计系）；Munich Center for Machine Learning（慕尼黑机器学习中心）
本文提出核化 KL 散度估计器与重要性采样校正，改进半隐式变分推断的高维训练稳定性与效率，并在性能和训练成本上达到或超越现有最先进方法。
2025-06-05 cs.LG stat.CO
Mixture weights optimisation for Alpha-Divergence Variational Inference
LTCI, Télécom Paris（巴黎电信学院LTCI实验室）；Institut Polytechnique de Paris（巴黎理工学院）；SAMOVAR, Télécom SudParis（南巴黎电信学院SAMOVAR实验室）
本文主要研究变分推理的$α$ -散度最小化方法。更确切地说，我们感兴趣的算法优化的混合权重的任何给定的混合模型，没有任何信息的基础分布的混合成分参数。功率下降，定义为所有$α\neq 1$，是这样一个算法，我们建立在我们的工作充分证明了其收敛到最佳的混合权重时，$α<1$。由于$α$ -发散恢复了广泛使用的前向Kullback-Leibler时，$α\to 1$，我们然后扩展功率下降的情况下，$α= 1$，我们得到了一个熵镜下降。这导致我们调查功率下降和熵镜下降之间的联系：一阶近似允许我们引入Renyi下降，一种新的算法，我们证明了$O(1/N)$收敛速度。最后，我们数值比较的行为的无偏功率下降和有偏Renyi下降，我们讨论了一个算法的潜在优势。
2021-06-09 cs.LG math.ST stat.TH
Convergence of Stein Variational Gradient Descent under a Weaker Smoothness Condition
KAUST（阿卜杜拉国王科技大学）
Stein变分梯度下降（SVGD）是Langevin型算法的一个重要替代方案，用于从$π(x) \propto \exp(-V(x))$形式的概率分布中采样。在现有的Langevin型算法和SVGD理论中，常假设势函数$V$是$L$ -光滑的.然而，这个限制性条件排除了一大类潜在的功能，如多项式的次数大于$2$。本文研究了具有$(L_0,L_1)$ -光滑位势分布的SVGD算法的收敛性。这种放松的平滑假设是由Zhang等人[2019 a]引入的，用于分析梯度裁剪算法。在独立于概率的辅助条件下，我们给出了一个下降引理，证明了算法在每次迭代时减小了$\mathrm{KL}$发散，并证明了在种群极限下SVGD的复杂度界.
2022-06-01 cs.LG math.PR math.ST
Bayesian Deep Learning for Remaining Useful Life Estimation via Stein Variational Gradient Descent
Concordia University（康考迪亚大学）；Gina Cody School of Engineering and Computer Science（吉娜·科迪工程与计算机科学学院）；Università degli Studi di Padova（帕多瓦大学）；Mila-Quebec AI Institute（米拉-魁北克人工智能研究所）
本研究采用Stein变分梯度下降训练贝叶斯深度学习模型，用于估计物理系统剩余使用寿命，在模拟涡扇发动机数据上验证了其优于参数变分推断和频率派方法的收敛速度与预测性能，并提出基于不确定性的性能增强方法。
2024-02-02 cs.LG stat.ML
Improved Stein Variational Gradient Descent with Importance Weights
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
Stein变分梯度下降（SVGD）是一种在各种机器学习任务中使用的流行采样算法。众所周知，SVGD源于Kullback-Leibler发散$D_{KL}\left(\cdot\midπ\right)$的核化梯度流的离散化，其中$π$是目标分布。在这项工作中，我们建议通过引入重要性权重来增强SVGD，这导致了一种新的方法，我们将其命名为$β$ -SVGD。在连续时间和无限粒子状态下，该流动收敛到平衡分布$π$的时间（由Stein Fisher信息量化）非常弱地依赖于$ρ_0$和$π$。这与Kullback-Leibler发散的核化梯度流非常不同，后者的时间复杂度取决于$D_{KL}\left(ρ_0\midπ\right)$。在一定的假设下，我们提供了一个下降引理的人口限制$β$ -SVGD，它涵盖了下降引理的人口限制SVGD时，$β\to 0$。通过实验说明了$β$ -SVGD相对于SVGD的优越性。
2022-11-21 cs.LG math.ST stat.TH
Communication-Efficient Gradient Descent-Accent Methods for Distributed Variational Inequalities: Unified Analysis and Local Updates
AMS & MINDS（AMS与MINDS机构）；Johns Hopkins University（约翰斯·霍普金斯大学）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
本文针对分布式变分不等式问题提出统一框架，分析并设计了首个在异构数据上具有可证明改进通信复杂度的局部梯度下降-上升算法，在特化时能恢复现有最优算法的收敛保证。
2024-06-03 cs.LG math.OC stat.ML
Augmented Message Passing Stein Variational Gradient Descent
School of Information Science and Technology（信息科学与技术学院）；College of Mathematics and Statistics（数学与统计学院）；ShanghaiTech University（上海科技大学）；Chongqing University（重庆大学）
针对 SVGD 中的方差塌缩问题，提出两阶段优化的 AUMP-SVGD 方法，无需目标分布稀疏性，在高维问题中提升了准确性与多样性。
2023-05-18 cs.LG stat.ML
Stein Variational Gradient Descent Without Gradient
Computer Science, Dartmouth College（达特茅斯学院计算机科学（系））；Computer Science, The University of Texas at Austin（德克萨斯大学奥斯汀分校计算机科学（系））
Stein变分梯度下降（SVGD）已被证明是一个强大的近似推理算法复杂的分布。然而，标准SVGD需要计算目标密度的梯度，并且当梯度不可用时不能应用。在这项工作中，我们开发了一个无梯度的变体SVGD（GF-SVGD），它取代了真正的梯度与替代梯度，并纠正诱导偏差通过重新加权的梯度在一个适当的形式。我们表明，我们的GF-SVGD可以被看作是一个特殊的选择内核的标准SVGD，因此直接继承了SVGD的理论性质。我们摆脱的替代梯度的经验选择的见解，并提出了退火GF-SVGD，利用模拟退火的想法，以提高性能的高维复杂分布。实证研究表明，我们的方法始终优于一些最近先进的无梯度MCMC方法。
2018-06-07 cs.LG stat.ML
Sampling in Constrained Domains with Orthogonal-Space Variational Gradient Descent
Purdue University（普渡大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；National University of Singapore（新加坡国立大学）
抽样方法是一种重要的推理和学习技术，通常是针对无约束领域设计的。然而，在机器学习问题中，约束是普遍存在的，例如关于安全性、公平性、鲁棒性和许多其他属性的约束，这些约束必须满足才能将采样结果应用于现实生活中的应用。强制执行这些约束通常会导致隐式定义的流形，使得具有约束的有效采样非常具有挑战性。在本文中，我们提出了一个新的变分框架与设计的正交空间梯度流（O-梯度）采样流形$\mathcal{G}_0$定义的一般等式约束。O-Gradient将梯度分解为两部分：一部分减小到$\mathcal{G}_0$的距离，另一部分减小正交空间中的KL散度。虽然大多数现有的流形采样方法需要在$\mathcal{G}_0$上进行初始化，但O-梯度不需要这样的先验知识。证明了在较弱的条件下，O-梯度以速率$\widetilde{O}(1/\text{the number of iterations})$收敛于目标约束分布.我们的证明依赖于一个新的条件测度的Stein特征，这可能是独立的利益。我们通过Langevin动力学和Stein变分梯度下降实现O-梯度，并在各种实验中证明了其有效性，包括贝叶斯深度神经网络。
2022-10-12 cs.LG stat.ML
Constrained Stein Variational Gradient Descent for Robot Perception, Planning, and Identification
University of Utah Robotics Center（犹他大学机器人中心）；NVIDIA（英伟达）
本文提出两种将约束优化原理与 Stein 变分梯度下降相结合的新框架，用于在满足任意约束条件下学习近似分布，并在机器人运动规划、关节角度和物体位姿估计等任务中验证了其有效性。
2025-05-31 cs.LG cs.RO
Greedy Stein Variational Gradient Descent: An algorithmic approach for wave prospection problems
本文提出梯度引导Stein变分梯度下降（G-SVGD）算法，结合加权梯度与ELBO的新损失函数加速收敛，在波勘探模型中表现出优于SVGD和MCMC的计算效率与精度。
2025-01-31 stat.CO
Stein Variational Gradient Descent with Multiple Kernel
University of Electronic Science and Technology of China（电子科技大学）；Harbin Institute of Technology（哈尔滨工业大学）；Peng Cheng Lab（鹏城实验室）
Stein变分梯度下降（SVGD）及其变体在复杂分布的近似推理中表现出很好的成功。在实践中，我们注意到基于SVD的方法中使用的内核对经验性能具有决定性影响。径向基函数（RBF）内核与中值算法是一种常见的选择，在以前的方法，但不幸的是，这已被证明是次优的。受多核学习（MKL）范式的启发，我们对这个缺陷的解决方案是使用多个内核的组合来近似最佳内核，而不是可能限制性能和灵活性的单个内核。具体地说，我们首先扩展核斯坦离散（KSD）的多内核视图称为多核斯坦离散（MKSD），然后利用MKSD构建一个通用的算法多核SVGD（MK-SVGD）。此外，MKSVGD可以自动为每个内核分配权重，而无需任何其他参数，这意味着我们的方法不仅摆脱了最佳内核依赖，而且保持了计算效率。各种任务和模型上的实验表明，我们提出的方法始终匹配或优于竞争方法。
2022-03-23 cs.LG stat.ML
Stochastic gradient descent performs variational inference, converges to limit cycles for deep networks
University of California, Los Angeles（加州大学洛杉矶分校）
人们普遍认为，随机梯度下降（SGD）在用于训练深度神经网络时可以执行隐式正则化，但迄今为止，这种情况发生的精确方式还很难理解。我们证明，SGD最小化的平均潜力后验分布的权重随着熵正则化项。然而，该势一般不是原始损失函数。因此SGD确实执行变分推理，但损失与用于计算梯度的损失不同。更令人惊讶的是，SGD甚至没有在经典意义上收敛：我们表明，深度网络的SGD最有可能的轨迹并不像临界点周围的布朗运动。相反，它们类似于具有确定性组件的闭环。我们证明了这种“失衡”行为是SGD中高度非各向同性梯度噪声的结果;深度网络的小批量梯度的协方差矩阵的秩小到其维数的1%。我们提供了这些主张的广泛的经验验证，证明在附录中。
2018-01-16 cond-mat.stat-mech cs.LG math.OC
Stabilizing Training of Generative Adversarial Nets via Langevin Stein Variational Gradient Descent
Bioinformatics Institute, A*STAR（新加坡科技研究局生物信息学研究所）；Huaiyin Normal University（淮阴师范学院）；Nanjing Normal University（南京师范大学）；University of Alberta（阿尔伯塔大学）
生成对抗网络（GANs）以学习复杂的底层数据分布的能力而闻名，然而，众所周知，在训练过程中是棘手的，这可能会导致模式坍塌或性能恶化。目前处理GANs问题的方法几乎都是利用一些实用的训练技术来进行正则化，这在另一方面破坏了GAN的收敛性和理论合理性。在本文中，我们提出了稳定GAN训练通过一种新的基于粒子的变分推理-朗之万斯坦变分梯度下降（LSVGD），它不仅继承了原始SVGD的灵活性和效率，但旨在解决其不稳定性问题，通过将额外的干扰到更新动态。我们进一步证明，通过适当地调整噪声方差，LSVGD模拟Langevin过程，其平稳分布正是目标分布。我们还表明，LSVGD动力学有一个隐式正则化，这是能够提高粒子的扩散和多样性。最后，我们提出了一种有效的方法，适用于一般的GAN的训练过程中，无论损失函数采用基于粒子的变分推理。在一个合成数据集和三个流行的基准数据集Cifar-10、Tiny-ImageNet和CelebA上的实验结果验证了LSVGD可以显著提高各种GAN模型的性能和稳定性。
2020-04-22 cs.CV cs.LG stat.ML
Message Passing Stein Variational Gradient Descent
Stein变分梯度下降（SVGD）是最近提出的一种基于粒子的贝叶斯推断方法，与传统的变分推断和马尔可夫链蒙特卡罗方法相比，它具有显着的逼近能力和粒子效率，引起了人们的广泛兴趣。然而，我们观察到SVGD的粒子倾向于坍缩到目标分布的模式，并且这种粒子简并现象随着维数的增加而变得更加严重。我们的理论分析发现，存在着一个负相关的维数和排斥力的SVGD这应该归咎于这一现象。我们提出了消息传递SVGD（MP-SVGD）来解决这个问题。MP-SVGD利用概率图模型（PGMs）的条件独立性结构，将原始的高维全局推理问题转化为马尔可夫毯上的一组低维局部推理问题.实验结果表明，与SVGD方法相比，该方法在防止高维空间排斥力消失方面具有优势，在图形模型上的粒子效率和逼近灵活性也优于其他推理方法.
2018-06-08 stat.ML
Stein Variational Gradient Descent: many-particle and long-time asymptotics
Institute of Mathematics, Universität Potsdam（波茨坦大学数学研究所）；WIAS Berlin（柏林应用分析与随机学研究所）
Stein变分梯度下降（SVGD）是一类基于相互作用粒子系统的贝叶斯推断方法。在本文中，我们认为最初提出的确定性动力学以及随机变量，其中每一个代表的两个主要范例之一，在贝叶斯计算统计：变分推断和马尔可夫链蒙特卡罗。事实证明，这些是通过梯度流结构和植根于统计物理学的大偏差原理之间的对应关系紧密联系在一起的。为了揭示这种关系，我们开发的余切空间建设的斯坦几何，证明其基本性质，并确定大偏差功能管理的经验措施的多粒子极限。此外，我们确定费舍尔信息（或核化Stein差异）作为其在长时间和多粒子制度的$Γ$ -收敛的意义上的领先订单的贡献，脱落的有限粒子SVGD的属性的一些光。最后，我们建立了Stein-费舍尔信息和RKHS-范数之间的一个比较原则，这可能是独立的利益。
2021-02-25 cs.LG cs.NA math.AP
Tight Last-Iterate Convergence of the Extragradient and the Optimistic Gradient Descent-Ascent Algorithm for Constrained Monotone Variational Inequalities
Yale University（耶鲁大学）
单调变分不等式是数学规划中的一个中心问题，它统一和推广了光滑凸优化、二人零和对策、凹凸鞍点问题、Korpelevich [1976]提出的外梯度算法和Popov [1980]提出的最优梯度下降-上升算法可以说是求解单调变分不等式的两种最经典和最流行的方法。尽管历史悠久，但以下主要问题仍然存在。对于带约束的单调和Lipschitz变分不等式，超梯度算法或乐观梯度下降-上升算法的最终收敛速度是多少？我们通过证明额外梯度算法和乐观梯度下降-上升算法对于任意凸可行集都具有严格的$O\left(\frac{1}{\sqrt{T}}\right)$最后迭代收敛速度来解决这个悬而未决的问题，该收敛速度与Golowich等人的下限相匹配。[2020 a，b]。我们的比率是用标准差距函数来衡量的。在我们的研究结果的核心在于一个非标准的性能指标-切线残差，它可以被看作是一个适应的范数的运营商，考虑到当地的约束。我们使用切线残差（或切线残差的微小变化）作为势函数来分析额外梯度算法（或乐观梯度下降-上升算法），并证明了它在两个连续迭代之间是不增加的。
2022-05-16 cs.DS cs.GT cs.LG
The Last-Iterate Convergence Rate of Optimistic Mirror Descent in Stochastic Variational Inequalities
ENS（巴黎高等师范学院）；Univ. PSL（巴黎文理研究大学）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）；Inria（法国国家信息与自动化研究所）；Criteo AI Lab（Criteo人工智能实验室）
在本文中，我们分析了乐观镜像下降法在随机变分不等式中的局部收敛速度，这是一类在学习理论和机器学习中有重要应用的最优化问题。我们的分析揭示了算法的收敛速率和由该方法的基本Bregman函数引起的局部几何之间的复杂关系。我们量化这种关系的勒让德指数，一个概念，我们介绍来衡量的增长率的Bregman发散相对于周围的正常附近的解决方案。我们表明，这个指数决定了算法的最佳步长策略和达到的最佳速率，以这种方式解释了一些流行的Bregman函数（欧几里得投影，负熵，分数幂等）观察到的差异。
2021-07-05 cs.LG math.OC
Finite-Particle Rates for Regularized Stein Variational Gradient Descent
Department of Mathematics, Georgia Institute of Technology（佐治亚理工学院数学系）；Department of Statistics, University of California, Davis（加州大学戴维斯分校统计系）；Department of Statistics and Operations Research, University of North Carolina, Chapel Hill（北卡罗来纳大学夏洛特分校统计与运筹学系）；Department of Statistics, University of Chicago（芝加哥大学统计系）
本文研究了正则化Stein变分梯度下降算法的有限粒子率，通过应用树脂型预条件器来校正SVGD的常数阶偏差，推导了时间平均经验测度的非渐近界，并在目标满足W₁I条件下，证明了对于光滑核函数的大类，W₁收敛。
2026-05-18 cs.LG math.ST stat.ML
On the mean-field limit for Stein variational gradient descent: stability and multilevel approximation
针对似然评估成本高的贝叶斯反问题中Stein变分梯度下降计算开销大的问题，提出多层SVGD变体，通过并行运行不同似然近似层级的粒子动力学并调整各层粒子数，可显著降低计算复杂度，数值实验验证了理论加速效果。
2024-02-02 cs.NA math.NA stat.ME
Adaptive Kernel Selection for Stein Variational Gradient Descent
Universität Mannheim（曼海姆大学）；MIT（麻省理工学院）；Universität Heidelberg（海德堡大学）
本文提出Ad-SVGD方法，通过自适应调整核参数提升SVGD在高维数据中的性能。
2025-12-04 cs.LG stat.ML
Importance Sampled Stochastic Optimization for Variational Inference
变分推断通过最大化模型证据的下限来近似具有参数化密度的概率模型的后验分布。现代的解决方案适合一个灵活的近似与随机梯度下降，使用蒙特卡罗近似的梯度。这使得变分推断的任意可微的概率模型，从而使变分推断的概率编程语言的可行性。在这项工作中，我们开发了更有效的推理算法的任务，考虑重要性抽样估计的梯度。我们展示了如何在不需要重新计算模型本身的梯度的情况下，通常可以有效地评估近似参数的梯度，然后继续推导出使用重要性采样估计来加速计算的实用算法。我们提出了重要性采样随机梯度下降，它在一系列模型中明显优于标准随机梯度下降，并为变分推断提供了随机平均梯度的合理变体。
2017-07-12 stat.ML
Variational Inference via Entropic Transport Descent
School of Aerospace Engineering（航空航天工程学院）；Georgia Institute of Technology（佐治亚理工学院）；Atlanta, GA 30332（亚特兰大, GA 30332）
提出熵传输下降（ETD），一种基于粒子变分推断方法，通过熵正则化最优传输实现全局协调，避免高维方差坍塌和多模态模式坍塌，无需评分函数。
2026-06-25 cs.LG
Towards Understanding the Dynamics of Gaussian-Stein Variational Gradient Descent
Harvard University（哈佛大学）；Massachusetts Institute of Technology（麻省理工学院）；University of California, Davis（加州大学戴维斯分校）
本文通过将SVGD投影到高斯分布族，系统研究了高斯-SVGD的平均场与有限粒子动力学，证明了强对数凹目标下的线性收敛性，并提出统一框架涵盖多种GVI算法，深化了对SVGD和GVI的理论理解。
2023-10-28 cs.LG math.PR math.ST
Riesz-Kernel Stein Variational Gradient Descent: Renormalized Entropy and Long-Time Particle Limits
Rice University（里士大学）
研究去除自相互作用的周期里斯SVGD，证明多粒子长时间采样定理。在奇异斯坦能量局部可积且初始粒子相对熵有界时，时间平均经验测度律弱收敛到目标点质量。还表明有限相对熵不变粒子律诱导的经验测度律也收敛，且在对数奇点阈值下有有限粒子误差界。
2026-07-17 cs.LG math.AP
Multirate Stein Variational Gradient Descent for Efficient Bayesian Sampling
Department of Computer Engineering and Computer Science, California State University, Long Beach（加州州立大学长滩分校计算机工程与计算机科学系）
本文提出多速率SVGD方法，通过不同时间尺度更新不同组件，提升高维、各向异性或分层后验中的鲁棒性和效率，尤其在刚性分层、强各向异性及多模态目标中表现最佳。
2026-04-05 cs.LG stat.CO
Quantum Shadow Gradient Descent for Variational Quantum Algorithms
Indiana University（印第安纳大学）；Purdue University（普渡大学）
针对变分量子电路梯度估计中因状态坍缩导致的样本无法重用问题，提出基于影子层析成像的量子影子梯度下降（QSGD）方法，每次迭代仅需单样本即可估计所有梯度分量，显著提升样本效率并实现更快的收敛速度。
2024-08-22 cs.LG quant-ph
The Blind Normalized Stein Variational Gradient Descent-Based Detection for Intelligent Random Access in Cellular IoT
University of Illinois Chicago（伊利诺伊大学芝加哥分校）
针对蜂窝物联网智能随机接入中的导频冲突问题，提出基于最大似然估计的早期导频检测方案，采用盲归一化Stein变分梯度下降检测器，结合修正Hadamard变换层去噪，无需噪声功率和活跃设备数先验知识，提升检测精度和吞吐量。
2025-01-20 cs.AI cs.IT cs.LG
Solving Inverse Problems with Conditional-GAN Prior via Fast Network-Projected Gradient Descent
Technische Universität Berlin（柏林工业大学）；Technische Universität München（慕尼黑工业大学）
投影梯度下降（PGD）方法已经显示出在恢复由生成模型以数据驱动的方式描述的压缩信号中是有效的，即，生成器，其已经学习了数据分布。这种逆问题的进一步重建改进可以通过根据测量调节生成器来实现。边界均衡生成对抗网络（BEGAN）实现了基于均衡的损失函数和自动编码的均衡器，以更好地平衡生成器和均衡器的性能。在这项工作中，我们研究了一个基于网络的投影梯度下降（NPGD）算法的测量条件生成模型，以解决反问题比常规PGD快得多。我们结合NPGD和条件GAN/BEGAN来评估它们在解决压缩感知类问题中的有效性。我们在MNIST和CelebA数据集上的实验表明，测量条件模型与NPGD的组合在恢复压缩信号方面效果很好，同时实现了类似或在某些情况下甚至更好的性能以及更快的重建。实验中获得的重建速度提升可达140-175。
2021-09-02 cs.IT cs.LG eess.SP
Accelerated Gradient Descent Escapes Saddle Points Faster than Gradient Descent
University of California, Berkeley（加州大学伯克利分校）；Microsoft Research, India（微软印度研究院）
Nesterov的加速梯度下降（AGD），一般家庭的“动量方法”的一个例子，证明了实现更快的收敛速度比梯度下降（GD）在凸设置。然而，这些方法是否优于GD在非凸设置仍然开放。本文研究了AGD的一个简单的变形，并证明了它在$\tilde{O}(1/ε^{7/4})$迭代中能逃脱鞍点并找到二阶稳定点，比GD所需的$\tilde{O}(1/ε^{2})$迭代快。据我们所知，这是第一个Hessian-free算法找到一个二阶稳定点比GD更快，也是第一个单循环算法，甚至在设置中找到一个一阶稳定点的速度比GD更快。我们的分析基于两个关键思想：（1）使用一个简单的哈密顿函数，灵感来自连续时间的角度，AGD单调递减每一步，即使是非凸函数，和（2）一个新的框架称为改善或本地化，这是有用的跟踪基于梯度的优化算法的长期行为。我们相信这些技术可以加深我们对加速算法和非凸优化的理解。
2017-11-28 cs.LG math.OC stat.ML
Structure-aware Bayesian full waveform inversion via diffusion-regularized Stein variational gradient descent
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
该研究针对传统ASVGD-FWI的先验不足问题，将学习型扩散模型作为隐式正则化引入框架，结合FWI数据一致性、ASVGD后验多样性，提升了反演稳定性与不确定性可解释性。
2026-10-15 cs.LG physics.geo-ph stat.ML
Efficient variational Bayesian neural network ensembles for outlier detection
Imperial College London（帝国理工学院）
在这项工作中，我们进行离群值检测使用的神经网络的集合通过变分近似的贝叶斯神经网络设置中的后验。变分参数通过梯度下降法从真实后验样本中采样得到。我们表明，我们的离群值检测结果与使用其他有效的集成方法获得的结果相当。
2017-04-22 cs.LG stat.ML
Faster Coordinate Descent via Adaptive Importance Sampling
ETH Zurich（苏黎世联邦理工学院）；EPFL（洛桑联邦理工学院）
坐标下降法采用随机部分更新的决策变量，以解决大规模的凸优化问题。在这项工作中，我们引入了新的自适应规则，随机选择他们的更新。所谓自适应，我们的意思是我们的选择规则是基于对偶残差或原始-对偶间隙估计，并且可以在每次迭代时改变。我们从理论上描述了我们的选择规则的性能，并证明了最先进的改进，并将我们的理论和算法扩展到一般的凸目标。用铰链损失支持向量机和Lasso的数值实验证实了理论与实践的一致性。
2017-03-07 cs.CV cs.LG math.OC
