Condensed Stein Variational Gradient Descent for Uncertainty Quantification of Neural Networks
Cornell University（康奈尔大学）；Sandia National Laboratories（桑迪亚国家实验室）；Pasteur Labs（巴斯德实验室）
提出cSVGD方法，通过图协调与浓缩过程同时稀疏化、训练复杂模型并提供参数级不确定性量化，加速收敛，在固体力学应用中验证了有效性。
2024-12-21 cs.LG physics.comp-ph stat.ML
Kernel Stein Discrepancy Descent
CREST（经济与统计研究中心）；ENSAE（法国国立统计与经济管理学院）；Institut Polytechnique de Paris（巴黎理工学院）；CAS（中国科学院）；MINES ParisTech（巴黎高等矿业学院）；CMAP（应用数学中心）；Ecole Polytechnique（巴黎综合理工学院）；CNRS（法国国家科学研究中心）；DMA（数学系）；Ecole Normale Supérieure（巴黎高等师范学院）
在各种概率分布之间的差异中，核Stein离散性（KSD）是近年来研究的热点.我们调查其Wasserstein梯度流近似的目标概率分布$π$ $\mathbb{R}^d$，已知的归一化常数的属性。这导致了一个直接可实现的，确定性的基于分数的方法，从$π$采样，命名为KSD下降，它使用一组粒子来近似$π$。值得注意的是，由于易于处理的损失函数，KSD Descent可以利用强大的无参数优化方案，如L-BFGS;这与其他流行的基于粒子的方案形成对比，如Stein变分梯度下降算法。我们研究了KSD下降的收敛性，并证明了其实际意义。然而，我们也强调失败的情况下，表明该算法可以陷入虚假的局部极小值。
2021-05-20 cs.LG stat.ML
Annealed Stein Variational Gradient Descent
ETH Zürich（苏黎世联邦理工学院）
基于粒子的优化算法最近已经被开发为迭代地更新一组粒子以近似目标分布的采样方法。特别是Stein变分梯度下降已经获得了近似推理文学的灵活性和准确性的关注。我们经验性地探索了这种方法从多模态分布中采样的能力，并专注于两个重要问题：（i）粒子无法从局部模式中逃脱;（ii）在再现不同区域的密度时的无效性。我们提出了一个退火时间表来解决这些问题，并显示，通过各种实验，这个简单的解决方案如何导致模式覆盖率的显着改善，而不会使原算法的任何理论属性无效。
2021-03-18 cs.LG
A Finite-Particle Convergence Rate for Stein Variational Gradient Descent
Stanford University（斯坦福大学）；Microsoft Research New England（微软研究院新英格兰分院）
该研究首次推导了Stein变分梯度下降（SVGD）的有限粒子非渐近收敛速率，证明在次高斯目标分布下核Stein差异以1/√(log log n)速率收敛，并提出可作为后续优化模板的显式证明策略。
2023-11-02 cs.LG stat.ML
A Note on the Convergence of Mirrored Stein Variational Gradient Descent under $(L_0,L_1)-$Smoothness Condition
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；KAUST（阿卜杜拉国王科技大学）
本文建立了总体极限的MiraminStein变分梯度法~（MSVGD）的一个下降引理。该下降引理不依赖于MSVGD的路径信息，而是依赖于镜像分布$\nablaΨ_{\#}π\propto\exp(-V)$的简单假设。我们的分析表明，MSVGD可以适用于更广泛的一类非光滑$V$的约束抽样问题。我们还调查的复杂性的人口限制MSVGD方面的尺寸$d$。
2022-06-20 cs.LG math.OC math.ST
On the Parallel Complexity of Multilevel Monte Carlo in Stochastic Gradient Descent
Tokyo Institute of Technology（东京工业大学）；ETH Zurich（苏黎世联邦理工学院）
针对多层蒙特卡洛（MLMC）在大规模并行平台上扩展性差的问题，提出延迟MLMC梯度估计器，通过复用历史梯度分量降低并行复杂度，在深度对冲实验中验证了其并行性能优势。
2023-10-10 cs.LG stat.ML
Stein Variational Gradient Descent as Moment Matching
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
Stein变分梯度下降（SVGD）是一种非参数推理算法，它演化一组粒子来拟合给定的感兴趣分布。我们分析了非渐近性质的SVGD，存在一组功能，我们称之为Stein匹配集，其期望值是完全估计的任何一组粒子，满足不动点方程的SVGD。该集合是Stein算子在SVGD中使用的正定核的特征映射上的图像。我们的研究结果提供了一个理论框架，分析不同的内核的SVGD的性能，脱落洞察到最佳的内核选择。特别是，我们表明，SVGD与线性内核产生精确估计的均值和方差的高斯分布，而随机傅立叶特征使概率界分布近似。我们的研究结果提供了一个令人耳目一新的观点，经典的推理问题，拟合斯坦的身份或解决斯坦方程，这可能会激发更有效的算法。
2018-10-27 cs.LG stat.ML
A stochastic version of Stein Variational Gradient Descent for efficient sampling
Shanghai Jiao Tong University（上海交通大学）；Duke University（杜克大学）
在这项工作中，我们提出RBM-SVGD，斯坦变分梯度下降（SVGD）方法的随机版本有效地从一个给定的概率测度采样，从而有用的贝叶斯推断。该方法是将Jin等人提出的相互作用粒子系统的随机批处理方法（RBM）应用于SVGD中的相互作用粒子系统。在保持SVGD行为的同时，减少了计算量，特别是当相互作用的核具有长范围时。数值算例验证了该方法的有效性。
2019-04-11 cs.LG math.PR stat.ML
Stein Variational Gradient Descent With Matrix-Valued Kernels
UT Austin（德克萨斯大学奥斯汀分校）
Stein变分梯度下降（SVGD）是一种基于粒子的推理算法，它利用梯度信息进行有效的近似推理。在这项工作中，我们提高了SVGD利用预处理矩阵，如Hessian和费舍尔信息矩阵，将几何信息到SVGD更新。我们通过提出SVGD的一般化来实现这一点，该一般化用更一般的矩阵值核取代vanilla SVGD中的标数值核。这产生了SVGD的显著扩展，更重要的是，允许我们灵活地结合各种预处理矩阵来加速概率景观中的探索。实证结果表明，我们的方法优于香草SVGD和各种基线方法在一系列现实世界的贝叶斯推断任务。
2019-11-05 cs.LG stat.ML
Branching Stein Variational Gradient Descent for sampling multimodal distributions
) Kyoto University, Disaster Prevention Research Institute, Japan；) Centro de Investigaci\'on en Matem\'aticas A.C., Department of Probability；) ETH Zurich, Department of Mathematics, Switzerland
本文提出分支 Stein 变分梯度下降（BSVGD），通过随机分支机制扩展 SVGD 以更好地采样多模态分布，并给出收敛性理论保证及基于 Wasserstein 距离和计算时间的实验对比验证。
2025-07-17 cs.LG stat.CO stat.ML
Convergence of Stein Variational Gradient Descent under a Weaker Smoothness Condition
KAUST（阿卜杜拉国王科技大学）
Stein变分梯度下降（SVGD）是Langevin型算法的一个重要替代方案，用于从$π(x) \propto \exp(-V(x))$形式的概率分布中采样。在现有的Langevin型算法和SVGD理论中，常假设势函数$V$是$L$ -光滑的.然而，这个限制性条件排除了一大类潜在的功能，如多项式的次数大于$2$。本文研究了具有$(L_0,L_1)$ -光滑位势分布的SVGD算法的收敛性。这种放松的平滑假设是由Zhang等人[2019 a]引入的，用于分析梯度裁剪算法。在独立于概率的辅助条件下，我们给出了一个下降引理，证明了算法在每次迭代时减小了$\mathrm{KL}$发散，并证明了在种群极限下SVGD的复杂度界.
2022-06-01 cs.LG math.PR math.ST
Low Stein Discrepancy via Message-Passing Monte Carlo
Illinois Institute of Technology（伊利诺伊理工学院）；MIT（麻省理工学院）；Heidelberg University（海德堡大学）
本文扩展消息传递蒙特卡洛框架以采样一般多元分布，通过最小化核化Stein差异提出Stein-MPMC方法，实现比现有方法更低的Stein差异。
2025-03-27 cs.LG cs.NA math.NA
Improved Stein Variational Gradient Descent with Importance Weights
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
Stein变分梯度下降（SVGD）是一种在各种机器学习任务中使用的流行采样算法。众所周知，SVGD源于Kullback-Leibler发散$D_{KL}\left(\cdot\midπ\right)$的核化梯度流的离散化，其中$π$是目标分布。在这项工作中，我们建议通过引入重要性权重来增强SVGD，这导致了一种新的方法，我们将其命名为$β$ -SVGD。在连续时间和无限粒子状态下，该流动收敛到平衡分布$π$的时间（由Stein Fisher信息量化）非常弱地依赖于$ρ_0$和$π$。这与Kullback-Leibler发散的核化梯度流非常不同，后者的时间复杂度取决于$D_{KL}\left(ρ_0\midπ\right)$。在一定的假设下，我们提供了一个下降引理的人口限制$β$ -SVGD，它涵盖了下降引理的人口限制SVGD时，$β\to 0$。通过实验说明了$β$ -SVGD相对于SVGD的优越性。
2022-11-21 cs.LG math.ST stat.TH
Projected Stein Variational Gradient Descent
Oden Institute for Computational Engineering and Sciences（奥登计算工程与科学研究所）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
维数灾难是高维贝叶斯推理中的一个长期挑战。在这项工作中，我们提出了一个投影斯坦变分梯度下降（pSVGD）的方法来克服这一挑战，利用的基本属性的内在低维的数据知情的子空间源于不适定性的问题。我们自适应地构造子空间使用的梯度信息矩阵的对数似然，并应用pSVGD的参数投影的低得多的维系数。该方法比SVGD方法更准确、更高效。它也被证明是更可扩展的参数，样本，数据点，和处理器内核的数量，通过实验与参数尺寸范围从数百到数万。
2020-06-10 cs.LG stat.ML
Learning Equivariant Energy Based Models with Equivariant Stein Variational Gradient Descent
Bosch-Delta Lab（博世-德尔塔实验室）；University of Amsterdam（阿姆斯特丹大学）
我们专注于问题的有效采样和学习的概率密度，将对称性的概率模型。我们首先介绍了等变Stein变分梯度下降算法--一种基于Stein恒等式的等变采样方法，用于对称密度的采样。等变SVGD通过等变核显式地将对称信息并入密度中，这使得所得到的采样器在样本复杂度和所生成样本的质量方面都是有效的。随后，我们定义了基于等变能量的模型来模拟使用对比发散学习的不变密度。通过利用我们的等变SVGD来训练等变EBM，我们提出了改进和扩展基于能量的模型训练的新方法。我们将这些等变能量模型应用于图像数据集，多体粒子系统和分子结构生成的回归和分类任务中的联合密度建模。
2021-07-29 cs.AI cs.LG stat.ML
Grassmann Stein Variational Gradient Descent
Imperial College London（帝国理工学院）；University of Oxford（牛津大学）
Stein变分梯度下降（SVGD）是一种确定性粒子推理算法，它为马尔可夫链蒙特卡罗提供了一种有效的替代方案。然而，SVGD已被发现遭受方差低估时，目标分布的维数是高的。最近的发展主张投影的得分函数和数据到真正的线，以回避这个问题，虽然这可能会严重高估的认识（模型）的不确定性。在这项工作中，我们提出了格拉斯曼斯坦变分梯度下降（GSVGD）作为一种替代方法，它允许投影到任意维的子空间。与其他依赖于降维的SVGD算法相比，GSVGD算法同时更新得分函数和数据的投影，最优投影通过探索有利子空间的耦合Grassmann扩散过程确定.我们的理论和实验结果表明，GSVGD享有有效的状态空间探索高维问题，具有内在的低维结构。
2022-03-11 cs.LG stat.ME stat.ML
On the geometry of Stein variational gradient descent
Imperial College London（帝国理工学院）；The Alan Turing Institute（艾伦·图灵研究所）；University of Edinburgh（爱丁堡大学）
贝叶斯推断问题需要对高维概率分布进行采样或近似。本文的重点是最近推出的斯坦变分梯度下降法，一类算法，依赖于迭代最速下降步骤的再生核希尔伯特空间范数。这种构造导致相互作用的粒子系统，其平均场极限是在具有一定几何结构的概率分布空间上的梯度流。我们利用这个观点来阐明算法的收敛性，特别是解决选择一个合适的正定核函数的问题。我们的分析使我们考虑某些不可微内核调整的尾巴。我们证明了显着的性能增益，这些在各种数值实验。
2023-02-12 cs.LG math.AP math.ST
A Stein variational Newton method
University of Bath（巴斯大学）；The Alan Turing Institute（艾伦·图灵研究所）；Monash University（莫纳什大学）；Massachusetts Institute of Technology（麻省理工学院）；Heidelberg University（海德堡大学）
本文提出了一种基于Stein变分梯度下降（SVGD）的改进方法，通过引入二阶信息加速并推广了该算法，实现了函数空间中的牛顿迭代，并展示了在多个测试案例中显著的计算效率提升。
2018-10-29 cs.LG cs.NA math.NA
Stein Variational Gradient Descent with Multiple Kernel
University of Electronic Science and Technology of China（电子科技大学）；Harbin Institute of Technology（哈尔滨工业大学）；Peng Cheng Lab（鹏城实验室）
Stein变分梯度下降（SVGD）及其变体在复杂分布的近似推理中表现出很好的成功。在实践中，我们注意到基于SVD的方法中使用的内核对经验性能具有决定性影响。径向基函数（RBF）内核与中值算法是一种常见的选择，在以前的方法，但不幸的是，这已被证明是次优的。受多核学习（MKL）范式的启发，我们对这个缺陷的解决方案是使用多个内核的组合来近似最佳内核，而不是可能限制性能和灵活性的单个内核。具体地说，我们首先扩展核斯坦离散（KSD）的多内核视图称为多核斯坦离散（MKSD），然后利用MKSD构建一个通用的算法多核SVGD（MK-SVGD）。此外，MKSVGD可以自动为每个内核分配权重，而无需任何其他参数，这意味着我们的方法不仅摆脱了最佳内核依赖，而且保持了计算效率。各种任务和模型上的实验表明，我们提出的方法始终匹配或优于竞争方法。
2022-03-23 cs.LG stat.ML
Accelerating Convergence of Stein Variational Gradient Descent via Deep Unfolding
Tokyo Institute of Technology（东京工业大学）
本文提出将深度展开技术融入 Stein 变分梯度下降，通过可训练方式学习其内部参数以加速收敛，并在高斯混合采样、贝叶斯逻辑回归和贝叶斯神经网络任务中验证了其优于传统 SVGD 变体的收敛性能。
2024-02-23 cs.LG stat.ML
Federated Generalized Bayesian Learning via Distributed Stein Variational Gradient Descent
King’s College London（伦敦国王学院）
本文介绍了分布式Stein变分梯度下降（DSVGD），一个非参数广义贝叶斯推理框架的联邦学习。DSVGD在一个中央服务器上维护了一些非随机和相互作用的粒子，以表示模型全局后验的当前时间。粒子由其中一个代理迭代下载和更新，最终目标是最小化全局自由能。通过改变粒子的数量，DSVGD实现了每次迭代通信负载和通信轮数之间的灵活权衡。DSVGD被证明可以与基准频率论和贝叶斯联邦学习策略相媲美，在代理数量的准确性和可扩展性方面，也可以在每次迭代中调度单个设备，同时还可以提供经过良好校准的，因此值得信赖的预测。
2021-03-30 cs.IT cs.LG eess.SP
The equivalence between Stein variational gradient descent and black-box variational inference
Stanford University（斯坦福大学）；Preferred Networks；The Institute of Statistical Mathematics（统计数理研究所）
我们形式化了两种流行的贝叶斯推理方法之间的等价性：斯坦变分梯度下降（SVGD）和黑箱变分推理（BBVI）。特别是，我们表明，BBVI正好对应于SVGD时，内核是神经切线核。此外，我们解释SVGD和BBVI内核梯度流，我们这样做，利用最近的观点，认为SVGD作为一个梯度流的概率分布的空间，并显示BBVI自然激励黎曼结构的空间。我们观察到，内核梯度流也描述了生成对抗网络（GANs）训练中发现的动态。因此，这项工作统一了变分推理和生成建模中的几种现有技术，并将内核确定为控制这些算法行为的基本对象，从而激发对其属性进行更深入的分析。
2020-04-04 cs.LG stat.ML
Constrained Stein Variational Gradient Descent for Robot Perception, Planning, and Identification
University of Utah Robotics Center（犹他大学机器人中心）；NVIDIA（英伟达）
本文提出两种将约束优化原理与 Stein 变分梯度下降相结合的新框架，用于在满足任意约束条件下学习近似分布，并在机器人运动规划、关节角度和物体位姿估计等任务中验证了其有效性。
2025-05-31 cs.LG cs.RO
Riesz-Kernel Stein Variational Gradient Descent: Renormalized Entropy and Long-Time Particle Limits
Rice University（里士大学）
研究去除自相互作用的周期里斯SVGD，证明多粒子长时间采样定理。在奇异斯坦能量局部可积且初始粒子相对熵有界时，时间平均经验测度律弱收敛到目标点质量。还表明有限相对熵不变粒子律诱导的经验测度律也收敛，且在对数奇点阈值下有有限粒子误差界。
2026-07-17 cs.LG math.AP
Stein Variational Gradient Descent Without Gradient
Computer Science, Dartmouth College（达特茅斯学院计算机科学（系））；Computer Science, The University of Texas at Austin（德克萨斯大学奥斯汀分校计算机科学（系））
Stein变分梯度下降（SVGD）已被证明是一个强大的近似推理算法复杂的分布。然而，标准SVGD需要计算目标密度的梯度，并且当梯度不可用时不能应用。在这项工作中，我们开发了一个无梯度的变体SVGD（GF-SVGD），它取代了真正的梯度与替代梯度，并纠正诱导偏差通过重新加权的梯度在一个适当的形式。我们表明，我们的GF-SVGD可以被看作是一个特殊的选择内核的标准SVGD，因此直接继承了SVGD的理论性质。我们摆脱的替代梯度的经验选择的见解，并提出了退火GF-SVGD，利用模拟退火的想法，以提高性能的高维复杂分布。实证研究表明，我们的方法始终优于一些最近先进的无梯度MCMC方法。
2018-06-07 cs.LG stat.ML
Augmented Message Passing Stein Variational Gradient Descent
School of Information Science and Technology（信息科学与技术学院）；College of Mathematics and Statistics（数学与统计学院）；ShanghaiTech University（上海科技大学）；Chongqing University（重庆大学）
针对 SVGD 中的方差塌缩问题，提出两阶段优化的 AUMP-SVGD 方法，无需目标分布稀疏性，在高维问题中提升了准确性与多样性。
2023-05-18 cs.LG stat.ML
Finite-Particle Rates for Regularized Stein Variational Gradient Descent
Department of Mathematics, Georgia Institute of Technology（佐治亚理工学院数学系）；Department of Statistics, University of California, Davis（加州大学戴维斯分校统计系）；Department of Statistics and Operations Research, University of North Carolina, Chapel Hill（北卡罗来纳大学夏洛特分校统计与运筹学系）；Department of Statistics, University of Chicago（芝加哥大学统计系）
本文研究了正则化Stein变分梯度下降算法的有限粒子率，通过应用树脂型预条件器来校正SVGD的常数阶偏差，推导了时间平均经验测度的非渐近界，并在目标满足W₁I条件下，证明了对于光滑核函数的大类，W₁收敛。
2026-05-18 cs.LG math.ST stat.ML
Adaptive Kernel Selection for Stein Variational Gradient Descent
Universität Mannheim（曼海姆大学）；MIT（麻省理工学院）；Universität Heidelberg（海德堡大学）
本文提出Ad-SVGD方法，通过自适应调整核参数提升SVGD在高维数据中的性能。
2025-12-04 cs.LG stat.ML
Bayesian Deep Learning for Remaining Useful Life Estimation via Stein Variational Gradient Descent
Concordia University（康考迪亚大学）；Gina Cody School of Engineering and Computer Science（吉娜·科迪工程与计算机科学学院）；Università degli Studi di Padova（帕多瓦大学）；Mila-Quebec AI Institute（米拉-魁北克人工智能研究所）
本研究采用Stein变分梯度下降训练贝叶斯深度学习模型，用于估计物理系统剩余使用寿命，在模拟涡扇发动机数据上验证了其优于参数变分推断和频率派方法的收敛速度与预测性能，并提出基于不确定性的性能增强方法。
2024-02-02 cs.LG stat.ML
Sampling with Mirrored Stein Operators
Microsoft Research New England（微软新英格兰研究院）；Microsoft Research Asia（微软亚洲研究院）
我们介绍了一个新的家庭的粒子演化采样器适用于约束域和非欧几里德几何。Stein Variational Mirror Descent和MiraminStein Variational Gradient Descent通过在由镜像映射定义的对偶空间中演化粒子来最小化Kullback-Leibler（KL）发散到受约束的目标分布。Stein变分自然梯度利用非欧几里德几何更有效地最小化对无约束目标的库尔贝克-莱布勒散度。我们从一类新的镜像斯坦运营商和自适应内核开发这项工作中得到这些采样器。我们证明，这些新的采样器产生准确的近似分布的单纯形，提供有效的置信区间后选择推理，收敛速度更快，比以前的方法在大规模的无约束后验推理。最后，我们建立了我们的新程序的收敛性在可验证的条件下的目标分布。
2022-04-24 cs.LG stat.ML
Stabilizing Training of Generative Adversarial Nets via Langevin Stein Variational Gradient Descent
Bioinformatics Institute, A*STAR（新加坡科技研究局生物信息学研究所）；Huaiyin Normal University（淮阴师范学院）；Nanjing Normal University（南京师范大学）；University of Alberta（阿尔伯塔大学）
生成对抗网络（GANs）以学习复杂的底层数据分布的能力而闻名，然而，众所周知，在训练过程中是棘手的，这可能会导致模式坍塌或性能恶化。目前处理GANs问题的方法几乎都是利用一些实用的训练技术来进行正则化，这在另一方面破坏了GAN的收敛性和理论合理性。在本文中，我们提出了稳定GAN训练通过一种新的基于粒子的变分推理-朗之万斯坦变分梯度下降（LSVGD），它不仅继承了原始SVGD的灵活性和效率，但旨在解决其不稳定性问题，通过将额外的干扰到更新动态。我们进一步证明，通过适当地调整噪声方差，LSVGD模拟Langevin过程，其平稳分布正是目标分布。我们还表明，LSVGD动力学有一个隐式正则化，这是能够提高粒子的扩散和多样性。最后，我们提出了一种有效的方法，适用于一般的GAN的训练过程中，无论损失函数采用基于粒子的变分推理。在一个合成数据集和三个流行的基准数据集Cifar-10、Tiny-ImageNet和CelebA上的实验结果验证了LSVGD可以显著提高各种GAN模型的性能和稳定性。
2020-04-22 cs.CV cs.LG stat.ML
Neural Variational Gradient Descent
ETH Zurich（苏黎世联邦理工学院）；Deepmind（深度思维）
基于粒子的近似贝叶斯推理方法，如Stein变分梯度下降（SVGD）结合了采样方法的灵活性和收敛保证与变分推理的计算优势。在实践中，SVGD依赖于选择适当的核函数，这会影响其对目标分布建模的能力-这是一个只有启发式解决方案的挑战性问题。我们提出了神经变分梯度下降（NVGD），它是基于参数化的证据函数的斯坦差异的深度神经网络，其参数学习并行的推理，减轻了必要性，使任何内核的选择。我们经验评估我们的方法流行的综合推理问题，现实世界的贝叶斯线性回归，贝叶斯神经网络推理。
2021-07-29 cs.LG stat.CO stat.ML
Multirate Stein Variational Gradient Descent for Efficient Bayesian Sampling
Department of Computer Engineering and Computer Science, California State University, Long Beach（加州州立大学长滩分校计算机工程与计算机科学系）
本文提出多速率SVGD方法，通过不同时间尺度更新不同组件，提升高维、各向异性或分层后验中的鲁棒性和效率，尤其在刚性分层、强各向异性及多模态目标中表现最佳。
2026-04-05 cs.LG stat.CO
Improved Finite-Particle Convergence Rates for Stein Variational Gradient Descent
Department of Statistics and Operations Research, University of North Carolina, Chapel Hill（统计与运筹学系，北卡罗来纳大学 Chapel Hill 分校）；Department of Statistics, University of California, Davis（统计系，加州大学 Davis 分校）；Department of Statistics, University of Chicago（统计系，芝加哥大学）
研究斯坦变分梯度下降算法在核斯坦差异和瓦瑟斯坦-2度量下的有限粒子收敛速率。通过分析相对熵时间导数，得出连续和离散时间下\(1/\sqrt{N}\)的收敛速率，还在特定核下得到瓦瑟斯坦-2收敛及相关结果。
2026-07-07 cs.LG math.PR math.ST
De-randomizing MCMC dynamics with the diffusion Stein operator
Aalto University（阿尔托大学）；Department of Computer Science（计算机科学系）
近似贝叶斯推断估计一个棘手的目标分布的描述符-本质上，一个分布族内的优化问题。例如，朗之万动力学（LD）从扩散过程中提取渐近精确的样本，因为其边缘分布的时间演化构成了一条曲线，该曲线通过Wasserstein空间中的最陡下降使KL发散最小化。与LD并行，Stein变分梯度下降（SVGD）类似地通过确定性地传输一组粒子样本来最小化KL，尽管赋予了新的Stein-瓦瑟斯坦距离，从而使随机扩散过程去随机化。我们提出去随机化的基于内核的粒子采样器，所有扩散为基础的采样器称为MCMC动力学。在解释MCMC动力学之前的工作之后，我们配备了Stein-Wasserstein空间，该空间具有纤维黎曼泊松结构，具有表征模拟MCMC动力学的纤维梯度哈密顿流的能力。这样的动态离散成广义SVGD（GSVGD），斯坦型确定性粒子采样器，粒子更新与应用扩散斯坦算子的核函数相一致。我们的经验表明，GSVGD可以去随机化复杂的MCMC动力学，它结合了辅助动量变量和黎曼结构的优势，同时保持高质量的样品从相互作用的粒子系统。
2021-10-07 cs.LG stat.ML
Structure-aware Bayesian full waveform inversion via diffusion-regularized Stein variational gradient descent
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
该研究针对传统ASVGD-FWI的先验不足问题，将学习型扩散模型作为隐式正则化引入框架，结合FWI数据一致性、ASVGD后验多样性，提升了反演稳定性与不确定性可解释性。
2026-10-15 cs.LG physics.geo-ph stat.ML
The Blind Normalized Stein Variational Gradient Descent-Based Detection for Intelligent Random Access in Cellular IoT
University of Illinois Chicago（伊利诺伊大学芝加哥分校）
针对蜂窝物联网智能随机接入中的导频冲突问题，提出基于最大似然估计的早期导频检测方案，采用盲归一化Stein变分梯度下降检测器，结合修正Hadamard变换层去噪，无需噪声功率和活跃设备数先验知识，提升检测精度和吞吐量。
2025-01-20 cs.AI cs.IT cs.LG
Towards Understanding the Dynamics of Gaussian-Stein Variational Gradient Descent
Harvard University（哈佛大学）；Massachusetts Institute of Technology（麻省理工学院）；University of California, Davis（加州大学戴维斯分校）
本文通过将SVGD投影到高斯分布族，系统研究了高斯-SVGD的平均场与有限粒子动力学，证明了强对数凹目标下的线性收敛性，并提出统一框架涵盖多种GVI算法，深化了对SVGD和GVI的理论理解。
2023-10-28 cs.LG math.PR math.ST
Probabilistic Inference and Learning with Stein's Method
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Microsoft Research（微软研究院）；Newcastle University（纽卡斯尔大学）；The Alan Turing Institute（艾伦·图灵研究所）
本文提出了一种基于Stein方法的概率推断与学习框架，通过构造Stein差异并探讨其性质，为概率模型的推断和学习提供了新的理论工具和方法。
2026-03-08 cs.LG math.PR math.ST
Stochastic Stein Discrepancies
Whisper.ai, Inc（Whisper.ai公司）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；Microsoft Research New England（微软研究院新英格兰分院）
当精确积分和采样难以处理时，Stein差异（SD）监控近似推理的收敛和不收敛。然而，如果Stein算子-通常是似然项或势的总和-评估起来很昂贵，则Stein差异的计算可能是禁止的。为了解决这一不足，我们表明，随机斯坦差异（SSD）的基础上的子采样近似的斯坦算子继承的标准SD的收敛控制性能的概率为1。在此过程中，我们建立了Stein变分梯度下降（SVGD）在无界域上的收敛性，解决了Liu（2017）的一个公开问题。在我们的实验中，有偏的马尔可夫链蒙特卡罗（MCMC）超参数调整，近似MCMC采样器选择，和随机SVGD，SSD提供了可比的推断标准SD的数量级更少的可能性评估。
2020-10-22 cs.LG math.PR stat.ME
On the mean-field limit for Stein variational gradient descent: stability and multilevel approximation
针对似然评估成本高的贝叶斯反问题中Stein变分梯度下降计算开销大的问题，提出多层SVGD变体，通过并行运行不同似然近似层级的粒子动力学并调整各层粒子数，可显著降低计算复杂度，数值实验验证了理论加速效果。
2024-02-02 cs.NA math.NA stat.ME
Stein transport for Bayesian inference
King’s College London（伦敦国王学院）
该研究提出Stein传输方法，通过时变得分函数和粒子权重推动粒子沿回火分布曲线移动，在有限时间t=1达到后验近似，相比SVGD计算预算更低、后验更准确且缓解方差崩溃。
2024-11-28 cs.LG cs.NA math.NA
Multilevel Monte Carlo Variational Inference
The University of Tokyo（东京大学）；RIKEN（日本理化学研究所）
我们提出了一个方差减少框架变分推断使用多级蒙特卡罗（MLMC）方法。我们的框架是建立在重新参数化的梯度估计和“recles”参数从过去的更新历史优化。此外，我们的框架提供了一个新的优化算法的基础上随机梯度下降（SGD），自适应地估计用于梯度估计的样本量根据梯度方差的比率。我们从理论上表明，与我们的方法，梯度估计的方差随着优化的进行而减小，并且学习率调度函数有助于提高收敛性。我们还表明，在\textit{signal-to-noise}比方面，我们的方法可以通过学习率调度函数在不增加初始样本量的情况下提高梯度估计的质量。最后，我们确认，我们的方法实现了更快的收敛速度，并减少了梯度估计的方差相比，其他方法，通过实验比较与基线方法使用几个基准数据集。
2021-12-02 cs.LG stat.ML
Regularized Stein Variational Gradient Flow
Georgia Institute of Technology（佐治亚理工学院）；University of California, Davis（加州大学戴维斯分校）；Pennsylvania State University（宾夕法尼亚州立大学）；Duke University（杜克大学）
针对 SVGD 梯度流仅能常数阶近似 KL 散度 Wasserstein 梯度流的问题，提出可在二者间插值的正则化 Stein 变分梯度流，并证明其收敛性、弱解唯一性与稳定性。
2024-05-09 cs.LG cs.NA math.AP
A Framework for Controllable Multi-objective Learning with Annealed Stein Variational Hypernetworks
College of Engineering and Computer Science, VinUniversity（工程与计算机科学学院，VinUniversity）
本文提出SVH-MOL框架，利用退火斯蒂恩变分超网络实现可控多目标学习，通过多样化梯度方向策略提升稳定性，验证了其在多目标优化中的优越性能。
2025-12-10 cs.LG stat.ML
Sampling in Constrained Domains with Orthogonal-Space Variational Gradient Descent
Purdue University（普渡大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；National University of Singapore（新加坡国立大学）
抽样方法是一种重要的推理和学习技术，通常是针对无约束领域设计的。然而，在机器学习问题中，约束是普遍存在的，例如关于安全性、公平性、鲁棒性和许多其他属性的约束，这些约束必须满足才能将采样结果应用于现实生活中的应用。强制执行这些约束通常会导致隐式定义的流形，使得具有约束的有效采样非常具有挑战性。在本文中，我们提出了一个新的变分框架与设计的正交空间梯度流（O-梯度）采样流形$\mathcal{G}_0$定义的一般等式约束。O-Gradient将梯度分解为两部分：一部分减小到$\mathcal{G}_0$的距离，另一部分减小正交空间中的KL散度。虽然大多数现有的流形采样方法需要在$\mathcal{G}_0$上进行初始化，但O-梯度不需要这样的先验知识。证明了在较弱的条件下，O-梯度以速率$\widetilde{O}(1/\text{the number of iterations})$收敛于目标约束分布.我们的证明依赖于一个新的条件测度的Stein特征，这可能是独立的利益。我们通过Langevin动力学和Stein变分梯度下降实现O-梯度，并在各种实验中证明了其有效性，包括贝叶斯深度神经网络。
2022-10-12 cs.LG stat.ML
Minimum Stein Discrepancy Estimators
Imperial College London（帝国理工学院）；University College London（伦敦大学学院）；University of Cambridge（剑桥大学）；Microsoft Research（微软研究院）
当极大似然估计不可行时，人们往往转向得分匹配，对比发散，或最小概率流，以获得易于处理的参数估计。我们提供了一个统一的角度来看，这些技术的最小斯坦差异估计，并使用这个镜头设计新的扩散核斯坦差异（DKSD）和扩散评分匹配（DSM）估计互补的优势。我们建立了DKSD和DSM估计量的相合性、渐近正态性和稳健性，然后推导了随机黎曼梯度下降算法，使其有效地优化。我们的方法的主要优势是它的灵活性，这使我们能够设计估计与所需的属性为特定的模型在手仔细选择斯坦差异。我们说明了这一优势的分数匹配，如非光滑，重尾或轻尾密度的几个具有挑战性的问题。
2022-10-06 cs.LG math.ST stat.ME
Stein Variational Message Passing for Continuous Graphical Models
Department of Computer Science, The University of Texas at Austin（德克萨斯大学奥斯汀分校计算机科学系）；School of Mathematical Sciences, Zhejiang University（浙江大学数学科学学院）
我们提出了一种新的分布式推理算法的连续图形模型，通过扩展Stein变分梯度下降（SVGD），利用马尔可夫依赖结构的兴趣分布。我们的方法结合了SVGD与一组结构化的本地核函数定义在每个节点的马尔可夫毯，这消除了高维度的诅咒，同时产生一个分布式算法的分散推理任务。我们证明我们的方法与理论分析，并表明，使用本地内核可以被视为一种新型的本地化近似，匹配的目标分布上的条件分布的每个节点在其马尔可夫毯。我们的实证结果表明，我们的方法优于各种基线，包括标准MCMC和粒子消息传递方法。
2018-06-07 cs.LG stat.ML
Robust inference using density-powered Stein operators
The Institute of Statistical Mathematics（统计数学研究所）
提出基于γ-散度的γ-Stein算子，通过密度加权实现未归一化概率模型的稳健推断，并应用于稳健拟合优度检验和贝叶斯后验近似。
2026-08-10 cs.LG stat.ML
Multilevel Stochastic Gradient Descent for Risk-Averse PDE-Constrained Optimization
Heidelberg University（海德堡大学）；Johann Radon Institute for Computational and Applied Mathematics（约翰·拉多纳计算与应用数学研究所）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Politecnico di Torino（都灵理工大学）
提出多级随机梯度下降算法求解风险规避三维PDE约束优化问题，利用自适应多级蒙特卡洛梯度估计，相比标准批处理方法具有更优收敛速度和计算复杂度。
2026-06-23 cs.NA math.NA math.OC
Semi-Implicit Variational Inference via Kernelized Path Gradient Descent
Department of Statistics, LMU Munich（统计系）；Munich Center for Machine Learning（慕尼黑机器学习中心）
本文提出核化 KL 散度估计器与重要性采样校正，改进半隐式变分推断的高维训练稳定性与效率，并在性能和训练成本上达到或超越现有最先进方法。
2025-06-05 cs.LG stat.CO
Stein Variational Evolution Strategies
TU Berlin（柏林技术大学）；Sakana AI
本文提出了一种结合SVGD与进化策略的无梯度方法，用于高效生成无规范分布的样本，提升了多个基准任务的性能。
2026-03-12 cs.AI cs.LG cs.NE
A Convergence Theory for SVGD in the Population Limit under Talagrand's Inequality T1
Microsoft Research（微软研究院）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
Stein变分梯度下降（SVGD）是一种从已知的目标密度采样到乘法常数的算法。虽然SVGD算法在实际应用中很受欢迎，但其理论研究仅限于最近的一些工作。我们研究了SVGD在种群极限下的收敛性（即，具有无限数量的粒子）从满足Talagrand不等式T1的非对数凹目标分布中采样。我们首先建立算法的收敛性。然后，我们建立了一个维度依赖的复杂性界的核斯坦离散（KSD）。与现有的作品，我们不假设KSD是有界的算法的轨迹。我们的方法依赖于将SVGD解释为概率测度空间上的梯度下降。
2022-06-17 cs.LG math.OC
ELBOing Stein: Variational Bayes with Stein Mixture Inference
University of Copenhagen（哥本哈根大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；University of Luxembourg（卢森堡大学）；University of California, Irvine（加州大学欧文分校）
针对SVGD的方差坍缩问题，提出Stein混合推断（SMI），通过粒子参数化混合分量并优化ELBO，以较少粒子准确估计不确定性，适用于高维宽数据。
2025-01-24 cs.LG stat.ML
