Multirate Stein Variational Gradient Descent for Efficient Bayesian Sampling
Department of Computer Engineering and Computer Science, California State University, Long Beach（加州州立大学长滩分校计算机工程与计算机科学系）
本文提出多速率SVGD方法，通过不同时间尺度更新不同组件，提升高维、各向异性或分层后验中的鲁棒性和效率，尤其在刚性分层、强各向异性及多模态目标中表现最佳。
2026-04-05 cs.LG stat.CO
Kernel Stein Generative Modeling
Carnegie Mellon University（卡内基梅隆大学）；Google（谷歌）；IBM Research（IBM研究院）
我们感兴趣的是基于梯度的显式生成建模，其中样本可以根据数据分布的得分函数的估计从迭代梯度更新中获得。随机梯度朗之万动力学（SGLD）的最新进展展示了基于能量的模型在高维和复杂数据分布上的令人印象深刻的结果。Stein变分梯度下降（SVGD）是一种确定性采样算法，其基于减小库尔贝克-莱布勒散度的函数梯度下降来迭代地传输一组粒子以近似给定分布。SVGD在几个贝叶斯推断应用上有很好的结果。然而，应用SVGD高维问题仍然是探索不足。本文的目标是研究基于SVGD的高维推理。我们首先确定在高维的实际内核SVGD推理的关键挑战。我们提出了噪声条件核SVGD（NCK-SVGD），它与最近推出的噪声条件得分网络估计器协同工作。NCK对于高维SVGD的成功推理至关重要，因为它使内核适应分数估计的噪声水平。当我们对噪声进行退火时，NCK-SVGD以真实数据分布为目标。然后，我们扩展退火SVGD与熵正则化。我们表明，这提供了一个灵活的控制样本质量和多样性之间，并验证它的经验精度和召回评估。NCK-SVGD在计算机视觉基准测试（包括MNIST和CIFAR-10）上产生了与GANs和退火SGLD相当的样本。
2020-07-06 cs.CV cs.LG stat.ML
The equivalence between Stein variational gradient descent and black-box variational inference
Stanford University（斯坦福大学）；Preferred Networks；The Institute of Statistical Mathematics（统计数理研究所）
我们形式化了两种流行的贝叶斯推理方法之间的等价性：斯坦变分梯度下降（SVGD）和黑箱变分推理（BBVI）。特别是，我们表明，BBVI正好对应于SVGD时，内核是神经切线核。此外，我们解释SVGD和BBVI内核梯度流，我们这样做，利用最近的观点，认为SVGD作为一个梯度流的概率分布的空间，并显示BBVI自然激励黎曼结构的空间。我们观察到，内核梯度流也描述了生成对抗网络（GANs）训练中发现的动态。因此，这项工作统一了变分推理和生成建模中的几种现有技术，并将内核确定为控制这些算法行为的基本对象，从而激发对其属性进行更深入的分析。
2020-04-04 cs.LG stat.ML
Bayesian posterior approximation via greedy particle optimization
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
在贝叶斯推断中，对于诸如神经网络之类的复杂模型，后验分布很难解析地获得。变分推断通常使用参数分布进行近似，我们可以很容易地从中抽取样本。粒子离散逼近由于其良好的表达能力而受到人们的关注。一个例子是Stein变分梯度下降（SVGD），它迭代优化粒子。虽然SVGD已被证明是计算效率的经验，其理论性质尚未澄清，并没有有限的样本界的收敛速度是已知的。另一个例子是Stein点（SP）方法，它直接最小化核化Stein差异。虽然有限样本界是保证理论上，SP是计算效率低下的经验，特别是在高维问题。在本文中，我们提出了一种新的方法命名为最大平均差异最小化的弗兰克-沃尔夫算法（MMD-FW），它最小化MMD在一个贪婪的方式由FW算法。我们的方法是计算效率的经验，我们表明，其有限样本收敛界是在有限维的线性顺序。
2019-01-31 cs.LG stat.ML
Adaptive Kernel Selection for Stein Variational Gradient Descent
Universität Mannheim（曼海姆大学）；MIT（麻省理工学院）；Universität Heidelberg（海德堡大学）
本文提出Ad-SVGD方法，通过自适应调整核参数提升SVGD在高维数据中的性能。
2025-12-04 cs.LG stat.ML
Stein transport for Bayesian inference
King’s College London（伦敦国王学院）
该研究提出Stein传输方法，通过时变得分函数和粒子权重推动粒子沿回火分布曲线移动，在有限时间t=1达到后验近似，相比SVGD计算预算更低、后验更准确且缓解方差崩溃。
2024-11-28 cs.LG cs.NA math.NA
Neural Variational Gradient Descent
ETH Zurich（苏黎世联邦理工学院）；Deepmind（深度思维）
基于粒子的近似贝叶斯推理方法，如Stein变分梯度下降（SVGD）结合了采样方法的灵活性和收敛保证与变分推理的计算优势。在实践中，SVGD依赖于选择适当的核函数，这会影响其对目标分布建模的能力-这是一个只有启发式解决方案的挑战性问题。我们提出了神经变分梯度下降（NVGD），它是基于参数化的证据函数的斯坦差异的深度神经网络，其参数学习并行的推理，减轻了必要性，使任何内核的选择。我们经验评估我们的方法流行的综合推理问题，现实世界的贝叶斯线性回归，贝叶斯神经网络推理。
2021-07-29 cs.LG stat.CO stat.ML
Multivariate Bayesian Structural Time Series Model
本文讨论了多个相关时间序列的推断和预测，其中一个也可以选择使用一个候选池的同期预测为每个目标系列。从时间序列的结构模型开始，贝叶斯工具用于模型拟合，预测和特征选择，从而扩展了最近的一些工作，沿着这些线的单变量的情况下。这种多变量设置中的贝叶斯范例有助于模型避免过拟合，并捕获具有各种状态分量的多个时间序列之间的相关性。该模型提供了必要的灵活性，为每个目标系列选择不同的组件和可用的预测。模型中的周期性成分可以处理短期内可能由外部冲击造成的巨大变化。我们进行了大量的模拟，以调查属性，如估计精度和预测性能。然后，我们运行一个实证研究与一步预测的最大对数回报的股票投资组合，涉及四个领先的金融机构。模拟研究和广泛的实证研究证实，这个多变量模型优于其他三个基准模型，即一个模型，将每个目标系列作为独立的，自回归集成移动平均模型与回归（ARIMAX），和多变量ARIMAX（MARIMAX）模型。
2018-09-19 stat.ML
Cyclical Stochastic Gradient MCMC for Bayesian Deep Learning
Cornell University（康奈尔大学）；Microsoft Research（微软研究院）；Duke University（杜克大学）；University at Buffalo, SUNY（纽约州立大学布法罗分校）；New York University（纽约大学）
神经网络权值的后验是高维多模态的。每种模式通常表征数据的有意义的不同表示。我们开发了循环随机梯度MCMC（SG-MCMC）来自动探索这种分布。特别是，我们提出了一个周期性的步长时间表，其中较大的步骤发现新的模式，和较小的步骤表征每个模式。我们还证明了我们提出的算法的非渐近收敛性。此外，我们提供了广泛的实验结果，包括ImageNet，以证明循环SG-MCMC在学习复杂多模态分布方面的可扩展性和有效性，特别是对于现代深度神经网络的完全贝叶斯推理。
2020-05-11 cs.AI cs.CV cs.LG
Geometry-Aware Bayesian Parameter-Efficient Fine-Tuning on the Stiefel Manifold via Stein Variational Gradient Descent
Deakin University（迪肯大学）；Aalto University（阿尔托大学）；Monash University（莫纳什大学）
本文提出基于Stein变分梯度下降的几何感知贝叶斯低秩适配方法，在Stiefel流形上优化，实现更好的不确定性量化与模型校准，并提升预测准确率。
2026-09-09 cs.LG
Meta Cyclical Annealing Schedule: A Simple Approach to Avoiding Meta-Amortization Error
Japan Digital Design（日本数字设计公司）；The University of Tokyo（东京大学）；Center for Advanced Intelligence Project, RIKEN（理化学研究所先进智能项目中心）
用少量数据学习新概念的能力是智能的一个重要方面，这对深度学习方法来说是一个挑战。针对Few-Shot学习的元学习为这个问题提供了一个潜在的解决方案：通过学习从许多以前的任务中跨数据学习，Few-Shot学习算法可以发现任务之间的结构，从而能够快速学习新任务。然而，Few-Shot学习中的一个关键挑战是任务模糊性：即使可以从大量先前任务中元学习到强大的先验，新任务的小数据集也可能非常模糊，无法为该任务获取单个模型。贝叶斯元学习模型通过引入一个复杂的先验分布，并利用贝叶斯决策理论对后验分布进行正则化，很好地解决了这个问题。然而，目前已知的贝叶斯元学习过程，如VERSA遭受所谓的{ \it信息偏好问题}，即，后验分布退化到一个点，并且远离精确的一个。为了解决这个问题，我们设计了一个新的元正则化目标使用{ \it循环退火时间表}和{ \it最大平均差异}（MMD）标准。循环退火时间表在避免这种退化解方面非常有效。这个过程包括一个困难的KL发散估计，但我们解决了这个问题，采用MMD而不是KL发散。实验结果表明，我们的方法大大优于标准的元学习算法。
2020-03-04 cs.LG stat.ML
Coin Sampling: Gradient-Based Bayesian Inference without Learning Rates
Lancaster University（兰卡斯特大学）
针对SVGD等ParVI方法依赖学习率调参的问题，提出基于coin betting的无学习率粒子化贝叶斯推断方法，在高维模型与数据集上达到与现有ParVI算法相当的性能。
2023-06-01 cs.LG stat.ML
A Probabilistic Approach to Self-Supervised Learning using Cyclical Stochastic Gradient MCMC
Hasso-Plattner-Institute（哈索·普拉特纳研究所）
本文提出基于cSGHMC的贝叶斯自监督学习方法，通过对嵌入的高维多峰后验进行近似与边缘化，显著提升了下游任务的性能、校准性与分布外检测能力。
2023-08-02 cs.AI cs.LG
Variational Inference via Entropic Transport Descent
School of Aerospace Engineering（航空航天工程学院）；Georgia Institute of Technology（佐治亚理工学院）；Atlanta, GA 30332（亚特兰大, GA 30332）
提出熵传输下降（ETD），一种基于粒子变分推断方法，通过熵正则化最优传输实现全局协调，避免高维方差坍塌和多模态模式坍塌，无需评分函数。
2026-06-25 cs.LG
Stein Variational Gradient Descent: many-particle and long-time asymptotics
Institute of Mathematics, Universität Potsdam（波茨坦大学数学研究所）；WIAS Berlin（柏林应用分析与随机学研究所）
Stein变分梯度下降（SVGD）是一类基于相互作用粒子系统的贝叶斯推断方法。在本文中，我们认为最初提出的确定性动力学以及随机变量，其中每一个代表的两个主要范例之一，在贝叶斯计算统计：变分推断和马尔可夫链蒙特卡罗。事实证明，这些是通过梯度流结构和植根于统计物理学的大偏差原理之间的对应关系紧密联系在一起的。为了揭示这种关系，我们开发的余切空间建设的斯坦几何，证明其基本性质，并确定大偏差功能管理的经验措施的多粒子极限。此外，我们确定费舍尔信息（或核化Stein差异）作为其在长时间和多粒子制度的$Γ$ -收敛的意义上的领先订单的贡献，脱落的有限粒子SVGD的属性的一些光。最后，我们建立了Stein-费舍尔信息和RKHS-范数之间的一个比较原则，这可能是独立的利益。
2021-02-25 cs.LG cs.NA math.AP
Contributions to Large Scale Bayesian Inference and Adversarial Machine Learning
Universidad Complutense de Madrid（马德里康普顿斯大学）；Universidad Politécnica de Madrid（马德里理工大学）
ML方法的广泛采用表明，模型通常被用来做出决策，而不考虑其预测中的不确定性。更重要的是，他们可能容易受到敌对例子的影响。因此，我们认为，开发考虑预测不确定性并对对抗性示例具有鲁棒性的ML系统是关键的现实任务的必要条件。我们从零售业的一个案例开始。我们提出了一个强大的实现Nerlove-Arrow模型使用贝叶斯结构时间序列模型。它的贝叶斯性质有助于纳入反映管理人员观点的先验信息，这些信息可以用相关数据进行更新。然而，这种情况下采用经典的贝叶斯技术，如吉布斯采样器。如今，ML领域充斥着神经网络，本章还将概述这一子领域的当前发展。然后，我们解决了将贝叶斯推断扩展到复杂模型和大数据状态的问题。在第一部分中，我们提出了一个统一的观点，两个不同的贝叶斯推断算法，随机梯度马尔可夫链蒙特卡罗（SG-MCMC）和斯坦变分梯度下降（SVGD），导致改进和有效的新的采样方案。在第二部分中，我们开发了一个框架，通过在变分后验近似中嵌入马尔可夫链采样器来提高概率模型中贝叶斯推断的效率。在此之后，我们提出了一个基于对抗风险分析的对抗分类的替代观点，并利用了第2章中的可扩展贝叶斯方法。在第4章中，我们将转向强化学习，介绍受威胁的马尔可夫决策过程，展示在Agent学习的同时在RL中考虑对手的好处。
2021-09-25 cs.LG stat.ML
Parameter Re-Initialization through Cyclical Batch Size Schedules
最优参数初始化一直是神经网络训练的关键问题。较差的权重初始化可能花费更长的时间来训练和/或收敛到次优解。在这里，我们提出了一种方法的权重重新初始化的反复退火和注入噪声的训练过程中。我们实现这一点，通过一个周期性的批量大小的时间表的贝叶斯观点的神经网络训练的动机。我们评估我们的方法，通过广泛的实验，在语言建模，自然语言推理和图像分类的任务。我们证明了我们的方法能够将语言建模性能提高高达7.91的困惑度，并将训练迭代次数减少高达$61\%$，此外还可以灵活地启用快照集成和使用对抗训练。
2018-12-04 cs.LG
Dual-space posterior sampling for Bayesian inference in constrained inverse problems
Department of Computer Science（计算机科学系）；University of Central Florida（中央佛罗里达大学）；Institute of Geophysics Polish Academy of Sciences（波兰科学院地球物理研究所）
本文提出在双空间中使用增强拉格朗日方法进行后验采样，以解决受约束反问题的贝叶斯推断问题，通过结合ADMM和SVGD实现约束条件的精确满足和高效采样。
2026-08-07 cs.LG physics.geo-ph stat.ML
Bayesian Low-Rank LeArning (Bella): A Practical Approach to Bayesian Neural Networks
The University of Adelaide（阿德莱德大学）；Concordia University（康考迪亚大学）；UNSW Sydney（新南威尔士大学悉尼分校）；Idiap Research Institute（伊迪亚普研究所）
本文提出 Bella 框架，通过预训练网络参数的低秩扰动实现低成本贝叶斯集成与 SVGD，在多个大规模视觉和多模态任务上保持并部分超越传统贝叶斯方法。
2025-02-18 cs.AI cs.CV cs.LG
Stochastic full waveform inversion with deep generative prior for uncertainty quantification
Center for Geosciences, Mines Paris（巴黎高等矿业学院地球科学中心）；PSL Research University（巴黎文理研究大学）
本文提出利用深度生成模型作为先验，结合显式、隐式变分贝叶斯推断及SVGD方法进行随机全波形反演，实现地下参数的不确定性量化，并与McMC采样进行对比验证。
2024-06-07 cs.LG physics.geo-ph stat.CO
Deep Adaptive Dimension Reduction for Bayesian Inference in Inverse Problems
School of Mathematical Sciences, Peking University（北京大学数学科学学院）；School of Sciences, Great Bay University（大湾大学理学院）；Department of Mathematics, Louisiana State University（路易斯安那州立大学数学系）；SKLMS & Institute of Computational Mathematics and Scientific/Engineering Computing, Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院SKLMS及计算数学与科学/工程计算研究所）
提出基于变分流模型的深度自适应降维贝叶斯推理框架，结合VAE非线性降维、双归一化流和迭代先验更新策略，并自适应微调傅里叶神经算子代理，以高效求解高维PDE控制逆问题中的复杂非高斯后验分布。
2026-05-29 cs.LG cs.NA math.NA
COVID-19 mortality analysis from soft-data multivariate curve regression and machine learning
提出了一种基于周期曲线对数回归和多元时间序列空间残差相关分析的多目标时空预测方法。具体而言，平均二次损失函数最小化的框架内的三角回归。而在我们随后的空间残差相关分析中，最大化的可能性使我们能够计算贝叶斯多变量时间序列软数据框架中的后验模式。所提出的方法适用于分析自2020年3月8日至2020年5月13日影响西班牙社区的第一波COVID-19死亡率。基于随机k折交叉验证、自举置信区间和概率密度估计，与机器学习（ML）回归进行了实证比较研究。该实证分析还研究了ML回归模型在硬数据和软数据框架中的性能。结果可以外推到其他计数，国家和后COVID-19波。
2021-03-27 cs.LG stat.AP stat.ME
