Scalable Sparse Autoregressive Variational Inference for Non-Gaussian Spatial Fields
The Ohio State University（俄亥俄州立大学）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
本文针对非高斯空间场后验分布难以解析求解的问题，提出一种可扩展稀疏自回归变分推断框架，结合归一化流与双重随机优化，实现高效近似推断。
2026-10-12 cs.LG stat.CO stat.ME
Variational Inference for Count Response Semiparametric Regression: A Convex Solution
University of Technology Sydney（悉尼科技大学）
本文提出了一种基于Polya-Gamma增强和结构化均场变分贝叶斯方法的变分推断框架，用于解决计数响应半参数回归问题，实现了数值稳定且高效的模型拟合。
2026-02-24 stat.ME
Mean-field Variational Bayes for Sparse Probit Regression
ESOMAS Department, University of Torino and Collegio Carlo Alberto（都灵大学 ESOMAS 学院和卡罗阿尔贝托学院）
本文提出基于均场变分贝叶斯的方法，用于二元结果的稀疏变量选择，通过闭式更新实现高效推断，相比MCMC方法速度快数十倍且保持准确性。
2026-05-15 stat.CO stat.ME stat.ML
Variational Inference for Sparse and Undirected Models
无向图模型应用于基因组学、蛋白质结构预测和神经科学，以识别离散数据下的稀疏相互作用。虽然贝叶斯推理方法在这些情况下是有利的，但它们很少使用，因为它们需要双重棘手的蒙特卡罗采样。在这里，我们开发了一个框架，可扩展的贝叶斯推断的离散无向模型的基础上两个新的方法。第一个是持久VI，离散无向模型的变分推断算法，避免了双重棘手的MCMC和近似的分区函数。第二个是淡出，一个重新参数化方法的变分推断稀疏诱导先验，捕捉参数和超参数与非中心参数化之间的后验相关性。我们发现，这些变分推断方法大大提高了稀疏无向图形模型在物理和生物学模拟和真实问题的学习。
2017-06-14 cond-mat.dis-nn physics.data-an q-bio.QM
A variational Bayes framework for sparse adaptive estimation
近年来，为了解决\emph{sparse}自适应信号估值和系统辨识问题，提出了一系列基于$\ell_1$范数的正则化最小二乘确定性算法.从贝叶斯的角度来看，这个任务相当于在稀疏性促进重尾先验下对感兴趣的参数进行最大后验概率估计。遵循不同的方法，本文开发了一个统一的框架稀疏\emph{variational Bayes}算法，采用重尾先验共轭层次的形式，以方便后验推理。由此产生的全自动变分方案，首先提出了一个批量迭代的形式。然后，它示出，通过适当地利用批估计任务的结构，新的稀疏自适应变分贝叶斯算法可以导出，它具有施加和跟踪稀疏性在实时处理过程中的时变环境中的能力。所提出的算法的最重要的特点是，它们完全消除了计算成本高的参数微调，稀疏自适应确定性算法的必要成分的需要。大量的仿真结果证明了新的稀疏变分贝叶斯算法对最先进的确定性技术的自适应信道估计的有效性。结果表明，所提出的算法是数值上的鲁棒性，并表现出优越的估计性能相比，他们的确定性同行。
2014-01-13 stat.ML
MCMC for Variationally Sparse Gaussian Processes
高斯过程（GP）模型构成概率机器学习的核心部分。GP模型的研究主要集中在三个方面：数据量大时如何有效计算;似然函数非高斯时如何近似后验;如何估计协方差函数参数后验。本文同时解决这些问题，使用变分近似的后稀疏的功能，但其他自由形式的支持。其结果是一个混合蒙特卡洛采样方案，允许同时对函数值和协方差参数进行非高斯近似，并基于诱导点稀疏GP进行有效计算。本文中重复每个实验的代码将很快提供。
2015-06-12 stat.ML
Convergence Rates of Variational Inference in Sparse Deep Learning
CREST（CREST（经济与统计研究中心））；ENSAE（ENSAE（国立统计与经济管理学院））；Institut Polytechnique de Paris（巴黎理工学院）
变分推理在贝叶斯统计和机器学习中越来越多地用于逼近难以处理的后验分布。与此同时，最近的一些工作为深度神经网络提供了理论依据和新的见解，用于在非参数回归等通常设置中估计平滑函数。在本文中，我们证明了稀疏深度学习的变分推理保留了与精确贝叶斯推理相同的泛化特性。特别是，我们强调估计和逼近论之间的连接，通过经典的偏差方差权衡，并表明它导致近极小极大的收敛速度的Hölder光滑函数。此外，我们表明，通过ELBO最大化的神经网络架构的模型选择框架不会过拟合，并自适应地实现了最佳的收敛速率。
2019-09-05 cs.LG math.ST stat.ML
Variational inference for sparse spectrum Gaussian process regression
本文提出了一种高斯过程（GP）回归的快速变分逼近方法，其中对协方差函数的谱进行稀疏逼近。我们的方法使协方差函数超参数的不确定性被处理，而不使用蒙特卡罗方法，是强大的过拟合。本文有三个贡献。首先，我们提出了一个变分贝叶斯算法拟合稀疏谱GP回归模型，使用非共轭变分消息传递，以获得快速和有效的更新。其次，我们提出了一种新的自适应邻域技术，用于获得预测推理，有效地处理非平稳性。在每个待预测的点处局部执行回归，并且使用基于从初始拟合估计的长度尺度定义的测量来确定邻域。根据长度尺度对维度进行加权，这降低了相关性很小的变量的权重，从而实现了自动变量选择和改进的预测。第三，我们介绍了一种技术，通过调整步长的自然梯度的下界的方向，在非共轭变分的消息传递加速收敛。我们的自适应策略可以很容易地实现和实证结果表明显着的加速。
2015-01-26 stat.CO
A Structured Variational Auto-encoder for Learning Deep Hierarchies of Sparse Features
在这篇文章中，我们提出了一个自然图像的生成模型，该模型由深层的潜在随机变量层组成，每个变量都遵循一种新的分布类型，我们称之为整流高斯分布。这些整流高斯单位允许尖峰和板型稀疏，同时保留有效的随机梯度变分推断所需的可微性。为了学习新模型的参数，我们用变分自动编码器近似隐变量的后验。然而，编码器参数化了一种新型的结构化变分近似，而不是进行通常的平均场假设，该结构化变分近似保留了生成模型的先验依赖性。使用这种结构化的后验近似，我们能够对具有多层潜在随机变量的深度模型进行联合训练，而不必求助于堆叠或其他逐层训练过程。
2016-02-28 cs.LG stat.CO stat.ML
Sparse Polynomial Chaos expansions using Variational Relevance Vector Machines
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Technische Universität Munchen（慕尼黑工业大学）
多项式混沌建模的非侵入式方法的挑战在于有限数量的模型模拟下的计算效率和精度。这些挑战可以通过仅保留最重要的基项来在级数表示中实施稀疏性来解决。在这项工作中，我们提出了一种新的稀疏贝叶斯学习技术获得稀疏多项式混沌扩展，这是基于相关向量机模型，并使用变分推断训练。该方法在高维数据驱动的环境中使用相对较少的数据点显示出巨大的潜力，并实现了与压缩感知等其他方法相当的用户控制稀疏水平。所提出的方法说明了两个数值例子，一个合成的响应函数，探索验证的目的和随机杨氏模量和随机加载，这是由随机有限元与38个输入随机变量建模的低碳钢板。
2019-12-23 cs.LG stat.CO stat.ML
Spike and slab variational Bayes for high dimensional logistic regression
Imperial College London（帝国理工学院）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
变分贝叶斯（VB）是马尔可夫链蒙特卡罗的一种流行的可扩展替代方案，用于贝叶斯推断。研究了稀疏高维逻辑斯谛回归中广泛使用的贝叶斯模型选择先验的均值场尖峰和板条VB近似。我们提供非渐近的理论保证VB后在$\ell_2$和预测损失的稀疏真理，最佳（极大极小）收敛速度。由于VB算法不依赖于未知的真相，以实现最优性，我们的结果揭示了有效的先验选择。我们证实了我们的VB算法的改进性能在数值研究中常见的稀疏VB方法。
2021-09-06 cs.LG math.ST stat.ME
Variational Inference: Posterior Threshold Improves Network Clustering Accuracy in Sparse Regimes
University of California, Davis（加利福尼亚大学戴维斯分校）
针对现有变分推断社区检测方法仅适用于稠密网络、稀疏网络下因鞍点影响性能的问题，提出迭代后对社区分配后验做硬阈值的改进方法，理论证明其在平均节点度有界时可准确恢复社区标签，数值实验验证其优于经典方法与现有SOTA算法。
2024-05-21 cs.LG stat.ML
Streamlined Variational Inference for Linear Mixed Models with Crossed Random Effects
本文导出了一种改进的均值场变分贝叶斯算法，用于拟合具有交叉随机效应的线性混合模型。在最一般的情况下，交叉组的维数是任意大的，精简是由于底层最小二乘系统缺乏稀疏性而受到阻碍。由于这一事实，我们也考虑一个层次的放松的平均场产品的限制。最不严格的乘积限制提供了高度的推理准确性。然而，这种准确性必须针对其更高的存储和计算需求进行缓解。还提供了更快的稀疏存储和计算替代方案，但代价是推理准确性降低。本文提供了完整的算法细节的三个变分推断策略，提出了详细的实证结果，其优点和缺点，从而指导用户选择的变分推断方法取决于问题的大小和计算资源。
2022-04-14 stat.ME stat.ML
Variational Student: Learning Compact and Sparser Networks in Knowledge Distillation Framework
TCS Research（塔塔咨询服务公司研究院）；IIT Kharagpur（印度理工学院克勒格布尔分校）
深入神经网络研究的圣杯是在嵌入式平台上移植内存和计算密集型网络模型，同时最大限度地降低模型精度。为此，我们提出了一种新的方法，称为变分学生，在那里我们获得的好处的压缩性的知识蒸馏（KD）框架，和稀疏诱导能力的变分推理（VI）技术。从本质上讲，我们建立了一个稀疏的学生网络，其稀疏性是通过优化基于VI的损失函数发现的变分参数引起的，利用了准确但复杂的预训练教师网络所学到的知识。此外，为了增强稀疏性，我们还在教师和学生网络权重的级联张量上采用了块稀疏正则化器。我们证明了KD和VI技术的婚姻继承了KD框架的压缩特性，并提高了VI方法的稀疏性水平，同时在模型精度方面具有最小的妥协。我们在LeNet MLP和VGGNet（CNN）上对我们的结果进行了基准测试，并在这些MLP和CNN变体上分别说明了64倍和213倍的内存占用减少，而无需重新训练教师网络。此外，在低数据状态下，我们观察到我们的方法在准确性方面优于最先进的贝叶斯技术。
2019-10-26 cs.LG stat.ML
On MCMC for variationally sparse Gaussian processes: A pseudo-marginal approach
高斯过程（GP）经常用于机器学习和统计中以构建强大的模型。然而，在实践中使用GP时，必须考虑到高计算负担、后验近似、协方差函数的选择及其超参数的推断。为了解决这些问题，Hensman等人（2015）将变分稀疏GP与马尔可夫链蒙特卡罗（MCMC）相结合，为GP模型推导出一个可扩展、灵活和通用的框架。然而，所得到的方法需要棘手的可能性评估许多观测模型。为了绕过这个问题，我们提出了一个伪边际（PM）计划，提供渐近精确的推理，以及通过双随机估计的计算增益的棘手的可能性和大数据集。在复杂的模型中，PM方案的优势是特别明显的，我们证明了这一点的两级GP回归模型与非参数协方差函数捕捉非平稳性。
2021-03-04 stat.CO stat.ML
A Variational Inference Approach to Inverse Problems with Gamma Hyperpriors
具有gamma超先验的分层模型提供了一个灵活的稀疏提升框架，用于将贝叶斯公式中的$L^1$和$L^2$正则化与逆问题联系起来。尽管这些模型的贝叶斯动机，现有的方法仅限于\textit{maximum a posteriori}估计。执行不确定性量化的潜力尚未实现。本文提出了一种求解具有Gamma超先验的递阶反问题的变分迭代交替格式。建议的变分推断方法产生准确的重建，提供有意义的不确定性量化，并且易于实现。此外，它还可以很自然地进行超参数选择的模型选择。我们说明了我们的方法的性能在几个计算的例子，包括反卷积问题和稀疏识别动态系统的时间序列数据。
2021-11-29 stat.CO stat.ME stat.ML
Training Bayesian Neural Networks with Sparse Subspace Variational Inference
Purdue University（普渡大学）
提出首个完全稀疏的贝叶斯神经网络框架SSVI，通过交替优化稀疏子空间基选择与参数，在训练和推断全程保持高稀疏性，大幅降低训练成本并实现10-20倍模型压缩且性能损失极小。
2024-02-16 cs.LG stat.ML
VASE: Variational Assorted Surprise Exploration for Reinforcement Learning
University of Otago（奥塔哥大学）
在具有连续控制和稀疏奖励的环境中进行探索仍然是强化学习（RL）的关键挑战。最近，惊喜被用作一种内在奖励，鼓励系统和有效的探索。我们引入了一个新的惊喜的定义和它的RL实现命名为变分什锦惊喜探索（VASE）。VASE使用贝叶斯神经网络作为环境动态模型，并使用变分推理进行训练，交替更新代理模型和策略的准确性。我们的实验表明，在连续控制稀疏奖励环境中，VASE优于其他基于探索的技术。
2019-10-31 cs.LG stat.ML
Variational Inference for Sparse Gaussian Process Modulated Hawkes Process
The Australian National University（澳大利亚国立大学）；Data61 CSIRO（联邦科学与工业研究组织数据61所）；University of Technology Sydney（悉尼科技大学）
霍克斯过程（HP）已被广泛应用于模拟自激事件，包括神经元尖峰，地震和鸣叫。为了避免设计参数触发核，并能够量化的预测置信度，非参数贝叶斯HP已被提出。然而，这样的模型的推理遭受不可扩展性或缓慢的收敛。在本文中，我们旨在解决这两个问题。具体来说，首先，我们提出了一个新的非参数贝叶斯HP中的触发内核建模为一个平方稀疏高斯过程。然后，我们提出了一种新的变分推理模式的模型优化。我们采用分支结构的HP，使最大化的证据下限（ELBO）是易于处理的期望最大化算法。我们提出了一个更紧密的ELBO，提高了拟合性能。此外，我们加速了新的变分推理模式的线性时间复杂度，利用平稳的触发内核。与以往的加速方法不同，我们的方法具有更高的效率。最后，我们利用合成数据和两个大型社交媒体数据集来评估我们的方法。我们表明，我们的方法优于国家的最先进的非参数频率和贝叶斯方法。我们验证了我们的加速变分推理模式的效率和实际效用，我们更紧密的ELBO模型选择。我们观察到，更严格的ELBO超过了常见的模型选择。
2019-11-23 cs.LG stat.ML
Hybrid Variational/Gibbs Collapsed Inference in Topic Models
University of California Irvine（加利福尼亚大学欧文分校）；University College London（伦敦大学学院）；Radboud University Nijmegen（拉德堡德大学）
变分贝叶斯推理和（塌陷）吉布斯抽样是贝叶斯网络的两类重要的推理算法。两者都有其优点和缺点：塌陷吉布斯采样是无偏的，但对于大计数值也是低效的，并且需要对许多样本进行平均以减少方差。另一方面，变分贝叶斯推理是有效的，准确的大计数值，但遭受小计数的偏见。我们提出了一种混合算法，结合了两个世界的最佳：它的样本非常小的计数和应用变分更新大计数。这种杂交显着提高测试集的困惑相对于变分推理在没有计算成本。
2012-06-13 cs.LG stat.ML
Adaptive variational Bayes: Optimality, computation and applications
针对缺乏通用可计算自适应变分贝叶斯方法的问题，提出可组合多模型变分后验的框架，证明其最优收缩率，给出海量模型下的可行方案，还揭示了变分贝叶斯的隐式正则化效应。
2024-03-11 math.ST stat.ML stat.TH
Flexible mean field variational inference using mixtures of non-overlapping exponential families
Stanford University（斯坦福大学）
稀疏模型是跨不同领域的许多应用程序所期望的，因为它们可以执行自动变量选择，帮助可解释性，并提供正则化。然而，当在贝叶斯框架中拟合稀疏模型时，除了最简单的情况之外，在所有情况下都难以解析地获得感兴趣的参数的后验分布。因此，从业者必须依赖于抽样算法，如马尔可夫链蒙特卡罗或变分方法，以获得一个近似的后验。平均场变分推理是一个特别简单和流行的框架，往往是服从解析推导的封闭形式的参数更新。当模型中的所有分布都是指数族的成员并且条件共轭时，通常可以手工导出优化方案。然而，我表明，使用标准的平均场变分推理可能无法产生合理的结果与稀疏诱导先验模型，如穗和板。幸运的是，这样的病态行为可以补救，因为我表明，混合指数族分布与非重叠的支持形成一个指数族。特别地，扩散指数族和在零处的点质量的任何混合以模型稀疏性形成指数族。此外，这些分布的特定选择保持条件共轭性。我用两个应用程序来激励这些结果：一个来自统计遗传学，它与广义最小二乘法有联系，在回归系数上有一个尖峰和厚板;和稀疏概率主成分分析。这里提出的理论结果是广泛适用于这两个例子之外。
2020-10-14 cs.LG math.ST stat.ML
Incorporating prior information and borrowing information in high-dimensional sparse regression using the horseshoe and variational Bayes
我们介绍了一种稀疏的高维回归方法，可以将先验信息的回归参数，并可以借用一组类似的数据集的信息。先前的信息可以例如来自先前的研究或基因组数据库，以及跨一组基因或基因组网络借用的信息。该方法是基于使用马蹄铁先验的回归参数的先验建模，与依赖于外部信息的稀疏指数的先验。通过对超参数应用经验贝叶斯策略来集成多个数据集。为了提高计算效率，我们使用变分贝叶斯方法近似后验分布。该框架对于分析具有复杂依赖结构的大规模数据集是有用的。我们通过应用于基因调控网络的重建和eQTL定位来说明这一点。
2019-01-29 stat.ME
Variational Bayesian Sparse Negative Binomial Regression
University of Tehran（德黑兰大学）；Ferdowsi University of Mashhad（马什哈德费尔多西大学）
针对高维计数数据回归难题，开发变分贝叶斯框架，用马蹄形和连续收缩先验实现稀疏负二项回归，相比MCMC方法计算量大幅减少，在过度离散和泊松数据中都有良好表现，为高维稀疏计数回归提供实用工具。
2026-07-30 stat.ME
SparseStep: Approximating the Counting Norm for Sparse Regularization
提出了一种用于估计线性回归问题中稀疏参数向量的稀疏步长算法。该算法的工作原理是通过添加一个近似的精确计数范数作为对模型参数的约束，并迭代地加强这种近似，以达到稀疏的解决方案。对罚函数的理论分析表明，该估计量给出了参数向量的无偏估计。一个迭代优化算法推导出一个简单的实现让人想起岭回归。此外，通过严格的模拟研究，它往往优于现有的方法在模型拟合和预测精度的SparseStep算法与类似的方法进行了比较。
2017-01-24 stat.ME
Sparse Variational Contaminated Noise Gaussian Process Regression with Applications in Geomagnetic Perturbations Forecasting
University of Michigan（密歇根大学）
针对复杂协方差数据中的异方差与离群噪声，本文提出污染正态似然的稀疏变分高斯过程回归，并在地磁扰动预测中以更短预测区间达到与神经网络基线相当的覆盖率和准确率。
2024-07-02 cs.LG stat.AP stat.ME
New Bounds for Sparse Variational Gaussian Processes
Google DeepMind（谷歌DeepMind）
本文提出一种更一般的变分分布来放宽稀疏变分高斯过程的基础假设，通过解析优化额外参数获得更紧的塌缩证据下界，该方法易于随机优化且能减少超参数偏差并提升预测性能。
2025-06-26 cs.LG stat.ME stat.ML
Connections and Equivalences between the Nyström Method and Sparse Variational Gaussian Processes
University of Oxford（牛津大学）；EURECOM（欧洲通信研究院）；University of Adelaide（阿德莱德大学）
我们研究了稀疏近似方法之间的联系，使核方法和高斯过程（GP）可扩展到大规模数据，重点是Nyström方法和稀疏变分高斯过程（SVGP）。虽然GP的稀疏近似方法和核方法具有一些代数相似性，但文献缺乏对它们如何以及为什么相关的深入理解。这可能会对GP和内核社区之间的通信造成障碍，使得难以将结果从一端传输到另一端。我们的动机是消除这一障碍，澄清稀疏近似GP和核方法之间的联系。在这项工作中，我们研究了两种流行的方法，Nyström和SVGP近似，在回归问题的背景下，并建立它们之间的各种连接和等价性。特别是，我们提供了一个RKHS解释的SVGP近似，并表明，证据下界的SVGP包含的Nyström近似的目标函数，揭示了两种方法之间的代数等价性的起源。我们还研究了最近建立的SVGP的收敛结果，以及它们如何与Nyström方法的近似质量相关。
2023-02-08 cs.LG math.ST stat.ME
Fast post-process Bayesian inference with Variational Sparse Bayesian Quadrature
Department of Computer Science, University of Helsinki（赫尔辛基大学计算机科学系）；Department of Statistics, University of Edinburgh（爱丁堡大学统计系）
针对已有大量模型评估却未被传统推断利用的问题，提出后处理贝叶斯推断框架及 VSBQ，通过稀疏 GP 代理、贝叶斯求积与变分推断实现无需额外模型调用的快速高质量后验近似。
2025-07-23 cs.LG stat.CO stat.ME
