Accurate and Scalable Stochastic Gaussian Process Regression via Learnable Coreset-based Variational Inference
Columbia University（哥伦比亚大学）；BCAM & Ikerbasque（BCAM与伊克尔巴斯克基金会）
提出基于可学习核心集变分推断的高斯过程回归方法CVGP，通过先验与似然定义后验，推导出适用于随机优化的变分下界，将参数搜索空间降至线性复杂度并确保数值稳定性。
2025-03-04 cs.LG stat.ML
Neighbour-Driven Gaussian Process Variational Autoencoders for Scalable Structured Latent Modelling
Department of Computer Science, University of Manchester, Manchester, UK（计算机科学系，曼彻斯特大学，曼彻斯特，英国）
提出邻居驱动的近似策略，利用潜空间局部邻接关系实现可扩展的GPVAE推理，在保留依赖性的同时减少诱导点需求，并在多项任务中优于其他GPVAE变体。
2025-08-15 cs.LG stat.ML
Scalable Variational Bayesian Kernel Selection for Sparse Gaussian Process Regression
National University of Singapore（新加坡国立大学）；Shenzhen University（深圳大学）
针对稀疏高斯过程回归（SGPR）模型，提出了一种变分贝叶斯核选择（VBKS）算法。与现有的GP核选择算法，旨在选择只有一个内核与最高的模型证据相比，我们提出的VBKS算法认为内核作为一个随机变量，并从数据中学习它的信念，使内核的不确定性可以解释和利用，以避免过于自信的GP预测。为了实现这一点，我们将概率核表示为SGPR模型的变分推理（VI）框架中的附加变分变量，其中其后验信念与其他变分变量的后验信念一起学习（即，诱导变量和内核超参数）。特别是，我们通过重新参数化将离散的核信念转换为连续的参数分布，以便应用VI。虽然它是计算上的挑战，以共同优化大量的超参数，由于许多内核同时评估我们的VBKS算法，我们表明，变分下限的对数边际似然可以分解成一个附加的形式，使每个附加项只依赖于一个不相交的子集的变分变量，因此可以独立优化。然后使用随机优化来最大化变分下限，通过随机梯度上升迭代地改进精确后验信念的变分近似，这导致每次迭代的时间恒定，因此可以扩展到大数据。我们经验性地评估我们的VBKS算法在合成和大量真实世界数据集上的性能。
2019-12-05 cs.LG stat.ML
Simple, Scalable, and Stable Variational Deep Clustering
King Digital Entertainment, Activision Blizzard Group（动视暴雪集团King数字娱乐公司）；Uppsala University（乌普萨拉大学）
深度聚类（DC）已经成为无监督聚类的最新技术。原则上，DC代表了各种无监督方法，这些方法直接从非结构化数据集中联合学习底层聚类和潜在表示。然而，DC方法通常由于操作成本高、可扩展性低和结果不稳定而应用不佳。在本文中，我们首先使用八个经验标准在工业适用性的背景下评估几个流行的DC变体。然后，我们选择专注于变分深度聚类（VDC）方法，因为它们大多符合这些标准，除了简单性，可扩展性和稳定性。为了解决这三个未满足的标准，我们介绍了四个通用算法的改进：初始$γ$ -训练，定期$β$ -退火，小批量GMM（高斯混合模型）初始化，和逆最小最大变换。我们还提出了一种新的聚类算法S3 VDC（简单，可扩展，稳定的VDC），结合所有这些改进。我们的实验表明，S3 VDC在基准任务和大型非结构化工业数据集上都优于最先进的技术，而没有任何地面真实标签。此外，我们分析评估的可用性和可解释性的S3 VDC。
2020-05-21 cs.LG stat.ML
Variational Auto-encoded Deep Gaussian Processes
University of Sheffield（谢菲尔德大学）
我们通过用识别模型增强深度高斯过程来开发一个可扩展的深度非参数生成模型。推理是在一种新型的可扩展变分框架中进行的，其中变分后验分布通过多层感知器重新参数化。这种重新表述的关键方面是，它可以防止扩散的变分参数，否则线性增长的样本大小成比例。我们推导出一种新的变分下界公式，使我们能够以一种能够处理主流深度学习任务大小的数据集的方式分配大部分计算。我们展示了该方法对各种挑战的有效性，包括深度无监督学习和深度贝叶斯优化。
2016-02-29 cs.LG stat.ML
Scalable Sparse Autoregressive Variational Inference for Non-Gaussian Spatial Fields
The Ohio State University（俄亥俄州立大学）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
本文针对非高斯空间场后验分布难以解析求解的问题，提出一种可扩展稀疏自回归变分推断框架，结合归一化流与双重随机优化，实现高效近似推断。
2026-10-12 cs.LG stat.CO stat.ME
Robust and Scalable Variational Bayes
Washington University in St. Louis（圣路易斯华盛顿大学）；University of Maryland（马里兰大学）
针对大型数据集中的离群值和污染问题，提出鲁棒可扩展的变分贝叶斯框架，通过划分数据集、独立近似子集后验并基于Wasserstein距离的几何中位数聚合，得到VM-Posterior，在保留收缩性质的同时保证鲁棒性与可扩展性。
2025-04-16 cs.LG stat.ME stat.ML
Scalable Semi-Modular Inference with Variational Meta-Posteriors
University of Oxford（牛津大学）
截后验和相关的半模块化推理是模块化贝叶斯证据组合的广义贝叶斯方法。分析被分解在联合后验分布的模块化子模型上。多模块模型中的模型错误指定很难单独通过模型细化来修复，而Cut posterior和SMI提供了一种解决方法。从错误指定的模块进入分析的信息由与学习率相关的影响参数$η$控制。本文包含两个实质性的新方法。首先，我们给出了变分方法来近似切割和SMI后验，这是适应证据组合的推理目标。我们使用Normalising Flow对一系列变分后验进行参数化，以实现精确近似和端到端训练。其次，我们证明了使用一个新的变分元后验分析模型的多个切割是可行的。这近似一个家庭的SMI后验指数$η$使用一组变分参数。
2022-04-01 cs.LG stat.CO stat.ML
Scalable and Interpretable Scientific Discovery via Sparse Variational Gaussian Process Kolmogorov-Arnold Networks (SVGP KAN)
UCLA（加州大学洛杉矶分校）
SVGP-KAN 通过稀疏变分推断和 KAN 结构，实现可扩展且可解释的概率 KAN，适用于大规模科学数据集，并能识别相关输入和功能关系。
2025-11-29 cs.LG stat.ML
Scalable Multi-Output Gaussian Processes with Stochastic Variational Inference
Department of Computer Science（计算机科学系）；University of Manchester（曼彻斯特大学）；Faculty of Biology, Medicine and Health（生物医学与健康学院）
针对潜变量多输出高斯过程（LV-MOGP）计算复杂度随输出数线性增长的问题，提出支持输入输出小批量训练的随机变分推理方法，实现训练迭代复杂度与输出数无关的可扩展MOGP建模。
2025-06-05 cs.LG stat.ML
Scalable Spike Source Localization in Extracellular Recordings using Amortized Variational Inference
University of Edinburgh（爱丁堡大学）；MIT–IBM Watson AI Lab（麻省理工-IBM沃森人工智能实验室）；University of Oslo（奥斯陆大学）
确定细胞外记录中神经元的位置对于研究潜在神经回路的功能特性是有用的。在这项工作中，我们提出了一种贝叶斯建模方法，用于定位高密度微电极阵列上的单个尖峰信号源。为了允许可扩展的推理，我们将我们的模型实现为变分自动编码器，并执行摊销变分推理。我们评估我们的方法在生物医学上逼真的模拟和真实的细胞外数据集，证明它比启发式定位方法（如质心）更准确，可以提高尖峰分选性能。
2022-01-26 cs.LG q-bio.NC
BCD Nets: Scalable Variational Approaches for Bayesian Causal Discovery
Stanford University（斯坦福大学）；Facebook AI Research（Facebook人工智能研究院）；University of California, Los Angeles（加州大学洛杉矶分校）
结构方程模型（SEM）是一个有效的框架，通过一个有向无环图（DAG）表示的因果关系的原因。最近的进展使有效的最大似然点估计的DAG从观测数据。然而，在实际场景中，点估计可能无法准确地捕获推断基础图时的不确定性，其中真实DAG是不可识别的和/或观察到的数据集是有限的。我们提出了贝叶斯因果发现网（BCD网），一个变分推理框架，用于估计分布在DAG特征的线性高斯SEM。由于图的离散性和组合性，在DAG上开发完整的贝叶斯后验是具有挑战性的。我们分析了DAG上可扩展VI的关键设计选择，例如1）通过表达变分族对DAG进行参数化，2）实现低方差随机优化的连续松弛，以及3）潜在变量的合适先验。我们提供了一系列的真实和合成数据的实验表明，BCD网优于最大似然方法的标准因果发现指标，如结构汉明距离在低数据制度。
2021-12-06 cs.AI cs.LG stat.ML
Variational Autoencoders: A Harmonic Perspective
University of Oxford（牛津大学）；UCL（伦敦大学学院）；The Alan Turing Institute（艾伦·图灵研究所）
在这项工作中，我们研究变分自动编码器（VAE）的谐波分析的角度。通过查看一个VAE的潜在空间作为高斯空间，各种测量空间，我们得出了一系列的结果表明，VAE的编码器方差控制的VAE编码器和解码器神经网络参数化的功能的频率内容。特别是，我们证明了较大的编码器方差降低这些功能的高频内容。我们的分析使我们能够表明，增加这个方差有效地诱导了VAE解码器网络上的软Lipschitz约束，这是VAE对抗鲁棒性的核心贡献者。我们进一步证明，将高斯噪声添加到VAE的输入中可以更精细地控制VAE编码器网络的频率内容和Lipschitz常数。为了支持我们的理论分析，我们使用小型全连接神经网络和较大的卷积网络进行VAE实验，以经验证明我们的理论适用于各种神经网络架构。
2022-04-23 cs.LG eess.SP stat.ML
Structured Variational Inference for Coupled Gaussian Processes
Gatsby Computational Neuroscience Unit（盖茨比计算神经科学单元）；University College London（伦敦大学学院）
稀疏变分近似允许在高斯过程（GP）模型中进行有原则的和可扩展的推断。在多个GP是生成模型的一部分的设置中，这些GP是后验耦合的。对于许多应用，例如回归，其中预测精度是感兴趣的量，这种耦合并不重要。然而，如果人们对后验不确定性感兴趣，它就不能被忽略。变分推断方案的一个关键要素是近似后验参数化的选择。当隐变量数目较大时，均值场方法提供了快速准确的后验均值，而结构化后验均值导致推理算法的计算复杂度更高。在这里，我们扩展了以前的稀疏GP近似，并提出了一种新的参数化的变分后验在多GP设置允许快速和可扩展的推理捕获后验依赖。
2017-11-29 cs.LG stat.ML
Scalable Variational Bayesian Fine-Tuning of LLMs via Orthogonalized Low-Rank Adapters
School of Electrical and Computer Engineering, University of Georgia（佐治亚大学电气与计算机工程学院）；Department of Computer Science, ETH Zurich（苏黎世联邦理工学院计算机科学系）
本文提出PoLAR-VBLL框架，通过正交化低秩适配器与变分推断结合，实现大规模语言模型的可扩展贝叶斯微调，提升不确定性量化能力。
2026-04-03 cs.LG stat.ML
Sparse Gaussian Processes with Spherical Harmonic Features
Amazon Research（亚马逊研究院）
我们引入了一类新的域间变分高斯过程（GP）的数据被映射到单位超球，以使用球谐表示。我们的推理方案是可比的变分傅立叶特征，但它不受维数灾难，并导致诱导变量之间的对角协方差阵。这使得推理速度加快，因为它绕过了对大型协方差阵求逆的需要。我们的实验表明，我们的模型能够拟合具有600万个条目的数据集的回归模型，与标准稀疏GP相比快两个数量级，同时保持最先进的准确性。我们还展示了具有竞争力的性能与非共轭似然分类。
2020-06-30 cs.LG stat.ML
Scalable Stochastic Parametric Verification with Stochastic Variational Smoothed Model Checking
University of Trieste（的里雅斯特大学）
提出SV-smMC方法，利用随机变分推断近似后验分布，解决平滑模型检验中高斯过程的可扩展性问题，支持GP和BNN模型，实现GPU加速，在更大高维数据集上保持计算效率与准确性。
2023-04-06 cs.LG stat.ML
Fully Scalable Gaussian Processes using Subspace Inducing Inputs
University College London（伦敦大学学院）；Athens University of Economics and Business（雅典经济与商业大学）；The Alan Turing Institute（艾伦·图灵研究所）
我们引入完全可扩展的高斯过程，一个实现方案，解决了大量的训练实例与高维输入数据一起处理的问题。我们的关键思想是一个表示技巧的诱导变量称为子空间诱导输入。这是结合一定的矩阵预处理的变分分布，导致简化和数值稳定的变分下界的参数化。我们的说明性应用程序是基于具有挑战性的极端多标签分类问题与非常大量的类标签的额外负担。我们证明了我们的方法的有用性，提出预测性能与低计算时间在数据集具有非常大的实例和输入尺寸。
2018-07-12 cs.LG stat.ML
Variational Routing: A Scalable Bayesian Framework for Calibrated Mixture-of-Experts Transformers
Department of Computing, Imperial College London（伦敦帝国理工学院计算机系）
提出变分混合专家路由（VMoER），通过将贝叶斯推断限制在专家选择阶段，实现大规模模型的不确定性校准，在微调基础模型上显著提升路由稳定性、降低校准误差并提高分布外检测AUROC，且额外计算开销极小。
2026-05-28 cs.AI cs.LG stat.ML
Scalable Factorized Hierarchical Variational Autoencoder Training
Massachusetts Institute of Technology（麻省理工学院）
深度生成模型在无监督学习中取得了巨大的成功，能够捕捉潜在生成因子和观测之间的复杂非线性关系。其中，因子分解分层变分自动编码器（FHVAE）是一个基于变分推断的模型，制定了一个层次的生成过程的顺序数据。具体来说，FHVAE模型可以学习解纠缠和可解释的表示，这已经被证明对许多语音应用有用，例如说话人验证，鲁棒语音识别和语音转换。然而，正如我们将在本文中详细说明的那样，原始论文中提出的训练算法无法扩展到数千小时的数据集，这使得该模型在更大规模上的适用性较低。在确定了运行时间、内存和超参数优化方面的限制后，我们提出了一种分层采样训练算法来解决这三个问题。我们提出的方法在各种数据集上进行了全面评估，范围从3小时到1，000小时，涉及不同类型的生成因素，例如记录条件和噪音类型。此外，我们还提出了一种新的可视化方法，定性评估的性能方面的可解释性和解开。用我们提出的算法训练的模型在所有数据集上都表现出所需的特征。
2018-06-15 cs.CL cs.LG cs.SD
Scalable Uncertainty for Computer Vision with Functional Variational Inference
Imperial College London（帝国理工学院）
随着深度学习在计算机视觉中的成功应用，量化所有形式的不确定性的能力是其在现实世界中安全可靠部署的首要要求。在这项工作中，我们利用函数空间中变分推理的公式，将高斯过程（GP）与贝叶斯CNN先验和变分族相关联。由于GP完全由其均值和协方差函数确定，因此我们能够以通过任何选择的CNN架构和任何监督学习任务的单次前向传递为代价获得预测不确定性估计。通过利用诱导协方差矩阵的结构，我们提出了数值上有效的算法，使快速训练的背景下，如深度估计和语义分割的高维任务。此外，我们提供了充分的条件，为构造回归损失函数的概率对应物是兼容的任意不确定性量化。
2020-03-06 cs.CV cs.LG
Factorized Gaussian Process Variational Autoencoders
ETH Zürich（苏黎世联邦理工学院）；Warwick University（华威大学）
变分自动编码器通常假设各向同性高斯先验和平均场后验，因此在我们可能期望潜在变量之间的相似性或一致性的情况下不会利用结构。高斯过程变分自编码器通过使用潜在的高斯过程来缓解这个问题，但是导致立方推理时间复杂度。我们提出了一个更可扩展的扩展这些模型，利用独立的辅助功能，这是目前在许多数据集。我们的模型在不同的维度上分解了这些特征的潜在内核，导致了显着的加速（理论和实践），同时根据经验对现有的不可扩展方法进行了改进。此外，我们的方法允许额外的全球潜在信息的建模和更一般的外推到看不见的输入组合。
2020-11-14 cs.CV cs.LG stat.ML
Scalable Gaussian Processes with Billions of Inducing Inputs via Tensor Train Decomposition
Lomonosov Moscow State University（莫斯科国立大学）；Cornell University（康奈尔大学）；National Research University Higher School of Economics（国立研究型高等经济大学）；Institute of Numerical Mathematics RAS（俄罗斯科学院数值数学研究所）
提出了一种高斯过程（GP）模型近似推理的方法（TT-GP）。我们建立在以前的可扩展GP研究，包括随机变分推理的基础上诱导输入，内核插值，和结构利用代数。我们的方法的核心思想是使用张量训练分解变参数，这使我们能够训练GP与数十亿诱导输入，并实现国家的最先进的结果在几个基准。此外，我们的方法允许基于深度神经网络训练内核，而无需对底层GP模型进行任何修改。神经网络学习数据的多维嵌入，GP使用该多维嵌入来进行最终预测。我们训练GP和神经网络参数端到端没有预训练，通过GP边际似然最大化。我们在几个回归和分类基准数据集，包括MNIST，CIFAR-10，和航空公司的效率所提出的方法。
2018-01-17 cs.LG stat.ML
Sparse Gaussian Processes with Spherical Harmonic Features Revisited
Microsoft Research（微软研究院）
我们重新审视了具有球谐特征的高斯过程模型，并研究了相关的RKHS，其特征结构和深层模型之间的联系。在此基础上，我们引入了一类新的内核，对应于连续深度的深度模型。在我们的公式中，深度可以通过优化证据下限来估计为核超参数。此外，我们引入稀疏的特征基变分学习的球谐相位。这使得能够缩放到比以前更大的输入尺寸，同时还允许学习高频变化。我们在机器学习基准数据集上验证了我们的方法。
2023-03-28 cs.LG stat.ML
Scalable Variational Causal Discovery Unconstrained by Acyclicity
Applied Artificial Intelligence Institute (A2I2)（应用人工智能研究所（A2I2））；Deakin University（迪肯大学）
本研究提出一种不受无环性约束的可扩展贝叶斯因果发现方法，通过新颖的可微DAG采样将隐式拓扑顺序的无约束分布映射到DAG分布，利用变分推理高效学习因果图后验，在模拟与真实数据上表现优越。
2024-08-29 cs.AI cs.LG stat.ME
Scalable Microservice Forensics and Stability Assessment Using Variational Autoencoders
SRI International（SRI国际）
我们提出了一种基于深度学习的方法来进行容器化应用程序运行时稳定性分析，以及一种智能发布算法，该算法可以动态调整发布到后端事件分析存储库的进程级取证的深度。该方法采用变分自编码器（VAE）学习容器镜像的稳定运行模式，并将其实例化，实现容器镜像的稳定性检测和自适应取证发布。在使用50个实例容器工作负载的性能比较中，VAE优化的服务与传统的基于eBPF的取证发布服务相比，CPU性能提高了2个数量级（OM），网络传输量减少了3 OM，Elasticsearch存储成本减少了4 OM。我们评估了基于VAE的稳定性检测技术对两种攻击，CPUMiner和HTTP洪水攻击，发现它是有效的隔离这两种异常。我们相信这项技术提供了一种新的方法，可以将细粒度的流程监控和数字取证服务集成到大型容器生态系统中，而这些生态系统目前根本无法通过传统技术进行监控
2021-04-23 cs.CR cs.LG
Scalable Gaussian Process Classification via Expectation Propagation
变分方法最近被认为是用于将高斯过程分类器的训练过程扩展到大数据集。作为替代方案，我们在这里描述如何使用期望传播有效地训练这些分类器。所提出的方法允许处理具有数百万个数据实例的数据集。更确切地说，它可以用于（i）以分布式方式进行训练，其中数据实例被发送到执行所需计算的不同节点，以及用于（ii）使用梯度的随机逼近来最大化边际似然的估计。几个实验表明，所描述的方法是有竞争力的变分方法。
2015-07-16 stat.ML
Learning inducing points and uncertainty on molecular data by scalable variational Gaussian processes
Institute for Chemical Reaction Design and Discovery (WPI-ICReDD)（化学反应设计与发现研究所（WPI-ICReDD））；Hokkaido University（北海道大学）；National Institute for Materials Science（物质・材料研究机构）
本文研究如何利用可扩展变分高斯过程中的诱导点学习，在分子数据上同时实现不确定性控制与大规模可扩展性，并通过实验证明该方法能有效提升能量和原子力预测性能。
2024-02-20 cs.LG physics.chem-ph physics.comp-ph
BasisVAE: Translation-invariant feature-level clustering with Variational Autoencoders
University of Oxford（牛津大学）；Alan Turing Institute（艾伦·图灵研究所）；University of Birmingham（伯明翰大学）；University of Manchester（曼彻斯特大学）
变分自动编码器（VAE）为非线性降维提供了一个灵活且可扩展的框架。然而，在应用领域，如基因组学的数据集通常是表格和高维的，黑盒方法降维不能提供足够的见解。常见的数据分析工作流还使用聚类技术来识别相似特征的组。这通常会导致一个两阶段的过程，但是，这将是可取的，以建立一个联合建模框架，同时降维和聚类的功能。在本文中，我们建议通过BasisVAE来实现这一点：VAE和概率聚类先验的组合，它让我们学习一个独热基函数表示作为解码器网络的一部分。此外，对于不是所有特征都对齐的情况，我们开发了一个扩展来处理双线性不变基函数。我们展示了如何崩溃的变分推断计划导致可扩展的和有效的推理BasisVAE，演示各种玩具的例子，以及单细胞基因表达数据。
2020-03-06 cs.LG q-bio.GN stat.ML
Robust scalable initialization for Bayesian variational inference with multi-modal Laplace approximations
针对全协方差高斯混合变分推断参数增长快且易陷入局部最优的问题，提出多起点优化结合局部 Laplace 近似与约束最小二乘的初始化方法。
2023-07-12 cs.CE stat.CO stat.ME
Scalable Variational Gaussian Processes for Crowdsourcing: Glitch Detection in LIGO
University of Granada（格拉纳达大学）；Northwestern University（西北大学）；Cardiff University（卡迪夫大学）
在过去的几年里，众包正在改变分类训练集的获取方式。众包不是依赖于单个专家注释者，而是在大量合作者之间共享标签工作。例如，这被应用于获奖的激光干涉引力波天文台（LIGO）获得的数据，以检测可能阻碍识别真正引力波的故障。众包场景带来了新的挑战性困难，因为它处理来自具有未知专业知识程度的异质注释者群体的不同意见。概率方法，如高斯过程（GP），已被证明是成功的建模这种设置。然而，GPS不能很好地扩展到大型数据集，这阻碍了它们在实际应用中的广泛采用（特别是在LIGO）。这导致了最近引入的基于深度学习的众包方法，这已经成为最先进的。然而，GPS的准确不确定性量化已经部分牺牲。这对于LIGO中的天体物理学家来说是一个重要的方面，因为毛刺检测系统应该提供非常准确的预测概率分布。在这项工作中，我们利用最流行的稀疏GP近似开发一种新的基于GP的众包方法，分解成小批量。这使得它能够处理以前禁止的数据集。我们称之为可扩展变分高斯过程众包（SVGPCR）的方法将基于GP的方法带回了最先进的水平，并擅长于不确定性量化。SVGPCR被证明优于基于深度学习的方法和以前的概率方法时，应用于LIGO数据。此外，它的行为和主要性质进行了仔细的分析，在控制实验的基础上MNIST数据集。
2019-11-05 cs.CV cs.LG gr-qc
Scalable Amortized GPLVMs for Single Cell Transcriptomics Data
Stanford University（斯坦福大学）；University of Cambridge（剑桥大学）；Broad Institute of MIT and Harvard（麻省理工学院与哈佛大学博德研究所）
本文提出面向单细胞 RNA-seq 的摊销随机变分贝叶斯 GPLVM（BGPLVM），通过专用编码器、核与似然设计提升聚类和可解释性，在合成及 COVID 数据上媲美 scVI。
2024-05-06 cs.LG q-bio.GN stat.AP
Scalable Bayesian Modelling of Paired Symbols
我们提出了一种新的，可扩展的贝叶斯方法来建模的发生对符号（i，j）从一个大的词汇。观察到的对被假定为生成一个简单的流行度为基础的选择过程，然后使用偏好函数进行审查。基于推理的有理有据的原则变定界，并使用新的网站独立的界限，我们展示了如何可扩展的推理过程可以获得大数据集。最先进的结果呈现在现实世界的电影观看数据。
2014-09-10 stat.ML
Variational Calibration of Computer Models
EURECOM（欧洲通信研究院）
黑盒计算机模型的贝叶斯校准提供了一个既定的框架，以获得模型参数的后验分布。传统的贝叶斯校准涉及计算机模型的仿真和使用高斯过程的加性模型差异项;然后使用MCMC进行推断。这些选择提出了计算和统计的挑战和限制，我们克服了提出使用近似深高斯过程和变分推断技术。其结果是一个实用的和可扩展的框架校准，获得竞争力的性能相比，国家的最先进的。
2018-10-29 cs.LG stat.AP stat.ME
Scalable Bayesian Inference for Detection and Deblending in Astronomical Images
我们提出了一种新的概率方法检测，去混合，和编目的天文来源称为贝叶斯光源分离器（BLISS）。BLISS基于深度生成模型，将神经网络嵌入贝叶斯模型。对于后验推理，BLISS使用一种新的变分推理形式，称为前向摊销变分推理。BLISS推理例程速度很快，一旦编码器网络被训练，就需要在GPU上对编码器网络进行单次正向传递。BLISS可以在几秒钟内对百万像素的图像进行完全的贝叶斯推断，并产生高度准确的目录。BLISS具有高度可扩展性，除了生成概率目录外，还具有直接回答下游科学问题的潜力。
2022-07-12 astro-ph.IM stat.AP stat.ML
Actor Heterogeneity and Explained Variance in Network Models -- A Scalable Approach through Variational Approximations
针对超大网络中指数随机图模型因节点同质性假设导致的扩展性与不稳定性问题，提出基于变分近似的可扩展方法，引入行动者随机效应与协变量以降低异质性，并定义后验解释方差，实现了高维有向与无向网络的稳定估计。
2023-09-12 stat.CO stat.ME
Scalable Bayesian Learning for State Space Models using Variational Inference with SMC Samplers
University College of London（伦敦大学学院）；Athens University of Economics and Business（雅典经济与商业大学）；The Alan Turing Institute（艾伦·图灵研究所）
我们提出了一个可扩展的方法来执行近似完全贝叶斯推断在通用的状态空间模型。所提出的方法是一种替代粒子MCMC，提供完全贝叶斯推断的动态潜在状态和静态参数的模型。我们建立在计算统计学的最新进展，结合变分方法与序贯蒙特卡罗采样，我们证明了执行完整的贝叶斯推断的静态参数，而不仅仅是执行变分EM近似的优势。我们说明了我们的方法如何使可扩展的推理，在多变量随机波动模型和自激点过程模型，允许灵活的动态的潜在强度函数。
2019-02-12 cs.LG stat.ML
The Neural Moving Average Model for Scalable Variational Inference of State Space Models
Newcastle University（纽卡斯尔大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
变分推断通过利用小批量训练，在将近似贝叶斯推断扩展到大数据方面取得了巨大成功。然而，到目前为止，这种策略最适用于独立数据的模型。我们提出了一个扩展的状态空间模型的时间序列数据的基础上一种新的生成模型的潜在的时间状态：神经移动平均模型。这允许在不从整个分布中提取的情况下对子序列进行采样，使得训练迭代能够以低计算成本使用小批量的时间序列。我们举例说明我们的方法在自回归，Lotka-Volterra，FitzHugh-Nagumo和随机波动率模型，实现准确的参数估计在很短的时间。
2021-05-18 cs.LG stat.ML
Scalable Mean-Field Variational Inference via Preconditioned Primal-Dual Optimization
Department of Industrial Engineering and Management Science, Northwestern University（工业工程与管理科学系，西北大学）；Department of Mathematics, Northwestern University（数学系，西北大学）；Department of Biostatistics, Brown University（生物统计学系，布朗大学）
本文提出了一种基于预条件对偶优化的可扩展均场变分推断方法，通过改进参数块的几何适应性，提升了算法的鲁棒性和效率，并在大规模数据上验证了其优越的收敛性能。
2026-02-10 cs.LG stat.ML
Scalable Variational Inference in Log-supermodular Models
ETH Zurich（苏黎世联邦理工学院）
研究了对数超模模型中的近似贝叶斯推断问题。这些模型包含具有二进制变量的常规成对MRF，但允许捕获高阶相互作用，这对于现有的近似推理技术（如置信传播、平均场和变体）是难以处理的。我们表明，最近提出的变分方法，在对数超模块化模型-L-FIELD-推断减少到广泛研究的最小范数问题的次模块化。这种洞察力允许利用强大的现有工具，从而比以前更有效地解决变分问题的数量级。然后，我们提供了另一个自然的解释L-FIELD，证明它正好最小化一个特定类型的Rényi散度测度。这种见解揭示了L-场产生的变分近似的性质。此外，我们展示了如何执行并行推理作为消息传递在一个合适的因子图的线性收敛速度，而不必总结了所有配置的因素。最后，我们将我们的方法应用于一个具有挑战性的图像分割任务。我们的实验证实了我们的方法的可扩展性，高质量的边缘，并将高阶电位的好处。
2015-02-24 cs.LG stat.ML
Provably Scalable Black-Box Variational Inference with Structured Variational Families
University of Pennsylvania（宾夕法尼亚大学）
针对黑盒变分推断中满秩变分族扩展性差、迭代复杂度随数据集规模呈平方增长的问题，本文提出结构化变分族，证明其可实现线性迭代复杂度并通过实验验证。
2025-11-13 cs.LG stat.CO stat.ML
Amortized Reparametrization: Efficient and Scalable Variational Inference for Latent SDEs
University of Toronto（多伦多大学）
针对潜在SDE推断时间复杂度受方程刚度制约的问题，提出结合摊销策略与线性SDE期望重参数化的方法，无需求解微分方程即可近似梯度，训练评估次数降一个数量级以上且性能相当。
2023-12-16 cs.LG stat.ML
Variational Inference for Bayesian Neural Networks under Model and Parameter Uncertainty
University of Oslo（奥斯陆大学）；NMBU（挪威生命科学大学）；HiOF（东福尔郡大学学院）
针对现有贝叶斯神经网络无法同时处理结构与参数不确定性的问题，提出结合模型不确定性框架与重参数化变分推断的方法，在联合空间推断，实现了与现有模型相当且更稀疏的效果。
2023-05-01 cs.LG stat.ML
Federated Learning as Variational Inference: A Scalable Expectation Propagation Approach
Carnegie Mellon University（卡内基梅隆大学）；Massachusetts Institute of Technology（麻省理工学院）；Columbia University（哥伦比亚大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Petuum Inc.（Petuum公司）
联邦学习的规范公式将其视为分布式优化问题，其中模型参数针对全局损失函数进行优化，该全局损失函数在客户端损失函数之间进行分解。最近的替代公式将联邦学习视为分布式推理问题，其中目标是从分区的客户端数据推断全局后验（Al-Shedivat et al.，2021年）。本文扩展了推理视图，并描述了变分推理公式的联邦学习的目标是找到一个全局变分后验，以及近似的真实后验。这自然激发了联邦学习（FedEP）的期望传播方法，其中通过中央服务器和客户端之间的概率消息传递迭代地细化全局后验的近似值。我们进行了广泛的实证研究，在各种算法的考虑，并描述了实际的战略，扩大期望传播到现代联邦设置。我们将FedEP应用于标准的联邦学习基准测试，发现它在收敛速度和准确性方面都优于强基线。
2023-02-08 cs.LG
Parallel Scan Recurrent Neural Quantum States for Scalable Variational Monte Carlo
Department of Physics；Astronomy, University of California, Davis, California 95616, USA；Astronomy, San Jos\'e State University, San Jos\'e, California 95192, USA；Department of Applied Mathematics, University of Waterloo, Waterloo, ON N2L 3G1, Canada；Vector Institute, Toronto, Ontario, M5G 0C6, Canada
本文提出并行扫描循环神经量子态，通过并行化递归结构实现高效变分蒙特卡洛计算，在一维和二维空间中实现大规模自旋晶格模拟。
2026-05-13 cond-mat.dis-nn cond-mat.str-el cs.LG
VaCDA: Variational Contrastive Alignment-based Scalable Human Activity Recognition
Department of Computer Science and Engineering, Bangladesh University of Engineering and Technology（计算机科学与工程系，孟加拉国工程与技术大学）；Department of Computer Science, Bowie State University（计算机科学系，布里沃州立大学）
本文提出VaCDA框架，结合变分自编码器和对比学习，解决多源领域适应中的数据异质性问题，提升跨人物、跨位置和跨设备场景下的活动识别性能。
2025-05-08 cs.LG
Scalable Variational Quantum Circuits for Autoencoder-based Drug Discovery
The Pennsylvania State University（宾夕法尼亚州立大学）
药物分子的从头设计被认为是一个耗时且昂贵的过程，并且计算方法已应用于药物发现管道的每个阶段。变分自动编码是一种基于分子数据库探索化学空间的计算机辅助设计方法。量子机器学习已经成为一种非典型的学习方法，由于其强大的表达能力，它可能会加速一些经典的学习任务。然而，近期量子计算机的量子比特数量有限，这阻碍了高维空间中的表示学习。我们提出了一个可扩展的量子生成自动编码器（SQ-VAE），用于同时重建和采样药物分子，以及相应的香草变体（SQ-AE），用于更好的重建。提出了混合量子经典网络的结构策略，如可调量子层深度、异构学习速率和补丁量子线路，用于学习高维数据集，如配体靶向药物。广泛的实验结果报告不同的尺寸，包括8x8和32 x32后，选择合适的架构策略。量子生成式自编码器的性能进行了比较，在整个实验中与相应的经典对应。结果表明，对于归一化的低维分子，可以实现量子计算的优势，而在相同的学习周期内，量子生成自编码器生成的高维分子具有更好的药物性质。
2021-11-15 cs.ET cs.LG quant-ph
Variational Information Maximisation for Intrinsically Motivated Reinforcement Learning
Your Fantastic Institute（优范研究院）；Their Fantastic Institute（泽范研究院）
互信息是一个核心统计量，在机器学习的所有领域都有应用，无论是在多个数据模态上训练密度模型，最大化噪声传输信道的效率，还是在学习人工智能体探索的行为策略时。大多数涉及互信息优化的学习算法依赖于Blahut-Arimoto算法-一种具有指数复杂度的枚举算法，不适合现代机器学习应用。本文通过融合变分推断和深度学习的技术，为互信息的可扩展优化提供了一种新方法。我们通过关注内在动机学习的问题来开发我们的方法，其中互信息形成了一个众所周知的内部驱动的定义，称为授权。使用互信息的变分下界，结合处理视觉输入流的卷积网络，我们开发了一种随机优化算法，该算法允许直接从像素到动作的可扩展信息最大化和基于授权的推理。
2015-09-29 cs.AI cs.LG stat.ML
TensorHyper-VQC: A Tensor-Train-Guided Hypernetwork for Robust and Scalable Variational Quantum Computing
School of Electrical and Computer Engineering, Georgia Institute of Technology, Atlanta, GA 30332, USA（电子与计算机工程学院，佐治亚理工学院）；NVIDIA Research, Santa Clara, CA 95051, USA（NVIDIA研究）；IBM Thomas J. Watson Research Center, NY, 10598, USA（IBM托马斯·J·沃森研究中心）；Hon Hai (Foxconn) Quantum Computing Research Center, Taipei, 114, Taiwan（鸿海（富士康）量子计算研究中心）
TensorHyper-VQC 通过张量列车引导的超网络框架，提升变分量子计算的鲁棒性和可扩展性，实现高效参数生成和噪声容忍性。
2026-02-08 cs.AI cs.LG quant-ph
Neural Variational Inference For Estimating Uncertainty in Knowledge Graph Embeddings
MediaGamma（MediaGamma公司）；University College London（伦敦大学学院）
神经变分推理的最新进展允许在涉及高维数据的各种领域中的潜在变量模型的复兴。虽然传统的变分方法推导出一个解析近似的棘手的分布的潜在变量，在这里，我们构建了一个推理网络的条件下的符号表示的实体和关系类型的知识图谱，提供变分分布。新的框架导致高度可扩展的方法。在Bernoulli抽样框架下，我们为大规模随机变分推理中常用的技术提供了另一种理由，这种方法以额外近似变分下限为代价，大大减少了训练时间。我们从这个高度可扩展的概率框架，即潜在的信息和潜在的事实模型，推理知识图谱为基础的表示引入两个模型。我们的潜在信息和潜在事实模型在某些条件下改进了基线性能。我们使用学习的嵌入方差估计预测的不确定性在链接预测，并讨论这些学习的不确定性估计的质量。我们的源代码和数据集可在https://github.com/alexanderimanicowenrivers/Neural-Variational-Knowledge-Graphs上公开获取。
2019-08-19 cs.AI cs.LG cs.SC
Scalable Bayesian Low-Rank Adaptation of Large Language Models via Stochastic Variational Subspace Inference
Neuro-Symbolic Computing and Intelligence Research Group（神经符号计算与智能研究组）；Computer Science Laboratory（计算机科学实验室）；SRI International（SRI国际）
针对大型语言模型不确定性量化难以扩展的问题，提出ScalaBL方法，通过在低维子空间进行随机变分推断并复用LoRA参数，以极少额外参数实现了与SOTA相当的性能并扩展至迄今最大规模。
2025-06-26 cs.AI cs.CL cs.LG
Spin-Weighted Spherical Harmonics Enable Complete and Scalable $\mathrm{E}(3)$-Equivariant Networks
Department of Computer Science and Engineering, Texas A&M University（德克萨斯农工大学计算机科学与工程系）；Lambda, Inc.（Lambda公司）；Department of Materials Science and Engineering, Texas A&M University（德克萨斯农工大学材料科学与工程系）；Department of Electrical and Computer Engineering, Texas A&M University（德克萨斯农工大学电气与计算机工程系）；Department of Physics and Astronomy, Texas A&M University（德克萨斯农工大学物理与天文学系）；Department of Mechanical Engineering, Texas A&M University（德克萨斯农工大学机械工程系）
提出SpinGTP方法，通过从标量函数推广到自旋加权球谐函数，在保持渐近效率的同时恢复Gaunt张量积缺失的反对称路径，实现完整且可扩展的E(3)-等变网络，在手性材料和非中心对称几何任务中表现优异。
2026-07-07 cs.AI cs.LG
Scalable neural quantum states architecture for quantum chemistry
University of Michigan（密歇根大学）；Flatiron Institute（熨斗研究所）
量子态的神经网络表示的变分优化已经成功地应用于解决相互作用的费米子问题。尽管发展迅速，但在考虑大规模分子时，出现了重大的可扩展性挑战，这些分子对应于由数千甚至数百万个泡利算子组成的非局部相互作用量子自旋哈密顿算子。在这项工作中，我们引入可扩展的并行化策略，以提高基于神经网络的变分量子蒙特卡罗计算从头算量子化学应用。我们建立了GPU支持的局部能量并行计算潜在复杂分子的哈密顿优化目标。使用自回归采样技术，我们证明了系统的改进所需的壁时钟的时间，以实现CCSD基线目标能量。通过将所得自旋哈密顿量的结构容纳到自回归采样排序中，进一步增强了性能。该算法实现了有前途的性能相比，经典的近似方法，并表现出运行时间和可扩展性的优势，现有的基于神经网络的方法。
2022-08-11 cs.LG physics.chem-ph physics.comp-ph
