Enabling scalable stochastic gradient-based inference for Gaussian processes by employing the Unbiased LInear System SolvEr (ULISSE)
在高斯过程的应用中，不确定性的量化是主要的兴趣，它是必要的，以准确地描述协方差参数的后验分布。本文提出了一种自适应的随机梯度Langevin动态算法，从协方差参数的后验分布中提取样本，具有可忽略的偏差，而不需要计算边缘似然。在高斯过程回归中，这有一个巨大的优点，即随机梯度可以通过求解线性系统来计算。提出了一种基于并行化协方差阵-向量积的无偏线性系统求解器，以加速梯度的无偏估计。结果表明，使可扩展的和准确的（在蒙特卡罗意义上）量化高斯过程中的不确定性，而不施加任何特殊结构的协方差或减少输入向量的数量的可能性。
2015-09-03 stat.CO stat.ME stat.ML
Scalable Sparse Autoregressive Variational Inference for Non-Gaussian Spatial Fields
The Ohio State University（俄亥俄州立大学）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
本文针对非高斯空间场后验分布难以解析求解的问题，提出一种可扩展稀疏自回归变分推断框架，结合归一化流与双重随机优化，实现高效近似推断。
2026-10-12 cs.LG stat.CO stat.ME
Fitting logistic multilevel models with crossed random effects via Bayesian Integrated Nested Laplace Approximations: a simulation study
拟合具有二进制响应的交叉分类多水平模型具有挑战性。在这种情况下，一个有前途的方法是贝叶斯推断通过集成嵌套拉普拉斯近似（INLA），它在几个潜变量模型中表现良好。因此，我们设计了一个系统的模拟研究，以评估INLA的性能与交叉分类的logistic数据下定义的随机效应方差的大小，观察的数量，集群的数量，和交叉分类的程度不同的情况下。在模拟中，INLA与流行的极大似然法通过拉普拉斯近似进行了系统的比较。通过对经典蝾螈交配数据的应用，我们比较了INLA与最佳性能的方法。考虑到计算速度和一般良好的性能，INLA原来是一个有价值的方法来拟合所考虑的交叉分类模型。
2016-07-20 stat.CO
Estimation and Inference for Very Large Linear Mixed Effects Models
具有较大不平衡交叉随机效应结构的线性混合模型给极大似然估计和贝叶斯分析带来了严重的计算问题。当存在N个观测时，成本可以像$N^{3/2}$一样快速增长。这种问题出现在基本因素满足多对多关系（而不是嵌套关系）的任何环境中，并且在电子商务应用中，N可以相当大。不考虑相关性结构的方法可能会大大低估不确定性。我们提出了一种矩方法，考虑到相关结构，可以在O（N）的成本计算。矩量法是非常适合并行计算，它不需要参数分布假设，调整参数或收敛诊断。对于回归系数，我们给出了相合性和渐近正态性的条件以及相合的方差估计。对于方差分量，我们给出了相容性条件，并使用了一个适度保守的方差估计的相合估计。所有这些计算都可以在O（N）工作中完成。我们用Stitch Fix中的一些数据来说明该算法，其中交叉的随机效应对应于客户端和项目。
2017-05-26 stat.AP stat.CO stat.ME
Fisher Scoring for crossed factor Linear Mixed Models
纵向、异构或不平衡聚类数据的分析对于广泛的应用是至关重要的。线性混合模型（LMM）是专门为此目的而设计的线性模型的流行和灵活的扩展。从历史上看，LMM上发表的很大一部分材料涉及流行的数值优化算法的应用，如牛顿-拉夫森，费舍尔评分和期望最大化到单因子LMM（即LMM只包含一个“因子”，观察结果被分组）。然而，近年来，LMM文献的重点已经转向更复杂，多因子设计的估计和推理方法的发展。在本文中，我们提出并推导出新的表达式的经典用于单因素LMM参数估计，Fisher评分，多，交叉因子设计的算法的扩展。通过模拟和真实数据的例子，我们比较了五个变种的Fisher Scoring算法彼此之间，以及对R包lmer建立的基线，并找到证据的正确性和强大的计算效率的五个建议的方法。此外，我们提供了一个新的方法LMM Satterthwaite自由度估计的基础上的分析结果，这不需要迭代梯度估计。通过仿真，我们发现，这种方法产生的估计具有较低的偏差和较低的方差比现有的方法。
2021-02-12 stat.CO stat.ME
Scalable Gaussian Process Inference with Finite-data Mean and Variance Guarantees
Harvard University（哈佛大学）；University of British Columbia（英属哥伦比亚大学）；University of Luxembourg（卢森堡大学）；MIT（麻省理工学院）
高斯过程（GP）为非参数贝叶斯回归提供了一种灵活的先验类别，但流行的GP后验推理方法通常非常缓慢或缺乏理想的有限数据质量保证。我们开发了一种方法，可扩展的近似GP回归有限数据保证逐点后验均值和方差估计的准确性。我们的主要贡献是一个新的目标近似推理的非参数设置：预处理的Fisher（PF）的分歧。我们发现，不同于库尔贝克-莱布勒散度（用于变分推断），pF发散边界的2-瓦瑟斯坦距离，这反过来又提供了严格的边界的逐点差的均值和方差函数。我们证明，对于稀疏GP似然近似，我们可以有效地最小化pF发散。我们的实验表明，优化pF发散具有与变分稀疏GP相同的计算要求，同时提供可比的经验性能-除了我们新的有限数据质量保证。
2019-03-27 cs.LG stat.CO stat.ME
Scalable Bayesian Nonparametric Clustering and Classification
我们开发了一个可扩展的多步蒙特卡罗算法推理下的一大类非参数贝叶斯模型的聚类和分类。每一步都是“并行的”，并且可以使用相同的马尔可夫链蒙特卡罗采样器来实现。我们的方法的简单性和通用性使得推理适用于大型数据集的贝叶斯非参数混合模型。具体来说，我们应用的方法推断下的产品分区模型与回归协变量。我们展示了两个激励数据集的推理结果：一个大型的电子健康记录（EHR）和一个银行电话营销数据集。我们发现有趣的集群和良好的分类性能相对于其他广泛使用的竞争分类。
2018-06-07 stat.CO stat.ME
Scalable Bayesian Inference for Population Markov Jump Processes
马尔可夫跳变过程（MJPs）的贝叶斯推断通常依赖于数据增强马尔可夫链蒙特卡罗，其中可用的观测值与系统状态或跳变相关。最先进的发展涉及表示MJP路径与辅助候选跳转时间，后来细化。然而，这些算法i）在涉及大容量或无限容量系统的情况下是不可行的，并且ii）不适合于所有观测类型。在本文中，我们建立并提出了一个通用的数据增强框架的基础上统一表示的潜在的非平稳跳跃过程的人口MJPs。这导致多个新的MCMC采样器，使精确的（在蒙特卡罗意义上）推理任务的模型参数。我们表明，建议的采样优于现有的流行的方法，并提供了大量的效率增益的应用部分观察到的随机流行病，移民过程和捕食者-猎物动力系统。
2019-04-17 stat.CO stat.ME
Scalable Gaussian Process Inference with Stan
本文在Stan中实现了两种扩展高斯过程推断的方法，包括基于有向无环图的稀疏近似和基于快速傅里叶变换的精确方法，并通过基准实验和实例为从业者提供选择指导。
2024-01-10 stat.CO stat.ME
Improvements on Scalable Stochastic Bayesian Inference Methods for Multivariate Hawkes Process
针对多元霍克斯过程的贝叶斯推理问题，本文研究三类极少用于该场景的随机梯度算法，提出新的似然近似方法兼顾计算效率与精度，通过模拟和标普500板块日内价格风险研究验证效果。
2025-02-21 stat.CO stat.ME
Fast and Scalable Inference for Spatial Extreme Value Models
针对空间GEV-GP模型推断中MCMC速度慢、INLA适用范围有限的问题，本文结合原始拉普拉斯近似与稀疏空间协方差近似技术，实现了可扩展至数千位置、速度远超MCMC的准确推断，并通过加拿大极端降雪案例验证。
2024-05-16 stat.CO stat.ME
Scalable Inference for Markov Processes with Intractable Likelihoods
近年来，马尔可夫过程的贝叶斯推断变得越来越重要。这种类型的问题往往有棘手的可能性和先验知识的模型速率参数往往是穷人。马尔可夫链蒙特卡罗（MCMC）技术可以在这样的模型中导致精确的推断，但是在实践中可能遭受性能问题，包括长的老化期和差的混合。另一方面，近似贝叶斯计算技术可以允许快速探索一个大的参数空间，但只产生近似的后验分布。在这里，我们考虑结合使用近似贝叶斯计算（ABC）和MCMC技术，提高计算效率，同时保留精确的并行硬件上的推理。
2014-10-22 stat.CO
A Simple Algorithm for Scalable Monte Carlo Inference
统计物理学的方法被广泛用于复杂网络的建模。基于最近提出的均衡期望方法，我们导出了指数族分布参数的极大似然估计（MLE）的一个简单有效的算法.指数族分布是一类统计模型，包括Ising模型、Markov随机场和指数随机图模型.计算实验和经验数据的分析表明，该算法增加了数量级的网络数据的大小服从蒙特卡罗为基础的推理。我们报告的结果表明，该算法的适用性可以很容易地扩展到分析大样本的依赖性的观察，通常发现在生物学，社会学，天体物理学和生态学。
2020-02-11 math-ph math.MP stat.CO
PASS-GLM: polynomial approximate sufficient statistics for scalable Bayesian GLM inference
广义线性模型（GLM）--如逻辑斯谛回归、泊松回归和鲁棒回归--为不同的数据类型提供了可解释的模型。概率方法，特别是贝叶斯方法，允许对不确定性进行一致的估计，纳入先验信息，并通过分层模型在实验中共享功率。然而，在实践中，推理所需的近似贝叶斯方法要么无法扩展到大数据集，要么无法提供推理质量的理论保证。本文提出了一种基于构造多项式近似充分统计量的广义线性模型（PASS-GLM）。我们证明，我们的方法承认一个简单的算法，以及平凡的流和分布式扩展，不跨计算复合错误。我们提供理论保证点（MAP）估计，近似后验，后验均值和不确定性估计的质量。我们在使用二次近似的逻辑斯谛回归的情况下经验地验证了我们的方法，并在速度和多个准确性指标方面显示了与随机梯度下降，MCMC和拉普拉斯近似的竞争性能-包括具有4000万数据点和20，000协变量的广告数据集。
2018-12-17 stat.CO stat.ML
Scalable Bayesian inference for high-dimensional mixed-type multivariate spatial data
Indian Institute of Technology Kanpur（坎普尔印度理工学院）
本文提出了一种适用于高维混合类型多变量空间数据的贝叶斯方法，利用多元高斯过程和Vecchia近似进行高效推断，通过模拟和实际数据验证了方法的有效性。
2026-04-22 stat.CO stat.ME
Scalable Inference of Sparsely-changing Markov Random Fields with Strong Statistical Guarantees
University of Michigan（密歇根大学）；University of Southern California（南加州大学）
在本文中，我们研究的问题，推断时变马尔可夫随机场（MRF），其中底层的图形模型是稀疏的，随着时间的推移变化稀疏。大多数用于推断时变MRF的现有方法依赖于正则化最大似然估计（MLE），其通常遭受弱统计保证和高计算时间。相反，我们引入了一类新的约束优化问题的推理稀疏变化的MRF。提出的优化问题是制定基于精确的$\ell_0$正则化，并可以解决在近线性的时间和内存。此外，我们表明，该估计享有可证明的小估计误差。作为一个特殊的情况下，我们推导出尖锐的统计保证稀疏变化的高斯MRF（GMRF）在高维制度的推断，表明这样的问题可以学习少到一个样本每一次。我们提出的方法在实践中非常有效：它可以在不到一个小时的时间内准确地估计具有超过5亿个变量的稀疏变化的图形模型。
2021-02-06 cs.LG stat.CO stat.ML
Scalable Subsampling Inference for Deep Neural Networks
University of California, San Diego（加利福尼亚大学圣迭戈分校）
该研究改进了深度神经网络的非渐近误差界，提出可扩展子采样的子聚合DNN估计器，兼顾计算效率与估计预测精度，还能构建有效的置信和预测区间，提供完整统计推断方案。
2024-05-14 cs.LG stat.CO stat.ML
Automated Scalable Bayesian Inference via Hilbert Coresets
Massachusetts Institute of Technology（麻省理工学院）
贝叶斯数据分析中后验推理的自动化使专家和非专家都能够使用更复杂的模型，进行更快的探索性建模和分析，并确保实验的可重复性。然而，标准的自动后验推理算法在大规模的现代数据集上并不容易处理，并且使它们变得如此的修改通常是特定于模型的，需要专家调整，并且可以打破对推理质量的理论保证。这项工作建立在贝叶斯核心集框架的基础上，而是利用数据冗余来缩小数据集本身作为预处理步骤，提供全自动，可扩展的贝叶斯推断与理论保证。我们开始与一个直观的贝叶斯coreset建设稀疏向量和近似的重新制定，并证明其自动化和性能为基础的缺点，从使用的上确界规范。为了解决这些缺点，我们开发了希尔伯特核心集，即，在对数似然函数空间上的内积诱导的范数下构造贝叶斯余集。我们提出了两个希尔伯特coreset建设算法-一个基于重要性抽样，和一个基于弗兰克-沃尔夫算法-随着理论保证近似质量作为coreset大小的函数。由于建议的内积的精确计算是模型特定的，我们自动化的建设与随机有限维投影的对数似然函数。由此产生的自动coreset构造算法是简单的实现，并在各种模型与真实和合成数据集的实验表明，它提供了高质量的后验近似和推理的计算成本显着降低。
2019-02-28 cs.LG stat.CO stat.ML
Scalable Semi-Modular Inference with Variational Meta-Posteriors
University of Oxford（牛津大学）
截后验和相关的半模块化推理是模块化贝叶斯证据组合的广义贝叶斯方法。分析被分解在联合后验分布的模块化子模型上。多模块模型中的模型错误指定很难单独通过模型细化来修复，而Cut posterior和SMI提供了一种解决方法。从错误指定的模块进入分析的信息由与学习率相关的影响参数$η$控制。本文包含两个实质性的新方法。首先，我们给出了变分方法来近似切割和SMI后验，这是适应证据组合的推理目标。我们使用Normalising Flow对一系列变分后验进行参数化，以实现精确近似和端到端训练。其次，我们证明了使用一个新的变分元后验分析模型的多个切割是可行的。这近似一个家庭的SMI后验指数$η$使用一组变分参数。
2022-04-01 cs.LG stat.CO stat.ML
Scalable Inference of Customer Similarities from Interactions Data using Dirichlet Processes
根据社会学的同质性理论，彼此相似的人更有可能相互交往。营销人员通常可以获得客户之间互动的数据，以同质性为指导原则，可以对潜在的相似性进行推断。然而，更大的网络面临着需要建模的潜在交互数量的二次爆炸。这种可扩展性问题使得社交互动的概率模型在计算上对于除了最小网络之外的所有网络都是不可行的。在本文中，我们开发了一个概率框架，客户互动建模，这是在同质性理论的基础上，是灵活的，足以说明谁与谁互动的随机变化。特别是，我们提出了一种新的贝叶斯非参数方法，使用狄利克雷过程，缓和的可扩展性问题，营销研究人员遇到的网络数据工作时。我们发现，这个框架是一个强大的方式来吸引洞察客户的潜在相似性，我们讨论了营销人员如何将这些见解应用到细分和定位活动。
2010-12-21 stat.AP stat.CO stat.ME
Provably Scalable Black-Box Variational Inference with Structured Variational Families
University of Pennsylvania（宾夕法尼亚大学）
针对黑盒变分推断中满秩变分族扩展性差、迭代复杂度随数据集规模呈平方增长的问题，本文提出结构化变分族，证明其可实现线性迭代复杂度并通过实验验证。
2025-11-13 cs.LG stat.CO stat.ML
Scalable Inference for Space-Time Gaussian Cox Processes
对数高斯Cox过程是一种灵活而流行的点模式模型，用于捕获点模式的空间和时空依赖性。模型拟合需要通过在感兴趣的域上离散化来实现随机积分的近似。对于精细尺度离散化，基于马尔可夫链蒙特卡罗的推断在计算上是繁重的，因为对于与潜在高斯变量相关联的高维协方差阵，矩阵分解和存储（例如Cholesky）的成本。本文通过结合两个最新的发展来解决这些计算瓶颈：（i）已经为时空高斯考克斯过程提出的数据增强策略，其基于精确的贝叶斯推断并且不需要用于无限维积分的细网格近似，以及（ii）最近开发的稀疏诱导高斯过程族，称为最近邻高斯过程，以避免昂贵的矩阵计算。我们的推理是在完全基于模型的贝叶斯范式内进行的，并且不会牺牲传统对数高斯Cox过程的丰富性。我们将我们的方法应用于旧金山的犯罪事件数据，并研究强度表面的恢复。
2018-10-22 stat.CO
Deep Autoencoding Topic Model with Scalable Hybrid Bayesian Inference
Xidian University（西安电子科技大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
为了建立一个灵活和可解释的模型，用于文档分析，我们开发了深度自动编码主题模型（DATM），该模型使用伽马分布的层次结构来构建其多随机层生成网络。为了提供可扩展的后验推理的生成网络的参数，我们开发了主题层自适应随机梯度黎曼MCMC，共同学习单纯形约束的全局参数在所有层和主题，主题和层特定的学习率。给定全局参数的后验样本，为了有效地推断DATM下文档在所有随机层上的局部潜在表示，我们提出了一种Weibull向上-向下变分编码器，该编码器通过深度神经网络确定性地向上传播信息，然后是基于Weibull分布的随机向下生成模型。为了联合建模文档及其相关标签，我们进一步提出了监督DATM，以增强其潜在表示的辨别能力。我们的模型的有效性和可扩展性都证明了无监督和监督学习任务上的大语料库。
2020-06-15 cs.LG stat.AP stat.CO
Functional probabilistic programming for scalable Bayesian modelling
贝叶斯推断涉及统计学家或从业者对统计模型的规范，并仔细考虑每个参数代表什么。这导致特别可解释的模型，可用于解释观测数据中存在的关系。贝叶斯模型在实验只有少量观测时以及数据驱动决策的透明度很重要的应用中很有用。传统上，贝叶斯统计中的参数推断涉及为每个新提出的统计模型构建定制的MCMC（马尔可夫链蒙特卡罗）方案。这导致不考虑合理的模型，因为有效的推理方案的开发或实现具有挑战性。概率编程的目的是通过开发一种与参数推理算法解耦的用于模型规范的领域特定语言（DSL）来减少执行贝叶斯推断的障碍。本文介绍了函数式编程原理，可用于开发嵌入式概率编程语言。可以使用任何通用推理算法来执行模型推理。在本文中使用哈密顿蒙特卡罗（HMC），一个有效的MCMC方法，需要的非归一化对数后验的梯度，使用自动微分计算。这些概念使用Scala编程语言进行说明。
2019-08-06 stat.CO
Sparse Density Representations for Simultaneous Inference on Large Spatial Datasets
大型空间数据集通常表示由不同实体或事件类别生成的多个空间点过程。当与协变量（如离散时间桶）交叉时，这可以快速产生具有数百万个个体密度估计值的数据集。当密度以复杂和不兼容的格式存储时，需要同时访问这些估计的大量子集的应用程序变得资源受限。我们提出了一种方法来表示沿稀疏人口的树的节点的空间密度。提供了快速算法，用于在所得到的紧凑树结构上执行集合运算和查询。该方法的速度和简单性证明了真实和模拟的空间数据。
2015-10-02 cs.DS stat.CO
