Bayesian Bootstraps for Massive Data
在这篇文章中，我们提出了数据子集算法，允许近似和可扩展的实现贝叶斯引导。它们类似于频率论文献中的两个现有算法：小引导包（Kleiner et al.，2014）和二次抽样双自举（SDB; Sengupta et al.，2016）。我们的算法有吸引力的理论和计算性能，是他们的频率论同行。此外，我们提供了一种策略，用于执行无损推理的一类泛函的贝叶斯引导，并简要介绍了扩展的狄利克雷过程。
2019-03-22 stat.CO
Distributed Bayesian Varying Coefficient Modeling Using a Gaussian Process Prior
变系数模型（VCM）被广泛用于估计函数数据的非线性回归函数。然而，他们的贝叶斯变体使用高斯过程先验的函数系数，在大规模数据应用中受到了有限的关注，这主要是由于使用马尔可夫链蒙特卡罗（MCMC）算法的后验计算非常慢。我们使用分治贝叶斯方法解决这个问题。我们首先创建大量的数据子样本，这些子样本的大小要小得多。然后，我们制定的VCM作为一个线性混合效应模型，并开发了一个数据增强算法，以获得MCMC提请所有的子集并行。最后，我们将基于MCMC的子集后验估计聚合成单个聚合蒙特卡罗（AMC）后验，该后验用作真实后验分布的计算有效替代。理论上，我们得到了变系数和平均回归函数的AMC后验的minimax最优后验收敛速度。我们提供的子集样本量和子集的数量的顺序量化。实证结果表明，满足我们的理论假设的组合方案，包括AMC后验，有更好的估计性能比他们的主要竞争对手在不同的模拟和实际数据分析。
2022-02-26 stat.CO stat.ME
Subset selection for linear mixed models
线性混合模型（Linear mixed models，LMM）用于具有结构化相关性的回归分析，如分组、聚类或多级数据。然而，在考虑这种结构性依赖的同时，在协变量中进行选择仍然是一个挑战。我们介绍了一个贝叶斯决策分析的子集选择与LIFE。使用Mahalanobis损失函数，其中包括结构化的依赖，我们得到最佳的线性系数（i）任何给定的变量子集和（ii）满足基数约束的所有变量子集。至关重要的是，这些估计继承了基础贝叶斯模型的收缩或正则化和不确定性量化，并适用于任何指定的贝叶斯LMM。更广泛地说，我们的决策分析策略不再强调单个“最佳”子集的作用，而倾向于一组接近最佳的子集，因为单个“最佳”子集通常不稳定且信息量有限。此集合按关键成员子集和特定于变量的重要性度量进行汇总。定制的子集搜索和样本外近似算法提供了更可扩展的计算。这些工具应用于模拟数据和纵向身体活动数据集，并表现出出色的预测，估计和选择能力。
2022-04-18 stat.CO stat.ME stat.ML
Bayesian Fusion of Data Partitioned Particle Estimates
我们提出了一种贝叶斯数据融合方法来近似一个后验分布，从一个合奏的粒子估计，只有访问数据的子集。我们的方法依赖于近似的概率推断模型参数，通过蒙特卡罗方法，其次是更新和重采样计划相关的多个重要性抽样结合信息的初始估计。我们表明，该方法是收敛的粒子限制，并直接适用于多传感器数据融合问题的应用，通过演示多传感器开普勒轨道确定问题和仅方位跟踪问题的有效性。
2020-10-26 stat.CO
BET: Bayesian Ensemble Trees for Clustering and Prediction in Heterogeneous Data
我们提出了一种新的“树平均”模型，利用分类和回归树（CART）的合奏。每个组成树估计与相似的数据的子集。我们把这个分组的子集贝叶斯集成树（BET）和模型作为一个无限的混合Dirichlet过程。我们表明，BET适应数据的异质性，并准确地估计每个组件。与Bootstrap-聚集方法相比，BET以较少的树显示出更好的预测性能。我们开发了一个有效的估计过程与改进的抽样策略在CART和混合模型。我们通过模拟、乳腺癌分类和囊性纤维化患者肺功能测量的回归来证明BET的这些优点。关键词：贝叶斯CART;狄利克雷过程;包围方法;异质性;混合树。
2014-08-18 stat.CO stat.ML
Marginally Constrained Nonparametric Bayesian Inference through Gaussian Processes
非参数贝叶斯模型通常用作复杂数据的灵活和强大的模型。很多时候，统计学家可能对感兴趣的数据分布有额外的信息信念，例如，它的均值或子集分量，不是非参数先验的一部分，甚至与非参数先验不相容。一个重要的挑战是将这种部分先验信念纳入非参数贝叶斯模型。在本文中，我们的动机设置从业者有额外的分布信息的一个子集的坐标的观测建模。我们的方法将这个问题与条件密度模型联系起来。我们的主要思想是一种新的约束贝叶斯模型，基于一个扰动的参数分布与变换高斯过程之前的扰动函数。我们还开发了相应的后验抽样方法的基础上的数据增强。我们说明了我们提出的约束非参数贝叶斯模型在各种现实世界的情况下，包括建模环境和地震数据的有效性。
2022-11-05 stat.CO stat.ME
Bayesian Coresets: Revisiting the Nonconvex Optimization Perspective
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of California, Berkeley（加州大学伯克利分校）；Rice University（莱斯大学）
贝叶斯核心集已成为一种很有前途的方法，实现可扩展的贝叶斯推断。贝叶斯核心集问题涉及选择数据样本的（加权）子集，使得使用所选子集的后验推理非常接近使用完整数据集的后验推理。这篇手稿通过稀疏约束优化的镜头重新审视贝叶斯核心集。利用最新的进展，加速优化方法，我们提出并分析了一种新的算法的核心选择。我们提供了明确的收敛速度保证，并提出了一个经验评估的各种基准数据集，以突出我们提出的算法的优越性能相比，国家的最先进的速度和准确性。
2021-02-25 cs.LG stat.CO stat.ML
Data-Driven Confounder Selection via Markov and Bayesian Networks
为了无偏地估计结果的因果效应，通常假设不混淆。如果对潜在因果结构有足够的了解，则可以使用现有混杂因素选择标准来选择观察到的治疗前协变量$X$的子集，如果存在这些子集，则足以不混淆。在这里，这些目标子集的估计被认为是当潜在的因果结构是未知的。所提出的方法是通过概率图模型对因果结构进行建模，例如，马尔可夫或贝叶斯网络，从观察到的数据估计该图，并在给定估计的图的情况下选择目标子集。该方法是通过模拟在一个高维的设置，其中unconfoundedness持有给定的$X$，并在一个设置，其中unconfoundedness只持有给定的子集的$X$。几个常见的目标子集进行了调查和选定的子集进行比较，在估计平均因果效应的准确性。所提出的方法是实现与现有的软件，可以很容易地处理高维数据，在大样本和协变量的大量。从模拟研究的结果表明，如果unconfoundedness保持给定$X$，这种方法是非常成功的选择目标子集，优于其他方法的基础上随机森林和LASSO，和子集估计的目标子集包含所有原因的结果产生最小的平均因果效应估计的MSE。
2017-03-17 stat.ME
Bayesian detection of abnormal segments in multiple time series
我们提出了一种新的贝叶斯方法来分析多个时间序列的目的是检测异常区域。这些是数据属性从某些正常或基线行为发生变化的区域。我们允许这样的变化只存在于时间序列的一个潜在的小子集中的可能性。我们开发了一个通用的模型，这个问题，并显示它是如何能够准确和有效地进行贝叶斯推断，递归的基础上，使独立的抽样从后验分布。这个问题的一个激励应用来自检测拷贝数变异（CNVs），使用来自多个个体的数据。跨个体汇集信息可以增加检测CNV的能力，但通常特定的CNV仅存在于一小部分个体中。我们评估模拟和真实CNV数据的贝叶斯方法，并给出证据表明，这种方法比最近提出的方法分析这些数据更准确。
2015-08-14 stat.AP stat.CO
Bayesian Mendelian randomization with study heterogeneity and data partitioning for large studies
背景资料：当随机对照试验不可行时，孟德尔随机化（MR）是从观察性研究中进行因果推断的一种有用方法。然而，MR所需的两项关联研究的研究异质性往往被忽视。在处理大型研究时，最近开发的贝叶斯MR受到其计算昂贵的限制。方法：我们提出了一个随机效应贝叶斯MR模型与多个曝光和结果研究异质性。对于大型研究，我们采用了子集后验聚合方法来解决计算问题。特别是，我们将数据划分为子集，并结合从子集中获得的估计子集因果效应。我们的方法的性能进行了评估，通过一些模拟，其中部分曝光数据丢失。结果如下：随机效应贝叶斯MR优于传统的逆方差加权估计，无论真正的因果效应是零或非零。大型研究的数据划分对估计的因果效应的变化影响不大，但在工具较弱和数据缺失率较高的情况下，它显著影响估计的无偏性。我们的模拟结果表明，数据划分是一个很好的方式，提高计算效率，为小的成本，减少无偏的估计，只要样本量的子集是合理的大。结论：我们通过包括随机效应来明确解释研究异质性，进一步推进了贝叶斯MR。我们还采用了一个子集后验聚合方法来解决MCMC的计算昂贵的问题，这是非常重要的，特别是在处理大型研究。我们提出的工作很可能为更一般的模型设置铺平道路，因为贝叶斯方法本身在模型构建中具有很大的灵活性。
2021-12-15 stat.AP stat.ME
Bayesian Post-Processor and other Enhancements of Subset Simulation for Estimating Failure Probabilities in High Dimensions
小失效概率的估计是可靠性工程中最重要和最具挑战性的计算问题之一。失效概率通常由高维不确定参数空间上的积分给出，这是难以数值计算的。本文重点介绍了Au和Beck提出的子集模拟（Subset Simulation，SS）算法的改进，该算法基于马尔可夫链蒙特卡罗（Markov chain Monte Carlo，MCMC）模拟，为计算一般高维可靠性问题的小失效概率提供了一种有效的算法。首先，我们分析了修正的Metropolis算法（MMA），MCMC技术，这是用于在SS从高维条件分布采样。我们提出了一些观察MMA的最佳缩放，并制定了最佳缩放策略，该算法时，它是在SS。其次，我们提供了一个理论基础的最佳值的条件失效概率$p_0$，一个重要的参数时，必须选择使用SS。最后，贝叶斯后处理器SS+的原始SS方法的开发，其中不确定的故障概率，一个是估计建模为一个随机变量，其可能的值属于单位区间。SS的模拟样本被视为与系统可靠性相关的信息数据。代替单个实数作为估计，SS+产生失效概率的后验PDF，其考虑了先验信息和采样数据中的信息。该PDF量化了失效概率值的不确定性，可进一步用于风险分析，以纳入该不确定性。本文还讨论了原始SS和SS+之间的关系
2011-10-15 stat.AP stat.CO
A Mathematical Optimization Approach for Expert-Informed Bayesian Best Subset Selection
Systems and Information Systems and Information Engineering（系统与信息系及信息工程）
提出Expert-Implied Bayesian Best Subsets (EBBS)方法，通过最大后验框架将领域专家对特征相关性的概率估计融入混合整数优化最佳子集问题，使用泊松二项分布、成对胜率或归一化平均秩聚合专家观点，形成对数几率惩罚项指导特征选择。
2026-06-28 cs.LG stat.ML
Simulation-based Bayesian analysis for multiple changepoints
本文提出了一种马尔可夫链蒙特卡罗方法来产生近似后验样本的回溯多变点问题，其中的变化的数量是事先未知的。该方法使用共轭模型，从而连续变化点之间的数据的边际似然是易处理的。包含hyperpriors给出了一个接近自动的算法，提供了一个强大的替代流行的过滤递归方法的情况下，可能是敏感的先验信息。三个真实的例子来证明所提出的方法。
2010-11-12 stat.CO
Bayesian sample size determination in basket trials borrowing information between subsets
篮子试验越来越多地用于在一个总体方案下在不同患者亚组中同时评价新治疗。我们提出了一个贝叶斯方法来确定样本量篮试验，允许借用信息之间的相称子集。具体来说，我们考虑一个随机篮子试验设计，其中患者被随机分配到新的治疗或控制在每个试验子集（简称“子试验”）。推导出封闭形式的样本量公式，以确保每个子试验都有特定的机会通过一些临床相关差异正确决定新治疗是否优于或不优于对照。给定预先规定的成对（不）可检验性水平，同时求解子试验样本量。建议的贝叶斯方法类似于频率制定的问题，产生可比的样本量的情况下，没有借款。当在相当的子试验之间启用借用时，与广泛实施的无借用方法相比，需要的试验样本量要小得多。我们说明了我们的样本量公式的使用与两个例子的基础上真正的篮子试验。一个全面的仿真研究进一步表明，所提出的方法可以保持在理想的水平的真阳性率和假阳性率。
2022-05-24 stat.AP stat.ME
Bayesian Inference for Logistic Regression Models Using Sequential Posterior Simulation
logistic规范已被广泛用于非贝叶斯统计，以模拟离散结果对指定协变量值的依赖性。由于似然函数是全局弱凹的，所以即使在通常出现的具有几十个或几百个参数的应用中，极大似然估计也是直接的。相比之下，贝叶斯推断已被证明是笨拙的，需要对现有的马尔可夫链蒙特卡罗和数据增强方法的可能性或专门的适应性进行正常近似。本文使用最近开发的一般序贯后验模拟（SPS）方法，只需要多一点的能力，以评估的似然函数的逻辑模型的贝叶斯推断。与现有的替代方案相比，SPS是简单得多，并提供了数字标准误和准确的近似边际可能性作为副产品。用于贝叶斯推断的SPS算法适合于大规模并行实现，并且当使用图形处理单元实现时，它比现有的替代方案更有效。本文通过几个例子来说明这些观点。
2013-04-16 stat.CO
Approximate simulation-free Bayesian inference for multiple changepoint models with dependence within segments
本文提出了多个变点模型的分析方法时，在数据的依赖性是通过一个分层高斯马尔可夫随机场建模。采用集成的嵌套拉普拉斯近似来近似数据量，并提出了一种近似滤波递归方法，以节省计算成本时检测变点。所有这些方法都是模拟免费的。实际数据的分析表明，该方法的实用性一般。允许数据依赖的新模型与传统模型进行比较，其中段内的数据被假定为独立的。
2011-06-03 stat.CO
What is the best predictor that you can compute in five minutes using a given Bayesian hierarchical model?
本文的目标是为统计学家提供一种方法来回答本文标题中提出的问题，使用他们选择的任何贝叶斯分层模型，而不施加额外的限制性模型假设。我们的动机是，"大数据“的兴起给统计人员直接将其方法应用于大数据集带来了困难。我们引入了一个“数据子集模型”流行的“数据模型，过程模型，参数模型”的框架，用于总结贝叶斯分层模型。数据子集模型的超参数被构造性地指定，因为它们被选择为使得子集的隐含大小满足预定义的计算约束。因此，这些超参数有效地将统计模型校准到计算机本身，以在预先指定的时间量内获得预测/估计。提供了数据子集模型的几个属性，包括：适当性，部分充分性和半参数属性。此外，我们还证明了正态分布数据的子集在合理的约束下是渐近部分充分的。模拟数据集的结果将在不同的计算机上显示，以显示计算机对统计分析的影响。此外，我们提供了两个不同的环境数据集的联合空间分析。
2019-12-10 stat.ME
Bayesian Optimization of Functions over Node Subsets in Graphs
University of Oxford（牛津大学）；Google（谷歌公司）
针对图上节点子集函数的组合黑箱优化难题，提出基于贝叶斯优化与组合图局部递归采样的新框架，并在合成与真实任务中验证其有效性。
2025-01-05 cs.LG stat.ML
Bayesian Batch Active Learning as Sparse Subset Approximation
University of Cambridge（剑桥大学）
利用近年来产生的大量未标记数据为改进监督模型提供了巨大的潜力。当获取标签的成本很高时，可以使用概率主动学习方法来选择要标记的信息量最大的数据点。然而，对于许多大规模的问题，标准的贪婪程序在计算上变得不可行，并且遭受可以忽略不计的模型变化。在本文中，我们介绍了一种新的贝叶斯批量主动学习方法，减轻这些问题。我们的方法的动机是近似模型参数的完整数据后验。虽然朴素的批处理构造方法会导致相关查询，但我们的算法会产生不同的批处理，从而实现大规模的有效主动学习。我们推导出类似于现有的线性模型的主动学习程序的可解释的封闭形式的解决方案，并推广到任意模型使用随机投影。我们证明了我们的方法在几个大规模的回归和分类任务的好处。
2021-02-08 cs.LG stat.ML
BayesSummaryStatLM: An R package for Bayesian Linear Models for Big Data and Data Science
数据科学和大数据研究的最新发展产生了大量的大型数据集，由于计算机内存或存储容量的限制，这些数据集太大而无法进行整体分析。在这里，我们介绍了我们的R包“贝叶斯总结StatLM”的贝叶斯线性回归模型与马尔可夫链蒙特卡罗实现，克服了这些限制。我们的贝叶斯模型仅使用数据的汇总统计数据作为输入;这些汇总统计数据可以从大数据的子集中计算出来，并在子集上进行组合。因此，不需要将完整的数据集全部读入存储器，这消除了用户的任何物理存储器限制。我们的软件包包含R包'ff'及其函数，用于分块读取大数据集，同时计算汇总统计数据。我们描述我们的贝叶斯线性回归模型，包括几个选择的先验分布未知的模型参数，并说明我们的R包使用模拟和真实的数据集的功能和特点。
2015-04-23 stat.AP stat.CO
Fitting logistic multilevel models with crossed random effects via Bayesian Integrated Nested Laplace Approximations: a simulation study
拟合具有二进制响应的交叉分类多水平模型具有挑战性。在这种情况下，一个有前途的方法是贝叶斯推断通过集成嵌套拉普拉斯近似（INLA），它在几个潜变量模型中表现良好。因此，我们设计了一个系统的模拟研究，以评估INLA的性能与交叉分类的logistic数据下定义的随机效应方差的大小，观察的数量，集群的数量，和交叉分类的程度不同的情况下。在模拟中，INLA与流行的极大似然法通过拉普拉斯近似进行了系统的比较。通过对经典蝾螈交配数据的应用，我们比较了INLA与最佳性能的方法。考虑到计算速度和一般良好的性能，INLA原来是一个有价值的方法来拟合所考虑的交叉分类模型。
2016-07-20 stat.CO
parallelMCMCcombine: An R Package for Bayesian Methods for Big Data and Analytics
大数据和分析研究的最新进展提供了大量的大型数据集，由于计算机内存或存储大小的限制，这些数据集太大而无法进行整体分析。新的贝叶斯方法已经被开发用于由于大样本量而仅大的大数据集;这些方法将大数据集划分为子集，并对子集执行独立的贝叶斯马尔可夫链蒙特卡罗分析。然后，该方法结合独立的子集后验样本估计后验密度给定的完整数据集。这些方法被证明是有效的贝叶斯模型，包括逻辑斯谛回归模型，高斯混合模型和分层模型。在这里，我们介绍了R包parallelMCMCcombine，它执行了四种用于组合独立子集后验样本的技术。我们说明了每一种方法使用贝叶斯逻辑斯谛回归模型的模拟数据和贝叶斯伽马模型的真实数据，我们还展示了功能和功能的R包。该软件包假设用户已执行贝叶斯分析，并已在软件包外生成独立的次后验样本。该方法主要适用于连续参数空间中具有固定维数未知参数的模型。我们设想这个工具将使研究人员能够探索各种方法，以满足其特定的应用，并将有助于在这个快速发展的领域的未来进展。
2014-09-28 stat.AP
A Divide-and-Conquer Bayesian Approach to Large-Scale Kriging
我们提出了一个三步分而治之的战略贝叶斯范式，提供了巨大的可扩展性，任何空间过程模型。我们将数据划分为大量的子集，应用一个现成的贝叶斯空间过程模型的每个子集，在并行，并优化组合的后验分布估计在所有的子集到一个伪后验分布的条件下，对整个数据。组合的伪后验分布代替全数据后验分布，用于预测任意位置处的响应以及用于对模型参数和空间表面的推断。基于分布式贝叶斯推断，我们的方法被称为“分布式克里格法”（DISK），并提供了巨大的优势，在海量数据的应用程序中，完整的数据存储在多台机器上。我们从理论上证明了贝叶斯$L_2$ -风险的DISK后验分布实现了接近最优的收敛速度，估计真实的空间表面与各种类型的协方差函数，并提供上限的子集的数量作为一个完整的样本量的函数。DISK的无模型特性通过在具有平稳满秩和非平稳低秩高斯过程（GP）先验的空间过程模型中的尺度后验计算来证明。各种模拟和太平洋海表温度数据的地质统计学分析验证了我们的理论结果。
2019-06-12 stat.ME
Fast Bayesian Coresets via Subsampling and Quasi-Newton Refinement
University of Oxford（牛津大学）；University of British Columbia（不列颠哥伦比亚大学）
贝叶斯核心集通过构建数据点的小加权子集来近似后验分布。任何在计算上过于昂贵而不能在完整后验上运行的推理过程都可以在核心集上廉价地运行，其结果近似于完整数据上的结果。然而，目前的方法是有限的，无论是一个显着的运行时间或需要用户指定一个低成本的近似完整的后验。我们提出了一个贝叶斯核心集的构造算法，首先选择一个均匀随机的数据子集，然后使用一种新的拟牛顿法优化的权重。我们的算法是一个简单的实现，黑盒方法，不需要用户指定一个低成本的后验近似。这是第一个来与一般的高概率界的库尔贝克-莱布勒散度的输出coreset后。实验表明，我们的方法提供了显着的改善coreset质量与可比的建设时间的替代品，存储成本和用户输入所需的少得多。
2023-01-15 cs.LG stat.CO stat.ML
Bayesian multinomial regression with class-specific predictor selection
考虑一个多项回归模型，其中的响应表示一个单元在几个可能的无序类之一中的成员资格，并与一组预测变量相关联。这样的模型通常包括回归系数矩阵，该矩阵的$(j,k)$元素调节第$k$预测器对单元属于第$j$类的倾向的影响。因此，只有可用预测因子的子集与响应相关联的假设对应于系数矩阵的某些列为零。在贝叶斯范式下，与响应相关的预测因子子集可以被视为未知参数，从而导致典型的贝叶斯模型选择和模型平均过程。作为一种替代方案，我们调查模型选择和平均，从而系数矩阵的各个元素的子集为零。也就是说，与属于一个类别的倾向相关联的预测因子的子集随类别而变化。我们将此称为类特定的预测器选择。我们认为，这样的计划可以是有吸引力的概念和计算的理由。
2009-01-27 stat.AP
High-Dimensional Bayesian Optimization via Additive Models with Overlapping Groups
EPFL（洛桑联邦理工学院）；National University of Singapore（新加坡国立大学）
贝叶斯优化（BO）是一种用于顺序黑盒函数优化的流行技术，其应用包括参数调整，机器人，环境监测等。BO中最重要的挑战之一是开发可扩展到高维的算法，尽管最近取得了进展，但这仍然是一个关键的开放问题。在本文中，我们考虑Kandasamy等人的方法。（2015），其中高维函数分解为基础变量子集上的低维函数之和。特别是，我们显着推广这种方法，通过提升的假设，子集是不相交的，并考虑添加剂模型与任意重叠的子集。通过表示的依赖关系，通过一个图，我们推导出一个有效的消息传递算法优化采集功能。此外，我们提供了一个算法学习的图形从样本的基础上吉布斯采样。我们实证证明了我们的方法对合成和真实世界数据的有效性。
2018-03-28 cs.LG stat.ML
Robust and Parallel Bayesian Model Selection
有效而准确的模型选择是现代数据分析中的一个重要问题。主要挑战之一是处理无法在一台机器上存储或处理的大型数据集所需的计算负担。人们可能遇到的另一个挑战是存在异常值和污染，这会损害推理质量。并行的“分而治之”模型选择策略将完整数据集的观测值划分为大致相等的子集，并在每个子集上独立地执行推理和模型选择。在局部子集推断之后，该方法通过使用几何中值的概念来聚集后验模型概率或其他模型/变量选择标准以获得最终模型。这种方法导致在找到“正确”模型和模型参数方面的改进的集中，并且也可证明对离群值和数据污染是鲁棒的。
2018-03-22 stat.ML
Parallel Markov Chain Monte Carlo for Non-Gaussian Posterior Distributions
大数据和分析研究的最新发展产生了大量的大型数据集，由于计算机内存或存储容量的限制，这些数据集太大而无法进行整体分析。为了解决这些问题，已经开发了用于大数据的贝叶斯分析的无通信并行马尔可夫链蒙特卡罗（MCMC）方法。这些方法将数据划分为可管理的子集，对每个子集执行独立的贝叶斯MCMC分析，并结合子集后验样本来估计完整的数据后验。目前的方法组合子集后验样本包括样本平均，加权平均，和内核平滑技术。虽然这些方法对于高斯后验分布效果很好，但是对于非高斯后验分布，它们并不十分适合。在这里，我们开发了一个新的直接密度乘积方法，结合子集的边缘后验样本估计全数据的边缘后验密度。使用一个常用的实现距离度量，我们在模拟研究的贝叶斯模型与非高斯后验，我们的方法优于现有的方法在近似的完整数据的边缘后验。由于我们的方法只估计边缘密度，因此对分析的模型参数数量没有限制。我们的方法适用于连续参数空间中具有固定维数的未知参数的贝叶斯模型。
2015-06-10 stat.ME
Bayesian inference for treatment effects under nested subsets of controls
在构建模型以估计治疗的因果效应时，有必要控制可能具有混杂效应的其他因素。然而，由于可验证性假设是不可检验的，因此通常不清楚哪一组最小控制是适当的-正如它们在模型中的适当函数形式一样-而且效应估计可能对这些选择敏感。在这种情况下，一种常见的方法是拟合几个模型，每个模型具有不同的对照质量标准（假设可用的对照足以但可能不是所有的对照都需要去发现处理效应），但很难在多个产生的后验分布下协调处理效应的推断。因此，我们提出了一个两阶段的方法来衡量敏感性的效果估计方面的控制规格。在第一阶段中，使用仔细选择的先验来调整混杂，将模型与所有可用的对照拟合。在第二阶段，使用全模型下的投影后验，计算嵌套对照组子模型下处理效应的后验分布，提供有效的贝叶斯推断。我们演示了如何使用我们的方法来检测数据集中有影响力的混杂因素，并将其应用于测量合法堕胎对犯罪率影响的观察性研究的敏感性分析中。
2022-09-02 stat.ME
Optimal Regret Exponents for Bayesian Statistical Decision Problems
School of Electrical Engineering, Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院电气工程学院）
研究有限状态有限动作贝叶斯统计决策问题，通过最小化不相容状态子集上的多元Chernoff信息，给出了任意损失函数下最优遗憾的精确指数，并首次得到列表假设检验的精确指数。
2026-06-08 cs.IT math.IT math.ST
Variable-Complexity Weighted-Tempered Gibbs Samplers for Bayesian Variable Selection
University of Cambridge（剑桥大学）
针对高维贝叶斯变量选择中子集加权回火Gibbs采样器方差过高的问题，提出一种变复杂度采样器，在降低每次MCMC迭代计算量的同时减小了Rao-Blackwellized估计量的方差。
2023-04-06 cs.LG stat.CO stat.ME
Incorporating Subsampling into Bayesian Models for High-Dimensional Spatial Data
本文提出将子采样策略应用于标准空间加性模型，构建空间数据子集模型（SDSM）方法，以解决大数据下Kriging等方法的计算瓶颈，并在模拟和MODIS数据上验证其有效性。
2024-03-19 stat.CO stat.ME
Fully Bayesian Classification with Heavy-tailed Priors for Selection in High-dimensional Features with Grouping Structure
在许多使用高维数据的现代科学研究问题中，需要进行特征选择。一个典型的例子是从高维基因表达中找到与某种疾病（如癌症）相关的最有用的基因。基因的表达具有分组结构，例如，一组具有相似生物学功能的共调节基因往往具有相似的表达。已经提出了许多统计方法来将分组结构考虑在特征选择中，包括组LASSO、监督组LASSO和对组代表的回归。在本文中，我们提出了一个完整的贝叶斯Robit回归方法与重尾（稀疏）先验（简称FBRHT）选择功能与分组结构。FBRHT的主要特点包括它比LASSO更积极地丢弃不相关的特征，并且它可以在没有预先指定的分组结构的情况下自动进行组内特征选择。在本文中，我们使用模拟和真实的数据集，以证明FBRHT选择的稀疏特征子集的预测能力与LASSO，组LASSO，监督组LASSO，惩罚逻辑斯谛回归和随机森林选择的其他更大的特征子集相当，并且通过FBRHT选择的简洁特征子集具有比从通过上述方法选择的顶部特征。
2017-05-12 stat.ME
Modelling and Bayesian analysis of the Abakaliki Smallpox Data
著名的Abakaliki天花数据在流行病建模文献中出现过无数次，但在几乎所有情况下，只考虑了数据的一个特定子集。有一个完整数据集的先前分析，但这依赖于近似方法来推导可能性。由于人们担心天花可能重新成为生物恐怖主义武器，这些数据本身仍然令人感兴趣。我们提出了第一个完整的贝叶斯分析使用数据增强马尔可夫链蒙特卡罗方法，避免了需要的似然近似。结果包括基本模型参数的估计以及繁殖数量和可能的感染途径。模型评估采用基于模拟的方法进行。
2016-05-25 stat.AP stat.CO
Decoupling shrinkage and selection in Bayesian linear models: a posterior summary perspective
为线性模型选择变量子集仍然是一个活跃的研究领域。本文回顾了许多最近的贡献贝叶斯模型选择和收缩先前的文献。提出了一种后验变量选择方法，该方法将回归系数的后验分布提取为稀疏线性预测变量序列。
2014-08-03 stat.ME
Multi-objective Bayesian optimisation with preferences over objectives
Applied Artificial Intelligence Institute（应用人工智能研究院）；Deakin University（迪肯大学）
我们提出了一个多目标贝叶斯优化算法，允许用户表达偏好顺序约束的类型的目标“目标A比目标B更重要”。这些偏好是基于所获得的解决方案相对于优选的目标函数的稳定性来定义的。而不是试图找到一个完整的帕累托前沿的代表性子集，我们的算法选择满足这些约束条件的帕累托最优点。我们制定了一个新的收购功能的基础上预期改善占主导地位的超体积（EHI），以确保帕累托前满足约束的子集进行了彻底的探索。超体积计算由满足来自梯度高斯过程模型的约束的点的概率加权。我们在合成问题和现实问题上展示了我们的算法。
2019-11-13 cs.AI cs.LG stat.ML
Perfect simulation for Bayesian wavelet thresholding with correlated coefficients
我们介绍了一种新的方法贝叶斯小波收缩重建信号时，我们观察到一个嘈杂的版本。而不是作出共同的假设，即信号的小波系数是独立的，我们允许的可能性，它们是本地相关的位置（时间）和规模（频率）。这导致我们的先验结构，这是分析上难以处理的，但它是可能的绘制独立的样本从一个密切的近似后验分布的方法的基础上耦合从过去。
2009-03-15 stat.CO stat.ME
Learning What to Evaluate: Correlation-Aware Decoupling for Multiobjective Bayesian Optimization
Pennsylvania State University（宾夕法尼亚州立大学）
本研究提出一种相关性感知的解耦多目标贝叶斯优化方法，利用多任务高斯过程联合建模并选择最优子集评估，在理论上保证一致性并实证超越现有基线。
2026-09-29 cs.LG stat.ML
Variational Bayesian Supertrees
给定一组分类单元（例如物种）的重叠子集，以及每个分类单元集的系统发育树拓扑结构上的后验分布，我们如何推断整个分类单元集的系统发育树拓扑结构上的后验分布？虽然在非贝叶斯情形下的等价问题已经吸引了大量的研究，但贝叶斯情形并没有引起应有的关注。在本文中，我们开发了一个变分贝叶斯方法来解决这个问题，并证明其有效性。
2021-04-22 q-bio.PE stat.ML
Parameter Exploration in Simulation Experiments: A Bayesian Framework
仿真通常涉及使用未知或不确定的模型参数。出于这个原因，仿真实验经常针对参数值的多种组合重复，经常迭代位于固定网格上的参数值。然而，离散网格的使用限制了参数空间的尺寸，并可能错过落在网格点之间的间隙中的重要参数组合。在这里，我们画出平行的数值积分策略，并描述了一个马尔可夫链蒙特卡罗策略，探索参数值。我们用遗传学、考古学和流行病学的例子来说明这种方法。
2012-05-21 q-bio.PE stat.CO
Differential gene co-expression networks via Bayesian biclustering models
识别大数据矩阵中的潜在结构对于探索生物过程至关重要。在这里，我们考虑从基因表达数据中恢复基因共表达网络，其中每个网络编码由共享生物机制局部共调控的基因之间的关系。要做到这一点，我们开发了贝叶斯统计模型的双聚类推断子集的共调节基因的共变异可能只在一个子集的样品。我们的双聚类方法，BicMix，具有理想的属性，包括允许过完整的数据表示，计算易处理性，并共同建模未知的混杂因素和生物信号。与相关的双聚类方法相比，BicMix在不同的模拟场景中以更高的精度恢复潜在结构。此外，我们开发了一种方法来恢复基因共表达网络的估计稀疏双聚类矩阵。我们将BicMix应用于乳腺癌基因表达数据，并恢复了ER+和ER-样本之间存在差异的基因共表达网络。
2014-11-07 q-bio.GN q-bio.MN stat.ME
HINT: Hierarchical Invertible Neural Transport for Density Estimation and Bayesian Inference
Heidelberg University（海德堡大学）
许多最近的可逆神经架构是基于耦合块设计，其中变量被分成两个子集，作为一个容易可逆的（通常是仿射）三角变换的输入。虽然这样的变换是可逆的，但其雅可比矩阵非常稀疏，因此可能缺乏表达性。这项工作提出了一个简单的补救措施，注意到细分和（仿射）耦合可以在得到的子集内递归地重复，导致一个高效的可逆块与密集的三角形雅可比矩阵。通过经由分层架构制定我们的递归耦合方案，HINT允许从联合分布p（y，x）和对应的后验p（x）进行采样|y）使用单个可逆网络。我们评估我们的方法在一些标准的数据集和基准的密度估计和贝叶斯推断的一个新的数据集的二维形状的傅立叶参数化，这使得一致的可视化不同维度的样本的全部权力。
2021-05-25 cs.AI cs.LG stat.ML
Estimating Global Identifiability Using Conditional Mutual Information in a Bayesian Framework
提出基于条件互信息的贝叶斯全局实际可辨识性估计方法，无需受控实验，可考虑多种不确定性，并通过参数依赖识别可高后验确定性估计的参数子集。
2023-09-21 math.ST stat.ME stat.TH
A fast, flexible simulation framework for Bayesian adaptive designs -- the R package BATSS
MRC Biostatistics Unit, University of Cambridge（剑桥大学医学研究委员会生物统计学单位）；School of Public Health and Preventive Medicine, Monash University（莫纳什大学公共卫生与预防医学院）；Faculty of Informatics and Data Science, University of Regensburg（雷根斯堡大学信息科学与数据科学学院）
本文提出R包BATSS，用于快速模拟贝叶斯自适应设计，支持多种主要结果类型及常见自适应机制，提供灵活的模块化结构。
2026-07-01 stat.CO stat.ME
VFDS: Variational Foresight Dynamic Selection in Bayesian Neural Networks for Efficient Human Activity Recognition
Texas A&M University（德克萨斯农工大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Washington（华盛顿大学）
在许多机器学习任务中，以不同的成本获得具有不同程度的预测能力的输入特征。为了优化性能-成本权衡，人们将选择先验观察的特征。然而，给定具有先前观察的变化的上下文，要选择的预测特征的子集可以动态地变化。因此，我们面临着具有挑战性的前瞻性动态选择（FDS）的新问题：找到一个动态的和轻量级的政策，以决定哪些功能观察下一步，在实际观察他们之前，整体性能成本权衡。为了解决FDS问题，本文提出了一个贝叶斯学习框架的变分模糊动态选择（VFDS）。VFDS学习的政策，选择下一个功能子集观察，通过优化变分贝叶斯目标，模型性能和功能成本之间的权衡的特点。它的核心是二进制门上的隐式变分分布，它依赖于以前的观察，它将选择下一个要观察的特征子集。我们将VFDS应用于人类活动识别（HAR）任务，其中性能-成本权衡在其实践中至关重要。大量的结果表明，VFDS选择不同的功能在不断变化的情况下，显着节省感官成本，同时保持或提高HAR的准确性。此外，VFDS动态选择的功能被证明是可解释的，并与不同的活动类型。我们将发布代码。
2022-03-31 cs.LG stat.ML
Predicting Credit Default Probabilities Using Bayesian Statistics and Monte Carlo Simulations
世界各地的银行和金融机构管理着包含成千上万客户的投资组合。并非所有客户都是高信誉的，许多客户对银行或向这些客户贷款的金融机构来说都有不同程度的风险。因此，信用风险评估在信用风险管理领域中至关重要。本文讨论了使用贝叶斯原理和模拟技术来估计和校准信用评级的违约概率。该方法是一个两阶段的方法，在第一阶段，后验密度的违约率参数估计的基础上的违约历史数据。在第二阶段，通过仿真得到了真实违约率参数的估计
2021-09-13 q-fin.RM stat.AP stat.CO
Bayesian Shrinkage Estimation for Stratified Count Data
针对含聚合辅助信息的分层 Poisson 计数数据，本文基于共轭先验构造贝叶斯收缩估计量，比较其与直接估计量的风险，给出占优条件并证明极小极大性与容许性。
2023-11-03 math.ST stat.TH
Bayesian hierarchical weighting adjustment and survey inference
我们结合贝叶斯预测和加权推理作为一个统一的方法来调查推理。贝叶斯分析的一般原则意味着，调查结果的模型应取决于影响纳入概率的所有变量。我们将加权变量的框架下的多级回归和后分层，作为一个副产品生成基于模型的权重平滑后。我们研究了深层的相互作用，并引入了结构化的先验分布的平滑和稳定的估计。计算通过Stan完成，并在开源R包“rstanarm”中实现，可供公众使用。仿真研究表明，基于模型的预测和加权推理优于经典加权。我们将该建议应用于纽约幸福纵向研究。新方法产生强大的权重，并提高有限人口推断的效率，特别是对人口的子集。
2020-06-23 stat.AP stat.CO stat.ME
Asymptotic properties of parallel Bayesian kernel density estimators
在这篇文章中，我们对Neiswanger，Wang和Xing（2014）引入的贝叶斯并行核密度估计进行了渐近分析。我们推导了全数据后验估计的均方误差的渐近展开，并研究了渐近最优带宽参数的性质。我们的分析表明，分区数据到子集需要一个非平凡的选择带宽参数，优化估计误差。
2017-03-26 math.ST stat.TH
Bayesian Coreset Construction via Greedy Iterative Geodesic Ascent
Massachusetts Institute of Technology（麻省理工学院）
一致性不确定性量化是贝叶斯方法的一个关键优势。但现代近似贝叶斯后验推理算法往往牺牲准确的后验不确定性估计的可扩展性的追求。这项工作表明，以前的贝叶斯核心集构建算法-构建一个小的，加权的数据子集，近似于完整的数据集-也不例外。我们证明，这些算法规模的coreset对数似然次优，导致低估后验不确定性。为了解决这个缺点，我们开发了贪婪迭代测地线上升（GIGA），贝叶斯coreset建设的规模coreset对数似然优化的一种新算法。GIGA提供了几何衰减后验近似误差作为coreset大小的函数，并保持其前任的快速运行时间。本文的结论与GIGA的合成和真实数据集上的验证，表明它减少了后验近似误差的数量级相比，以前的coreset建设。
2018-05-28 cs.LG stat.CO stat.ML
Online Bayesian Model Averaging with Joint Uncertainty Quantification for Models and Regression Coefficients in Binary Regression
The University of Iowa（爱荷华大学）
针对流式二元响应数据，提出基于可再生估计的在线贝叶斯模型平均方法，在降低计算成本的同时近似离线推断，并量化模型与系数的不确定性，支持自适应问题分配。
2026-09-21 stat.AP stat.CO stat.ME
Bayesian Deep Learning via Subnetwork Inference
University of Cambridge（剑桥大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Amsterdam（阿姆斯特丹大学）；Microsoft Research（微软研究院）；The Alan Turing Institute（艾伦·图灵研究所）
贝叶斯范式有可能解决深度神经网络的核心问题，如校准不良和数据效率低下。唉，将贝叶斯推理扩展到大的权重空间通常需要限制性近似。在这项工作中，我们表明，它足以执行推理模型权重的一个小的子集，以获得准确的预测后验。其他权重保持为点估计值。这个子网络推理框架使我们能够在这些子集上使用表达性的，否则难以处理的后验近似。特别是，我们将子网络线性化拉普拉斯实现为一种简单的、可扩展的贝叶斯深度学习方法：我们首先获得所有权重的MAP估计，然后使用线性化拉普拉斯近似来推断子网络上的全协方差高斯后验。我们提出了一个子网络选择策略，旨在最大限度地保持模型的预测不确定性。从经验上讲，我们的方法在完整的网络上比合奏和表达较少的后验近似更有利。我们提出的子网络（线性化）拉普拉斯方法在https://github.com/AlexImmer/Laplace的laplace PyTorch库中实现。
2022-03-14 cs.LG stat.ML
Batch simulations and uncertainty quantification in Gaussian process surrogate approximate Bayesian computation
Department of Biostatistics, University of Oslo（奥斯陆大学生物统计系）；Helsinki Institute for Information Technology HIIT, Department of Computer Science, Aalto University（赫尔辛基信息技术研究所，阿尔托大学计算机科学系）
近似贝叶斯计算（ABC）的计算效率已被提高，通过使用代理模型，如高斯过程（GP）。在这样一个有前途的框架模拟和观察到的数据之间的差异建模与GP，这是进一步用于形成一个基于模型的估计难以处理的后验。在本文中，我们将从几个方面改进这种方法。我们开发了批序贝叶斯试验设计策略，并行化昂贵的模拟。在早期的工作中，只使用了顺序策略。目前基于替代的ABC方法也没有充分考虑到由于模拟预算有限而导致的不确定性，因为它们仅输出ABC后验的点估计。我们提出了一种数值方法来充分量化的不确定性，例如，ABC后验矩。我们还提供了一些新的分析GP建模的假设，在由此产生的改进框架称为贝叶斯ABC，并讨论其连接到贝叶斯正交（BQ）和贝叶斯优化（BO）。玩具和现实世界的仿真模型的实验证明了所提出的技术的优势。
2020-08-06 cs.LG stat.CO stat.ME
Fast $ε$-free Inference of Simulation Models with Bayesian Conditional Density Estimation
University of Edinburgh（爱丁堡大学）
许多统计模型可以向前模拟，但具有难以处理的可能性。近似贝叶斯计算（ABC）的方法来推断这些模型的属性从数据。传统上，这些方法通过在观测数据周围的$ε$球内调节数据来近似后验参数，这仅在极限$ε\!\rightarrow\!0$中是正确的。然后，蒙特卡罗方法可以从近似后验中抽取样本，以近似预测或参数的误差条。这些算法作为$ε\!\rightarrow\!0$严重减慢，并且在实践中从比后验更广泛的分布中抽取样本。提出了一种基于贝叶斯条件密度估计的无似然推理方法。基于有限的仿真数据的初步推断用于指导以后的仿真。在某些情况下，学习整个真实后验分布的准确参数表示需要比蒙特卡罗ABC方法从近似后验产生单个样本所需的模型模拟更少。
2018-04-02 cs.LG stat.CO stat.ML
