On Bayesian Oracle Properties
当模型的不确定性由贝叶斯模型平均（BMA）或贝叶斯模型选择（BMS）处理时，如果对于足够大的数据，后验分布几乎与预言后验分布一样好，则它具有用于参数推断的理想的“预言属性”，预言后验分布是通过不切实际地假设真实模型是已知的并且仅使用真实模型而获得的。我们在一个非常一般的拟后验情形下研究预言机的性质，它可以适应具有立方根渐近性和部分可辨识性的非正则模型。我们的方法证明的预言属性是基于一个统一的治疗，边界模型误选择的后验概率。这个理论框架可能会引起贝叶斯统计学家的兴趣，他们除了实证结果之外，还希望从理论上证明他们的新模型选择或模型平均方法的合理性。此外，对于非正则模型，我们得到了关于先验惩罚对模型复杂性的影响、拟后验的温度参数以及BMA优于BMS的非平凡结论。
2018-02-02 math.ST stat.TH
Posterior covariance information criterion for general loss functions
本文提出利用后验协方差以低成本估计广义贝叶斯推断的一般预测度量，给出 Gibbs 与插件泛化误差估计量、理论保证及多类应用。
2025-01-11 stat.ME
The variation of the posterior variance and Bayesian sample size determination
我们认为贝叶斯样本量的确定使用的标准，利用前两个时刻的预期后验方差。我们研究了所产生的样本量依赖于所选择的先验和探索的成功率约束的后验方差低于规定的限制下的真实抽样分布。与基于后验方差的期望平均值的样本量确定相比，所提出的标准导致样本量的增加和显着提高的成功率。一般的渐近性质证明，如渐近表达式的样本量和一种相变。我们的研究说明使用两个真实世界的数据集与泊松和正态分布的数据。根据我们的研究结果给出了一些建议。
2020-02-27 math.ST stat.TH
Cost free hyper-parameter selection/averaging for Bayesian inverse problems with vanilla and Rao-Blackwellized SMC Samplers
在贝叶斯逆问题中，人们的目标是在给定间接测量的情况下，描述一组未知数的后验分布。对于非线性/非高斯问题，解析解很少可用：序贯蒙特卡罗采样器通过构建平滑到达后验的辅助密度序列，为近似复杂后验提供了强大的工具。后验通常取决于标量超参数。在这项工作中，我们表明，适当设计的序贯蒙特卡罗（SMC）采样器自然提供了一个近似的边际似然与此超参数免费，即在一个可以忽略不计的额外计算成本。所提出的方法通过构造分布的辅助序列来进行，使得它们中的每一个可以被解释为对应于超参数的不同值的后验分布。这可以被利用来在经验贝叶斯方法中执行超参数的选择，以及在完全贝叶斯方法中根据一些超先验分布对超参数的值进行平均。对于FB方法，所提出的方法具有允许以可忽略的计算成本进行先前的敏感性分析的进一步益处。此外，所提出的方法在所有（相关）迭代中利用粒子，从而减轻SMC采样器的已知限制之一，即中间迭代中的所有样本通常被丢弃的事实。我们展示了两种不同情况下的数值结果，其中超参数只影响可能性：一个玩具的例子，其中SMC采样器用于近似完整的后验分布;和一个脑成像的例子，其中Rao-Blackwellized SMC采样器用于近似条件线性高斯模型中的参数子集的后验分布。
2022-12-23 stat.AP stat.ME
Bayesian model averaging with the integrated nested Laplace approximation
贝叶斯推断的集成嵌套拉普拉斯近似（INLA）是估计贝叶斯分层模型参数和潜在效应的后验边缘分布的有效方法，该模型可以表示为潜在高斯马尔可夫随机场（GMRF）。作为GMRF的表示允许相关软件R-INLA在一小部分时间内估计后边缘作为典型的马尔可夫链蒙特卡罗算法。INLA可以通过贝叶斯模型平均（BMA）来扩展，以增加可以拟合条件潜在GMRF的模型数量。在本文中，我们回顾了使用BMA与INLA，并提出了一个新的例子空间计量经济学模型。
2019-11-02 stat.CO stat.ME
Nonparametric Bayesian model selection and averaging
我们认为非参数贝叶斯估计的概率密度$p$的基础上的随机样本的大小$n$从这个密度使用分层先验。例如，先验由关于未知密度的规律性的先验权重与给定密度具有这种规律性的适当先验相结合组成。更一般地，该层次结构由抽象模型索引上的先验权重和每个模型索引的密度模型上的先验权重组成。我们提出了一个一般定理的收缩率的后验分布为$n\to \infty$，它给出的条件下，收缩率是一个连接到模型，最好的近似的真实密度的观察。这表明，例如，后验分布可以适应底层密度的平滑度。我们还研究了模型指标的后验分布，发现在相同条件下，后验分布对大于最优模型的模型权重可以忽略不计，从而选择最优模型或也能很好地逼近真实密度的较小模型。我们将这些结果应用于对数样条密度模型，在那里我们表明，先验权重的正则性指数与先验模型的相互作用，使确切的利率依赖于在一个复杂的方式对先验，而且该利率是相当强大的规格的先验权重。
2008-02-01 math.ST stat.TH
Parallel Markov Chain Monte Carlo for Non-Gaussian Posterior Distributions
大数据和分析研究的最新发展产生了大量的大型数据集，由于计算机内存或存储容量的限制，这些数据集太大而无法进行整体分析。为了解决这些问题，已经开发了用于大数据的贝叶斯分析的无通信并行马尔可夫链蒙特卡罗（MCMC）方法。这些方法将数据划分为可管理的子集，对每个子集执行独立的贝叶斯MCMC分析，并结合子集后验样本来估计完整的数据后验。目前的方法组合子集后验样本包括样本平均，加权平均，和内核平滑技术。虽然这些方法对于高斯后验分布效果很好，但是对于非高斯后验分布，它们并不十分适合。在这里，我们开发了一个新的直接密度乘积方法，结合子集的边缘后验样本估计全数据的边缘后验密度。使用一个常用的实现距离度量，我们在模拟研究的贝叶斯模型与非高斯后验，我们的方法优于现有的方法在近似的完整数据的边缘后验。由于我们的方法只估计边缘密度，因此对分析的模型参数数量没有限制。我们的方法适用于连续参数空间中具有固定维数的未知参数的贝叶斯模型。
2015-06-10 stat.ME
Mixture Model Averaging for Clustering
在基于混合模型的聚类应用程序中，通常会从一个系列中拟合多个模型，并仅报告“最佳”模型的聚类结果。在这种情况下，使用模型选择标准（最常见的是贝叶斯信息标准）来实现该最佳模型的选择。除了最好的模型之外，我们没有丢弃所有的模型，而是对在某种意义上接近最好的模型的多个模型进行平均，从而产生聚类结果的加权平均值。两个（加权）平均方法被认为是：平均组件的成员资格概率和平均模型。在这两种情况下，Occam窗口用于确定与最佳模型的接近程度，并且在贝叶斯模型平均范式内计算权重。在某些情况下，我们需要在平均之前合并成分;我们介绍了一种基于调整后的Rand指数合并混合成分的方法。我们的基于模型的聚类平均方法的有效性说明使用一个家庭的高斯混合模型的真实和模拟数据。
2014-07-26 stat.CO stat.ME stat.ML
Constrained Bayesian Hierarchical Models for Gaussian Data: A Model Selection Criterion Approach
考虑存在B>1个候选统计模型的设置，并且对模型选择感兴趣。解决这个问题的两种常用方法是选择单个模型或通过模型平均来组合候选模型。相反，我们选择与模型相关联的组合参数空间的子集。具体地，使用模型平均视角来增加参数空间，并且使用模型选择准则来选择该扩展的参数空间的子集。我们通过将Yekutieli（2012）的方法应用于贝叶斯模型平均（BMA）来解释标准的可变性。Yekutieli（2012）的方法将模型选择视为截断问题。我们截断联合支持的数据和参数空间，只包括小的值的协方差惩罚误差（CPE）标准。CPE是一个通用表达式，包含几个作为特殊情况的信息标准。仿真结果表明，只要截断集不具有近零概率，我们往往会获得比BMA更低的均方误差。额外的理论结果提供了这些意见的基础。我们将我们的方法应用于由美国社区调查（ACS）期间估计组成的数据集，以说明这种观点可以导致单个模型的改进。
2021-04-20 stat.ME
Posterior Mode-Guided Dimension Reduction for Bayesian Model Averaging in Heavy-Tailed Linear Regression
Indian Institute of Management Bangalore（印度管理学院班加罗尔分校）；The University of Iowa（爱荷华大学）
针对重尾线性回归中贝叶斯模型平均的计算难题，提出结合MAP估计与MCMC的ECM引导算法，实现变量选择、尾重估计与不确定性量化，优于现有MAP方法。
2026-07-14 stat.CO stat.ME
Learning about Treatment Effects with Prior Studies: A Bayesian Model Averaging Approach
UC Berkeley（加州大学伯克利分校）
本文提出一种贝叶斯模型平均方法，通过结合先验信息提高治疗效应估计的准确性，引入非标准渐近框架以处理不确定的外部有效性。
2026-03-23 econ.EM math.ST stat.TH
Scalable Bayesian model averaging through local information propagation
我们表明，经典的向前逐步变量包含过程的概率版本可以作为一个通用的数据增强计划模型空间分布（广义）线性模型。该潜在变量表示采用马尔可夫过程的形式，从而允许信息传播算法被应用于从模型空间后验进行采样。特别是，我们提出了一个序贯蒙特卡罗方法实现有效的无偏贝叶斯模型平均在高维问题，利用建议分布构造使用本地信息传播。我们说明了我们的方法-所谓的LIPS为本地信息传播为基础的采样-通过真实和模拟的例子，维数范围从15到1,000，并比较其性能估计后验包含概率和样本外预测的其他几种方法-即MCMC，BAS，iBMA和LASSO。此外，我们还表明，潜变量表示也可以作为一种建模工具，用于指定模型空间的先验知识，占模型的复杂性和条件包含关系。
2014-10-22 stat.CO stat.ME
Some Simple Formulas for Posterior Convergence Rates
我们推导出一些简单的关系，展示了如何后验收敛速度与两个驱动因素：一个“惩罚发散”的前，这措施的能力，提出了一个不可忽略的工作模型，以近似真实的模型和“规范复杂性”的前，这措施的复杂性的前支持，加权的先验概率群众的先验分布。这些公式是明确的，不涉及任何必要的假设，易于应用。我们将这种方法应用到模型平均的情况下，得到一些有用的预言不等式，可以优化性能自适应不知道真正的模型。
2014-11-11 math.ST stat.TH
FBMS: An R Package for Flexible Bayesian Model Selection and Model Averaging
Stockholm University（斯德哥尔摩大学）；University of Oslo（奥斯陆大学）；NMBU（挪威生命科学大学）
本研究推出R包FBMS，核心采用高效MJMCMC算法优化贝叶斯广义线性模型的多峰后验混合，还提供GMJMCMC算法支持非线性特征生成与贝叶斯广义非线性模型估计，可适配多种复杂回归建模场景。
2025-08-31 cs.LG stat.AP stat.CO
Improved information criteria for Bayesian model averaging in lattice field theory
该研究针对格点场论中贝叶斯模型平均的权重估算问题，基于Kullback-Leibler散度推导并对比了BAIC、BPIC、PPIC三类信息准则，发现PPIC性能最优、BAIC可靠易用。
2024-02-02 hep-lat stat.ME
Depth induces scale-averaging in overparameterized linear Bayesian neural networks
Harvard University（哈佛大学）
深度贝叶斯神经网络中的推理只有在无限宽度限制下才能得到充分理解，其中深度增加所提供的后验灵活性消失，后验预测崩溃为浅高斯过程。在这里，我们将有限深度线性贝叶斯神经网络解释为跨输出通道的高斯过程预测器的数据依赖尺度混合。我们利用这一观察来研究这些网络中的表示学习，使我们能够在一个统一的框架内连接以前研究中获得的有限结果。总的来说，这些结果推进了我们对深度如何影响简单贝叶斯神经网络中的推理的分析理解。
2021-11-23 cs.LG stat.ML
On the large-sample limits of some Bayesian model evaluation statistics
本文研究贝叶斯模型评估准则（DIC、BPIC、WBIC）的大样本几乎必然极限，建立后验与广义后验一致性的新结果，并通过实例验证其有效性。
2025-10-28 math.ST stat.TH
A Survival Mediation Model with Bayesian Model Averaging
确定患者从癌症治疗中获益的程度具有挑战性。已经为各种类型的实体瘤和血液恶性肿瘤确立了在几个治疗周期内观察到的“肿瘤缓解”程度的量化标准。这些指标包括II期试验的主要终点。然而，监管机构对新癌症疗法的批准通常取决于通过III期试验获得的随机证据证明了更优的总生存率，该III期试验将新疗法与适当的标准治疗进行了比较。由于近三分之二的III期肿瘤学试验未能取得统计学显著性结果，研究人员继续改进并提出新的替代终点。本文提出了一个贝叶斯框架，用于研究治疗，患者亚组，肿瘤反应和生存之间的关系。结合经典组件的中介分析与贝叶斯模型平均（BMA），该方法是强大的模型之间的各种可能的关系，可观察到的实体之间的错误规范。后验推理是通过应用于转移性结直肠癌的随机对照III期试验来证明的。此外，文章详细描述了生存期的后验预测分布和用于量化直接和间接或肿瘤缓解介导的处理效应程度的统计指标。
2020-09-16 stat.ME
An Asymptotic Equation Linking WAIC and WBIC in Singular Models
TOYOTA CENTRAL R&D LABS., INC.（丰田中央研发实验室有限公司）；AISIN CORPORATION（日产公司）
本文推导了连接WAIC和WBIC的渐近方程，揭示了奇异模型中这两种标准的结构关系及渐近行为。
2025-11-25 cs.LG math.ST stat.ML
Bayesian fractional posteriors
我们考虑的分数后验分布，通过更新先验分布通过贝叶斯定理与分数似然函数，一个常见的似然函数提高到一个分数的权力。首先，我们分析了一般误指定框架下分数后验的收缩性质。我们的压缩结果只需要在真参数的Kullback-Leibler（KL）邻域上的先验质量条件（或在错误指定的情况下的KL散度极小化），以及在文献中分析正则后验压缩性质时常用的检验函数和筛子的构造.我们通过一个反例表明，控制参数空间的复杂性的一些条件是必要的定期后收缩，呈现额外的灵活性上的分数后验先验的选择。其次，我们在错误指定模型中，基于PAC-Bayes不等式，得到了一个新的Bayes预言不等式。我们的推导揭示了平均贝叶斯程序的优化基于频率程序的几个优点。作为贝叶斯预言不等式的应用，我们在任意维的凸回归问题中推导出了一个尖锐的预言不等式。我们还说明了高斯过程回归和密度估计问题的理论。
2016-11-07 math.ST stat.TH
Dangers of Bayesian Model Averaging under Covariate Shift
NYU（纽约大学）；Covera Health
神经网络的近似贝叶斯推理被认为是标准训练的一种鲁棒替代方案，通常在分布外数据上提供良好的性能。然而，贝叶斯神经网络（BNN）的高保真近似推理，通过全批汉密尔顿蒙特卡罗实现协变量偏移下的泛化能力差，甚至不如经典的估计。我们解释了这一令人惊讶的结果，表明贝叶斯模型的平均值在协变量偏移下实际上是有问题的，特别是在输入特征中的线性依赖性导致缺乏后验收缩的情况下。我们还展示了为什么同样的问题不会影响许多近似推理程序，或经典的最大后验概率（MAP）训练。最后，我们提出了新的先验知识，提高了BNN对许多协变量偏移源的鲁棒性。
2021-12-06 cs.LG stat.ML
Bayesian Model Averaging of Chain Event Graphs for Robust Explanatory Modelling
链事件图（Chain Event Graph，CEG）是一类应用广泛的概率图模型，它可以以一种易于解释的方式表示特定于上下文的独立性语句和事件的非对称展开。现有的关于CEG的模型选择文献主要集中在获得最大后验（MAP）CEG。然而，MAP选择是众所周知的忽略模型的不确定性。在这里，我们将探索在此类上使用贝叶斯模型平均。我们展示了这种方法如何量化模型的不确定性，并通过识别多个高分模型的共享特征来实现更强大的推理。因为可能的CEG的空间是巨大的，在所有的小问题中，为了模型平均而对模型进行详尽的评分是禁止的。然而，我们提供了一个简单的修改现有的模型选择算法，样本的模型空间，说明贝叶斯模型平均相比，更标准的MAP建模的功效。
2022-06-17 stat.ME
Stopping Criterion Design for Recursive Bayesian Classification: Analysis and Decision Geometry
Northeastern University（东北大学）；Pittsburg University（匹兹堡大学）
基于递归贝叶斯分类更新的系统通过某些停止/终止标准限制证据收集的成本，并相应地执行决策。常规地，通常使用两个终止准则，其基于在（i）状态后验分布的最大值;和（ii）状态后验不确定性上的预定义阈值。在本文中，我们提出了一个几何解释的状态后验级数，因此，我们提供了一个逐点分析的缺点，使用这种传统的终止标准。例如，通过建议的几何解释，我们表明，定义在最大的状态后验的置信阈值遭受刚度，导致不必要的证据收集，而基于不确定性的阈值方法是脆弱的类别数和提前终止，如果一些国家的候选人已经发现是不利的。此外，这两种类型的终止方法忽略了后验更新的演变。然后，我们提出了一个新的停止/终止标准的几何洞察力，以克服这些传统方法的局限性，并提供了一个比较的决策精度和速度。我们验证我们的主张，使用模拟和真实的实验数据，通过大脑计算机接口打字系统。
2021-04-25 cs.LG eess.SP stat.ML
Learning under Model Misspecification: Applications to Variational and Ensemble methods
University of Almería（阿尔梅里亚大学）；University of Copenhagen（哥本哈根大学）
事实上，我们在机器学习中用来进行预测的任何模型都不能完美地代表现实。因此，大多数学习都发生在模型错误指定的情况下。在这项工作中，我们对模型误指定和独立同分布下的贝叶斯模型平均的泛化性能提出了一种新的分析数据使用一个新的家庭的二阶PAC-Bayes界限。该分析以简单直观的方式表明，当模型被错误指定时，贝叶斯模型平均提供了次优的泛化性能。因此，我们提供了强有力的理论论据，表明贝叶斯方法不是学习预测模型的最佳方法，除非模型类是完全指定的。使用新的二阶PAC-Bayes界，我们得到了一个新的家庭的贝叶斯算法，它可以实现为变分和集成方法。这些算法的输出是一个新的后验分布，不同于贝叶斯后验，它导致后验预测分布具有更好的泛化性能。贝叶斯神经网络的实验说明了这些发现。
2020-10-22 cs.LG math.ST stat.ML
Power-Expected-Posterior Priors as Mixtures of g-Priors
构造客观贝叶斯方法的先验分布的主要方法之一是随机虚观测值的概念。在这种设置下，期望后验先验（EPP）提供了几个优点，其中它具有很好的和简单的解释，并提供了一种有效的方法来建立模型之间的先验的兼容性。本文研究了正态线性模型下客观贝叶斯模型选择中幂期望后验先验的推广。我们证明，它可以表示为混合物的$g$先验，像一个广泛的先验分布下的正态线性模型，从而后验分布和贝叶斯因子推导出封闭的形式，因此保持计算易处理。比较与其他混合物的$g$先验和重点是在后验分布的g和它的效果贝叶斯模型选择和模型平均。
2020-10-08 stat.ME
Model averaging and dimension selection for the singular value decomposition
$m\times n$矩阵$\m Y$的许多多变量数据分析技术都与模型$\m Y = \m M +\m E$相关，其中$\m Y$是满秩的$m\times n$矩阵，$\m M$是秩为$K< (m\wedge n)$的未观察均值矩阵。通常，以启发式方式估计$\m M$的秩，然后通过$\m Y$的奇异值分解获得$\m M$的最小二乘估计，从而产生可能具有非常高方差的估计。在本文中，我们提出了一个基于模型的替代上述方法，通过提供先验分布和后验估计的秩$\m M$和组件的奇异值分解。除了提供更准确的推断之外，这种方法还具有可扩展到更一般的数据分析情况的优点，例如在存在缺失数据的情况下的推断和广义线性建模框架中的估计。
2006-09-01 math.ST stat.TH
Inconsistency of Bayesian Inference for Misspecified Linear Models, and a Proposal for Repairing It
我们的经验表明，贝叶斯推断可以在简单的线性回归问题，无论是在模型平均/选择和贝叶斯岭回归设置下的误指定不一致。我们使用标准的线性模型，它假设同方差，而数据是异方差的，并观察到后验把它的质量越来越高维模型的样本量增加。为了解决这个问题，我们为贝叶斯定理中的似然性配备了一个称为学习率的指数，并且我们提出了安全贝叶斯方法来从数据中学习学习率。SafeBayes倾向于选择小的学习率，一旦标准后验不是“累积集中”，它对我们的数据的结果是相当令人鼓舞的。
2018-10-29 math.ST stat.ME stat.TH
Bayesian Stacking via Proper Scoring Rule Optimization using a Gibbs Posterior
针对协作预测中的权重选择问题，提出基于Gibbs后验、通过恰当评分规则优化的贝叶斯堆叠最优线性池，兼具正则化与权重不确定性量化能力，在模拟和FluSight竞赛数据上表现优于对比方法。
2025-09-04 stat.ME
Bayesian Model Averaging Using the k-best Bayesian Network Structures
Iowa State University（爱荷华州立大学）
我们研究了从数据中学习贝叶斯网络结构的问题。我们开发了一个算法来寻找k-最好的贝叶斯网络结构。我们建议通过贝叶斯模型在k-best贝叶斯网络上平均来计算感兴趣的假设的后验概率。我们提出的实证结果结构发现几个真实的和合成数据集，并表明该方法优于模型选择方法和最先进的MCMC方法。
2012-03-15 cs.AI cs.LG stat.ML
BayesVarSel: Bayesian Testing, Variable Selection and model averaging in Linear Models using R
本文介绍了R软件包BayesVarSel，它实现了线性模型中假设检验和变量选择的客观贝叶斯方法。该软件包计算竞争假设/模型的后验概率，并提供了一套工具，特别是在文献中提出的，以正确总结结果。此外，\ourpack \还配备了计算几种类型的模型平均估计值和预测值的函数，这些模型平均估计值和预测值的权重由后验概率给出。BayesVarSel包含精确的算法，可以在小到中等大小的问题中执行快速计算，并包含启发式采样方法来解决大型问题。该软件旨在吸引广泛的用户，因此界面经过精心设计，非常直观，并受到著名的lm函数的启发。事先投入的问题得到认真处理。在默认使用中（用户完全自动），BayesVarSel实现了Bayarri等人（2012）提出的基于标准的先验，但高级用户可以使用文献中其他几种流行的先验。该软件包可通过Comprehensive R Archive Network，CRAN获得。我们用几个数据示例说明了BayesVarSel的使用。
2016-11-24 stat.OT
A Theory of Bootstrap Coverage Calibration for Generalized Posterior Credible Sets
Faculty of Economics, Fukuoka University（福冈大学经济学部）
针对广义后验可信集缺乏频率覆盖渐近保证的问题，提出通过Bootstrap估计覆盖并选择标量学习率进行校准，利用Edgeworth展开分析覆盖误差来源，证明校准的一致性。
2026-06-25 math.ST stat.CO stat.ME
A brief note on the Bayesian D-optimality criterion
本文针对有限维贝叶斯线性逆问题，简洁推导了D-最优实验设计（最大化期望信息增益）等价于最小化后验协方差对数行列式，并保持通用性以利扩展至无限维。
2023-12-23 math.ST stat.TH
Bayesian sandwich posteriors for pseudo-true parameters
在模型误指定下，MLE通常收敛于伪真参数，该参数对应于模型内最接近数据从中采样的分布的分布。在许多问题中，伪真参数对应于感兴趣的总体参数，因此错误指定的模型可以为该参数提供一致的估计。此外，著名的三明治方差公式Huber（1967）提供了一个渐近准确的抽样分布的最大似然估计，即使在模型误设。然而，基于夹心方差估计的置信区间对于低样本量可能表现不佳，部分原因是使用了插入式方差估计。从贝叶斯的角度来看，干扰参数的插件估计通常低估了未知参数中的不确定性，并且对这些参数进行平均有望提供更好的性能。考虑到这一点，我们提出了一个贝叶斯三明治后验分布，其可能性是基于三明治抽样分布的极大似然估计。这种贝叶斯方法允许将先验信息的参数的利益，平均超过不确定性的滋扰参数，是渐近稳健的模型误设定。在一个小的模拟研究估计的回归参数下异方差，增加准确的先验信息和平均的滋扰参数都被认为是提高精度和校准的置信区间的参数。
2012-11-01 stat.ME
Methods and Tools for Bayesian Variable Selection and Model Averaging in Univariate Linear Regression
在本文中，我们简要回顾了回归模型中变量选择的背景下，贝叶斯方法的模型选择和模型平均的应用有关的主要方法学方面。这包括先前的启发，总结的后验分布和计算策略。然后，我们检查和比较各种公开的{ \tt R}-软件包的实际实现，总结和解释软件包之间的差异，并为应用用户提供建议。我们发现，所有的软件包审查导致非常相似的结果，但有潜在的重要差异的灵活性和效率的包。
2016-12-07 stat.CO
Bayesian averaging of computer models with domain discrepancies: a nuclear physics perspective
本文研究贝叶斯模型平均（BMA）的背景下，竞争昂贵的计算机模型在一个典型的核物理设置。虽然这是众所周知的，BMA帐户的模型本身的额外的不确定性，我们表明，它也通过显式分解减少预测误差的后验方差。我们将BMA扩展到竞争模型定义在不同研究区域的情况。任何模型的局部预测困难都可以通过从平均模型获得的预测来抵消，从而将单个模型扩展到整个域。我们通过教学模拟和应用程序来说明我们的方法，预测核观测值，表现出令人信服的改进BMA预测误差和经验覆盖概率。
2019-08-22 nucl-th physics.data-an stat.AP
Convergence rates of posterior distributions for noniid observations
研究了基于既不独立又不同分布观测值的后验分布和Bayes估计的渐近性态。我们给出了一般结果的收敛速率的后验测量相对于来自测试标准的距离。然后，我们专门研究我们的结果，独立的，非同分布的观测，马尔可夫过程，平稳高斯时间序列和白噪声模型。我们将我们的一般结果应用到无限维统计模型的几个例子中，包括带正态误差的非参数回归、二元回归、泊松回归、区间删失模型、时间序列谱密度的Whittle估计和非线性自回归模型。
2007-08-03 math.ST stat.TH
Black Box Variational Bayesian Model Averaging
几十年来，贝叶斯模型平均（Bayesian Model Averaging，BMA）一直是一个流行的框架，用于系统地解释在多个竞争模型可用于描述相同或相似物理过程的情况下出现的模型不确定性。然而，这一框架的实施带来了许多实际挑战，包括通过马尔可夫链蒙特卡罗和数值积分的后验近似。我们提出了一个变分贝叶斯推断方法BMA作为一个可行的替代标准的解决方案，避免了许多上述的陷阱。所提出的方法是“黑盒”，在这个意义上，它可以很容易地应用到许多模型，很少或没有模型特定的推导。我们说明了我们的变分方法的一套例子的效用，并讨论了所有必要的实施细节。还提供了完整的Python代码和所有示例。
2022-03-28 stat.CO stat.ME
Mixture model fitting using conditional models and modal Gibbs sampling
Department of Mathematics, School of Industrial Engineering-Albacete（工业工程学院阿尔巴塞特分校数学系）
提出一种基于模态吉布斯采样的新算法，通过仅采样辅助变量来近似混合模型的后验分布，利用集成嵌套拉普拉斯近似计算密度参数的条件分布众数，降低计算负担并给出良好估计。
2026-06-18 stat.CO stat.ME
Rashomon-Seeded Annealing for Robust Bayesian Inference in Factorial Designs
University of Washington（华盛顿大学）
针对因子设计中模型不确定性导致的后验多模态和MCMC收敛问题，提出Rashomon播种退火方法，利用Rashomon集作为退火重要性采样的初始分布，实现无需穷举模型空间的完整后验推断。
2026-05-21 stat.ME stat.ML
Bayesian model averaging in model-based clustering and density estimation
我们提出贝叶斯模型平均（BMA）作为一种方法，用于后处理基于模型的聚类结果。给定多个竞争模型，使用后验模型概率对适当的模型汇总进行平均，而不是从单个“最佳”模型中获取。我们演示了使用BMA在基于模型的聚类的一些数据集。我们表明，BMA提供了一个有用的总结，同时考虑到模型的不确定性的聚类观察。此外，我们表明，BMA结合基于模型的聚类给出了一个有竞争力的方法密度估计在多变量设置。在基于模型的上下文中应用BMA是快速的，并且可以提供增强的建模性能。
2015-06-30 stat.CO
Neutron drip line in the Ca region from Bayesian model averaging
重钙同位素区域形成了实验和理论原子核结构研究的前沿，在那里核物理的基本概念受到严格的检验。最近在$^{60}$ Ca周围发现了极富中子核[Tarasov，2018]，并通过实验测定了$^{55-57}$ Ca的质量（Michimasa，2018），提供了有关该区域结合能表面的独特信息。为了评估这些实验发现对核景观程度的影响，我们使用全局质量模型和统计机器学习来预测Si和Ti之间的结合核素，并具有量化的确定性水平。使用基于高斯过程的外推的贝叶斯模型平均分析，我们引入后验概率$p_{ex}$为每个核被绑定到中子发射。我们发现，外推滴线的位置，在核结合结束，是一致的全球质量模型使用，尽管他们的原始预测之间的显着变化。特别是，考虑到目前的实验信息和当前的全球质量模型，我们预测，$^{68}$钙有一个平均后验概率${p_{ex}\approx76}$ %被绑定到两个中子发射，而核$^{61}$钙很可能通过发射中子衰变（${p_{ex}\approx 46}$ %）。
2020-01-16 nucl-th stat.ML
Investigation of the widely applicable Bayesian information criterion
广泛适用的贝叶斯信息准则（WBIC）是一个简单而快速的近似模型的证据，已收到很少的实际考虑。WBIC使用这样一个事实，即日志证据可以被写为一个期望，关于幂后验概率与日志偏差的幂$t^*\in{(0,1)}$的可能性成比例。找到该温度值$t^*$通常是一个棘手的问题。我们发现，对于一个特定的易处理的统计模型，具有正确的温度$t^*$的WBIC的最佳调谐版本的均方误差低于最佳调谐版本的热力学积分（功率后验）。然而，在实践中，WBIC使用$t=1/\log(n)$的规范选择。在这里，我们调查的性能WBIC在实践中，一系列的统计模型，定期模型和奇异模型，如潜变量模型或那些具有层次结构的BIC不能提供一个适当的解决方案。我们的研究结果是，一般WBIC执行充分时，使用信息先验，但它可以系统地高估的证据，特别是小样本量。
2016-04-28 stat.ME
Converting P-Values in Adaptive Robust Lower Bounds of Posterior Probabilities to increase the reproducible Scientific "Findings"
我们提出了一种新的校准p值，“自适应鲁棒下限”（ARLB）的映射p值到近似的后验概率考虑到样本量的影响。我们建立在Sellke，Bayarri和Berger（2001）提出的鲁棒下限的基础上，但我们加入了一个简单的样本量的幂，使其适应不同的数据量。我们提出了几个插图，从那里很明显，ARLB接近确切的贝叶斯因子。特别地，它具有与后验概率相同的渐近性，但避免了小样本下相对于参数数目的“贝叶斯信息准则”（BIC）的问题。我们证明，ARLB是一致的样本量增长，它是信息一致的（伯杰和Pericchi，2001年）的典型正常的情况下，但与方法，热衷于被推广。因此，ARLB也避免了某些共轭先验作为g-先验的问题。总之，这是一个易于应用的新标准，因为它只需要一个真实的p值，一个样本量和参数维度。这种方法的目的是帮助从业者，谁是越来越意识到缺乏可重复性的传统假设检验“发现”，但在同一时间，缺乏具体的简单的替代品。这里有一个。
2017-11-16 stat.ME
Sequential Bayesian experimental design for calibration of expensive simulation models
针对昂贵仿真模型校准效率低的问题，提出一种以学习参数后验密度为目标的序贯贝叶斯实验设计框架，可同时兼顾后验不确定区探索与高后验密度区利用，经多组仿真及核物理反应模型验证有效。
2023-05-25 stat.ME
Bayesian model checking: A comparison of tests
使用一个简单的测试问题的基础上，当地的哈勃展开的贝叶斯模型检查的两个程序进行比较。在四个数量级以上，从后验概率密度函数的全局拟合优度标准（Lucy 2017）得出的p值与后验预测p值非常一致。因此，前者可以作为难以计算的后验预测p值的有效替代。
2017-12-20 astro-ph.IM stat.ME
Federated Averaging Langevin Dynamics: Toward a unified theory and new algorithms
École Polytechnique（巴黎综合理工学院）；Lagrange Mathematics and Computing Research Center（拉格朗日数学与计算研究中心）；Institut Polytechnique de Paris（巴黎理工学院）
本文主要研究联邦学习环境下的贝叶斯推断。虽然已经提出了几个分布式MCMC算法，很少考虑FL的具体限制，如通信瓶颈和统计异质性。最近，引入了联合平均朗之万动力学（Federated Averaging Langevin Dynamics，简称FMD），其将联合平均算法扩展到贝叶斯推断。我们得到了一个新的紧的非渐近上界的瓦瑟斯坦距离的全球后验的Wasserstein D。该界限突出了统计异质性的影响，这会导致局部更新的漂移，从而对收敛产生负面影响。我们提出了一个新的算法VR-VRND *，使用控制变量来纠正客户端漂移。我们建立了非渐近界，表明VR-ADVD * 不受统计异质性的影响。最后，我们说明了我们的结果在几个FL基准贝叶斯推断。
2022-10-31 cs.LG stat.ML
Bayesian Model Averaging for the X-Chromosome Inactivation Dilemma in Genetic Association Study
由于X染色体在男性和女性之间的内在差异，它常常被排除在所谓的“全基因组”关联研究之外。一个特殊的分析挑战是X失活的未知状态，其中女性中的两个X染色体变体之一可能被随机选择沉默。在没有生物学证据支持一个特定模型的情况下，我们考虑贝叶斯模型平均框架，该框架提供了一种原则性的方法来解释固有的模型不确定性，提供基于模型平均的后验密度区间和贝叶斯因子。我们通过广泛的模拟研究来检查所提出的方法的推理特性，并且我们将这些方法应用于大约20%的囊性纤维化患者中发生的肠道疾病的遗传关联研究。与先前报道的结果相比，假设存在失活，我们表明，所提出的贝叶斯方法提供了更多的功能丰富的数量，在实践中是有用的。
2017-06-25 stat.AP
Unbiased Bayes for Big Data: Paths of Partial Posteriors
University College London（伦敦大学学院）；University of Oxford（牛津大学）；University of Warwick（华威大学）
在贝叶斯推断中，一个关键的感兴趣的量是函数关于后验分布的期望。马尔可夫链蒙特卡罗是一个基本的工具，通过平均从一个近似的后验样本一致地计算这些期望。然而，它的可行性在所谓的大数据时代受到挑战，因为所有数据都需要在每次迭代中处理。意识到这样的模拟是一个不必要的困难的问题，如果目标是估计，我们构建了一个计算可扩展的方法，允许无偏估计所需的期望-没有明确的模拟从完整的后验。该方案的方差是有限的建设和简单的控制，导致算法是可证明的无偏的，自然达到所需的误差容限。这是在平均计算复杂度下实现的，该平均计算复杂度在数据集的大小上是次线性的，并且其自由参数易于调整。我们展示了一系列常见的统计模型应用于大规模的基准和现实世界的数据集的实用性和通用性的方法。
2015-02-09 cs.LG stat.ME stat.ML
Approximating Posterior Predictive Distributions by Averaging Output From Many Particle Filters
本文介绍了{ \it粒子群滤波器}（不要与粒子群优化混淆）：一个递归的并行算法，目标是通过平均来自许多粒子滤波器的期望近似值来近似后验预测分布序列。给出了一个大数定律和一个中心极限定理，并对一个随机波动率模型的模拟数据进行了数值研究。
2021-02-14 stat.ME stat.ML
Input Adaptive Bayesian Model Averaging
Department of Statistics（统计学系）；Department of Computer Science（计算机科学系）
本文提出输入自适应贝叶斯模型平均（IA-BMA），根据输入条件分配模型权重，通过摊销变分推断估计自适应后验，在回归和分类任务中优于非自适应基线和现有自适应方法。
2025-10-24 cs.LG stat.ML
Two-Stage Bayesian Model Averaging in Endogenous Variable Models
存在内变量的经济建模在工具和协变量水平上都受到模型不确定性的影响。我们提出了一个两阶段贝叶斯模型平均（2SBMA）的方法，扩展了两阶段最小二乘（2SLS）估计。通过在内生变量模型中构造两阶段单位信息先验，我们能够有效地将解决回归模型中模型不确定性的方法与经典的2SLS技术相结合。为了评估工具的有效性，在2SBMA上下文中，我们开发了贝叶斯检验的识别限制，是基于模型平均后验预测p值。模拟研究表明，2SBMA有能力恢复结构的工具和协变量集，并大大提高了清晰度的系数估计相比，2SLS使用完整的规格，以自动的方式。由于2SBMA估计的简约性增加，贝叶斯Sargan检验在检测违反外生性假设方面的功效为50%，而基于使用完整规范的2SLS的方法的功效可以忽略不计。我们应用我们的方法来解决发展会计的问题，并找到支持不仅机构，而且地理和一体化的发展决定因素，一旦模型的不确定性和endoforms已共同解决。
2012-02-27 stat.AP stat.ME
Online Bayesian Model Averaging with Joint Uncertainty Quantification for Models and Regression Coefficients in Binary Regression
The University of Iowa（爱荷华大学）
针对流式二元响应数据，提出基于可再生估计的在线贝叶斯模型平均方法，在降低计算成本的同时近似离线推断，并量化模型与系数的不确定性，支持自适应问题分配。
2026-09-21 stat.AP stat.CO stat.ME
clusterBMA: Bayesian model averaging for clustering
在集成聚类文献中，已经开发了各种方法来组合跨多组结果的推理以进行无监督聚类。从几个备选聚类模型中选出一个“最佳”模型报告结果的做法通常忽略了模型选择产生的不确定性，并导致对特定模型和所选参数敏感的推论。贝叶斯模型平均（BMA）是一种流行的方法，用于组合多个模型的结果，在这种情况下提供了一些有吸引力的好处，包括组合聚类结构的概率解释和基于模型的不确定性的量化。在这项工作中，我们介绍了clusterBMA，一种方法，使加权模型平均从多个无监督聚类算法的结果。我们使用聚类内部验证标准来开发后验模型概率的近似值，用于对每个模型的结果进行加权。从一个共识矩阵表示的加权平均值的聚类解决方案的模型，我们应用对称单纯形矩阵分解计算最终的概率集群分配。除了在模拟数据上优于其他集成聚类方法外，clusterBMA还提供了独特的功能，包括对平均聚类的概率分配，结合“硬”和“软”聚类算法的分配概率，以及测量平均聚类分配中基于模型的不确定性。此方法在附带的同名R包中实现。
2023-03-26 stat.AP stat.ME stat.ML
Model Uncertainty under Non-Gaussian Errors: Bayesian Model Averaging and Selection in Stochastic Frontier Models
Krakow University of Economics（克拉科夫经济大学）
研究非标准随机假设下随机前沿分析中的贝叶斯模型平均与选择，提出快速可靠程序，通过蒙特卡罗模拟比较，发现考虑随机前沿结构会影响后验推断和模型平均结果，尤其在效率分析合理时。
2026-07-17 econ.EM stat.CO
