Scalable Bayesian bi-level variable selection in generalized linear models
受心脏病学中的实际应用的启发,我们开发了一种算法,用于在广义线性模型中执行贝叶斯双水平变量选择,用于可能在个体数量和预测因子数量方面都很大的数据集。我们的算法依赖于Dau和Chopin(2022)的无浪费SMC序贯蒙特卡罗方法,这是一种新的建议机制,用于处理特定于双层选择的约束(如果其组未被选中,则禁止选择单个预测因子),以及Rossell等人(2021)的ALA(近似拉普拉斯近似)方法。我们在数值研究中表明,该算法可以在几分钟内在大型数据集上提供可靠的性能,包括与上述心脏病学应用相关的模拟数据和真实数据。
2023-03-22 stat.CO stat.ME
Bayes and empirical-Bayes multiplicity adjustment in the variable-selection problem
研究了标准贝叶斯变量选择先验在线性回归中的多重校正效应。我们的第一个目标是澄清何时,以及如何,多重校正自动发生在贝叶斯分析,并区分这种校正贝叶斯奥卡姆剃刀效应。我们的第二个目标是通过实例、理论结果和模拟来对比概率贝叶斯和完全贝叶斯变量选择方法。特别是,我们证明了一个定理,它描述了完全贝叶斯和经验贝叶斯之间令人惊讶的渐近差异。这种差异产生于与未能在经验贝叶斯估计中考虑超参数不确定性不同的来源。事实上,即使在极端情况下,当经验贝叶斯估计渐近收敛于真实的变量包含概率时,仍然存在严重差异的可能性。
2010-11-10 math.ST stat.TH
Weighted Bayesian Bootstrap for Scalable Bayes
我们开发了一个加权贝叶斯Bootstrap(WBB)的机器学习和统计。WBB通过从高维后验分布采样来提供不确定性量化。WBB计算速度快,可扩展,仅使用离线优化软件,如TensorFlow。我们提供了适用于各种机器学习和统计模型的正则条件。我们在正则化回归、趋势过滤和深度学习中说明了我们的方法。最后,我们总结了未来研究的方向。
2018-03-12 stat.ME
Confidence Intervals for Nonparametric Empirical Bayes Analysis
在经验贝叶斯分析中,我们使用重复采样的数据来模仿具有广泛的数据生成分布知识的贝叶斯预言机所做的推断。现有的研究结果提供了一个全面的表征时,以及为什么经验贝叶斯点估计准确地恢复甲骨文贝叶斯行为。在本文中,我们开发了灵活和实用的置信区间,提供渐近频率覆盖的经验贝叶斯估计,如后验均值或局部假符号率。即使被估量只有部分确定或经验贝叶斯点估计收敛非常缓慢时,覆盖声明也成立。
2021-09-08 stat.ME
Learning from a lot: Empirical Bayes in high-dimensional prediction settings
经验贝叶斯是一种多功能的方法,可以通过两种方式“从大量学习”:第一,从大量变量中学习,第二,从潜在的大量先验信息中学习,例如存储在公共存储库中的信息。我们回顾了各种经验贝叶斯方法的应用,几个著名的基于模型的预测方法,包括惩罚回归,线性判别分析,贝叶斯模型与稀疏或密集的先验。我们讨论“正式的”经验贝叶斯方法,最大限度地提高边际可能性,但也更非正式的方法,根据其他数据摘要。我们对比经验贝叶斯交叉验证和全贝叶斯,并讨论混合方法。为了研究经验贝叶斯估计量的质量与变量个数$p$之间的关系,我们考虑了线性模型中的一个简单经验贝叶斯估计量.我们认为,经验贝叶斯是特别有用的,当先验包含多个参数模型的先验信息的变量,称为“合作数据”。特别是,我们提出了两个新的例子,允许共同数据。首先,贝叶斯尖峰和平板设置,便于包括多个协数据源和类型;第二,混合经验贝叶斯-全贝叶斯岭回归方法估计后验预测区间。
2018-03-16 stat.ME
An Old Look at Empirical Bayes
University of Chicago, Booth School of Business(芝加哥大学布斯商学院);George Mason University(乔治梅森大学)
本文回顾了经验贝叶斯方法,指出其在数据使用、层次结构混同和不确定性量化方面的特点,并提出通过概率对称性、隐式似然和校准研究等新方法改进经验贝叶斯,强调现代经验贝叶斯计算工具应服务于更严格的层次贝叶斯方法。
2026-05-20 stat.ME
Coverage Properties of Empirical Bayes Intervals
本文是对Ignatiadis和Wager的文章“非参数经验贝叶斯分析的置信区间”的邀请讨论。在这次讨论中,我回顾了经验贝叶斯数据分析的一些目标和Ignatiadis和Wager的贡献。跨组推理和组特定的推理之间的差异进行了讨论。标准的经验贝叶斯区间程序侧重于控制跨组平均覆盖率。然而,如果组特定的推断是主要感兴趣的,则具有组特定的覆盖控制的置信区间可能是优选的。
2022-03-04 stat.ME
Rejoinder: Microarrays, Empirical Bayes and the Two-Groups Model
对“微阵列,经验贝叶斯和两组模型”的反驳[arXiv:0808.0572]
2008-08-05 stat.ME
Comment: Microarrays, Empirical Bayes and the Two-Groups Model
评论“微阵列,经验贝叶斯和两组模型”[arXiv:0808.0572]
2008-08-05 stat.ME
Comment: Microarrays, Empirical Bayes and the Two-Group Model
评论“微阵列,经验贝叶斯和两组模型”[arXiv:0808.0572]
2008-08-05 stat.ME
Empirical Bayes estimation via data fission
本文提出利用数据分裂技术将单一观测生成合成副本,从而把经验贝叶斯估计转化为一般回归问题,扩展了多重副本研究至单一副本场景。
2024-10-15 stat.ME
Comment: Microarrays, Empirical Bayes and the Two-Groups Model
评论“微阵列,经验贝叶斯和两组模型”[arXiv:0808.0572]
2008-08-05 stat.ME
Scalable Bayes under Informative Sampling
美国劳工统计局根据信息抽样设计,使用调查工具收集数据,将纳入的概率与答复相关联。该局广泛使用贝叶斯分层模型和后验抽样来估算响应水平数据中的缺失项,并推断人口参数。基于信息设计收集的调查数据的后验抽样在计算上是昂贵的,并且不支持局的生产时间表。出于这个问题,我们提出了一种新的方法来衡量贝叶斯计算的信息抽样设计。我们的方法将数据划分为较小的子集,对每个子集并行执行后验采样,并通过它们在2阶Wasserstein空间中的均值将来自所有子集的后验样本集合组合起来。在理论上,我们构造了一类抽样设计的条件,所提出的方法的后验一致性实现。从经验上讲,我们证明了我们的方法与传统方法相比具有竞争力,同时在许多模拟和该局进行的当前就业统计调查中显着更快。
2017-10-24 stat.ME
Empirical Bayes for the Reluctant Frequentist
本文以频率学派视角介绍经验贝叶斯基本原则,重点讲解估计混合模型的非参数极大似然方法,并用 PSID 收入动态数据加以应用说明。
2024-04-04 stat.ME
Multiple Jump MCMC: A Scalable Algorithm for Bayesian Inference on Binary Model Spaces
University of Amsterdam(阿姆斯特丹大学);Sabanci University(萨贝里大学)
本文提出多重跳跃MCMC算法,用于二元模型空间的贝叶斯推断,该算法简单、无拒绝机制且速度快,适用于高斯图模型、异或模型和变量选择等场景。
2026-04-02 stat.ME
Robust Empirical Bayes Small Area Estimation with Density Power Divergence
一个两阶段的正常层次模型称为费伊-赫里奥特模型和经验贝叶斯估计被广泛用于提供间接和基于模型的估计手段在小面积。然而,当假设的正态分布被错误指定时,经验贝叶斯估计的性能可能很差。在这篇文章中,我们提出了一个简单的修改,通过使用密度功率发散,并提出了一个新的鲁棒经验贝叶斯小区域估计。基于模型参数鲁棒估计的渐近性质,推导出了估计量的均方误差和估计的均方误差。我们调查所提出的方法,通过模拟和应用调查数据的数值性能。
2019-08-23 stat.ME
Revisiting Empirical Bayes Methods and Applications to Special Types of Data
经验贝叶斯方法已经存在了很长一段时间,并有着广泛的应用。这些方法提供了一种方法,其中可以聚合历史数据以提供后验均值的估计。本文回顾了一些经验贝叶斯方法,并开发了新的应用。我们首先看看线性经验贝叶斯估计,并将其应用于排名和符号数据。接下来,我们考虑Tweedie的公式,并展示如何将其应用于分析微阵列数据集。用皮尔逊分布系统简化了公式的应用。鞍点近似使我们能够在这个方向推广几个结果。实验结果表明,本文提出的方法在实际数据集上具有较好的应用效果.
2021-08-16 stat.ME
Comment: Microarrays, Empirical Bayes and the Two-Groups Model
Brad Efron的论文[arXiv:0808.0572]激发了对贝叶斯、频率和经验贝叶斯背后思想的回归。后者优选地将不限于用于数据和超参数的可交换模型。微阵列分析和医院概况之间的相似之处被揭示出来,进步也表明了基因识别的更多决策模型。然后,当预期回归到平均值时,应寻求随机效应的好的多水平和经验贝叶斯模型。
2008-08-05 stat.ME
Quasi-Bayes empirical Bayes estimation of sums of random variables
University of Torino(都灵大学);Collegio Carlo Alberto(卡罗阿尔贝托学院);Bocconi University(博科尼大学)
提出拟贝叶斯经验贝叶斯非参数方法,通过牛顿算法递归估计混合分布,实现广泛效用函数下和的高效估计与不确定性量化。
2026-06-23 stat.ME
Rational Expectations in Empirical Bayes
提出一种基于先验与观测后验一致性及贝叶斯更新稳定性的非参数经验贝叶斯估计框架,将EB估计量刻画为后验信念算子的唯一不动点,提升了标准EB设置的透明度与可解释性。
2025-07-11 stat.ME
Empirical and Constrained Empirical Bayes Variance Estimation Under A One Unit Per Stratum Sample Design
每层单个一级单元(PSU)设计是用于估计感兴趣参数的流行设计。虽然,设计的点估计是无偏的和有效的,无偏方差估计不存在。解决这个问题的一个常见做法是塌陷或合并两个相邻的地层,但获得的方差估计量不是设计无偏的,并且随着塌陷地层的总体均值变得更加多变,偏差会增加。因此,每层一个PSU设计和折叠层方差估计量可能不是一个好的选择,一些统计学家更喜欢每层选择两个PSU的设计。在本文中,我们首先将每层一个PSU设计与每层两个PSU设计进行比较。然后,我们提出了一个经验贝叶斯估计的方差的一个PSU每层设计,其中它过度收缩的先验均值。为了防止这一点,我们调查的潜在的约束经验贝叶斯估计。通过模拟研究,我们表明,经验贝叶斯和约束经验贝叶斯估计优于经典的崩溃的经验相对均方误差。
2019-10-13 stat.ME
A generalized likelihood based Bayesian approach for scalable joint regression and covariance selection in high dimensions
研究了贝叶斯范式下高维多元回归模型中回归系数矩阵和误差精度矩阵(逆协方差矩阵)的联合稀疏性选择问题。所选择的稀疏模式对于帮助理解预测变量和响应变量之间的关系网络以及后者之间的条件关系至关重要。虽然贝叶斯方法具有通过后验包含概率和可信区间提供自然不确定性量化的优点,但当前贝叶斯方法要么限制于稀疏模式的特定子类和/或不可扩展到具有数百个响应和预测因子的设置。贝叶斯方法只关注于估计后验模式是可扩展的,但不从后验分布生成样本用于不确定性量化。使用基于双凸回归的广义似然和尖峰和平板先验,我们开发了一种称为联合回归网络的算法(JRNS),用于联合回归和协方差选择,该算法(a)可以适应一般稀疏模式,(b)提供不确定性量化的后验样本,(c)可扩展,比提供不确定性量化的最先进贝叶斯方法快几个数量级。我们证明了所提出的方法对合成数据的统计和计算效率,并通过对选定的癌症数据集的分析。我们还建立了高维后验一致性的开发算法之一。
2022-01-14 stat.CO stat.ME
A Scalable Variational Bayes Approach for Fitting Non-Conjugate Spatial Generalized Linear Mixed Models via Basis Expansions
Purdue University(普渡大学);George Mason University(乔治梅森大学)
针对具有非高斯响应的大型空间数据集贝叶斯推断难的问题,提出结合半隐式变分推断与空间广义线性混合模型基表示的可扩展框架,在模拟场景中效果与传统方法相当且计算加速,还应用于实际数据集证明其有效性。
2026-07-21 stat.CO stat.ME
Scalable Bayesian modeling for smoothing disease risks in large spatial data sets
在空间统计学文献中已经提出了几种方法来分析连续域中的大数据集。然而,新的方法来分析高维面积数据仍然很少。在这里,我们提出了一个可扩展的贝叶斯建模方法,用于平滑高维数据中的死亡率(或发病率)风险,即当小区域的数量非常大时。该方法在R附加包bigDM中实现。模型拟合和推理是基于“分而治之”的思想,并使用集成的嵌套拉普拉斯近似和数值积分。我们分析了该建议的实证表现,在一个全面的模拟研究,考虑两个无模型的设置。最后,该方法被应用于分析男性结直肠癌死亡率在西班牙城市显示其好处方面的标准方法的拟合优度和计算时间。
2020-07-15 stat.CO stat.ME
Scalable Importance Tempering and Bayesian Variable Selection
提出了一种结合马尔可夫链蒙特卡罗和重要性抽样的高维概率分布抽样的蒙特卡罗算法。我们提供了一个仔细的理论分析,包括高维度的鲁棒性的保证,明确的比较与标准的马尔可夫链蒙特卡罗方法和插图的潜在改进的效率。简单而具体的直觉提供了新的计划时,预计将优于标准计划。当应用于贝叶斯变量选择问题时,新算法比现有的替代抽样方案效率高出几个数量级,并且能够使用数万个回归变量进行快速可靠的完全贝叶斯推断。
2019-09-17 stat.CO stat.ME stat.ML
Robust local empirical Bayes correction for Bayesian modeling
本文提出一种稳健的局部经验贝叶斯校正方法,用于贝叶斯建模,以区分并消除收入中的暂时性与永久性冲击,并在英国数据上验证了其效果。
2025-06-22 stat.AP stat.ME
Scalable Bayesian Multiple Changepoint Detection via Auxiliary Uniformization
通过在按时间顺序排列的观测值上附加辅助事件时间,将离散时间观测值的贝叶斯多变点问题转化为连续时间观测值的贝叶斯多变点问题。提出了一种前向滤波后向采样(FFBS)算法,用于模拟塌陷吉布斯抽样方案中的变点。理想情况下,FFBS算法的计算成本和内存成本都可以二次缩小到变化点的数量,而不是观察的数量,否则这对于长序列的观察是禁止的。新的公式允许在新数据到达时变点的数量无限地增加。此外,一个随时间变化的变点复发率在不同的部分被假定为特征的不同尺度的运行长度的变点。然后,我们提出了一个连续时间Viterbi算法获得的最大后验概率(MAP)估计的变化点。我们通过仿真研究和实际数据分析证明了该方法。
2020-06-28 stat.CO stat.ME
Quasi-Bayes empirical Bayes: a sequential approach to the Poisson compound decision problem
University of Torino(都灵大学);Collegio Carlo Alberto(卡罗阿尔贝托学院);Bocconi University(博科尼大学)
针对流式数据中的泊松复合决策问题,提出基于牛顿算法的拟贝叶斯序贯估计,具有常数计算成本,并证明了其一致性和渐近最优性。
2026-06-12 stat.ME stat.ML
Scalable Monte Carlo for Bayesian Learning
本书面向研究生介绍MCMC高级主题,涵盖随机梯度、不可逆及连续时间MCMC等近十年新方法,聚焦数据量与维度可扩展性,推动贝叶斯计算在机器学习与AI中的应用。
2024-07-17 cs.LG stat.CO stat.ME
Scalable Bayesian model averaging through local information propagation
我们表明,经典的向前逐步变量包含过程的概率版本可以作为一个通用的数据增强计划模型空间分布(广义)线性模型。该潜在变量表示采用马尔可夫过程的形式,从而允许信息传播算法被应用于从模型空间后验进行采样。特别是,我们提出了一个序贯蒙特卡罗方法实现有效的无偏贝叶斯模型平均在高维问题,利用建议分布构造使用本地信息传播。我们说明了我们的方法-所谓的LIPS为本地信息传播为基础的采样-通过真实和模拟的例子,维数范围从15到1,000,并比较其性能估计后验包含概率和样本外预测的其他几种方法-即MCMC,BAS,iBMA和LASSO。此外,我们还表明,潜变量表示也可以作为一种建模工具,用于指定模型空间的先验知识,占模型的复杂性和条件包含关系。
2014-10-22 stat.CO stat.ME
Bayesian Empirical Bayes: Simultaneous Inference from Probabilistic Symmetries
Columbia University(哥伦比亚大学);Technical University of Denmark(丹麦技术大学)
本文提出贝叶斯经验贝斯方法,通过概率对称性扩展经验贝斯,应用于数组、空间数据和协变量辅助的推断问题。
2026-08-20 stat.ME stat.ML
Reasonable uncertainty: Confidence intervals in empirical Bayes discrimination detection
本文重新审视经验贝叶斯歧视检测,指出部分实证发现对抽样不确定性不稳健,并提出一个反事实比值比估计量,以更好地将统计证据与歧视行为程度联系起来。
2025-08-18 econ.EM stat.ME
Safe, Scalable, and Accurate Bayes Posterior Sampling for Large-Data Generalized Linear Mixed Models
Duke University(杜克大学)
本文提出了一种基于数据子采样的镜像 Langevin 动力学算法,用于大规模广义线性混合模型的贝叶斯抽样,通过后处理步骤消除子采样导致的后验方差估计偏差。
2026-04-28 stat.CO stat.ME stat.ML
An Empirical Bayes Approach for High Dimensional Classification
提出了一种基于Dirichlet过程混合模型的经验Bayes估计,用于估计稀疏归一化均值差,可直接应用于高维线性分类.在理论上,我们建立了一个连接平均差的估计误差和误分类误差的桥梁,并给出了次优分类器和最优分类器的充分条件。在实现上,提出了一种变分贝叶斯算法来有效地计算后验,并可并行化以处理超高维情况。
2017-02-16 stat.ME stat.ML
Empirical Bayes learning from selectively reported confidence intervals
本文提出了一种基于选择性报告置信区间的经验贝斯学习框架,通过处理出版偏倚来提高MEDLINE摘要结果的解释性,并提供了覆盖保证和最优估计理论支持。
2026-03-12 stat.AP stat.ME
Consistent and scalable Bayesian joint variable and graph selection for disease diagnosis leveraging functional brain network
考虑高维probit回归中协变量的回归系数和逆协方差阵的联合推断,其中预测变量既与二元响应相关,又在函数上相互关联.一个层次模型与穗和板坯先验的回归系数和逆协方差阵中的元素,同时进行变量和图形的选择。我们建立联合选择一致性的变量和底层图形的预测时,尺寸允许增长远远大于样本量,这是贝叶斯文献中的第一个理论结果。一个可扩展的吉布斯采样器推导出,在高维模拟研究中表现得更好,与其他国家的最先进的方法。我们通过功能性MRI数据集说明了所提出的方法的实际影响和实用性,其中具有改变的功能活动的感兴趣区域和潜在的功能性脑网络被推断并整合在一起,用于对疾病风险进行分层。
2022-03-14 math.ST stat.ME stat.TH
Merging of Bayes and quasi-Bayes empirical Bayes procedures for Poisson compound decisions
University of Torino(都灵大学);Collegio Carlo Alberto(卡洛·阿尔贝托学院);Bocconi University(博科尼大学)
研究泊松复合决策问题中贝叶斯与拟贝叶斯经验贝叶斯策略的融合,建立边际概率质量函数的集中速率并证明频率学派融合结果,数值实验显示拟贝叶斯策略在保持精度的同时大幅降低计算成本。
2026-07-07 math.ST stat.ME stat.OT
Local empirical Bayes correction for Bayesian modeling
针对大规模混合分布数据不适用James-Stein估计量的问题,本研究介绍Efron(2011)提出的局部经验贝叶斯校正方法,用于校正大规模数据的选择偏倚,拓展了经验贝叶斯方法的应用场景。
2025-08-02 math.ST stat.ME stat.TH
Empirical Bayes posterior concentration in sparse high-dimensional linear models
我们提出了一个新的经验贝叶斯方法的推理$p \gg n$正常线性模型。新颖之处在于以两种方式使用先验数据,即中心化和正则化。在适当的稀疏性假设下,我们建立了经验贝叶斯后验分布的各种浓度率结果,相关的估计和模型选择。计算是直接和快速的,和模拟结果表明强有限样本性能的经验贝叶斯模型选择过程。
2018-12-05 math.ST stat.ME stat.TH
Combining Model and Parameter Uncertainty in Bayesian Neural Networks
Norwegian Computing Center(挪威计算中心);University of Oslo(奥斯陆大学)
由于可扩展的近似贝叶斯推断技术的发展,贝叶斯神经网络(BNN)最近在深度学习社区重新获得了大量的关注。使用贝叶斯方法有几个优点:参数和预测的不确定性变得容易获得,便于严格的统计分析。此外,还可以纳入先前的知识。然而,到目前为止,还没有可扩展的技术能够结合模型(结构)和参数的不确定性。本文在BNN中引入模型不确定性的概念,从而在模型和参数的联合空间中进行推理。此外,我们建议一个适应的可扩展的变分推断方法与重新参数化的边际包含概率,将模型空间的约束。最后,我们表明,通过贝叶斯模型平均和贝叶斯模型选择模型的不确定性,允许大幅稀疏的BNN的结构。
2019-05-25 cs.LG math.OC stat.CO
Robust and Scalable Variational Bayes
Washington University in St. Louis(圣路易斯华盛顿大学);University of Maryland(马里兰大学)
针对大型数据集中的离群值和污染问题,提出鲁棒可扩展的变分贝叶斯框架,通过划分数据集、独立近似子集后验并基于Wasserstein距离的几何中位数聚合,得到VM-Posterior,在保留收缩性质的同时保证鲁棒性与可扩展性。
2025-04-16 cs.LG stat.ME stat.ML
Compound decisions and empirical Bayes via Bayesian nonparametrics
University of Chicago(芝加哥大学)
本文通过贝叶斯非参数方法研究高斯序列复合决策问题,证明基于狄利克雷过程的估计器可实现接近最优的懊悔界,并展示后验均值贝叶斯规则的可接受性。
2026-09-10 econ.EM math.ST stat.ME