Bayesian Neural Networks for Functional ANOVA model
Department of Statistics, Seoul National University(统计系,首尔国立大学);Department of Applied Mathematics, University of Twente(应用数学系,特文特大学)
本文提出贝叶斯-TPNN,通过贝叶斯推断方法改进功能ANOVA模型,以更高效地检测高阶成分。
2026-02-20 cs.LG stat.ML
Bayesian Additive Regression Trees for functional ANOVA model
Department of Statistics, Seoul National University(首尔大学统计系);Department of Applied Mathematics, University of Twente(特温特大学应用数学系)
本文提出ANOVA-BART,通过函数方差分析分解提升可解释性,保持BART的理论保障并实现预测性能的平衡。
2026-03-31 cs.LG stat.ML
A Bayes Factor for Replications of ANOVA Results
随着越来越多的重复研究在心理科学中进行,如何评估重复尝试的结果值得仔细考虑的问题。贝叶斯方法允许将不确定性和先验信息纳入其设计的复制尝试的分析中。由Verneland & Wagenmakers(2014)引入的复制贝叶斯因子提供了支持或反对成功复制的定量相对证据。在之前Verneland & Wagenmakers(2014)的工作中,它仅限于$t$测试的情况。本文将重复贝叶斯因子推广到多组固定效应方差分析设计中的$F$检验。仿真和例子,以促进理解,并证明这种方法的实用性。最后,复制贝叶斯因子相比,其他贝叶斯和频率论的方法,并在复制尝试的背景下进行讨论。用于计算复制贝叶斯因子和复制论文中示例的R代码可在https://osf.io/jv39h/上获得。
2018-08-29 stat.AP
A Bayesian explanation of machine learning models based on modes and functional ANOVA
Honeywell International(霍尼韦尔国际公司)
本文提出一种基于贝叶斯框架和函数ANOVA分解的逆解释方法,通过特征距离排序解释标签偏差,相比SHAP更直观稳健,且额外成本与维度无关。
2024-11-05 cs.AI cs.LG stat.CO
Objective Bayesian Comparison of Constrained Analysis of Variance Models
针对社会科学中含等式与不等式约束的ANOVA模型比较难题,提出基于intrinsic prior的客观贝叶斯方法计算后验概率,并通过模拟和真实心理实验数据验证其在低功效情形下仍能正确识别模型。
2014-05-19 stat.ME
Semiparametric Latent ANOVA Model for Event-Related Potentials
本文提出半参数潜在方差分析模型(SLAM),通过结构化高斯过程先验和潜在方差分析统一建模ERP成分及其与协变量的关联,并利用蒙特卡洛EM算法进行推断,在模拟和语音识别ERP数据中验证了其优于两步法的效率及年龄对ERP潜伏期的影响。
2023-11-02 stat.ME
Sensitivity Analysis of Wind Energy Resources with Bayesian non-Gaussian and nonstationary Functional ANOVA
从不可再生能源向可再生能源的过渡是一项全球性的社会挑战,对于发展中国家来说,制定可持续的能源组合是一项特别艰巨的任务,因为这些国家几乎没有关于风能等可再生资源丰富程度的信息。在沙特阿拉伯这样一个幅员辽阔、地理分布多样的国家,观测数据稀少,天气模型模拟是获得此类信息的关键。然而,这种模型的输出是不确定的,因为它取决于输入,如物理过程的参数化和模拟域的空间分辨率。在这种情况下,必须进行敏感性分析,输入可能具有风的空间异质性影响。在这项工作中,我们提出了一个潜在的高斯函数的方差方差分析(ANOVA)模型,依赖于一个非平稳高斯马尔可夫随机场近似的连续的潜在过程。所提出的方法是能够捕捉高斯和非高斯风特性的局部敏感性,如在一个大的模拟域的速度和阈值风速,和一个连续的底层过程也使我们能够评估不同的空间分辨率的效果。我们的研究结果表明:(1)非局部行星边界层方案和高空间分辨率都有助于捕获风速和能量(特别是在复杂的山区地形),(2)行星边界层方案和分辨率对沙特阿拉伯计划的风电场的影响很小(最多1.4%)。因此,我们的研究结果为未来十年这些风电场的建设提供了支持。
2022-09-10 stat.AP
Default Bayes Factors for Testing the (In)equality of Several Population Variances
方差齐性检验是许多统计应用中的一个重要问题。我们开发了默认贝叶斯因子检验来评估两个或多个总体方差的相等性,以及总体方差是否等于特定值的检验。所得检验可用于检查常用程序(如$t$检验或ANOVA)的假设,或直接检验有关方差的实质性假设。我们表明,我们的贝叶斯因子满足一些desiderata。研究人员可能已经指导了诸如$σ_{1}^{2} > σ_{2}^{2}$之类的假设,他们可能想要扩展$\mathcal{H}_{0}$以具有空区域,或者希望将关于等式的假设与关于不等式的假设相结合,例如$σ_{1}^{2} = σ_{2}^{2} > (σ_{3}^{2}, σ_{4}^{2})$。我们扩展我们的贝叶斯因子检验,以允许这些偏离我们提出的默认值,并说明它在一些实际的例子。我们的过程是在R包$bfvartest$中实现的。
2022-07-31 stat.ME
Efficient functional ANOVA through wavelet-domain Markov groves
本文介绍了一种基于贝叶斯分层模型的小波域泛函方差方差分析(fANOVA)方法。因子效应通过每个位置-尺度组合处的尖峰和平板混合物以及系数和误差的正态-逆伽马(NIG)共轭设置进行建模。一个图形模型称为马尔可夫格罗夫(MG)的目的是共同模拟的尖峰和平板状态在所有的位置-尺度组合,它结合了聚类的每个因素的影响,在小波域,从而允许借款的强度跨越位置和规模。该NIG-MG模型的后验通过与用于离散小波变换的Mallat金字塔算法相同的计算复杂度的金字塔算法在分析上可用,即,在观测数量和位置数量上都是线性的。因子贡献的后验概率也可以通过金字塔递归来计算,并且可以在没有MCMC的情况下从后验中提取精确样本。我们调查我们的方法的性能,通过广泛的模拟,并表明它优于现有的小波域fANOVA方法在各种常见的设置。将该方法应用于矫形器的数据分析。
2016-02-21 stat.CO stat.ME stat.ML
From Many to One: Consensus Inference in a MIP
模型相互比较项目(MIP)由每个团队估计相同的基本数量(例如,到2070年的温度预测),估计数的分布表明其不确定性。它认识到,科学界不会完全同意,但在分歧的范围内寻求共识和信息是有价值的。团队输出的简单平均值给出了一个共识估计,但它没有认识到某些输出比其他输出更具可变性。方差的统计分析(ANOVA)模型提供了一种方法来获得具有最小可能方差的输出的加权一致估计,从而获得最紧密可能的“一西格玛”和“两西格玛”区间。MIP输出之间的模依赖性,ANOVA方法权重与其变化成反比的团队输出。当外部验证数据可用于评估每个MIP输出的保真度时,ANOVA权重还可以为贝叶斯模型平均提供先验分布,以产生共识估计。我们使用二氧化碳通量反演的MIP来说明基于ANOVA的加权和随后的共识推断。
2021-07-09 physics.ao-ph physics.geo-ph stat.AP
MMANOVA: A general multilevel framework for multivariate analysis of variance
经典的方差分析要求将模型项标记为固定或随机,通常通过比较每个批次(因子)的变异性与误差的变异性来达到高潮;没有标准方法来评估批次变异性的大小,比较批次之间的变异性,也没有考虑该评估中的不确定性。在本文中,我们支持最近的工作,将方差分析到一个一般的多层次框架,然后通过批量级模型规范完善,并进一步发展扩展到多变量的情况下。采用贝叶斯多层次模型参数化,不适当的批次水平的先验密度,我们推导出一种方法,便于比较所有来源的变异性。而经典的多变量方差分析往往利用一个单一的协方差标准,例如威尔克斯的λ分布的行列式,该方法允许任意协方差标准被采用。所提出的方法还涉及计算。通过引入隐式批处理级约束,这会产生不适当的先验,有效地分解了完整的后验,从而减轻了计算需求。对于一个大类的模型,分区减轻,甚至消除了对MCMC等方法的需要。该方法与模拟的例子和应用程序的重点是气候预测与全球气候模式。
2012-07-15 stat.ME
Computing Bayes factors to measure evidence from experiments: An extension of the BIC approximation
贝叶斯推断为科学家提供了检验假设的有力工具。其中一个工具是贝叶斯因子,它索引了在看到数据后对一个假设的支持程度。采用这种方法的犹豫部分可能源于对计算贝叶斯因子所需的计算工具的不熟悉。先前的工作已经表明,对于组间方法,例如方差方差分析或t检验,贝叶斯因子的封闭形式近似相对容易获得。在本文中,我扩展了这种近似来开发贝叶斯因子的公式,该公式直接使用ANOVA通常报告的信息(例如,F比和自由度)。在给出两个使用它的例子后,我报告的模拟结果表明,即使以最小的输入,这种近似贝叶斯因子产生类似的结果,现有的软件解决方案。
2018-03-02 stat.CO stat.ME
On Reasonable Uses of the Restricted Spatial Regression Model: Selection Criteria, Robust Adjustments, and Computational Advances
University of Missouri(密苏里大学)
本文澄清了受限空间回归模型的统计合理性,探讨了其在处理空间混杂因素时的优越性,并通过模拟和新冠数据展示了其计算优势和新应用。
2026-11-04 stat.ME
Variational approximate penalized credible regions for Bayesian grouped regression
The University of Melbourne(墨尔本大学);The University of Western Australia(西澳大学)
本文提出一种基于变分近似和惩罚可信区域的贝叶斯分组回归方法,通过高效计算实现高维变量选择与预测。
2026-07-27 stat.CO stat.ME
Generalization of Jeffreys' divergence based priors for Bayesian hypothesis testing
在本文中,我们介绍了客观正确的先验分布的假设检验和模型选择的竞争模型之间的分歧的措施的基础上,我们称之为基于分歧(DB)先验。DB先验具有简单的形式和理想的属性,如信息(有限样本)的一致性;通常,它们类似于其他现有的建议,如内在先验;此外,在正常的线性模型的情况下,他们完全重现Jeffreys-Zellner-Siow先验。最重要的是,在具有挑战性的情况下,如不规则模型和混合模型,DB先验是定义良好,非常合理的,而替代方案不是。我们推导出近似DB先验以及MCMC和渐近表达式的相关贝叶斯因素。
2008-01-28 stat.ME
A universal robust bound for the intrinsic Bayes factor
本文对Smith和Spiegelhalter的贝叶斯因子工作进行了全面改进,为内在贝叶斯因子定义了经验与理论界,并提出了构造最不利内在先验的方法,其下界优于Sellke等人的p值界。
2024-02-09 math.PR math.ST stat.TH
Prior-Posterior Derived-Predictive Consistency Checks for Post-Estimation Calculated Quantities of Interest (QOI-Check)
针对估计后自定义计算的感兴趣量(QOI)校准与解读易出错的问题,本文提出结合基于模拟的校准(SBC)和留出预测检验(HPC)的QOI-Check方法,以提升贝叶斯工作流中QOI相关结论的可靠性与可信度。
2025-03-20 stat.ME
Robust Sparse Bayesian Infinite Factor Models
以往的贝叶斯因子模型的研究和应用大多假设正态似然,而忽略了其有效性。为了获得更好的协方差估计,提出了一种基于多元Student- $t$似然的高维重尾数据贝叶斯因子模型.我们使用Bhattacharya和Dunson [Biometrika(2011)291-306]中提出的乘法伽马过程收缩先验和因子数自适应方案。由于该模型的朴素Gibbs采样器混合速度慢,我们提出了一种马尔可夫链蒙特卡罗算法,其中哈密顿蒙特卡罗的快速混合被利用的一些参数,在所提出的模型。仿真结果表明,在重尾高维数据的协方差估计的性能增益。我们还提供了一个理论结果,该模型的后验是弱相容的合理条件下。最后,我们总结了本文提出的因子模型在乳腺癌转移预测中的应用,给出了癌细胞的DNA特征数据。
2020-12-09 stat.ME
Bayesian Elastic Net Regression with Structured Prior Dependence
The Ohio State University(俄亥俄州立大学)
本文提出了一种具有结构先验依赖的贝叶斯弹性网回归方法,通过正交正态分布和L1正则化g先验提升模型灵活性,并通过模拟和实验验证其有效性。
2025-12-31 stat.ME
Akaike's Bayesian information criterion (ABIC) or not ABIC for geophysical inversion
赤池的贝叶斯信息准则(ABIC)已被广泛应用于地球物理反演等领域。然而,很少有人调查其统计方面。我们提出了一种替代的推导测量的边缘分布,其最大化直接导致了赤池ABIC的发明。我们证明了ABIC是通过最大化测量值的边缘分布来统计估计测量值的方差和先验方差。基于ABIC的正则化参数的确定实际上相当于地球物理反问题中测量方差与先验方差之间的相对权重因子的估计。我们表明,如果测量的噪声水平是未知的,ABIC往往会产生一个很大的偏差估计的方差的测量。特别是,由于先验均值通常是未知的,但在地球物理反演中被任意视为零,因此ABIC也不会对先验方差产生合理的估计。
2019-11-15 stat.ME
PC priors for residual correlation parameters in one-factor mixed models
线性回归残差的独立性的缺乏促使随机效应模型在许多应用领域的使用。本文从单因素方差分析模型出发,将其推广到一般的单因素贝叶斯混合模型,讨论了组内残差的几种相关结构。所有考虑的组模型都是根据单个相关(超)参数参数进行参数化的,控制着对独立残差(iid)情况的收缩。我们推导出一个惩罚复杂性(PC)的相关参数的通用组模型。从实践的观点来看,这种先验具有期望的性质:i)它确保了对iid情况的适当收缩; ii)它取决于缩放参数,该缩放参数的选择仅需要对由分组因子解释的总方差的比例的先验猜测; iii)它是在所有组模型共同的距离尺度上定义的,因此可以以相同的方式选择缩放参数,而不管所采用的组模型。我们展示了在社区生态学的案例研究中使用这些PC先验的好处,其中比较了不同的群体模型。
2019-12-03 stat.ME
A Bayesian functional model with multilevel partition priors for group studies in neuroscience
提出一种带多层划分先验的贝叶斯函数聚类模型,用于神经科学群体研究,可同时刻画群体效应与个体偏离,并在模拟和 EEG 案例中验证有效。
2025-05-14 stat.AP stat.ME
Scalable and optimal Bayesian inference for sparse covariance matrices via screened beta-mixture prior
本文提出一种结合连续收缩先验与筛选过程的可扩展贝叶斯方法,用于稀疏协方差矩阵估计,解决了“大p,小n”高维问题,并具备确定筛选性质与最优收敛速率。
2023-11-21 stat.ME
Asymmetric prior in wavelet shrinkage
在小波收缩中,已经提出的小波系数的先验假设是关于零对称的。虽然这种假设在许多应用中是合理的,但它并不普遍。本文提出了一种非对称收缩规则的基础上离散混合的点质量函数在零和非对称β分布之前的小波系数在非参数回归模型。统计特性,如偏差,方差,经典和bakerstan风险的相关的非对称规则提供和性能的建议规则得到的仿真研究,涉及人工非对称分布系数和Donoho-Johnstone测试功能。最后分析了在实际地震资料中的应用。
2020-10-09 stat.ME
Optimal designs for nonlinear regression models with respect to non-informative priors
在非线性回归模型中,费舍尔信息依赖于模型的参数。因此,最大化信息矩阵的某些功能的最优设计不能直接实现,但需要一些关于未知参数的初步知识。贝叶斯最优性准则为这个问题提供了一个有吸引力的解决方案。这些标准敏感地依赖于模型参数的先验分布的合理规范,这可能不是在所有应用中都可用的。本文研究了无信息先验分布下的贝叶斯最优性准则。特别是,我们研究了Jeffreys和Berger-Bernardo先验,其相应的最优性准则不一定是凹的。几个例子进行了研究,最优设计相对于新的标准进行计算和比较贝叶斯最优设计的基础上统一和功能统一的先验。
2013-11-04 stat.ME
Bayesian Model Selection on Random Networks
随机网络模型的模型选择的一般贝叶斯框架,考虑其功能。我们的目标是开发一个原则贝叶斯模型选择的方法来比较不同的适合,不一定嵌套,模型的推理对这些网络的实现。随机网络模型的比较准则是通过贝叶斯因子和使用最广泛使用的损失函数的惩罚来制定的。参数化在不同的空间是不同的。为了克服这个问题,我们结合和编码的不同方面的复杂性的可观察空间。因此,给定一个特征的值范围,网络实现被提取。所提出的原则方法是基于寻找随机网络模型,这样,在感兴趣的特征和模型的复杂性之间保持合理的权衡,避免过拟合问题。
2020-04-28 stat.AP stat.ME
Forward variable selection enables fast and accurate dynamic system identification with Karhunen-Loève decomposed Gaussian processes
West Virginia University(西弗吉尼亚大学);Rochester Institute of Technology(罗切斯特理工学院)
一个有前途的方法可扩展高斯过程(GP)是Karhunen-Loève(KL)分解,其中GP核由一组基函数表示,这些基函数是核算子的本征函数。这种分解的内核具有非常快的潜力,并且不依赖于诱导点的缩减集合的选择。然而KL分解导致高维,变量选择变得至关重要。本文报道了一种新的方法,向前变量选择,使有序性质的基函数的KL扩展的贝叶斯平滑样条方差分析内核(BSS-ANOVA),再加上快速吉布斯抽样在一个完全贝叶斯方法。它快速有效地限制了术语的数量,从而为低特征集维度的表格数据集提供了具有竞争力的精度,训练和推理时间的方法。推理速度和精度使得该方法特别适用于动态系统识别,通过将切空间中的动态建模为静态问题,然后使用高阶方案整合学习的动态。该方法在两个动态数据集上进行了演示:一个“易感,感染,感染”(SIR)玩具问题,使用的传输率作为强制函数,以及实验“级联坦克”基准数据集。时间导数的静态预测与随机森林(RF),残差神经网络(ResNet)和正交加法核(OAK)诱导点可扩展GP进行比较,而对于时间序列预测,与LSTM和GRU递归神经网络(RNN)以及SINDy包进行比较。
2023-02-23 cs.LG math.DS stat.CO
Energy Consumption Analysis Of Machining Centers Using Bayesian Analysis And Genetic Optimization
针对当前制造过程中对低碳排放和高效率的迫切需求,通过应用贝叶斯看似不相关回归(SUR)模型,分析了3种不同加工因素(切削深度、进给速度和主轴转速)对功率消耗和表面光洁度(粗糙度)的关系。对于分析,优化标准的建立和最小化,通过使用优化算法,结合进化算法的方法与基于导数(拟牛顿)的方法,找到最佳的条件,获得良好的表面光洁度质量的能量消耗。还进行了贝叶斯方差分析,以确定观察结果方差解释方面最重要的因素。数据是从析因试验设计中获得的,该试验设计在两台计算机数控(CNC)立式加工中心(Haas UMC-750和Leadwell V-40 iT)中进行。研究结果表明,进给速度是影响功率消耗最大的因素,而切削深度是对粗糙度值影响最大的因素。Leadwell V-40 iT机器和Haas UMC-750机器的预测误差分别小于0.01%和0.03%。
2022-07-12 stat.AP
Comment on "Bayes' Theorem in the 21st Century" by Bradley Efron
布拉德利·埃夫隆(Bradley Efron)在《科学》(Science)上发表的一篇《透视》(Perspectives)文章中得出结论,当使用无信息先验时,贝叶斯计算不能被不加批判地接受。我们认为,这一结论是有问题的,因为埃夫隆的例子不使用数据,因此它不是贝叶斯统计;他的先验是没有意义的,并不是没有信息;和使用现有的数据点和一个没有信息的先验实际上导致一个合理的后验分布。
2013-08-02 math.ST stat.TH
Flexible Bayesian Modeling of Counts: Constructing Penalized Complexity Priors
许多数据,特别是在医学和疾病绘图方面的数据都是有价值的。事实上,在计数数据的过度或过度分散的问题不信任的经典泊松模型的性能。针对这一问题,本文提出了一种新的贝叶斯结构可加回归模型,称为gamma计数,在离散建模方面具有足够的灵活性。在模型参数上设置方便的先验分布是贝叶斯统计中的一个重要问题,它表征了我们的不确定性参数的性质。依赖于最近提出的一类惩罚复杂性先验,从一组一般的建设原则的动机,我们推导出先验结构。该模型可以表示为一个隐高斯模型,因此,我们可以使用集成嵌套拉普拉斯近似方法进行快速计算。我们调查所提出的方法模拟研究。对不同的征用先验分布进行了检验,以提供合理的敏感性分析。为了解释所提出的模型的适用性,我们分析了两个真实世界的数据集相关的喉癌死亡率在德国和手球冠军联赛。
2021-05-18 stat.AP stat.ME
Bayesian prognostic covariate adjustment
关于疾病结局的历史数据可以通过多种方式整合到临床试验分析中。我们建立在现有文献的基础上,这些文献使用预测模型的预后评分,通过协变量调整来提高处理效应估计的效率。在这里,我们更进一步,利用贝叶斯框架,结合预测协变量调整与经验先验分布从预测模型的预测性能在过去的试验中学习。贝叶斯方法在既往扩散时采用严格第一类错误控制的预后协变量调整与既往达到峰值时采用单臂试验之间进行插值。理论上表明,该方法可大幅提高统计功效,同时在合理条件下限制第一类错误率。我们证明了我们的方法在模拟和分析过去的阿尔茨海默病的临床试验的效用。
2020-12-24 stat.AP stat.ME stat.ML
A Noninformative Bayes-like Approach to Probability-Preserving Prediction of Extremes
从贝叶斯和频率论的角度考虑了将极值外推到超出静态单变量历史数据范围的值。其目的是作出预测,在某种意义上“保持概率”。McRobie(2014)(arXiv:1408.1532)描述了一种基于广义帕累托分布尾部参数$ξ$的简单曲线拟合估计的频率主义方法。在本文中,相应的贝叶斯类似的方法进行了描述,使用一个合理的非信息前的尾部参数。这两种方法虽然在理论上不同,但显示出合理的对应程度。
2014-10-09 math.ST stat.TH
Predicting Cricket Outcomes using Bayesian Priors
本研究开发了一种统计建模程序来预测未来板球锦标赛的结果。建议的模型提供了一个深入了解分层调查抽样的团队选择模式的应用程序,将个人球员的表现历史加上贝叶斯先验不仅对一个特定的反对,但也对任何板球国家-国际板球理事会(ICC)的正式成员。下一个ICC板球世界杯2023年在印度的案例研究,预测获得所有参赛队对彼此,并讨论了模拟结果。建议的统计模型在2020年印度超级联赛(IPL)赛季进行测试。该模型正确地预测了IPL 2020的前三名,包括锦标赛的获胜者,孟买印第安人和其他位置,具有合理的准确性。该方法可以预测每个参赛队获胜的概率。这种方法也可以推广到其他板球比赛。
2022-03-21 stat.AP stat.ME stat.OT
Amortized Phylodynamic Inference with Neural Bayes Estimators and Recursive Neural Networks
MRC Biostatistics Unit, University of Cambridge(剑桥大学生物统计单元);ARC Centre of Excellence for the Mathematical Analysis of Cellular Systems, The University of Melbourne(墨尔本大学细胞系统数学分析卓越中心);School of Mathematics and Statistics, The University of Melbourne(墨尔本大学数学与统计学院);Department of Biosystems Science and Engineering, ETH Zürich(苏黎世联邦理工学院生物系统科学与工程系);Swiss Institute of Bioinformatics (SIB)(瑞士生物信息学研究所)
本文提出基于神经贝叶斯估计器和递归神经网络的方法,用于高效估计流行病动态参数并提供不确定性量化。
2026-03-09 q-bio.QM stat.ME
On the behavior of Bayesian credible intervals for some restricted parameter space problems
为了估计正态均值,Zhang和Woodroofe(2003)以及Roe和Woodroofe(2000)研究了100个与先验相关的HPD可信集,这些先验是将无信息先验截断到受限参数空间上获得的。也就是说,他们建立了有吸引力的下界$\frac{1-α}{1+α}$的频率覆盖概率的这些程序。在这项工作中,我们建立了$\frac{1-α}{1+α}$的下界是适用于一个基本上更一般的设置与潜在的分布对称性,并获得各种其他性质。推导是统一的,并通过选择一个正确的Haar不变先验驱动。对非对称模型进行了研究,得到了类似的结果。也就是说,(i)我们证明了下界$\frac{1-α}{1+α}$仍然适用于某些类型的不对称性(或偏度),(ii)我们扩展了Zhang和Woodroofe(2002)估计Fisher分布尺度参数的结果;这在估计单向平衡随机效应ANOVA中的方差分量比时出现。最后,各种例子说明了广泛的应用范围进行了扩展。示例包括估计位置模型和位置-尺度模型中的参数、估计尺度模型中的尺度参数、估计诸如差的位置参数的线性组合、估计尺度参数的比率以及具有非独立观测的问题。
2006-11-22 math.ST stat.TH
MMD-Bayes: Robust Bayesian Estimation via Maximum Mean Discrepancy
CREST(Crest研究中心);ENSAE(法国国立统计与经济管理学院);Institut Polytechnique de Paris(巴黎理工学院);RIKEN Center for AI Project(理化学研究所人工智能项目中心)
在某些错误指定的设置中,贝叶斯统计中的后验分布可能导致不一致的估计。为了解决这个问题,已经建议用伪似然代替似然,伪似然是享受适当鲁棒性特性的损失函数的指数。在本文中,我们建立了一个伪似然最大均值离散的基础上,定义通过嵌入的概率分布到再生核希尔伯特空间。我们表明,这种MMD-Bayes后验是一致的和强大的模型误设定。由于以这种方式获得的后验可能是棘手的,我们还证明了合理的变分近似后享有相同的属性。我们提供的随机梯度算法来计算这些变分近似的细节。数值模拟确实表明,我们的估计是更强大的误指定比的基础上的可能性。
2019-12-11 cs.LG math.ST stat.ML
Bayesian Ultrahigh-Dimensional Screening Via MCMC
我们探讨了稀疏超高维环境下完全贝叶斯模型选择方法的理论和数值性质,即,$p\gg n$,其中$p$是协变量数量,$n$是样本量。我们的方法包括(1)一个分层贝叶斯模型与一个新的先验放置在模型空间,其中包括一个超参数$t_n$控制模型的大小,和(2)一个有效的MCMC算法的自动和随机搜索的模型。我们的理论表明,当正确指定$t_n$时,所提出的方法产生选择一致性,即,真实模型的后验概率渐近接近1;当错误指定$t_n$时,所选模型仍渐近嵌套在真实模型中。该理论还揭示了选择结果对$t_n$的选择不敏感。在实现中,进一步假设$t_n$具有合理的先验,使得可以随机抽取其样本。我们的方法进行选择,估计,甚至在一个统一的框架推断。不需要额外的预筛分或降维步骤。两个新的$g$ -先验的建议,使我们的方法更灵活。仿真研究显示我们的方法的数值优势。
2013-03-12 math.ST stat.CO stat.ME
A Bayesian binomial regression model with latent Gaussian processes for modelling DNA methylation
表观遗传观察结果由来自给定细胞池的读数总数和甲基化读数的数量表示,使得通过二项分布对该数据进行建模是合理的。有许多因素可以影响在特定区域的成功概率。此外,这些概率具有很强的空间(与基因组一起)依赖性。我们将依赖于协变量和空间依赖的甲基化概率的观察池的细胞通过一个二项式回归模型与潜在的高斯场和logit链接函数。我们采用贝叶斯方法,包括模型配置的先验规范。为了得到参数和模型的联合后验分布,我们在不同的协变量选择上运行跳模马尔可夫链蒙特卡罗算法(MJMCMC)。这还允许找到最佳协变量集以对感兴趣的基因组区域内的甲基化概率和协变量的个体边缘包含概率进行建模。
2020-04-28 q-bio.GN q-bio.QM stat.AP
Mixture representations and Bayesian nonparametric inference for likelihood ratio ordered distributions
本文利用混合表示刻画似然比有序分布,提出基于Dirichlet过程混合的非参数贝叶斯密度估计方法,首次证明有序约束下的后验相合性,并给出MCMC算法及生物医学应用。
2023-10-26 math.ST stat.ME stat.TH
Bayes Extended Estimators for Curved Exponential Families
贝叶斯预测密度具有复杂的表示形式,除了在有限的情况下,不属于任何有限维统计模型。在本文中,我们介绍了它的简单的近似表示利用其投影到一个有限维指数族。当模型属于曲线指数族时,它的理论性质与贝叶斯预测密度的理论性质相似。它还表明,投影渐近一致的插件密度与后验均值的期望参数的指数族,我们称之为贝叶斯扩展估计。信息几何对应表明贝叶斯预测密度可以表示为无穷维指数族的后验均值。通过数值模拟证明了该近似的Kullback-Leibler风险性能,并表明随着指数族维数的增加,期望参数的后验均值逼近贝叶斯预测密度。它还表明,近似投影到一个指数家庭的合理规模是实际上有利的风险性能和计算成本。
2020-10-29 math.ST stat.TH
SAM as an Optimal Relaxation of Bayes
RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心)
本文揭示 SAM 是 Bayes 目标经 Fenchel 双共轭得到的最优凸松弛,并据此提出类似 Adam 的扩展,使其兼具不确定性估计与潜在准确率提升。
2023-12-10 cs.AI cs.LG math.OC
A Flexible Bayesian Model for Estimating Subnational Mortality
在国家以下一级进行可靠的死亡率估计,对于研究一个国家内的健康不平等现象至关重要。编制这种估计数的困难之一是人口较少,死亡人数的随机变化相对较大,因此基本的死亡率水平不清楚。我们提出了一个贝叶斯层次模型来估计在国家以下一级的死亡率。该模型建立在死亡率曲线的特征年龄模式上,死亡率曲线是使用一组参考死亡率曲线的主成分构建的。关于死亡率的信息在地理空间上被汇总,并随着时间的推移而平滑。该模型的测试表明,合理的估计和不确定性水平时,该模型被应用到模拟数据,模仿美国县,和法国部门的真实数据。该模型产生的估计数可直接应用于研究次区域保健模式和差距。
2016-07-12 stat.AP
Computational approaches for empirical Bayes methods and Bayesian sensitivity analysis
我们认为在贝叶斯分析的情况下,我们有一个家庭的先验$ν_h$的参数$θ$,其中$h$不断变化的空间$\mathcal{H}$,我们处理两个相关的问题。第一项涉及灵敏度分析,说明如下。假设我们修复$θ$的函数$f$。如何有效地同时估计$\mathcal{H}$中所有$h$的$f(θ)$后验期望?第二个问题是我们如何识别$\mathcal{H}$的子集,这些子集引起$ν_h$的合理选择?我们假设,我们能够生成马尔可夫链样本的先验的有限数量的后,我们开发了一种方法,基于组合的重要性抽样和控制变量的使用,用于处理这两个问题。该方法适用于非常普遍的,我们展示了它是如何适用于特别是一个常用的模型变量选择贝叶斯线性回归,并给出了一个说明在美国犯罪数据的Vandaele。
2012-02-23 math.ST stat.TH
Parallel Bayesian Additive Regression Trees
贝叶斯加性回归树(Bayesian Additive Regression Trees,BART)是一种灵活的非线性回归的贝叶斯方法,已被证明与最好的现代预测方法(如基于Bagging和Boosting的方法)竞争。BART提供了一些优势。例如,随机搜索马尔可夫链蒙特卡罗(MCMC)算法可以提供对模型空间的更完整的搜索,并且MCMC绘制之间的变化可以以通常的贝叶斯方式捕获不确定性水平。BART先验是稳健的,因为通常使用默认先验规范获得合理的结果。然而,在R软件包BayesTree中公开的BART算法的实现速度不够快,不能被认为是与超过一千个观察结果交互的,甚至不太可能运行50,000到100,000个观察结果。在本文中,我们将展示如何BART算法可能会被修改,然后计算使用单程序,多数据(SPMD)并行计算实现的消息传递接口(MPI)库。该方法在处理器内核的数量上几乎线性地扩展,使从业者能够对大量数据集执行统计推断。我们的方法还可以处理太大而无法容纳在任何单个数据存储库中的数据集。
2013-09-07 stat.CO
Variance-based sensitivity of Bayesian inverse problems to the prior distribution
North Carolina State University(北卡罗来纳州立大学)
本文提出了一种基于高效替代模型和定制重要性采样的方法,用于贝叶斯反问题中先验超参数对后验统计量的全局敏感性分析。
2023-11-02 stat.CO
Bayesian approach to inverse scattering with topological priors
我们提出了一个贝叶斯推理框架来估计逆散射问题中的不确定性。给定观测数据、正演模型及其不确定性,我们求出了表示对象的有限参数场上的后验分布。为了构造先验分布,我们使用拓扑灵敏度分析。我们演示了方法的贝叶斯解的二维逆问题的光和声全息与合成数据。通过对后验分布进行采样,提取关于对象的统计信息,例如它们的中心位置、直径大小、方向以及材料属性。假设已知的对象的数量,比较马尔可夫链蒙特卡罗抽样和通过对高斯分布进行抽样得到的结果,通过对最大后验估计进行线性化得到的结果显示出合理的一致性。后一个过程具有较低的计算成本,这使得它在3D中的不确定性研究的一个有趣的工具。然而,MCMC采样提供了一个更完整的图片后验分布,并产生多模态后验分布的问题与更大的测量噪声。当对象的数量是未知的,我们设计了一个随机模型选择框架。
2020-11-16 cs.NA math.NA math.OC
Sparse-Group Bayesian Feature Selection Using Expectation Propagation for Signal Recovery and Network Reconstruction
Max Planck Institute for Molecular Genetics(马克斯·普朗克分子遗传学研究所)
我们提出了一种贝叶斯方法的特征选择中存在的分组信息之间和组内水平的稀疏性。而不是使用随机算法的参数推断,我们采用期望传播,这是一个确定性和快速的算法。在存在分组信息的情况下,用于特征选择的可用方法具有许多简短的描述:一方面,Lasso方法虽然快速,但低估了回归系数,并且没有很好地利用分组信息,另一方面,贝叶斯方法虽然在参数估计中准确,但通常依赖于随机且缓慢的吉布斯抽样过程来恢复参数,使得它们例如对于基因网络重建是不可行的。我们的方法的贝叶斯稀疏组框架与期望传播,使我们不仅能够恢复准确的参数估计信号恢复问题,但也使得有可能将此贝叶斯框架的大规模网络重建问题。所提出的方法是通用的,但在应用方面,我们专注于基因调控网络。我们的模拟和实验数据表明,该方法构成了一个很好的选择网络重建的正确选择的功能,预测新的数据和合理的计算时间的数量。
2018-09-25 cs.LG stat.CO stat.ML
Closer than they appear: A Bayesian perspective on individual-level heterogeneity in risk assessment
风险评估工具被用于整个刑事司法系统,以估计给定协变量的某些未来行为的概率。然后,估计的概率用于在个人层面上做出决策。在过去,关于从群体水平计算得出的概率是否可以有意义地应用于个人一直存在争议。使用贝叶斯分层模型应用于一个大型的纵向数据集,从法院系统在肯塔基州,我们分析了变化的个人层面的概率,未能出庭,并在何种程度上,它是由协变量捕获。我们发现,同一风险组中的个体在其结果的概率上差异很大。在实践中,这意味着根据风险评估的标准方法将个人分配到风险群体,在很大程度上导致在结果可能性方面没有意义差异的个人之间产生区别。这是因为,相对于任何合理的风险群体之间的平均概率差异,任何特定个体未能出现的概率的不确定性都很大。
2021-02-01 stat.AP
Reasonable uncertainty: Confidence intervals in empirical Bayes discrimination detection
本文重新审视经验贝叶斯歧视检测,指出部分实证发现对抽样不确定性不稳健,并提出一个反事实比值比估计量,以更好地将统计证据与歧视行为程度联系起来。
2025-08-18 econ.EM stat.ME
Bayesian Model Selection with Latent Group-Based Effects and Variances with the R Package slgf
本文介绍 R 包 slgf,通过贝叶斯模型选择检测分类预测变量中的潜在分组、回归效应、交互作用及异方差,并在多种 ANOVA/ANCOVA 布局中展示其优势。
2024-04-10 stat.ME
Fast Measurements of Robustness to Changing Priors in Variational Bayes
在贝叶斯分析中,后验是从数据和先验和可能性的选择中得出的。人们希望后验对先验选择的合理变化具有鲁棒性,因为这种选择是由建模者做出的,并且通常有些主观。一个不同的、同样主观上合理的先验选择可能会导致一个实质上不同的后验,从而从数据中得出不同的结论。如果是这样的话,我们的结论将不会对先验的选择是稳健的。为了确定我们的模型是否稳健,我们必须量化我们的后验对先验扰动的敏感程度。尽管问题的重要性和大量的文献,通用的,易于使用的方法来量化贝叶斯鲁棒性仍然缺乏。摘要在本文中,我们证明了强大的鲁棒性措施可以很容易地计算从变分贝叶斯(VB)近似后验。我们从局部鲁棒性开始,它测量了先验的无穷小变化对感兴趣的后验均值的影响。特别是,我们证明了Gustafson(2012)的影响函数对于VB近似具有简单,易于计算的封闭形式表达式。然后,我们展示了如何本地的鲁棒性措施可以是不充分的非本地的先验变化,如完全取代一个先验与另一个。我们提出了一个简单的近似的非局部鲁棒性措施,并证明其有效性的模拟数据集。
2016-12-06 stat.ME
Robust Inference with Variational Bayes
在贝叶斯分析中,后验是从数据和先验和可能性的选择中得出的。人们希望后验对先验和似然选择的合理变化具有鲁棒性,因为这种选择是由建模者做出的,并且必然有些主观。尽管这个问题的根本重要性和相当多的文献,强大的贝叶斯工具在实践中并不常用。这在很大程度上是由于难以从MCMC绘制中计算鲁棒性措施。虽然存在用于从MCMC绘制计算鲁棒性度量的方法,但是它们缺乏通用性并且通常需要额外的编码或计算。与MCMC相比,变分贝叶斯(VB)技术易于进行稳健性分析。后验期望相对于先验或数据扰动的导数是对先验或似然的局部鲁棒性的度量。由于VB将后验推理转换为优化问题,因此其方法论建立在计算后验量相对于模型参数的导数的能力上,即使在非常复杂的模型中也是如此。在目前的工作中,我们开发了本地的先验鲁棒性措施,平均场变分贝叶斯(MFVB),VB技术,它对变分后验近似施加了一个特定的因式分解假设。我们首先概述了现有的本地先前的鲁棒性措施。接下来,我们使用这些结果来获得封闭形式的措施的灵敏度的平均场变分后验近似事先说明。我们展示了我们的方法在发展中国家获得小额信贷的随机对照干预的荟萃分析。
2015-12-08 stat.ME