A generalized likelihood based Bayesian approach for scalable joint regression and covariance selection in high dimensions
研究了贝叶斯范式下高维多元回归模型中回归系数矩阵和误差精度矩阵(逆协方差矩阵)的联合稀疏性选择问题。所选择的稀疏模式对于帮助理解预测变量和响应变量之间的关系网络以及后者之间的条件关系至关重要。虽然贝叶斯方法具有通过后验包含概率和可信区间提供自然不确定性量化的优点,但当前贝叶斯方法要么限制于稀疏模式的特定子类和/或不可扩展到具有数百个响应和预测因子的设置。贝叶斯方法只关注于估计后验模式是可扩展的,但不从后验分布生成样本用于不确定性量化。使用基于双凸回归的广义似然和尖峰和平板先验,我们开发了一种称为联合回归网络的算法(JRNS),用于联合回归和协方差选择,该算法(a)可以适应一般稀疏模式,(b)提供不确定性量化的后验样本,(c)可扩展,比提供不确定性量化的最先进贝叶斯方法快几个数量级。我们证明了所提出的方法对合成数据的统计和计算效率,并通过对选定的癌症数据集的分析。我们还建立了高维后验一致性的开发算法之一。
2022-01-14 stat.CO stat.ME
Objective Bayesian hypothesis testing in binomial regression models with integral prior distributions
在这项工作中,我们应用积分先验的方法来处理贝叶斯模型选择在二项式回归模型与一般的链接功能。这些模型经常用于调查流行病学研究中的关联和风险,其中一个目标是展示暴露是否是发展某种疾病的风险因素;本文的目的是测试特定暴露因素的影响。我们制定了贝叶斯模型选择情况下的问题,并解决它使用客观贝叶斯因素。为了在二项回归模型的回归系数上构造参考先验分布,我们依赖于积分先验的方法,该方法几乎是自动的,因为它只需要指定估计参考先验,并且不依赖于这些先验中的调整参数或超参数。
2013-06-28 stat.CO stat.ME
Regularization in regression: comparing Bayesian and frequentist methods in a poorly informative situation
使用一组模拟的真实基准,我们比较贝叶斯和频率正则化方法在低信息约束下,当变量的数量几乎等于模拟和真实数据集上的观测数量时。这种比较包括基于Zellner g先验的贝叶斯变量选择的新的全局非信息方法,类似于Liang et al.(2008)。这些校准的建议的利益进行了讨论。我们提出的数值实验突出了贝叶斯正则化方法的吸引力,与非贝叶斯替代品相比。它们在频率论方法中占主导地位,因为它们提供更小的预测误差,同时以简约的方式选择最相关的变量。
2011-11-15 stat.CO stat.ME
Scalable Bayesian Nonparametric Clustering and Classification
我们开发了一个可扩展的多步蒙特卡罗算法推理下的一大类非参数贝叶斯模型的聚类和分类。每一步都是“并行的”,并且可以使用相同的马尔可夫链蒙特卡罗采样器来实现。我们的方法的简单性和通用性使得推理适用于大型数据集的贝叶斯非参数混合模型。具体来说,我们应用的方法推断下的产品分区模型与回归协变量。我们展示了两个激励数据集的推理结果:一个大型的电子健康记录(EHR)和一个银行电话营销数据集。我们发现有趣的集群和良好的分类性能相对于其他广泛使用的竞争分类。
2018-06-07 stat.CO stat.ME
A novel Bayesian approach for variable selection in linear regression models
针对多元线性回归模型中的变量选择问题,提出了一种新的贝叶斯方法。特别是,我们提出了一个分层设置,它允许直接规范的先验信念的数量非零回归系数以及指定的信念,给定的系数是非零的。为了保证数值稳定性,我们采用了一个$g$事先与一个额外的岭参数的未知回归系数。为了从联合后验分布中进行模拟,提出了一种能够在不同模型间切换的智能随机游动梅特罗波利斯-黑斯廷斯算法。在真实和模拟数据上测试我们的算法表明,它的性能至少与其他成熟的方法相当,甚至更好。最后,我们证明了在一些名义假设下,所提出的方法是一致的模型选择。
2019-03-13 stat.CO stat.ME
High-Dimensional Bayesian Regularised Regression with the BayesReg Package
贝叶斯惩罚回归技术,如贝叶斯套索和贝叶斯马蹄估计,最近在统计文献中受到了大量的关注。然而,在通用马尔可夫链蒙特卡罗平台(如STAN)之外,实现最先进的贝叶斯惩罚回归的软件相对较少。本文介绍了一个新的工具箱bayesreg,用于拟合具有连续收缩先验密度的贝叶斯惩罚回归模型。该工具箱的特点是具有高斯或重尾误差模型的贝叶斯线性回归和具有岭、套索、马蹄和马蹄$+$估计量的贝叶斯逻辑斯谛回归。该工具箱是免费的,开源的,可用于MATLAB和R数值平台。
2016-12-20 stat.CO
Regression Adjustment for Noncrossing Bayesian Quantile Regression
针对分位数回归中多个分位数的拟合曲线可能交叉的问题,提出了一种两阶段的方法。在第一阶段应用标准贝叶斯分位数回归模型,然后进行高斯过程回归调整,该调整使分位数函数单调化,同时从附近的分位数借用强度。两阶段方法在计算上是高效的,并且比现有技术更通用。该方法被证明是具有竞争力的替代方法,通过其性能在模拟的例子。
2015-02-04 stat.ME
Variable Selection in Bayesian Semiparametric Regression Models
本文扩展了现有的用于高斯过程回归中变量选择的贝叶斯方法,以选择空间相关结构中的回归项和活动协变量。然后,我们使用估计的后验概率通过交叉验证在相对较少的模式之间进行选择,从而提高预测。
2014-12-31 stat.ME
Linear regression in the Bayesian framework
这些注释旨在阐明从给定数据集执行线性回归的不同策略。文献中提出了加权和普通最小二乘法、岭回归或LASSO等方法。本文是我对这些方法的理解,据我所知,这些方法更好地统一在贝叶斯框架中。导出了用这些方法进行线性回归的计算公式。模型选择的KIC也在本文档的最后导出。
2019-08-09 stat.ME
A Theoretical Analysis of Logistic Regression and Bayesian Classifiers
本研究的目的是显示逻辑回归和贝叶斯分类器在指数和非指数分布族的情况下的根本区别,产生以下结果。首先,逻辑回归是贝叶斯分类器的一种不太通用的表示。其次,我们应该假设类的分布,以正确说明逻辑回归方程。第三,在特定情况下,正确指定的生成贝叶斯分类器和判别逻辑回归的预测概率之间没有差异。
2021-08-08 econ.EM stat.ME
Bayesian size-and-shape regression modelling
ETH Zurich(苏黎世联邦理工学院);Università della Svizzera italiana(瑞士意大利语大学);Polytechnic of Turin(都灵理工大学);Sapienza University(罗马第一大学)
本研究基于已有成果,提出带高斯地标点的尺寸与形状响应变量回归模型的贝叶斯估计方法,该方法属于贝叶斯潜变量模型框架,具备高度灵活的建模能力。
2024-06-10 stat.ME
Spatial Regression and the Bayesian Filter
空间依赖结果的回归对推理和计算提出了许多挑战。非空间模型和传统的空间混合效应模型各有其优点和缺点,使得从业者难以确定如何进行空间回归分析。我们讨论了各种流行的空间回归模型隐含假设的数据生成机制,并讨论了这些假设的影响。我们提出贝叶斯空间滤波作为非空间模型和传统空间混合模型之间的近似中间方式。我们通过模拟表明,我们的贝叶斯空间过滤模型有几个理想的属性,因此可能是一个有用的除了空间统计学家的工具包。
2017-07-31 stat.ME
Bayesian Transfer Learning for High-Dimensional Linear Regression via Adaptive Shrinkage
University of California, Los Angeles(加州大学洛杉矶分校)
BLAST通过自适应收缩先验和贝叶斯源选择,提升高维线性回归的后验推断精度与不确定性量化。
2026-03-06 stat.AP stat.CO stat.ME
Robust Bayesian Regression with Synthetic Posterior
虽然线性回归模型是统计科学中的基本工具,但估计结果可能对离群值敏感。虽然在频率论框架中已经提出了几种稳健的方法,但统计推断并不一定是简单的。本文提出了一种基于$γ$ -散度的合成后验分布的线性回归模型的贝叶斯鲁棒推断方法,它使我们能够通过后验分布自然地评估估计的不确定性。我们也考虑使用收缩先验的回归系数进行稳健贝叶斯变量选择和估计的同时。我们在吉布斯抽样中采用贝叶斯自助法,发展了一种有效的后验计算算法。通过仿真研究和著名数据集的应用,说明了所提出的方法的性能。
2020-05-26 stat.ME
Mixed Beta Regression: A Bayesian Perspective
本文建立在最近的研究,重点是连续有界数据的回归建模,如在连续尺度上测量的比例。具体来说,它涉及来自贝叶斯方法的混合效应的beta回归模型。我们使用一个合适的参数化的贝塔法在其平均值和精度参数,并允许这两个参数通过回归结构,可能涉及固定和随机效应建模。规范的先验分布进行了讨论,通过吉布斯抽样的计算实现,并给出了说明性的例子。
2012-11-14 stat.CO
From Estimation to Sampling for Bayesian Linear Regression with Spike-and-Slab Prior
本文针对带尖峰-厚板先验的贝叶斯稀疏线性回归,利用后验收缩性质设计了基于吉布斯采样和随机局部化的高效采样算法,并证明随机局部化采样器在数据矩阵设计不佳时优势更明显。
2023-07-09 stat.CO stat.ME stat.ML
Regression approaches for Approximate Bayesian Computation
本书介绍了近似贝叶斯计算(ABC)的回归方法和回归调整。回归调整在拒绝抽样之后调整参数值,以考虑模拟与观测之间的不完全匹配。当有许多汇总统计数据时,模拟和观察之间的不完美匹配可能更加明显,这种现象被称为维数灾难。由于这种不完美的匹配,与真实的可信区间相比,用回归方法获得的可信区间可能会膨胀。本章介绍了回归调整的主要概念。本文给出了一个定理,比较了有无回归调整的后验分布的理论性质。最后,回归调整在群体遗传学中的实际应用表明,与拒绝方法相比,回归调整缩小了后验分布,这是一种避免置信区间膨胀的解决方案。
2017-07-05 stat.ME
SoftBart: Soft Bayesian Additive Regression Trees
贝叶斯加性回归树(BART)模型作为一种通用的非参数建模技术,近年来受到越来越多的关注。BART将现代机器学习技术的灵活性与贝叶斯推断的原则性不确定性量化相结合,它已被证明是唯一适合解决许多科学领域(包括医学和社会科学)中常见的高噪声问题的方法。本文介绍了用于拟合Linero和Yang(2018)的Soft BART算法的SoftBart包。除了改进其他BART软件包的预测性能外,该软件包的主要目标是促进将BART纳入更大的模型中,使其成为贝叶斯统计研究人员的理想选择。我展示了如何使用这个包进行标准预测任务,以及如何将BART模型嵌入到更大的模型中;我通过使用SoftBart实现非参数概率单位回归模型、半参数变系数模型和部分线性模型来说明。
2022-10-28 stat.CO stat.ME stat.ML
Bayesian Estimation Approach for Linear Regression Models with Linear Inequality Restrictions
受线性不等式约束的单变量和多变量一般线性回归模型在许多科学应用中出现。对模型参数的线性不等式限制通常可以从现象学知识中获得,并受到高后果工程系统的机器学习应用的启发(Rollll,2019; Veiga和Marrel,2012)。多线性模型的一些研究考虑限制在上下限之间的回归系数参数的已知线性组合。在本文中,我们考虑了单变量和多变量一般线性模型在这类线性约束下的情形。迄今为止,基于贝叶斯方法的单变量情形的研究都是在线性约束的系数矩阵为满秩方阵的条件下进行的。然而,这个条件并不总是可行的。另一个困难出现在估计步骤中,通过实施吉布斯算法,其在大多数情况下表现出缓慢的收敛。本文提出了一种在线性不等式约束矩阵不满足任何条件的情况下估计回归参数的贝叶斯方法。对于多变量情形,当约束条件的个数小于每个多个线性模型中的回归系数的个数时,我们的贝叶斯方法估计回归参数。我们通过单变量和多变量回归的模拟研究,我们的贝叶斯方法的效率。在此之后,我们说明了我们的算法的收敛速度比以前的方法相对更快。最后,我们使用我们的方法来分析两个真实的数据集。
2021-12-06 stat.CO stat.ME stat.OT
The Tilted Beta Binomial Linear Regression Model: a Bayesian Approach
本文提出了新的线性回归模型来处理过分散的二项数据集。这些新的模型称为倾斜贝塔二项回归模型,是根据倾斜贝塔二项分布定义的,假设二项分布的参数遵循倾斜β分布。作为这种回归模型的一种特殊情况,我们提出了β矩形二项回归模型,从二项分布定义,假设他们的参数遵循β矩形分布。这些新的线性回归模型,定义假设这些新的分布的参数遵循回归结构,使用贝叶斯方法和OpenBUGS软件进行拟合。建议的回归模型拟合到一个过度分散的二项数据集的种子发芽取决于所选择的种子androot的类型的数量。
2019-11-25 stat.ME
Rejoinder for the discussion of the paper "A novel algorithmic approach to Bayesian Logic Regression"
在这篇答辩中,我们总结了评论,问题和评论的文件“一种新的算法方法贝叶斯逻辑回归”的讨论者。然后,我们对这些评论、问题和评论做出回应,提供原始模型的几个扩展,并提供关于我们的R包EMJMCMC的教程(http://aliaksah.github.io/EMJMCMC2016/)
2020-05-01 math.LO stat.CO stat.ME
Plackett-Luce regression: A new Bayesian model for polychotomous data
多项逻辑斯谛回归是最流行的模型之一,用于模拟解释变量对一组指定选项之间的主题选择的影响。该模型在机器学习、心理学或经济学中有许多应用。在这个模型中的贝叶斯推断是不平凡的,需要,或者诉诸于MetropolisHastings算法,或拒绝抽样内的吉布斯采样器。在本文中,我们提出了一个替代模型多项式逻辑斯谛回归。该模型基于Plackett-Luce模型,这是一种流行的多重比较模型。我们发现,一组合适的辅助变量的引入导致一个期望最大化算法找到最大后验估计的参数。我们进一步提供了一个完整的贝叶斯处理,推导出一个吉布斯采样器,它只需要从高度标准的分布样本。我们还提出了一个变分近似推理方案。所有这些都很容易实现。Plackett-Luce回归模型的一个特性是它学习了一组稀疏的特征权重。我们比较我们的方法稀疏贝叶斯多项式逻辑斯谛回归,并表明它是有竞争力的,特别是在存在多分类数据。
2012-10-16 stat.AP stat.CO stat.ME
Bayesian Spatial Monotonic Multiple Regression
我们考虑单调,多元回归的一组连续的区域(格子数据)。回归函数在区域之间允许变化,并表现出地理结构。我们开发了新的贝叶斯非参数方法,它允许连续和不连续的功能形状,并估计使用标记点过程和可逆跳马尔可夫链蒙特卡罗技术。地理上的依赖性是由一个灵活的先验分布,参数化允许依赖性随功能水平而变化。该方法使用贝叶斯全局优化和交叉验证进行调整。估计值可用于变量选择、阈值检测和预测以及回归函数的外推。我们的方法的性能和灵活性说明了模拟研究和挪威保险数据集的应用。
2016-05-19 stat.ME
Weighted Bayesian Bootstrap for Scalable Bayes
我们开发了一个加权贝叶斯Bootstrap(WBB)的机器学习和统计。WBB通过从高维后验分布采样来提供不确定性量化。WBB计算速度快,可扩展,仅使用离线优化软件,如TensorFlow。我们提供了适用于各种机器学习和统计模型的正则条件。我们在正则化回归、趋势过滤和深度学习中说明了我们的方法。最后,我们总结了未来研究的方向。
2018-03-12 stat.ME
Bayesian Group Selection in Logistic Regression with Application to MRI Data Analysis
本文研究协变量为组结构的贝叶斯逻辑斯谛回归模型。在高维环境中,通常假设只有一小部分组是重要的,因此一致的组选择是非常重要的。虽然一致频率论的组选择方法已经被提出,但逻辑斯谛回归模型的贝叶斯组选择方法的理论性质还没有被研究。本文研究了高维环境下逻辑斯谛回归模型的分层组spike和slab先验。在温和的条件下,我们建立了诱导后验的强组选择一致性,这是贝叶斯文献中的第一个理论结果。通过仿真研究,我们证明了所提出的方法的性能优于现有的国家的最先进的方法在各种设置。我们进一步将我们的方法应用于预测帕金森病的MRI数据集,并显示其优于其他竞争者的优势。
2019-12-04 stat.ME
Bayesian Elastic Net Regression with Structured Prior Dependence
The Ohio State University(俄亥俄州立大学)
本文提出了一种具有结构先验依赖的贝叶斯弹性网回归方法,通过正交正态分布和L1正则化g先验提升模型灵活性,并通过模拟和实验验证其有效性。
2025-12-31 stat.ME
A note on Bayesian logistic regression for spatial exponential family Gibbs point processes
近年来,指数族Gibbs空间点过程的逻辑斯谛回归推理方法被提出.我们将它与二次切向变分逼近技术相结合,导出了一种新的贝叶斯空间点模式分析方法。该技术进行了详细描述,并证明了数值例子。
2014-11-03 stat.ME stat.OT
Bayesian Markov Switching Tensor Regression for Time-varying Networks
提出了一种新的二值时间序列多维数组(张量)贝叶斯马尔可夫切换回归模型。我们假设一个零膨胀logit回归与时变参数,并将其应用到多层时间网络。原来的贡献是三重的。首先,为了避免过度拟合,我们提出了一个简约的参数化的基础上的低秩分解的张量的回归系数。其次,我们假设参数是由一个隐藏的马尔可夫链,从而允许在网络拓扑结构的变化。我们遵循贝叶斯推理方法,并提供了一个有效的吉布斯采样后验近似。我们将该方法应用于一个真实的金融网络数据集,研究了几个风险因素对边缘概率的影响。本文的补充材料可在网上查阅。
2019-07-03 stat.ME
Bayesian Modal Regression based on Mixture Distributions
本文提出基于单峰混合分布的贝叶斯众数回归统一框架,推导后验正常性条件,并通过模拟和实际数据证明其对离群点稳健、能发现均值或中位数回归遗漏的协变量效应并构建更紧的预测区间。
2024-06-28 stat.AP stat.ME
A Unified Bayesian Nonparametric Framework for Ordinal, Survival, and Density Regression Using the Complementary Log-Log Link
本文提出统一贝叶斯非参数框架,利用互补对数-对数链接解决有序回归、生存分析和密度回归问题,结合贝叶斯加性回归树实现便捷计算并验证理论性质。
2025-02-02 stat.ME
Bayesian Tensor Regression
本文提出了一种贝叶斯回归方法,对向量和张量协变量进行标量响应。张量协变量通常在分析之前被向量化,未能利用张量的结构,导致估计和预测性能差。本文提出了一类新的多元收缩先验,用于张量回归模型的系数。性质进行了描述,包括后验一致性在温和的条件下,和一个有效的马尔可夫链蒙特卡罗算法的后验计算。模拟研究表明,在估计和参数推断方面,向量化或使用现有的张量回归方法有很大的收益。该方法在神经成像应用中进一步说明。保留字:降维;多路收缩优先;磁共振成像; parafac分解;后验一致性;张量回归
2015-09-22 stat.ME
Bayesian Projection Pursuit Regression
在投影寻踪回归(PPR)中,未知响应函数由M个“脊函数”的和来近似,所述脊函数是多变量输入空间的一维投影的灵活函数。传统上,优化例程用于经由顺序算法来估计投影方向和脊函数,并且M通常经由交叉验证来选择。我们介绍了第一个贝叶斯版本的PPR,它具有准确的不确定性量化的好处。为了学习投影方向和脊函数,我们应用了用于单脊函数情况(M=1)的新方法,称为单指数模型,贝叶斯实现确实存在;然后使用可逆跳MCMC来学习脊函数M的数量。我们评估了我们的模型在20个模拟场景和23个真实数据集中的预测能力,并与一系列最先进的回归方法进行了对比。它的有效性能表明贝叶斯投影寻踪回归是对现有回归工具箱的一个有价值的补充。
2022-10-17 stat.ME
Robust Bayesian Nonparametric Variable Selection for Linear Regression
钉板和马蹄回归可以说是最流行的贝叶斯变量选择方法的线性回归模型。然而,如果数据中存在离群值和异方差,则其性能可能会恶化,这是许多现实世界统计和机器学习应用中的常见特征。在这项工作中,我们提出了一个贝叶斯非参数方法线性回归,执行变量选择,同时考虑离群值和异方差。我们提出的模型是一个狄利克雷过程尺度混合模型的优点,我们可以得到完整的条件分布的所有参数在封闭的形式,从而产生一个有效的吉布斯采样后验推理的一个实例。此外,我们提出了如何扩展模型,以考虑重尾的响应变量。该模型的性能进行了测试,对竞争算法的合成和真实世界的数据集。
2022-10-19 stat.ME
On Soft Bayesian Additive Regression Trees and asynchronous longitudinal regression analysis
在许多纵向研究中,协变量和响应经常在不规则、不匹配和受试者特定的时间间歇性观察到。当协变量和响应被异步观测时,如何处理这样的数据是一个经常提出的问题。贝叶斯加性回归树(Bayesian Additive Regression Trees,BART)是一种贝叶斯非参数方法,已被证明与最好的现代预测方法(如随机森林和提升决策树)具有竞争力。树的和结构与贝叶斯推理框架相结合,提供了一个准确和鲁棒的统计方法。BART变体软贝叶斯加性回归树(SBART)构造使用随机决策树和实质性的理论和实践的好处。在本文中,我们提出了一个加权SBART模型的解决方案,异步纵向数据。与其他方法相比,现有方法在对协变量过程的假设较少的情况下是有效的。广泛的模拟研究提供了这种解决方案的数值支持。来自艾滋病研究的数据被用来说明我们的方法
2021-08-26 stat.AP stat.ME
On Bayesian quantile regression and outliers
在这项工作中,我们讨论了贝叶斯分位数回归模型的进展,因为他们的第一个建议,我们讨论了所有参数的重要性,在推理过程中。使用的非对称拉普拉斯分布作为一个正常的和一个指数分布的混合物的表示,我们讨论的相关性的尺度参数的存在,以控制模型中的方差。除此之外,我们还考虑了混合表示中潜在变量的后验分布,以显示贝叶斯分位数回归拟合的离群观测值,其中我们将每个潜在变量的后验分布与其他潜在变量进行比较。我们说明了这些结果与模拟研究,并与数据有关的基尼系数在巴西各州的人口普查信息。
2016-01-27 stat.ME
Permuted and Augmented Stick-Breaking Bayesian Multinomial Regression
要建模的分类响应变量的协变量,我们提出了一个排列和增强棒打破(paSB)建设,一对一的映射观察到的类别随机排列的潜在棒。这种新的构造将多项式回归转换为对特定于棒的二元随机变量的回归分析,给定其协变量依赖的棒成功概率,这些随机变量是相互独立的,这些概率由其相应类别的回归系数参数化。paSB构造允许将任意交叉熵损失二进制分类器转换为贝叶斯多项式分类器。具体地说,我们参数化的负面的粘失效概率与一个家庭的协变量依赖的softplus功能,构建非参数贝叶斯多项式softplus回归,并转换贝叶斯支持向量机(SVM)到贝叶斯多项式SVM。这些贝叶斯多项式回归模型不仅能够提供概率估计,量化不确定性,增加鲁棒性,并产生非线性分类决策边界,而且还适合于后验模拟。实例结果证明了它们有吸引力的性质和性能。
2018-06-19 stat.ME stat.ML
Bayesian model selection for linear regression
在这篇笔记中,我们介绍了线性回归与基函数,以应用贝叶斯模型选择。我们的目标是结合贝叶斯分析提供的奥卡姆剃刀,以便自动选择能够最佳地解释数据而不过度拟合的模型。
2015-12-15 math.ST stat.ME stat.TH
Bayesian Fused Lasso Modeling via Horseshoe Prior
贝叶斯融合套索方法是一种稀疏贝叶斯方法,它同时收缩回归系数和它们的连续差。在本文中,我们提出了一个贝叶斯融合套索模型通过马蹄先验。通过假设连续回归系数的差异具有马蹄形先验,所提出的方法使我们能够防止这些差异的过度收缩。我们还提出了一个贝叶斯六边形算子的回归收缩和平等的选择(HORSES)与马蹄事先,它对所有组合的差异回归系数的先验。仿真研究和实际数据的应用表明,所提出的方法比现有的方法有更好的性能。
2022-01-20 stat.ME
Bayesian Neural Tree Models for Nonparametric Regression
本研究针对非参数回归问题,提出融合贝叶斯与频率学派方法的贝叶斯神经树(BNT)模型,该模型参数量少、可同步特征选择与预测,在小样本下泛化性好,还推导了最优参数并通过真实数据集验证。
2020-07-27 stat.ME
Geometric Ergodicity of Gibbs Samplers in Bayesian Penalized Regression Models
我们考虑三个贝叶斯惩罚回归模型,并表明,各自的确定性扫描吉布斯采样器是几何遍历的回归问题的尺寸无关。我们证明了几何遍历的吉布斯采样贝叶斯融合套索,贝叶斯组套索,和贝叶斯稀疏组套索。几何遍历性与矩条件一起导致蒙特卡罗平均值的马尔可夫链中心极限定理的存在,并确保可靠的输出分析。我们的几何遍历性的结果,使我们也可以提供默认的吉布斯采样器的起始值。
2017-07-04 math.ST stat.CO stat.TH
Bayesian Geoadditive Expectile Regression
在过去的几年里,回归类建模超过响应的平均值已经引起了很多关注。期望回归是这类模型的一个特殊的、计算方便的例子。期望值提供了完全分布的分位数特征,并将均值作为特例。在频率论框架下,许多具有非常不同结构的协变量的影响已经成为可能。提出了基于非对称正态分布的贝叶斯期望回归方法。这使得在一个模型中结合例如线性、非线性、空间和随机效应成为可能。此外,可以对估计的参数进行详细的推断。提出了基于迭代加权最小二乘更新的马尔可夫链蒙特卡罗(MCMC)模拟算法的建议密度,并讨论了该方法对复杂半参数回归规范的灵活性扩展的潜力。
2013-12-18 stat.ME
Functional regression approximate Bayesian computation for Gaussian process density estimation
我们提出了一种新的贝叶斯非参数方法的分层建模的一组相关的密度函数,其中分组数据的形式,从每个密度函数的样本是可用的。在这方面,在各群体之间借用力量是一项重大挑战。为了解决这个问题,我们引入了一个分层结构的先验,定义在一组单变量密度函数,使用方便的高斯过程的变换。推理是通过近似贝叶斯计算(ABC),通过一种新的功能回归调整。所提出的方法的性能说明通过模拟研究和分析农村高中考试在巴西的表现。
2014-10-30 stat.CO
Bayesian Analysis on Limiting the Student-$t$ Linear Regression Model
Osaka Metropolitan University(大阪公立大学)
针对线性回归中异常值处理时Student-$t$模型应用缺乏理论支撑的问题,本研究基于正则变化理论提出了保证该模型对y方向异常值稳健性的实用简洁条件。
2025-10-03 stat.ME
Log-Linear Bayesian Additive Regression Trees for Multinomial Logistic and Count Regression Models
本文介绍了对数线性模型的贝叶斯加性回归树(BART),包括多项逻辑斯谛回归和计数回归,其中包含零膨胀和过度离差。BART已被应用于非参数均值回归和二进制分类问题在一系列的设置。然而,现有的应用程序的BART已被限制为高斯“数据”,无论是观察到的或潜在的模型。这主要是因为有效的MCMC算法可用于高斯似然。但是,虽然许多有用的模型是自然铸造的潜在高斯变量,许多其他人不是-包括本文考虑的模型。我们开发了新的数据增强策略,并仔细指定这些新模型的先验分布。像原来的BART先验一样,新的先验分布经过精心构造和校准,在防止过拟合的同时具有灵活性。新的先验和数据增强方案使我们能够在高斯模型的背景之外实现一个有效的MCMC采样器。这些新方法的效用说明了与以前公布的数据集的例子和应用程序。
2019-08-26 stat.ME
Projection-pursuit Bayesian regression for symmetric matrix predictors
本文提出一种针对对称矩阵预测变量的贝叶斯多指标回归方法,利用投影寻踪结构并施加稀疏先验,通过贝叶斯回拟进行推断,在模拟和脑连接数据案例中验证了有效性。
2024-07-18 stat.ME
Scalable Bayesian nonparametric regression via a Plackett-Luce model for conditional ranks
我们提出了一种新的贝叶斯非参数回归模型的协变量X和连续的,真正的响应变量Y。该模型根据Y和X的边缘分布以及调整条件分布F(y)的随机排序的回归函数进行参数化|x)。通过采用近似的复合似然方法,我们表明,由此产生的后验推理可以解耦的模型的单独组件。该过程可以扩展到非常大的数据集,并允许使用来自贝叶斯非参数密度估计和Plackett-Luce排名估计的标准现有软件。作为一个例子,我们展示了我们的方法在美国人口普查数据集上的应用,该数据集有超过130万个数据点和100多个协变量。
2015-06-24 stat.ME
Density Regression with Bayesian Additive Regression Trees
对整个密度如何随协变量变化进行建模是均值和分位数回归的重要但具有挑战性的推广。现有的密度回归方法主要包括协变量依赖的离散混合模型,我们考虑了一个连续的潜变量模型,我们称之为DR-BART。通过贝叶斯加性回归树(BART)的一个新的应用构建的先验映射的潜变量的观察数据。我们证明了我们的模型引起的后验集中在足够光滑的真实生成函数周围。我们还分析了DR-BART在一组具有挑战性的模拟示例上的性能,在这些示例中,它优于贝叶斯密度回归的各种其他方法。最后,我们将DR-BART应用于来自教育测试和经济学的两个真实数据集,以研究学生的成长并预测教育回报。我们提出的采样器是有效的,并允许一个利用巴士的灵活性,在许多应用设置的整个分布的响应是主要的利益。此外,我们的计划在BART内的潜变量的分裂有利于其未来的应用程序,可以通过潜变量,如涉及层次或时间序列数据描述的其他类别的模型。
2021-12-22 stat.ME
Bayesian Model Selection for Misspecified Models in Linear Regression
虽然贝叶斯信息准则(BIC)和赤池信息准则(AIC)是线性回归中模型选择的强大工具,但它们建立在不同的先验假设上,因此适用于不同的数据生成场景。我们表明,在有限维的情况下,他们各自的假设可以统一在一个增广的模型加噪声空间,并在这个空间中构建一个先验继承了AIC和BIC的有益特性。这使我们能够调整BIC,使其对信噪比较低的错误指定模型具有鲁棒性。
2017-12-14 stat.ME
Bayesian correction for covariate measurement error: a frequentist evaluation and comparison with regression calibration
处理协变量测量误差的贝叶斯方法已经很成熟,但可以说研究人员仍然很少使用。对于一些人来说,这可能是由于不熟悉或不同意贝叶斯推理范式。对其他人来说,一个促成因素是标准统计软件包无法进行这种贝叶斯分析。在本文中,我们首先给出了一个概述的贝叶斯方法来处理协变量测量误差,并将其与回归校准(RC),可以说是最常用的方法。然后,我们认为,为什么贝叶斯方法有一些统计优势相比,RC,并证明,实施贝叶斯方法通常是相当可行的分析。接下来,我们描述了密切相关的极大似然和多重插补方法,并解释了为什么我们认为贝叶斯方法通常是更可取的。然后,我们经验比较RC和贝叶斯方法,通过模拟研究的频率属性。贝叶斯方法的灵活性,以处理测量误差和缺失数据,然后说明通过分析数据从第三次全国健康和营养检查调查。
2016-03-20 stat.ME
A Nonparametric Bayesian Technique for High-Dimensional Regression
本文提出了一个非参数贝叶斯框架称为VariScan的同时聚类,变量选择和预测在高通量回归设置。Poisson-Dirichlet过程用于检测协变量的低维潜在聚类。为响应构造了自适应非线性预测模型,实现了模型简约性和灵活性之间的平衡。与传统的信念相反,集群检测显示为后验一致的一般类的模型的协变量和主题的数量的增长。仿真研究和数据分析表明,VariScan往往优于几个著名的统计方法。
2016-04-12 stat.ME
Bayesian Additive Regression Trees With Parametric Models of Heteroskedasticity
我们将异方差贝叶斯加性回归树(BART)建模的误差方差参数的对数作为一个线性函数的预先指定的协变量。在该方案下,原始树和模型的吉布斯抽样过程很容易修改,方差模型的参数通过Metropolis-Hastings步骤更新。我们证明了我们的方法的承诺,提供更适当的后验预测区间比homoskedastic BART在异方差设置,并证明了该模型的抗过拟合。我们的实现将在即将发布的R包bartMachine中提供。
2014-02-21 stat.ME
Bayesian surface regression versus spatial spectral nonparametric curve regression
分析了2020年2月至10月期间部分西班牙社区省份的COVID-19发病率。两个无限维回归方法进行了测试。第一个是在Ruiz-Medina,Miranda和Espejo(2019)中介绍的回归框架中实现的。具体地说,一个baidom框架中采用的时间自相关算子的纯点谱的估计,表征表面序列的二阶结构。第二种方法是在空间曲线回归的背景下制定的。基于空间周期图算子,计算谱密度算子的非参数估计量来逼近曲线之间的空间相关性。降维是通过投影到长期空间协方差算子的经验特征向量上来实现的。交叉验证程序来测试两个功能回归方法的性能。
2021-10-30 stat.AP stat.ME
From bilinear regression to inductive matrix completion: a quasi-Bayesian analysis
本文研究了双线性回归问题,并进一步讨论了当响应矩阵中含有缺失数据时的归纳矩阵完备化问题。我们提出了一个准贝叶斯方法首先对问题的双线性回归的准似然。然后,我们将这种方法应用于归纳矩阵完备化的背景。在低秩假设和利用PAC-Bayes界技术,我们提供了我们提出的估计和准后验的统计特性。我们提出了一个朗之万蒙特卡罗方法来近似计算所提出的估计。一些数值研究进行了证明我们的方法。
2022-10-27 stat.ME
Bayesian Mode Regression
与均值、分位数和方差一样,众数也是集中趋势和数据汇总的重要度量。许多实际问题往往集中在“在网络中的所有元素中,哪个元素(基因或文件或信号)出现得最频繁或最典型?".在这种情况下,模式回归提供了回归量如何影响条件模式的方便总结,并且完全不同于基于条件均值或条件分位数或条件方差的其他回归模型。一些推理方法已被用于模式回归,但没有一个是从贝叶斯的角度。本文介绍了贝叶斯模式回归,探索三种不同的方法。我们从一个参数贝叶斯模型,采用一个似然函数,是基于一个模式的均匀分布。结果表明,无论数据的原始分布如何,使用这种特殊的均匀分布是贝叶斯模式回归的一种非常自然和有效的方法。基于此参数似然的后验估计,即使在误设定下,也是一致的且渐近正态的。然后,我们开发了一个非参数贝叶斯模型,使用Dirichlet过程(DP)的混合模式均匀分布,最后,我们探索贝叶斯经验似然模式回归,将经验似然到贝叶斯框架。本文还证明了各种不适当的先验未知模型参数产生一个适当的联合后验。使用模拟数据集和真实数据集说明了所提出的方法。
2012-08-02 stat.AP stat.ME