On high-dimensional classification by sparse generalized Bayesian logistic regression
本文针对高维分类问题,提出稀疏广义贝叶斯逻辑回归方法,利用分数似然后验,推导了分数后验的集中结果及误分类超额风险界,并扩展到模型误设情形。
2024-03-19 math.ST stat.TH
Bayesian regression and Bitcoin
Massachusetts Institute of Technology(麻省理工学院)
在本文中,我们讨论了贝叶斯回归方法及其预测比特币(一种最近流行的虚拟加密货币)价格变化的有效性。贝叶斯回归是指利用经验数据作为代理进行贝叶斯推理。我们利用贝叶斯回归的所谓的“潜在源模型”。Chen,Nikolov and Shah(2013)和Bresler,Chen and Shah(2014)介绍并讨论了“潜在源模型”的贝叶斯回归,用于二进制分类。他们建立了二元分类设置方法的理论和经验功效。在本文中,我们利用它来预测真实价值的数量,即比特币的价格。基于这种价格预测方法,我们设计了一个简单的比特币交易策略。该策略能够在不到60天的时间内对实际数据跟踪运行时,投资几乎翻了一番。
2014-10-06 cs.AI math.ST stat.TH
Theoretical properties of Bayesian Student-$t$ linear regression
Bayesian Student- $t$线性回归是正态模型的一种常见的稳健替代模型,但其理论特性还不是很好地理解。我们的目标是通过提供两种不同的渐近情景分析来填补一些空白。结果允许精确地表征通过自由度(至少渐近地)控制的鲁棒性和效率之间的权衡。
2023-02-07 math.ST stat.ME stat.TH
Bayesian shrinkage prediction for the regression problem
我们考虑贝叶斯收缩预测下的正态回归问题的频率Kullback-Leibler风险函数。首先,我们考虑均值未知和协方差已知的多元正态模型。当未知均值固定时,未来样本的协方差可能与训练样本不同。证明了如果协方差矩阵和未来协方差阵的先验分布是旋转不变的,则基于一致先验的贝叶斯预测分布优于基于一类先验的贝叶斯预测分布.然后,我们考虑一类先验的均值参数依赖于未来的协方差阵。有了这样的先验,我们可以构建一个贝叶斯预测分布优于基于一致先验。最后,将这一结果应用于正态线性回归模型中响应变量的预测,证明了在一致先验条件下,存在一个贝叶斯预测分布支配该分布。这些贝叶斯预测的极大极小性来自这些结果。
2007-01-21 math.ST stat.TH
Regression in random design and Bayesian warped wavelets estimators
本文研究随机设计下的回归问题。我们调查的最小最大的角度来看,各种贝叶斯规则的基础上扭曲小波的渐近最优性,并表明他们几乎达到最佳的最小最大的收敛速度超过Besov光滑类考虑。翘曲小波是近年来出现的一种新的小波,它具有很好的可计算性和易于实现的特性,同时也很好地适应了统计问题。我们特别强调贝叶斯规则的小方差和大方差高斯先验知识,并讨论他们的模拟性能比较硬阈值程序。
2009-08-20 math.ST stat.TH
A Theoretical Framework for Bayesian Nonparametric Regression
我们开发了一个统一的框架贝叶斯非参数回归研究的收缩率相对于集成的$L_2$ -距离,而不假设回归函数空间是一致有界的。该框架是非常灵活的,可以适用于广泛的一类非参数先验模型。三个非平凡的应用所提出的框架提供:有限的随机序列回归的$α$ -Hölder函数,自适应率的收缩到对数因子;未修改的块先验回归的$α$ -Sobolev函数,自适应和精确的收缩率;高斯样条回归的$α$ -Hölder函数,与近最优的后收缩。这些应用是文献中相应结果的推广或补充。扩展到固定设计的回归问题和稀疏添加剂模型在高维进行了讨论。
2019-04-26 math.ST stat.TH
Unified Bayesian theory of sparse linear regression with nuisance parameters
研究了高维高斯稀疏回归中含有未知冗余参数时贝叶斯过程的频率论渐近性质。冗余参数可以是有限维、高维或无限维的。零点质量和连续分布的混合用于稀疏回归系数的先验分布,并将适当的先验分布用于冗余参数。稀疏回归系数的最佳后验收缩,阻碍了冗余参数的存在,也检查和讨论。结果表明,该过程产生强大的模型选择的一致性。稀疏回归系数的Bernstein-vonMises型定理也得到了不确定性量化通过可信集与保证频率覆盖。许多例子的渐近性质进行了研究,使用本研究中开发的理论。
2021-02-17 math.ST stat.TH
Minimax and minimax adaptive estimation in multiplicative regression : locally bayesian approach
本文讨论了带乘性噪声的回归方程的非参数估计问题。利用局部多项式拟合和贝叶斯方法,构造了迷向Hölder类估计的Minimax.接下来应用Lepski的方法,我们提出的估计,这是最佳自适应的各向同性的Hölder类的集合。为了证明所提出的方法的最优性,我们特别建立了局部最佳估计与待估计参数的偏差的指数不等式。这些理论结果通过仿真研究得到了验证。
2012-07-23 math.ST stat.TH
Posterior Concentration for Bayesian Regression Trees and Forests
自20世纪80年代以来,回归树一直是使用最广泛的非参数预测方法之一。树结构的方法产生回归表面的直方图重建,其中箱对应于递归分区的终端节点。树是强大的,但容易过度拟合。反对过度拟合的策略传统上依赖于修剪绿色生长的树木。贝叶斯框架提供了一种替代的补救措施,通过先验过度拟合。粗略地说,一个好的先验对不发生过拟合的小树收费。虽然随机直方图、树及其集合的一致性已经被广泛研究,但对贝叶斯对应物的理论理解一直缺失。在本文中,我们采取了一个步骤来理解为什么/什么时候贝叶斯树和他们的合奏不过拟合。为了解决这个问题,我们研究的速度后集中在真正的光滑回归函数。我们提出了流行的贝叶斯CART先验的尖峰和树变体,并建立了新的理论结果,表明回归树(及其集合)(a)能够恢复光滑的回归表面,实现最佳速率高达对数因子,(b)可以适应未知的平滑程度,(c)当p>n时可以进行有效的降维。这些结果提供了一个缺失的理论证据,解释了为什么贝叶斯树(及其附加变体)在实践中工作得如此之好。
2019-06-13 math.ST stat.TH
Consistent Bayesian Information Criterion Based on a Mixture Prior for Possibly High-Dimensional Multivariate Linear Regression Models
在多元线性回归模型的变量选择问题中,我们基于光滑分布和δ分布的混合先验,导出了新的贝叶斯信息准则。每一个都可以解释为赤池信息准则(AIC)和贝叶斯信息准则(BIC)的融合。继承了它们的渐近性质,我们的信息准则在大样本和高维渐近框架下的变量选择是一致的。在数值模拟中,基于我们的信息准则的变量选择方法在大多数情况下以高概率选择真实的变量集。
2022-08-19 math.ST stat.TH
Geometric ergodicity of Polya-Gamma Gibbs sampler for Bayesian logistic regression with a flat prior
逻辑斯谛回归模型是分析二进制数据最常用的模型。在贝叶斯逻辑斯谛回归模型中,在没有先验信息的情况下,回归系数往往采用不适当的平坦先验。由此产生的顽固性后壁密度可以通过运行Polson et al.的(2013)数据增强(DA)算法。在本文中,我们建立了马尔可夫链的基础上Polson等人。的(2013)DA算法是几何遍历的。证明这一理论结果具有重要的实际意义,因为它保证了有限二阶矩条件下样本平均值的中心极限定理的存在性。CLT又允许DA算法的用户计算后验估计的标准误差。
2018-07-02 math.ST stat.TH
Adaptive Bayesian credible sets in regression with a Gaussian process prior
本文研究了两种经验贝叶斯方法和一种分层贝叶斯方法,用于在非参数回归模型中调整高斯过程的尺度。我们表明,所有的方法导致后收缩率,适应真正的回归函数的平滑度。此外,我们还证明了当真实回归函数满足一定的外推条件时,相应的可信集覆盖了该函数。这个条件取决于具体的方法,但是由自相似性的条件所暗示。后一个条件被证明是满足概率1下的先验分布。
2015-04-29 math.ST stat.TH
Uncertainty Quantification for nonparametric regression using Empirical Bayesian neural networks
我们提出了一种新的,两步经验贝叶斯类型的神经网络的方法。我们表明,在上下文中的非参数回归模型的程序(对数因子)提供了最佳的恢复感兴趣的基本功能参数,并提供贝叶斯可信的频率覆盖保证集。该方法只需拟合神经网络一次,因此比Bootstrapping类型的方法快得多。我们证明了我们的方法在合成数据,观察良好的估计性能和可靠的不确定性量化的适用性。
2022-04-28 math.ST stat.TH
Bayesian Regression of Piecewise Constant Functions
我们推导出一个精确和有效的贝叶斯回归算法的分段常数函数的未知段数,边界位置和水平。它适用于任何噪声和段级先验,例如可以处理离群值的Cauchy。我们得到简单,但很好的估计段内方差。我们还提出了贝叶斯回归曲线作为平滑数据而不模糊边界的更好方法。贝叶斯方法还允许直接确定证据、断裂概率和误差估计,这对于模型选择以及显著性和稳健性研究非常有用。我们讨论了合成和现实世界的例子的性能。将讨论许多可能的扩展。
2006-06-13 cs.LG math.PR math.ST
Nearly optimal Bayesian Shrinkage for High Dimensional Regression
在过去的十年中,收缩先验在高维数据的贝叶斯分析中受到了广泛的关注。本文建立了高维线性回归的后验相合性,它具有厚而平的尾,并且在零的一个很小的邻域内分配了足够大的概率质量。在后验模拟中,收缩先验在效率上与钉板先验相比,具有接近最优的后验收缩率和变量选择一致性。数值结果表明,在后验一致性条件下,贝叶斯方法在变量选择上比正则化方法如Lasso和SCAD能得到更好的结果。本文还建立了一个Bernstein von-Mises型结果,为回归系数估计的不确定性量化提供了一种简便的方法。
2022-10-08 math.ST stat.TH
Geometric ergodicity of Gibbs samplers for Bayesian error-in-variable regression
针对含经典与Berkson误差的多元Bayesian EIV回归,提出三变量确定性扫描Gibbs采样器,证明其始终几何遍历,并通过模拟和天体物理数据验证性能。
2023-04-20 math.ST stat.TH
Uncertainty Quantification for Bayesian CART
这项工作提供了新的见解贝叶斯CART的背景下,结构化小波收缩。主要的主旨是开发一个正式的推理框架贝叶斯树为基础的回归。我们重新构建贝叶斯CART作为一个g-型先验,从典型的小波产品先验利用相关引起的树拓扑结构。在回归模型中,实际使用的贝叶斯CART先验在上确界范数下可获得自适应的近率极大极小后验集中。针对不确定性量化的基本目标,在自相似条件下,构造了具有均匀覆盖的回归函数的自适应置信带。此外,我们表明,树后验使最佳推理的形式,有效的信心集光滑的回归函数。
2021-05-24 math.ST stat.TH
Bayesian Sparse Linear Regression with Unknown Symmetric Error
我们研究了稀疏线性回归的贝叶斯程序时,错误有一个对称的,但在其他方面未知的分布。未知的误差分布被赋予一个对称的Dirichlet过程混合高斯。对于回归系数的先验,考虑了零点质量和连续分布的混合。我们研究了预测变量个数不同的后验概率的行为。条件提供的平均海林格距离的一致性。相容性和限制特征值条件分别给出了回归系数在$\ell_1$ -和$\ell_2$ -范数下的极小极大收敛速度.在相容性条件下,算法的收敛速度同时适应于未知的稀疏度和未知的对称误差密度。此外,强模型选择的一致性和半参数Bernstein-von Mises定理被证明在稍强的条件。
2019-03-22 math.ST stat.TH
Direct Bayesian Regression for Distribution-valued Covariates
本文提出一种直接利用重复测量作为协变量的分布值回归方法,避免密度估计,具有变换不变性,并基于高斯过程先验实现闭式贝叶斯推断,理论上达到最优误差界,实证优于需中间密度估计的方法。
2024-04-18 math.ST stat.ME stat.TH
PAC-Bayesian bounds for the Gram matrix and least squares regression with a random design
本文讨论的问题来源于由n个独立样本构成的随机向量的Gram矩阵的估计。它们包括协方差阵的估计和随机设计的最小二乘回归研究。我们提出了四种类型的结果,基于非渐近PAC-贝叶斯推广界:一个新的鲁棒估计的革兰氏矩阵协方差阵,经验革兰氏矩阵的新成果,新的鲁棒最小二乘估计和普通最小二乘估计的新成果,包括其确切的收敛速率多项式矩假设下。
2016-03-16 math.ST stat.TH
Objective Bayesian analysis for spatial Student-t regression models
先验分布的选择是贝叶斯分析的一个关键方面。对于空间回归模型,参数的主观先验选择可能并不简单,从这一角度出发,利用客观贝叶斯分析框架,为自由度未知的空间Student-t回归模型引入了一个参考。空间Student-t回归模型提出了两个主要的挑战时,引发的先验:一个空间依赖参数和自由度的其他之一。众所周知,后验分布相对于客观先验的适当性并不总是得到保证,而适当的先验分布的使用可能会主导和偏置后验分析。在本文中,我们展示的条件下,我们提出的参考先验收益率适当的后验分布。模拟研究,以评估性能的参考之前,一个常用的模糊适当的前。
2020-04-09 math.ST stat.TH
Laplace Approximation in High-dimensional Bayesian Regression
我们考虑稀疏高维回归中的贝叶斯变量选择,其中协变量$p$的数量相对于样本量$n$可能很大,但至多有中等数量的协变量$q$是活跃的。具体来说,我们处理广义线性模型。经典理论证明,对于具有良好先验分布的单一固定稀疏模型,当样本量足够大时,模型的边缘似然的Laplace近似是精确的$n$。我们扩展了这个理论,给出结果的拉普拉斯近似在所有模型的统一精度在一个高维的情况下,其中$p$和$q$,因此也考虑模型的数量,可能会增加与$n$。此外,我们展示了如何边际似然和拉普拉斯近似之间的连接可以用来获得一致性的结果贝叶斯方法在高维回归变量选择。
2015-03-28 math.ST stat.TH
High-Dimensional Bayesian Regularised Regression with the BayesReg Package
贝叶斯惩罚回归技术,如贝叶斯套索和贝叶斯马蹄估计,最近在统计文献中受到了大量的关注。然而,在通用马尔可夫链蒙特卡罗平台(如STAN)之外,实现最先进的贝叶斯惩罚回归的软件相对较少。本文介绍了一个新的工具箱bayesreg,用于拟合具有连续收缩先验密度的贝叶斯惩罚回归模型。该工具箱的特点是具有高斯或重尾误差模型的贝叶斯线性回归和具有岭、套索、马蹄和马蹄$+$估计量的贝叶斯逻辑斯谛回归。该工具箱是免费的,开源的,可用于MATLAB和R数值平台。
2016-12-20 stat.CO
On the Convergence of Bayesian Regression Models
本文考虑异方差非参数回归模型,当均值函数和方差函数均未知且需要用非参数方法估计时。我们得到了该模型的后验分布与不同的先验,包括样条和高斯过程先验的收敛速度。结果是基于一般的独立,非同分布的观测值的后验分布的收敛速度,并建立了随机协变量的情况下,和确定性协变量。我们还说明,结果可以实现所有水平的规律性,这意味着他们是自适应的。
2010-10-06 math.ST stat.TH
Consistency of modified versions of Bayesian Information Criterion in sparse linear regression with subgaussian errors
我们考虑一个稀疏的线性回归模型,当可用的预测,$p$,是远远大于样本量,$n$,和非零系数的数量,$p_0$,是小的。在这种情况下,我们不能使用经典的模型选择标准来选择回归模型。近年来,已经提出了特殊的方法来处理这类问题,例如贝叶斯信息准则的修改版本,如mBIC或mBIC 2。结果表明,这些标准是一致的假设下,$n$和$p$以及$p_0$趋于无穷大和误差项是正态分布。本文在误差项为次高斯随机变量的假设下证明了mBIC和mBIC 2的相合性。
2018-05-29 math.ST stat.TH
Bayesian empirical likelihood for quantile regression
贝叶斯推理提供了一种将数据与先验信息相结合的灵活方法。然而,分位数回归不具备参数似然性,因此,分位数回归的贝叶斯推断需要仔细研究。本文考虑分位数回归的贝叶斯经验似然方法。将经验似然性纳入贝叶斯框架,我们证明了任何固定先验的后验概率是渐近正态的;其均值向真实参数值收缩,其方差接近最大经验似然估计量。一个更有趣的情况下,可以为贝叶斯经验似然信息先验被用来探索跨分位数的共性。在每个百分位数水平上单独计算的回归分位数往往在数据稀疏区域(例如,高或低百分位数水平)。通过经验的可能性,所提出的方法使我们能够探索各种形式的共性跨分位数的效率增益。通过在计算中使用MCMC算法,我们避免了直接最大化经验可能性的艰巨任务。经验研究所提出的方法的有限样本性能,其中大量的效率增益证明了在几个百分点水平上的共同特征的信息先验。收缩先验的理论框架中使用的文件,以更好地理解所提出的方法的力量。
2012-07-23 math.ST stat.TH
Performance of Bayesian linear regression in a model with mismatch
本文分析了在样本个数和协变量维数都很大且成比例的高维极限下,高斯先验下对数凹后验分布均值的贝叶斯估计的性能.虽然贝叶斯估计量的高维分析以前已经研究了贝叶斯最优线性回归,其中正确的后验用于推断,当有一个不匹配时,知之甚少。在这里,我们考虑一个模型,其中的响应被高斯噪声破坏,并被称为生成的协变量的线性组合,但地面实况回归系数和噪声的分布是未知的。这个回归任务可以被重新表述为一个统计力学模型,称为加德纳自旋玻璃,我们利用的一个类比。使用留一法,我们表征的均方误差的回归系数。我们还推导出后验的对数归一化常数。类似的模型已经由Shcherbina和Tirozzi和Talagrand研究过,但我们的论点要简单得多。我们的分析的一个有趣的结果是,在二次损失的情况下,贝叶斯估计的性能是独立的全局“温度”超参数和匹配的岭估计:采样和优化是同样好。
2021-11-10 cond-mat.dis-nn cs.IT cs.LG
A Theoretical Analysis of Logistic Regression and Bayesian Classifiers
本研究的目的是显示逻辑回归和贝叶斯分类器在指数和非指数分布族的情况下的根本区别,产生以下结果。首先,逻辑回归是贝叶斯分类器的一种不太通用的表示。其次,我们应该假设类的分布,以正确说明逻辑回归方程。第三,在特定情况下,正确指定的生成贝叶斯分类器和判别逻辑回归的预测概率之间没有差异。
2021-08-08 econ.EM stat.ME
On the design distribution for predictive Bayesian regression
University of Hong Kong(香港大学)
研究预测贝叶斯回归中设计分布对推断的影响,提出满足可识别性和设计不变性的参数鞅后验方法,适用于高维回归。
2026-06-15 math.ST stat.ME stat.TH
Regression Adjustment for Noncrossing Bayesian Quantile Regression
针对分位数回归中多个分位数的拟合曲线可能交叉的问题,提出了一种两阶段的方法。在第一阶段应用标准贝叶斯分位数回归模型,然后进行高斯过程回归调整,该调整使分位数函数单调化,同时从附近的分位数借用强度。两阶段方法在计算上是高效的,并且比现有技术更通用。该方法被证明是具有竞争力的替代方法,通过其性能在模拟的例子。
2015-02-04 stat.ME
Safe-Bayesian Generalized Linear Regression
Leiden University(莱顿大学);CWI(荷兰国家数学与计算机科学研究所);University of Oxford(牛津大学);University of Victoria(维多利亚大学)
我们研究广义贝叶斯推理下的误指定,即当模型是“错误的,但有用的”。广义贝叶斯为可能性配备了学习率$η$。我们发现,对于广义线性模型(GLM),$η$ -广义贝叶斯集中在模型内的最佳逼近的真相为特定的$η\neq 1$,即使在严重错误指定的噪声,只要尾部的真实分布是指数。我们推导出广义贝叶斯套索和逻辑斯谛回归的MCMC采样器,并给出了模拟和真实数据的例子,其中广义贝叶斯大大优于标准贝叶斯。
2021-05-29 cs.LG math.ST stat.ME
Variable Selection in Bayesian Semiparametric Regression Models
本文扩展了现有的用于高斯过程回归中变量选择的贝叶斯方法,以选择空间相关结构中的回归项和活动协变量。然后,我们使用估计的后验概率通过交叉验证在相对较少的模式之间进行选择,从而提高预测。
2014-12-31 stat.ME
Convergence of Gaussian Process Regression with Estimated Hyper-parameters and Applications in Bayesian Inverse Problems
本文研究高斯过程回归的收敛性。特别关注的是分层高斯过程回归,其中出现在高斯过程仿真器的均值和协方差结构中的超参数是先验未知的,并且是从数据中学习的,以及后验均值和协方差。我们在经验贝叶斯的框架下工作,其中使用数据计算超参数的点估计,然后在后验更新之前在标准高斯过程中使用。我们提供了一个收敛性分析,(i)适用于任何要仿真的连续函数$f$;(ii)表明高斯过程回归的收敛性不受从数据中额外学习超参数的影响,并且在广泛的场景中得到保证。由于这项工作的主要动机是使用高斯过程回归近似的数据似然贝叶斯逆问题,我们提供了一个约束的贝叶斯后验分布在这种情况下引入的错误。
2020-07-17 cs.NA math.NA math.ST
Multiple Adaptive Bayesian Linear Regression for Scalable Bayesian Optimization with Warm Start
贝叶斯优化(BO)是一种基于模型的无梯度黑箱函数优化方法。通常,BO由高斯过程(GP)驱动,其算法复杂度是评估数量的立方。因此,基于GP的BO不能利用大量的过去或相关的函数评估,例如,来热启动BO过程。我们开发了一个多自适应贝叶斯线性回归模型作为一个可扩展的替代方案,其复杂性是线性的观察。多个贝叶斯线性回归模型通过共享的前馈神经网络耦合,该前馈神经网络学习联合表示并跨机器学习问题传递知识。
2017-12-08 stat.ML
Linear regression in the Bayesian framework
这些注释旨在阐明从给定数据集执行线性回归的不同策略。文献中提出了加权和普通最小二乘法、岭回归或LASSO等方法。本文是我对这些方法的理解,据我所知,这些方法更好地统一在贝叶斯框架中。导出了用这些方法进行线性回归的计算公式。模型选择的KIC也在本文档的最后导出。
2019-08-09 stat.ME
Bayesian quantile additive regression trees
在给定一组预测变量的条件均值估计中,回归树的嵌入已经成为流行的统计工具。然而,尽管线性分位数回归模型越来越受欢迎,但分位数回归树及其集成尚未获得太多关注。这项工作提出了一个贝叶斯分位数加性回归树模型,显示出非常好的预测性能,说明使用模拟研究和实际数据的应用。还考虑了进一步扩展以解决二进制分类问题。
2016-07-10 stat.ML
A note on Bayesian logistic regression for spatial exponential family Gibbs point processes
近年来,指数族Gibbs空间点过程的逻辑斯谛回归推理方法被提出.我们将它与二次切向变分逼近技术相结合,导出了一种新的贝叶斯空间点模式分析方法。该技术进行了详细描述,并证明了数值例子。
2014-11-03 stat.ME stat.OT
Bayesian Modal Regression based on Mixture Distributions
本文提出基于单峰混合分布的贝叶斯众数回归统一框架,推导后验正常性条件,并通过模拟和实际数据证明其对离群点稳健、能发现均值或中位数回归遗漏的协变量效应并构建更紧的预测区间。
2024-06-28 stat.AP stat.ME
Sharded Bayesian Additive Regression Trees
Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室);The Ohio State University(俄亥俄州立大学)
本文提出随机化分片贝叶斯加性回归树(SBT),通过随机化辅助变量、分片树和交集树结构统一刻画数据划分与BART子模型,并给出最优权重与最坏情况复杂度分析。
2023-06-01 cs.LG math.ST stat.ME
On Soft Bayesian Additive Regression Trees and asynchronous longitudinal regression analysis
在许多纵向研究中,协变量和响应经常在不规则、不匹配和受试者特定的时间间歇性观察到。当协变量和响应被异步观测时,如何处理这样的数据是一个经常提出的问题。贝叶斯加性回归树(Bayesian Additive Regression Trees,BART)是一种贝叶斯非参数方法,已被证明与最好的现代预测方法(如随机森林和提升决策树)具有竞争力。树的和结构与贝叶斯推理框架相结合,提供了一个准确和鲁棒的统计方法。BART变体软贝叶斯加性回归树(SBART)构造使用随机决策树和实质性的理论和实践的好处。在本文中,我们提出了一个加权SBART模型的解决方案,异步纵向数据。与其他方法相比,现有方法在对协变量过程的假设较少的情况下是有效的。广泛的模拟研究提供了这种解决方案的数值支持。来自艾滋病研究的数据被用来说明我们的方法
2021-08-26 stat.AP stat.ME
Permuted and Augmented Stick-Breaking Bayesian Multinomial Regression
要建模的分类响应变量的协变量,我们提出了一个排列和增强棒打破(paSB)建设,一对一的映射观察到的类别随机排列的潜在棒。这种新的构造将多项式回归转换为对特定于棒的二元随机变量的回归分析,给定其协变量依赖的棒成功概率,这些随机变量是相互独立的,这些概率由其相应类别的回归系数参数化。paSB构造允许将任意交叉熵损失二进制分类器转换为贝叶斯多项式分类器。具体地说,我们参数化的负面的粘失效概率与一个家庭的协变量依赖的softplus功能,构建非参数贝叶斯多项式softplus回归,并转换贝叶斯支持向量机(SVM)到贝叶斯多项式SVM。这些贝叶斯多项式回归模型不仅能够提供概率估计,量化不确定性,增加鲁棒性,并产生非线性分类决策边界,而且还适合于后验模拟。实例结果证明了它们有吸引力的性质和性能。
2018-06-19 stat.ME stat.ML
Bayesian Modeling of Nonlinear Poisson Regression with Artificial Neural Networks
在大数据时代,计数数据的建模和预测在包括健康、金融、社会等在内的许多领域变得非常重要。虽然线性泊松回归已被广泛用于计数和评级数据的建模,但它可能并不总是合适的,因为它无法捕捉复杂数据中的一些固有变异性。在这项研究中,我们引入了一个概率驱动的非线性泊松回归模型与贝叶斯人工神经网络(ANN)的模型计数或率数据。这种新的非线性泊松回归模型与贝叶斯人工神经网络开发提供了更高的预测精度比传统的泊松或负二项回归模型显示,在我们的模拟和真实数据的研究。
2018-10-24 stat.AP
Debiased Bayesian Inference for High-dimensional Regression Models
CUHK-Shenzhen(香港中文大学(深圳));Emory University(埃默里大学);Chinese University of Hong Kong(香港中文大学)
本文提出了一种去偏贝叶斯推断方法,用于修正高维回归模型中后验分布的偏倚,确保频范有效性,并通过模拟和实证应用验证了其性能。
2025-12-10 econ.EM math.ST stat.CO
MPBART - Multinomial Probit Bayesian Additive Regression Trees
本文提出了多项式概率贝叶斯加性回归树(MPBART)作为BART-贝叶斯加性回归树的多项式概率扩展(Chipman et al(2010))。MPBART是灵活的,允许包括预测,描述观察单位以及可用的选择方案。通过两个模拟研究和四个真实数据的例子,我们表明,MPBART具有很好的预测性能相比,其他离散选择和多类分类方法。为了实现MPBART,我们开发了一个R包mpbart,可以从CRAN仓库免费获得。
2016-02-06 stat.ML
Bayesian size-and-shape regression modelling
ETH Zurich(苏黎世联邦理工学院);Università della Svizzera italiana(瑞士意大利语大学);Polytechnic of Turin(都灵理工大学);Sapienza University(罗马第一大学)
本研究基于已有成果,提出带高斯地标点的尺寸与形状响应变量回归模型的贝叶斯估计方法,该方法属于贝叶斯潜变量模型框架,具备高度灵活的建模能力。
2024-06-10 stat.ME
Spatial Regression and the Bayesian Filter
空间依赖结果的回归对推理和计算提出了许多挑战。非空间模型和传统的空间混合效应模型各有其优点和缺点,使得从业者难以确定如何进行空间回归分析。我们讨论了各种流行的空间回归模型隐含假设的数据生成机制,并讨论了这些假设的影响。我们提出贝叶斯空间滤波作为非空间模型和传统空间混合模型之间的近似中间方式。我们通过模拟表明,我们的贝叶斯空间过滤模型有几个理想的属性,因此可能是一个有用的除了空间统计学家的工具包。
2017-07-31 stat.ME
Bayesian Kernel and Mutual $k$-Nearest Neighbor Regression
R2 Research(R2 研究公司)
我们提出了两种非参数回归方法的贝叶斯扩展,这两种方法是核回归方法和互$k$ -最近邻回归方法。基于高斯过程回归模型导出,扩展提供了目标值估计的分布和选择超参数的框架。结果表明,这两种方法分别渐近收敛于核回归方法和互$k$ -最近邻回归方法.仿真结果表明,所提出的方法可以选择合适的超参数,并优于或相当于人工数据集和真实世界数据集的前方法。
2016-08-04 cs.LG stat.ML
Robust Bayesian Regression with Synthetic Posterior
虽然线性回归模型是统计科学中的基本工具,但估计结果可能对离群值敏感。虽然在频率论框架中已经提出了几种稳健的方法,但统计推断并不一定是简单的。本文提出了一种基于$γ$ -散度的合成后验分布的线性回归模型的贝叶斯鲁棒推断方法,它使我们能够通过后验分布自然地评估估计的不确定性。我们也考虑使用收缩先验的回归系数进行稳健贝叶斯变量选择和估计的同时。我们在吉布斯抽样中采用贝叶斯自助法,发展了一种有效的后验计算算法。通过仿真研究和著名数据集的应用,说明了所提出的方法的性能。
2020-05-26 stat.ME
Bayesian linear regression with Student-t assumptions
贝叶斯线性回归作为一种仅使用训练数据自动确定模型复杂度的方法,为我们提供了一种选择超参数的原则性方法。但当分布假设超出高斯分布时,往往需要近似推理。本文提出了一个具有学生t假设的贝叶斯线性回归模型(BLRS),它可以被精确地推断。在这个框架下,共轭先验和期望最大化(EM)算法进行了推广。同时,我们证明了最大似然解等价于高斯假设下的标准贝叶斯线性回归(BLRG)。BLRS的$q$ -EM算法与BLRG的EM算法几乎相同。实验结果表明,在预测网络新闻流行度的任务中,BLRS的$q$ -EM比BLRG的EM能更快地收敛。
2016-04-15 cs.LG stat.ML
Mixed Beta Regression: A Bayesian Perspective
本文建立在最近的研究,重点是连续有界数据的回归建模,如在连续尺度上测量的比例。具体来说,它涉及来自贝叶斯方法的混合效应的beta回归模型。我们使用一个合适的参数化的贝塔法在其平均值和精度参数,并允许这两个参数通过回归结构,可能涉及固定和随机效应建模。规范的先验分布进行了讨论,通过吉布斯抽样的计算实现,并给出了说明性的例子。
2012-11-14 stat.CO
Bayesian surface regression versus spatial spectral nonparametric curve regression
分析了2020年2月至10月期间部分西班牙社区省份的COVID-19发病率。两个无限维回归方法进行了测试。第一个是在Ruiz-Medina,Miranda和Espejo(2019)中介绍的回归框架中实现的。具体地说,一个baidom框架中采用的时间自相关算子的纯点谱的估计,表征表面序列的二阶结构。第二种方法是在空间曲线回归的背景下制定的。基于空间周期图算子,计算谱密度算子的非参数估计量来逼近曲线之间的空间相关性。降维是通过投影到长期空间协方差算子的经验特征向量上来实现的。交叉验证程序来测试两个功能回归方法的性能。
2021-10-30 stat.AP stat.ME
Regression approaches for Approximate Bayesian Computation
本书介绍了近似贝叶斯计算(ABC)的回归方法和回归调整。回归调整在拒绝抽样之后调整参数值,以考虑模拟与观测之间的不完全匹配。当有许多汇总统计数据时,模拟和观察之间的不完美匹配可能更加明显,这种现象被称为维数灾难。由于这种不完美的匹配,与真实的可信区间相比,用回归方法获得的可信区间可能会膨胀。本章介绍了回归调整的主要概念。本文给出了一个定理,比较了有无回归调整的后验分布的理论性质。最后,回归调整在群体遗传学中的实际应用表明,与拒绝方法相比,回归调整缩小了后验分布,这是一种避免置信区间膨胀的解决方案。
2017-07-05 stat.ME
Bayesian Mode Regression
与均值、分位数和方差一样,众数也是集中趋势和数据汇总的重要度量。许多实际问题往往集中在“在网络中的所有元素中,哪个元素(基因或文件或信号)出现得最频繁或最典型?".在这种情况下,模式回归提供了回归量如何影响条件模式的方便总结,并且完全不同于基于条件均值或条件分位数或条件方差的其他回归模型。一些推理方法已被用于模式回归,但没有一个是从贝叶斯的角度。本文介绍了贝叶斯模式回归,探索三种不同的方法。我们从一个参数贝叶斯模型,采用一个似然函数,是基于一个模式的均匀分布。结果表明,无论数据的原始分布如何,使用这种特殊的均匀分布是贝叶斯模式回归的一种非常自然和有效的方法。基于此参数似然的后验估计,即使在误设定下,也是一致的且渐近正态的。然后,我们开发了一个非参数贝叶斯模型,使用Dirichlet过程(DP)的混合模式均匀分布,最后,我们探索贝叶斯经验似然模式回归,将经验似然到贝叶斯框架。本文还证明了各种不适当的先验未知模型参数产生一个适当的联合后验。使用模拟数据集和真实数据集说明了所提出的方法。
2012-08-02 stat.AP stat.ME
The Tilted Beta Binomial Linear Regression Model: a Bayesian Approach
本文提出了新的线性回归模型来处理过分散的二项数据集。这些新的模型称为倾斜贝塔二项回归模型,是根据倾斜贝塔二项分布定义的,假设二项分布的参数遵循倾斜β分布。作为这种回归模型的一种特殊情况,我们提出了β矩形二项回归模型,从二项分布定义,假设他们的参数遵循β矩形分布。这些新的线性回归模型,定义假设这些新的分布的参数遵循回归结构,使用贝叶斯方法和OpenBUGS软件进行拟合。建议的回归模型拟合到一个过度分散的二项数据集的种子发芽取决于所选择的种子androot的类型的数量。
2019-11-25 stat.ME