Differentially Private Bayesian Linear Regression
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
线性回归是处理敏感的人工来源数据的许多领域的重要工具。重要的先前工作集中在产生差分私人点估计,它提供了一个隐私保证个人,同时仍然允许建模者通过估计回归系数从数据中得出见解。我们研究贝叶斯线性回归问题,目标是计算后验分布,正确量化私人发布的统计数据的不确定性。我们表明,一个天真的方法,忽略了隐私机制注入的噪音在现实的数据设置做得很差。然后,我们开发了噪声感知的方法,执行推理的隐私机制,并在广泛的场景中产生正确的后验。
2019-10-29 cs.LG stat.ML
Fully Nonparametric Bayesian Additive Regression Trees
University of Pennsylvania(宾夕法尼亚大学);Medical College of Wisconsin(威斯康星医学院);Arizona State University(亚利桑那州立大学)
贝叶斯加性回归树(Bayesian Additive Regression Trees,BART)是一种完全贝叶斯的建模方法。BART可以以相当自动的方式揭示具有高维回归量的复杂回归函数,并通过后验提供不确定性的贝叶斯量化。但是,BART假设IID正常错误。这种强参数假设可能导致误导性推断和不确定性量化。在本文中,我们使用经典的狄利克雷过程混合(Dirichlet process mixture)机制的非参数模型的误差分布。BART的一个关键优势是默认的先验设置在各种问题中都能很好地工作。扩展BART的挑战是选择BART的参数,以便在误差接近正态时不会失去标准BART方法的优势,但BART具有适应非正态误差的能力。
2018-07-09 cs.LG stat.ML
metabeta -- A fast neural model for Bayesian mixed-effects regression
Human-Centered AI, Helmholtz Munich, Germany(以人为中心的人工智能,慕尼黑海德堡研究所)
metabeta是一种快速的神经网络模型,用于贝叶斯混合效应回归,通过预训练时间优化计算,实现高效且稳定的性能。
2026-02-04 cs.LG stat.ML
On the Gaussian process limit of Bayesian Additive Regression Trees
本文推导并计算了精确的BART先验协方差函数,将其无限树极限实现为高斯过程回归,发现通过自然调整超参数可使其与标准BART竞争力相当,从而简化模型构建并避开复杂的MCMC算法。
2025-07-11 cs.LG stat.ML
Uncertainty-Aware (UNA) Bases for Deep Bayesian Regression Using Multi-Headed Auxiliary Networks
Harvard University(哈佛大学)
神经线性模型(NLM)是深度贝叶斯模型,通过从数据中学习特征,然后对这些特征执行贝叶斯线性回归,从而产生预测不确定性。尽管他们的流行,很少有作品集中在有条不紊地评估这些模型的预测不确定性。在这项工作中,我们证明了NLM的传统训练程序大大低估了分布外输入的不确定性,因此它们不能天真地部署在风险敏感的应用程序中。我们确定了这种行为的根本原因,并提出了一个新的训练框架,捕捉有用的预测不确定性的下游任务。
2021-12-15 cs.LG stat.ML
Multiple Adaptive Bayesian Linear Regression for Scalable Bayesian Optimization with Warm Start
贝叶斯优化(BO)是一种基于模型的无梯度黑箱函数优化方法。通常,BO由高斯过程(GP)驱动,其算法复杂度是评估数量的立方。因此,基于GP的BO不能利用大量的过去或相关的函数评估,例如,来热启动BO过程。我们开发了一个多自适应贝叶斯线性回归模型作为一个可扩展的替代方案,其复杂性是线性的观察。多个贝叶斯线性回归模型通过共享的前馈神经网络耦合,该前馈神经网络学习联合表示并跨机器学习问题传递知识。
2017-12-08 stat.ML
Generalized Bayesian Additive Regression Trees Models: Beyond Conditional Conjugacy
University of Texas at Austin(德克萨斯大学奥斯汀分校)
贝叶斯加法回归树近年来由于其将机器学习技术与原则性不确定性量化相结合的能力而受到越来越多的关注。然而,用于拟合BART模型的贝叶斯后拟合算法将其应用限制在一小类存在条件共轭的模型上。在这篇文章中,我们通过引入一个非常简单的、无调整参数的、可逆跳马尔可夫链蒙特卡罗算法,大大扩展了BART对任意\emph{generalized BART}模型的适用范围。我们的算法只需要用户能够计算的可能性和(可选)其梯度和费舍尔信息。潜在的应用是非常广泛的,我们考虑的例子在生存分析,结构异方差回归,伽玛形状回归。
2022-02-20 cs.LG stat.ME stat.ML
Compressed Bayesian Tensor Regression
University of Toronto(多伦多大学)
针对张量回归中的高维问题,提出广义张量随机投影方法将高维协变量嵌入低维子空间,结合贝叶斯推理框架和低秩参数表示,实现高效预测与计算成本降低。
2026-06-11 stat.CO stat.ME
Bayesian quantile additive regression trees
在给定一组预测变量的条件均值估计中,回归树的嵌入已经成为流行的统计工具。然而,尽管线性分位数回归模型越来越受欢迎,但分位数回归树及其集成尚未获得太多关注。这项工作提出了一个贝叶斯分位数加性回归树模型,显示出非常好的预测性能,说明使用模拟研究和实际数据的应用。还考虑了进一步扩展以解决二进制分类问题。
2016-07-10 stat.ML
MPBART - Multinomial Probit Bayesian Additive Regression Trees
本文提出了多项式概率贝叶斯加性回归树(MPBART)作为BART-贝叶斯加性回归树的多项式概率扩展(Chipman et al(2010))。MPBART是灵活的,允许包括预测,描述观察单位以及可用的选择方案。通过两个模拟研究和四个真实数据的例子,我们表明,MPBART具有很好的预测性能相比,其他离散选择和多类分类方法。为了实现MPBART,我们开发了一个R包mpbart,可以从CRAN仓库免费获得。
2016-02-06 stat.ML
A Method for Compressing Parameters in Bayesian Models with Application to Logistic Sequence Prediction Models
由于马尔可夫链蒙特卡罗(MCMC)方法需要使用大量的参数,而且参数的数量随着阶数的增加而迅速增加,因此高阶交互作用下的贝叶斯分类和回归在很大程度上是不可行的。在本文中,我们展示了如何通过有效地减少参数的数量,利用许多相互作用对于所有训练案例都具有相同值的事实来使其可行。我们的方法使用一个单一的“压缩”参数来表示与一组模式相关的所有参数的总和,这些模式对于所有训练案例都具有相同的值。利用对称稳定分布作为原始参数的先验,我们可以很容易地找到这些压缩参数的先验。因此,当用MCMC训练模型时,我们只需要处理数量少得多的压缩参数。在考虑最高可能阶之前,压缩参数的数量可能已经收敛。在训练模型之后,我们可以根据需要将这些压缩的参数拆分为原始参数,以便对测试用例进行预测。我们详细介绍了如何压缩logistic序列预测模型的参数。模拟和真实数据的实验表明,大量的参数确实可以减少我们的压缩方法。
2007-11-30 stat.ME stat.ML
Variational Bayesian inference for linear and logistic regression
本文介绍线性与逻辑回归的变分贝叶斯推断,涵盖模型、推导及MATLAB/Octave实现,并作为教程与示例文档,提供免费在线函数。
2019-06-29 stat.ML
Compressed Gaussian Process
大量样本(n)和特征(p)的非参数回归是一个越来越重要的问题。在大n设置中,常见的策略是划分特征空间,然后分别将简单模型应用于每个划分集。我们提出了一种替代方法,它避免了这样的分区和相关的敏感性邻域选择和距离度量,通过使用随机压缩结合高斯过程回归。所提出的方法是特别动机的设置中的响应是有条件的独立的功能给出的投影到一个低维流形。通过引入随机压缩矩阵和光滑度参数,得到了回归曲面的后验分布和后验预测分布。对许多随机压缩矩阵和平滑度参数并行运行分析,使用模型平均来组合结果。该算法可以快速实现,即使在非常大的n和p的问题,具有很强的理论依据,并发现产生最先进的预测性能。
2014-06-07 stat.ML
Permuted and Augmented Stick-Breaking Bayesian Multinomial Regression
要建模的分类响应变量的协变量,我们提出了一个排列和增强棒打破(paSB)建设,一对一的映射观察到的类别随机排列的潜在棒。这种新的构造将多项式回归转换为对特定于棒的二元随机变量的回归分析,给定其协变量依赖的棒成功概率,这些随机变量是相互独立的,这些概率由其相应类别的回归系数参数化。paSB构造允许将任意交叉熵损失二进制分类器转换为贝叶斯多项式分类器。具体地说,我们参数化的负面的粘失效概率与一个家庭的协变量依赖的softplus功能,构建非参数贝叶斯多项式softplus回归,并转换贝叶斯支持向量机(SVM)到贝叶斯多项式SVM。这些贝叶斯多项式回归模型不仅能够提供概率估计,量化不确定性,增加鲁棒性,并产生非线性分类决策边界,而且还适合于后验模拟。实例结果证明了它们有吸引力的性质和性能。
2018-06-19 stat.ME stat.ML
Bayesian Compressed Mixed-Effects Models
本文提出压缩混合效应模型,通过随机投影降低随机效应协方差维度并结合收缩先验与折叠吉布斯采样,在预测、区间覆盖和固定效应选择上优于现有方法。
2025-07-22 stat.CO stat.ME
Efficient variational inference in large-scale Bayesian compressed sensing
University of California, Los Angeles(加州大学洛杉矶分校);Korea University(高丽大学)
我们从概率的角度研究重尾先验下的线性模型。贝叶斯压缩感知框架中的焦点转向捕获潜在变量的完整后验分布,而不是像标准确定性方法那样计算单个稀疏最可能(MAP)解决方案,这允许量化估计不确定性并使用最大似然学习模型参数。稀疏线性模型下的精确后验分布是很难得到的,我们集中于变分贝叶斯技术来近似它,重复计算高斯方差是变分技术在大规模问题中应用的一个关键要求,也是主要的计算瓶颈。我们利用最近提出的扰动和MAP算法从高斯马尔可夫随机场(GMRF)绘制精确的样本。我们的论文的主要技术贡献是表明,估计高斯方差使用相对较少的数量,这样有效地抽取的随机样本是更有效的替代通用方差估计技术。通过将方差估计的问题减少到标准优化原语,所得到的变分算法是完全可扩展的和可并行的,允许贝叶斯计算在非常大规模的问题中具有与常规点估计技术相同的存储器和时间复杂度要求。我们用图像去模糊的实验来说明这些想法。
2011-09-05 cs.CV cs.IT math.IT
Selection of tuning parameters in bridge regression models via Bayesian information criterion
我们考虑的桥梁线性回归建模,它可以产生一个稀疏或非稀疏模型。模型建立过程中的一个关键点是调整参数的选择,包括正则化参数和调整参数的桥梁回归模型。调整参数的选择可以看作是一个模型选择和评估问题。本文提出了一种基于贝叶斯方法的桥梁回归模型评价的模型选择准则。该选择标准使我们能够客观地选择调整参数。我们调查我们提出的建模策略的有效性,通过一些数值例子。
2012-04-14 stat.ME stat.ML
High-Dimensional Bayesian Regularised Regression with the BayesReg Package
贝叶斯惩罚回归技术,如贝叶斯套索和贝叶斯马蹄估计,最近在统计文献中受到了大量的关注。然而,在通用马尔可夫链蒙特卡罗平台(如STAN)之外,实现最先进的贝叶斯惩罚回归的软件相对较少。本文介绍了一个新的工具箱bayesreg,用于拟合具有连续收缩先验密度的贝叶斯惩罚回归模型。该工具箱的特点是具有高斯或重尾误差模型的贝叶斯线性回归和具有岭、套索、马蹄和马蹄$+$估计量的贝叶斯逻辑斯谛回归。该工具箱是免费的,开源的,可用于MATLAB和R数值平台。
2016-12-20 stat.CO
Variable fusion for Bayesian linear regression via spike-and-slab priors
在线性回归模型中,系数的融合用于识别与响应具有相似关系的预测因子。这就是所谓的可变融合。提出了一种基于贝叶斯线性回归模型的变量融合方法。我们专注于分层贝叶斯模型的基础上的尖峰和板坯事先的方法。一个尖峰和平板先验是定制的,以执行可变融合。为了获得参数的估计,我们开发了一个吉布斯采样器的参数。仿真研究和实际数据分析表明,我们提出的方法取得了更好的性能比以前的方法。
2020-12-02 stat.ME stat.ML
CoMET: A Compressed Bayesian Mixed-Effects Model for High-Dimensional Tensors
The University of Iowa(爱荷华大学);University of Florida(佛罗里达大学)
CoMET是一种用于高维张量数据的压缩贝叶斯混合效应模型,通过结构化随机投影和低秩分解实现高效计算与预测。
2026-02-22 stat.ME
A Theoretical Analysis of Logistic Regression and Bayesian Classifiers
本研究的目的是显示逻辑回归和贝叶斯分类器在指数和非指数分布族的情况下的根本区别,产生以下结果。首先,逻辑回归是贝叶斯分类器的一种不太通用的表示。其次,我们应该假设类的分布,以正确说明逻辑回归方程。第三,在特定情况下,正确指定的生成贝叶斯分类器和判别逻辑回归的预测概率之间没有差异。
2021-08-08 econ.EM stat.ME
Bayesian Additive Distribution Regression
Department of Statistics and Data Sciences(统计与数据科学系)
DistBART通过贝叶斯加法回归树先验建模分布回归,结合浅层决策树和随机特征近似,实现高效非参数回归与不确定性量化。
2026-03-06 stat.ME stat.ML
Bayesian Regression of Piecewise Constant Functions
我们推导出一个精确和有效的贝叶斯回归算法的分段常数函数的未知段数,边界位置和水平。它适用于任何噪声和段级先验,例如可以处理离群值的Cauchy。我们得到简单,但很好的估计段内方差。我们还提出了贝叶斯回归曲线作为平滑数据而不模糊边界的更好方法。贝叶斯方法还允许直接确定证据、断裂概率和误差估计,这对于模型选择以及显著性和稳健性研究非常有用。我们讨论了合成和现实世界的例子的性能。将讨论许多可能的扩展。
2006-06-13 cs.LG math.PR math.ST
Regression Adjustment for Noncrossing Bayesian Quantile Regression
针对分位数回归中多个分位数的拟合曲线可能交叉的问题,提出了一种两阶段的方法。在第一阶段应用标准贝叶斯分位数回归模型,然后进行高斯过程回归调整,该调整使分位数函数单调化,同时从附近的分位数借用强度。两阶段方法在计算上是高效的,并且比现有技术更通用。该方法被证明是具有竞争力的替代方法,通过其性能在模拟的例子。
2015-02-04 stat.ME
Posterior Consistency of Bayesian Inverse Regression and Inverse Reference Distributions
我们认为贝叶斯推断逆回归问题的目标是推断未观察到的协变量从观察到的响应和协变量。我们建立后验一致性的贝叶斯逆回归problemunder适当的先验在留一交叉验证设置中的未观察到的协变量。我们将其与逆参考分布的后验一致性(Bhattacharya(2013))相关联,以评估模型的充分性。我们用贝叶斯逆回归的各种例子来说明我们的理论和方法,以及足够的模拟实验。
2020-05-01 math.ST stat.TH
Rejoinder for the discussion of the paper "A novel algorithmic approach to Bayesian Logic Regression"
在这篇答辩中,我们总结了评论,问题和评论的文件“一种新的算法方法贝叶斯逻辑回归”的讨论者。然后,我们对这些评论、问题和评论做出回应,提供原始模型的几个扩展,并提供关于我们的R包EMJMCMC的教程(http://aliaksah.github.io/EMJMCMC2016/)
2020-05-01 math.LO stat.CO stat.ME
Variable Selection in Bayesian Semiparametric Regression Models
本文扩展了现有的用于高斯过程回归中变量选择的贝叶斯方法,以选择空间相关结构中的回归项和活动协变量。然后,我们使用估计的后验概率通过交叉验证在相对较少的模式之间进行选择,从而提高预测。
2014-12-31 stat.ME
Bayesian model selection for linear regression
在这篇笔记中,我们介绍了线性回归与基函数,以应用贝叶斯模型选择。我们的目标是结合贝叶斯分析提供的奥卡姆剃刀,以便自动选择能够最佳地解释数据而不过度拟合的模型。
2015-12-15 math.ST stat.ME stat.TH
Geometric Ergodicity of Gibbs Samplers in Bayesian Penalized Regression Models
我们考虑三个贝叶斯惩罚回归模型,并表明,各自的确定性扫描吉布斯采样器是几何遍历的回归问题的尺寸无关。我们证明了几何遍历的吉布斯采样贝叶斯融合套索,贝叶斯组套索,和贝叶斯稀疏组套索。几何遍历性与矩条件一起导致蒙特卡罗平均值的马尔可夫链中心极限定理的存在,并确保可靠的输出分析。我们的几何遍历性的结果,使我们也可以提供默认的吉布斯采样器的起始值。
2017-07-04 math.ST stat.CO stat.TH
Linear regression in the Bayesian framework
这些注释旨在阐明从给定数据集执行线性回归的不同策略。文献中提出了加权和普通最小二乘法、岭回归或LASSO等方法。本文是我对这些方法的理解,据我所知,这些方法更好地统一在贝叶斯框架中。导出了用这些方法进行线性回归的计算公式。模型选择的KIC也在本文档的最后导出。
2019-08-09 stat.ME
ViBR-WM: Visual Bayesian Regression for World Modeling
Texas A&M University(德州农工大学)
ViBR-WM是一种视觉贝叶斯回归世界模型,通过可解释回归和贝叶斯变量选择,在四项预测任务中均优于现有方法,实现更低的物理目标误差。
2026-09-29 cs.CV cs.LG stat.ME
From Estimation to Sampling for Bayesian Linear Regression with Spike-and-Slab Prior
本文针对带尖峰-厚板先验的贝叶斯稀疏线性回归,利用后验收缩性质设计了基于吉布斯采样和随机局部化的高效采样算法,并证明随机局部化采样器在数据矩阵设计不佳时优势更明显。
2023-07-09 stat.CO stat.ME stat.ML
A note on Bayesian logistic regression for spatial exponential family Gibbs point processes
近年来,指数族Gibbs空间点过程的逻辑斯谛回归推理方法被提出.我们将它与二次切向变分逼近技术相结合,导出了一种新的贝叶斯空间点模式分析方法。该技术进行了详细描述,并证明了数值例子。
2014-11-03 stat.ME stat.OT
SoftBart: Soft Bayesian Additive Regression Trees
贝叶斯加性回归树(BART)模型作为一种通用的非参数建模技术,近年来受到越来越多的关注。BART将现代机器学习技术的灵活性与贝叶斯推断的原则性不确定性量化相结合,它已被证明是唯一适合解决许多科学领域(包括医学和社会科学)中常见的高噪声问题的方法。本文介绍了用于拟合Linero和Yang(2018)的Soft BART算法的SoftBart包。除了改进其他BART软件包的预测性能外,该软件包的主要目标是促进将BART纳入更大的模型中,使其成为贝叶斯统计研究人员的理想选择。我展示了如何使用这个包进行标准预测任务,以及如何将BART模型嵌入到更大的模型中;我通过使用SoftBart实现非参数概率单位回归模型、半参数变系数模型和部分线性模型来说明。
2022-10-28 stat.CO stat.ME stat.ML
Bayesian Modal Regression based on Mixture Distributions
本文提出基于单峰混合分布的贝叶斯众数回归统一框架,推导后验正常性条件,并通过模拟和实际数据证明其对离群点稳健、能发现均值或中位数回归遗漏的协变量效应并构建更紧的预测区间。
2024-06-28 stat.AP stat.ME
On Soft Bayesian Additive Regression Trees and asynchronous longitudinal regression analysis
在许多纵向研究中,协变量和响应经常在不规则、不匹配和受试者特定的时间间歇性观察到。当协变量和响应被异步观测时,如何处理这样的数据是一个经常提出的问题。贝叶斯加性回归树(Bayesian Additive Regression Trees,BART)是一种贝叶斯非参数方法,已被证明与最好的现代预测方法(如随机森林和提升决策树)具有竞争力。树的和结构与贝叶斯推理框架相结合,提供了一个准确和鲁棒的统计方法。BART变体软贝叶斯加性回归树(SBART)构造使用随机决策树和实质性的理论和实践的好处。在本文中,我们提出了一个加权SBART模型的解决方案,异步纵向数据。与其他方法相比,现有方法在对协变量过程的假设较少的情况下是有效的。广泛的模拟研究提供了这种解决方案的数值支持。来自艾滋病研究的数据被用来说明我们的方法
2021-08-26 stat.AP stat.ME
Bayesian Modeling of Nonlinear Poisson Regression with Artificial Neural Networks
在大数据时代,计数数据的建模和预测在包括健康、金融、社会等在内的许多领域变得非常重要。虽然线性泊松回归已被广泛用于计数和评级数据的建模,但它可能并不总是合适的,因为它无法捕捉复杂数据中的一些固有变异性。在这项研究中,我们引入了一个概率驱动的非线性泊松回归模型与贝叶斯人工神经网络(ANN)的模型计数或率数据。这种新的非线性泊松回归模型与贝叶斯人工神经网络开发提供了更高的预测精度比传统的泊松或负二项回归模型显示,在我们的模拟和真实数据的研究。
2018-10-24 stat.AP
Safe-Bayesian Generalized Linear Regression
Leiden University(莱顿大学);CWI(荷兰国家数学与计算机科学研究所);University of Oxford(牛津大学);University of Victoria(维多利亚大学)
我们研究广义贝叶斯推理下的误指定,即当模型是“错误的,但有用的”。广义贝叶斯为可能性配备了学习率$η$。我们发现,对于广义线性模型(GLM),$η$ -广义贝叶斯集中在模型内的最佳逼近的真相为特定的$η\neq 1$,即使在严重错误指定的噪声,只要尾部的真实分布是指数。我们推导出广义贝叶斯套索和逻辑斯谛回归的MCMC采样器,并给出了模拟和真实数据的例子,其中广义贝叶斯大大优于标准贝叶斯。
2021-05-29 cs.LG math.ST stat.ME
On posterior concentration rates for Bayesian quantile regression based on the misspecified asymmetric Laplace likelihood
非对称拉普拉斯密度(ALD)被用作贝叶斯分位数回归的工作似然。Sriram等人(2013)基于错误指定的ALD推导出贝叶斯线性分位数回归的后验一致性。虽然他们的论文也主张$\sqrt{n}-$的一致性,但Sriram和Ramamoorthi(2017)强调,该论点仅适用于小于$\sqrt{n}$的比率。因此,$\sqrt{n}-$率的问题仍然没有得到解决,但有必要进行有意义的贝叶斯推断的基础上的ALD。在本文中,我们得出的结果,以获得后验一致率贝叶斯分位数回归的基础上误指定的ALD。我们得出我们的结果在一个稍微一般的设置,分位数函数可能是非线性的。特别地,我们给出了使用ALD的贝叶斯线性分位数回归的$\sqrt{n}-$一致性的充分条件。我们还提供了贝叶斯非线性分位数回归的例子。
2020-08-08 math.ST stat.TH
Bayesian regression and Bitcoin
Massachusetts Institute of Technology(麻省理工学院)
在本文中,我们讨论了贝叶斯回归方法及其预测比特币(一种最近流行的虚拟加密货币)价格变化的有效性。贝叶斯回归是指利用经验数据作为代理进行贝叶斯推理。我们利用贝叶斯回归的所谓的“潜在源模型”。Chen,Nikolov and Shah(2013)和Bresler,Chen and Shah(2014)介绍并讨论了“潜在源模型”的贝叶斯回归,用于二进制分类。他们建立了二元分类设置方法的理论和经验功效。在本文中,我们利用它来预测真实价值的数量,即比特币的价格。基于这种价格预测方法,我们设计了一个简单的比特币交易策略。该策略能够在不到60天的时间内对实际数据跟踪运行时,投资几乎翻了一番。
2014-10-06 cs.AI math.ST stat.TH
Bayesian size-and-shape regression modelling
ETH Zurich(苏黎世联邦理工学院);Università della Svizzera italiana(瑞士意大利语大学);Polytechnic of Turin(都灵理工大学);Sapienza University(罗马第一大学)
本研究基于已有成果,提出带高斯地标点的尺寸与形状响应变量回归模型的贝叶斯估计方法,该方法属于贝叶斯潜变量模型框架,具备高度灵活的建模能力。
2024-06-10 stat.ME
Spatial Regression and the Bayesian Filter
空间依赖结果的回归对推理和计算提出了许多挑战。非空间模型和传统的空间混合效应模型各有其优点和缺点,使得从业者难以确定如何进行空间回归分析。我们讨论了各种流行的空间回归模型隐含假设的数据生成机制,并讨论了这些假设的影响。我们提出贝叶斯空间滤波作为非空间模型和传统空间混合模型之间的近似中间方式。我们通过模拟表明,我们的贝叶斯空间过滤模型有几个理想的属性,因此可能是一个有用的除了空间统计学家的工具包。
2017-07-31 stat.ME
Theoretical properties of Bayesian Student-$t$ linear regression
Bayesian Student- $t$线性回归是正态模型的一种常见的稳健替代模型,但其理论特性还不是很好地理解。我们的目标是通过提供两种不同的渐近情景分析来填补一些空白。结果允许精确地表征通过自由度(至少渐近地)控制的鲁棒性和效率之间的权衡。
2023-02-07 math.ST stat.ME stat.TH
Robust Bayesian Regression with Synthetic Posterior
虽然线性回归模型是统计科学中的基本工具,但估计结果可能对离群值敏感。虽然在频率论框架中已经提出了几种稳健的方法,但统计推断并不一定是简单的。本文提出了一种基于$γ$ -散度的合成后验分布的线性回归模型的贝叶斯鲁棒推断方法,它使我们能够通过后验分布自然地评估估计的不确定性。我们也考虑使用收缩先验的回归系数进行稳健贝叶斯变量选择和估计的同时。我们在吉布斯抽样中采用贝叶斯自助法,发展了一种有效的后验计算算法。通过仿真研究和著名数据集的应用,说明了所提出的方法的性能。
2020-05-26 stat.ME
Bayesian Dyadic Trees and Histograms for Regression
许多用于回归的机器学习工具基于将协变量空间递归划分为较小的区域,其中可以局部估计回归函数。其中,回归树和他们的合奏表现出令人印象深刻的经验表现。在这项工作中,我们揭示了这些方法的贝叶斯变体背后的机制。特别是,我们研究贝叶斯回归直方图,如贝叶斯二元树,在简单的回归情况下,只有一个预测。我们专注于重建的回归曲面是分段常数,其中的跳跃数是未知的。我们发现,适当设计的先验,后验分布集中在真正的步骤回归函数在一个接近极小极大率。这些结果不需要知道真正的步骤数,也不需要知道真正的分区单元的宽度。因此,贝叶斯二元回归树是完全自适应的,可以恢复真正的分段回归函数几乎一样,如果我们知道确切的数量和位置的跳跃。我们的研究结果构成了理解贝叶斯树及其集合在实践中如此有效的第一步。作为一个旁白,我们讨论了平衡区间划分的先验分布,以及它们如何与几何概率中的一个老问题相关。也就是说,我们涉及的概率覆盖的圆周的圆与随机弧的端点被限制在一个网格,一个新的变种的原始问题。
2017-11-28 math.ST stat.TH
Mixed Beta Regression: A Bayesian Perspective
本文建立在最近的研究,重点是连续有界数据的回归建模,如在连续尺度上测量的比例。具体来说,它涉及来自贝叶斯方法的混合效应的beta回归模型。我们使用一个合适的参数化的贝塔法在其平均值和精度参数,并允许这两个参数通过回归结构,可能涉及固定和随机效应建模。规范的先验分布进行了讨论,通过吉布斯抽样的计算实现,并给出了说明性的例子。
2012-11-14 stat.CO
Dimension-free PAC-Bayesian bounds for matrices, vectors, and linear least squares regression
在弱多项式矩假设下,考虑重尾样本分布,研究了无量纲PAC贝叶斯边界。它涵盖了向量或矩阵的平均值的估计,以及最小二乘线性回归的应用。特别的努力致力于估计的格拉姆矩阵,由于其突出的作用,在高维数据分析。
2017-12-31 math.ST stat.TH
Bayesian surface regression versus spatial spectral nonparametric curve regression
分析了2020年2月至10月期间部分西班牙社区省份的COVID-19发病率。两个无限维回归方法进行了测试。第一个是在Ruiz-Medina,Miranda和Espejo(2019)中介绍的回归框架中实现的。具体地说,一个baidom框架中采用的时间自相关算子的纯点谱的估计,表征表面序列的二阶结构。第二种方法是在空间曲线回归的背景下制定的。基于空间周期图算子,计算谱密度算子的非参数估计量来逼近曲线之间的空间相关性。降维是通过投影到长期空间协方差算子的经验特征向量上来实现的。交叉验证程序来测试两个功能回归方法的性能。
2021-10-30 stat.AP stat.ME
Regression approaches for Approximate Bayesian Computation
本书介绍了近似贝叶斯计算(ABC)的回归方法和回归调整。回归调整在拒绝抽样之后调整参数值,以考虑模拟与观测之间的不完全匹配。当有许多汇总统计数据时,模拟和观察之间的不完美匹配可能更加明显,这种现象被称为维数灾难。由于这种不完美的匹配,与真实的可信区间相比,用回归方法获得的可信区间可能会膨胀。本章介绍了回归调整的主要概念。本文给出了一个定理,比较了有无回归调整的后验分布的理论性质。最后,回归调整在群体遗传学中的实际应用表明,与拒绝方法相比,回归调整缩小了后验分布,这是一种避免置信区间膨胀的解决方案。
2017-07-05 stat.ME
Bayesian Mode Regression
与均值、分位数和方差一样,众数也是集中趋势和数据汇总的重要度量。许多实际问题往往集中在“在网络中的所有元素中,哪个元素(基因或文件或信号)出现得最频繁或最典型?".在这种情况下,模式回归提供了回归量如何影响条件模式的方便总结,并且完全不同于基于条件均值或条件分位数或条件方差的其他回归模型。一些推理方法已被用于模式回归,但没有一个是从贝叶斯的角度。本文介绍了贝叶斯模式回归,探索三种不同的方法。我们从一个参数贝叶斯模型,采用一个似然函数,是基于一个模式的均匀分布。结果表明,无论数据的原始分布如何,使用这种特殊的均匀分布是贝叶斯模式回归的一种非常自然和有效的方法。基于此参数似然的后验估计,即使在误设定下,也是一致的且渐近正态的。然后,我们开发了一个非参数贝叶斯模型,使用Dirichlet过程(DP)的混合模式均匀分布,最后,我们探索贝叶斯经验似然模式回归,将经验似然到贝叶斯框架。本文还证明了各种不适当的先验未知模型参数产生一个适当的联合后验。使用模拟数据集和真实数据集说明了所提出的方法。
2012-08-02 stat.AP stat.ME
The Tilted Beta Binomial Linear Regression Model: a Bayesian Approach
本文提出了新的线性回归模型来处理过分散的二项数据集。这些新的模型称为倾斜贝塔二项回归模型,是根据倾斜贝塔二项分布定义的,假设二项分布的参数遵循倾斜β分布。作为这种回归模型的一种特殊情况,我们提出了β矩形二项回归模型,从二项分布定义,假设他们的参数遵循β矩形分布。这些新的线性回归模型,定义假设这些新的分布的参数遵循回归结构,使用贝叶斯方法和OpenBUGS软件进行拟合。建议的回归模型拟合到一个过度分散的二项数据集的种子发芽取决于所选择的种子androot的类型的数量。
2019-11-25 stat.ME
Debiased Bayesian Inference for High-dimensional Regression Models
CUHK-Shenzhen(香港中文大学(深圳));Emory University(埃默里大学);Chinese University of Hong Kong(香港中文大学)
本文提出了一种去偏贝叶斯推断方法,用于修正高维回归模型中后验分布的偏倚,确保频范有效性,并通过模拟和实证应用验证了其性能。
2025-12-10 econ.EM math.ST stat.CO
Bayesian Spatial Monotonic Multiple Regression
我们考虑单调,多元回归的一组连续的区域(格子数据)。回归函数在区域之间允许变化,并表现出地理结构。我们开发了新的贝叶斯非参数方法,它允许连续和不连续的功能形状,并估计使用标记点过程和可逆跳马尔可夫链蒙特卡罗技术。地理上的依赖性是由一个灵活的先验分布,参数化允许依赖性随功能水平而变化。该方法使用贝叶斯全局优化和交叉验证进行调整。估计值可用于变量选择、阈值检测和预测以及回归函数的外推。我们的方法的性能和灵活性说明了模拟研究和挪威保险数据集的应用。
2016-05-19 stat.ME
A Fully Bayesian, Logistic Regression Tracking Algorithm for Mitigating Disparate Misclassification
我们开发了一个完全贝叶斯,逻辑跟踪算法的目的是提供分类结果时,均匀地应用到个人与不同的敏感变量值是无偏的。在这里,我们考虑不同敏感变量组之间错误预测率差异形式的偏差。鉴于该方法是完全贝叶斯的,它非常适合于组参数或逻辑斯谛回归系数是动态量的情况。我们说明了我们的方法,与其他人相比,模拟数据集和著名的ProPublica COMPAS数据集。
2020-09-24 stat.AP