Variational Bayesian hierarchical regression for data analysis
用于分析或预测任务的收集的数据通常具有分层结构,例如,来自执行相同任务的各个人的数据。对数据结构进行建模可以提高导出结果的可靠性和新的未观测数据的预测性能。贝叶斯建模为设计层次模型提供了一个工具包。然而,通常用于参数估计的马尔可夫链蒙特卡罗方法在计算上昂贵。这通常使其在许多应用中不适用。然而,变分贝叶斯方法允许以少得多的计算工作量得到近似。本文描述了分层线性贝叶斯回归的变分近似的推导,并演示了其在数据分析中的应用。
2018-11-08 stat.AP
A semiparametric modeling approach using Bayesian Additive Regression Trees with an application to evaluate heterogeneous treatment effects
贝叶斯加性回归树(Bayesian Additive Regression Trees,BART)是一种灵活的机器学习算法,能够捕获结果和协变量之间的非线性以及协变量之间的相互作用。我们将BART扩展到一个半参数回归框架,其中对结果的条件期望是治疗、其效应修饰因子和混杂因素的函数。不具有科学意义的混杂因素允许具有未指定的函数形式,而治疗和其他具有科学重要性的协变量则由参数回归给出通常的线性形式。结果是贝叶斯半参数线性回归模型,其中线性部分的参数的后验分布可以解释为参数贝叶斯回归。这在以下情况下是有用的:变量的一个子集是实质性的,而其他变量是我们想要控制的讨厌的变量。这方面的一个例子发生在结构平均模型(SMM)的因果建模中。在一定的因果假设下,我们的方法可以用作贝叶斯SMM。我们的方法证明了模拟研究和应用程序的数据集,涉及新开始抗逆转录病毒治疗的艾滋病毒/丙型肝炎合并感染的成年人。这些方法在R包semibart中可用。
2018-06-11 stat.AP
Modeling Compositional Regression with uncorrelated and correlated errors: a Bayesian approach
组成数据由已知的组成向量组成,其分量是正的,并且在表示“整体”的比例或分数的区间(0,1)中定义。这些分量之和必须等于1。成分数据存在于不同的知识领域,如地质学,经济学,医学等。在本文中,我们介绍了一个贝叶斯分析的组成回归应用加性对数比(ALR)转换和假设不相关和相关的错误。基于马尔可夫链蒙特卡罗方法的贝叶斯推断过程。该方法说明了一个人工和一个真正的数据集排球。
2015-07-01 stat.AP
Bayesian Modal Regression based on Mixture Distributions
本文提出基于单峰混合分布的贝叶斯众数回归统一框架,推导后验正常性条件,并通过模拟和实际数据证明其对离群点稳健、能发现均值或中位数回归遗漏的协变量效应并构建更紧的预测区间。
2024-06-28 stat.AP stat.ME
Nonparametric Bayesian Two-Level Clustering for Subject-Level Single-Cell Expression Data
单细胞测序的出现为个性化治疗开辟了新的途径。在本文中,我们解决了一个两级聚类问题,同时受试者亚组发现(受试者级)和细胞类型检测(细胞级)的单细胞表达数据从多个主题。然而,目前的统计方法要么聚类细胞,而不考虑受试者的异质性或分组的主题,而不使用单细胞的信息。为了弥补细胞聚类和受试者分组之间的差距,我们开发了一个非参数贝叶斯模型,受试者和细胞聚类单细胞表达数据(SCSC)模型,同时实现受试者和细胞分组。SCSC无需预先指定受试者亚组编号或细胞类型编号。它自动诱导受试者亚组结构并匹配受试者之间的细胞类型。此外,它通过故意考虑数据的丢失、库大小和过度分散来直接对单细胞原始计数数据进行建模。提出了一种分块Gibbs采样器用于后验推理。模拟研究和对多受试者iPSC scRNA-seq数据集的应用验证了SCSC同时聚类受试者和细胞的能力。
2021-02-19 stat.AP stat.ME
On Soft Bayesian Additive Regression Trees and asynchronous longitudinal regression analysis
在许多纵向研究中,协变量和响应经常在不规则、不匹配和受试者特定的时间间歇性观察到。当协变量和响应被异步观测时,如何处理这样的数据是一个经常提出的问题。贝叶斯加性回归树(Bayesian Additive Regression Trees,BART)是一种贝叶斯非参数方法,已被证明与最好的现代预测方法(如随机森林和提升决策树)具有竞争力。树的和结构与贝叶斯推理框架相结合,提供了一个准确和鲁棒的统计方法。BART变体软贝叶斯加性回归树(SBART)构造使用随机决策树和实质性的理论和实践的好处。在本文中,我们提出了一个加权SBART模型的解决方案,异步纵向数据。与其他方法相比,现有方法在对协变量过程的假设较少的情况下是有效的。广泛的模拟研究提供了这种解决方案的数值支持。来自艾滋病研究的数据被用来说明我们的方法
2021-08-26 stat.AP stat.ME
Sparse-Group Bayesian Feature Selection Using Expectation Propagation for Signal Recovery and Network Reconstruction
Max Planck Institute for Molecular Genetics(马克斯·普朗克分子遗传学研究所)
我们提出了一种贝叶斯方法的特征选择中存在的分组信息之间和组内水平的稀疏性。而不是使用随机算法的参数推断,我们采用期望传播,这是一个确定性和快速的算法。在存在分组信息的情况下,用于特征选择的可用方法具有许多简短的描述:一方面,Lasso方法虽然快速,但低估了回归系数,并且没有很好地利用分组信息,另一方面,贝叶斯方法虽然在参数估计中准确,但通常依赖于随机且缓慢的吉布斯抽样过程来恢复参数,使得它们例如对于基因网络重建是不可行的。我们的方法的贝叶斯稀疏组框架与期望传播,使我们不仅能够恢复准确的参数估计信号恢复问题,但也使得有可能将此贝叶斯框架的大规模网络重建问题。所提出的方法是通用的,但在应用方面,我们专注于基因调控网络。我们的模拟和实验数据表明,该方法构成了一个很好的选择网络重建的正确选择的功能,预测新的数据和合理的计算时间的数量。
2018-09-25 cs.LG stat.CO stat.ML
Bayesian surface regression versus spatial spectral nonparametric curve regression
分析了2020年2月至10月期间部分西班牙社区省份的COVID-19发病率。两个无限维回归方法进行了测试。第一个是在Ruiz-Medina,Miranda和Espejo(2019)中介绍的回归框架中实现的。具体地说,一个baidom框架中采用的时间自相关算子的纯点谱的估计,表征表面序列的二阶结构。第二种方法是在空间曲线回归的背景下制定的。基于空间周期图算子,计算谱密度算子的非参数估计量来逼近曲线之间的空间相关性。降维是通过投影到长期空间协方差算子的经验特征向量上来实现的。交叉验证程序来测试两个功能回归方法的性能。
2021-10-30 stat.AP stat.ME
Bayesian Mode Regression
与均值、分位数和方差一样,众数也是集中趋势和数据汇总的重要度量。许多实际问题往往集中在“在网络中的所有元素中,哪个元素(基因或文件或信号)出现得最频繁或最典型?".在这种情况下,模式回归提供了回归量如何影响条件模式的方便总结,并且完全不同于基于条件均值或条件分位数或条件方差的其他回归模型。一些推理方法已被用于模式回归,但没有一个是从贝叶斯的角度。本文介绍了贝叶斯模式回归,探索三种不同的方法。我们从一个参数贝叶斯模型,采用一个似然函数,是基于一个模式的均匀分布。结果表明,无论数据的原始分布如何,使用这种特殊的均匀分布是贝叶斯模式回归的一种非常自然和有效的方法。基于此参数似然的后验估计,即使在误设定下,也是一致的且渐近正态的。然后,我们开发了一个非参数贝叶斯模型,使用Dirichlet过程(DP)的混合模式均匀分布,最后,我们探索贝叶斯经验似然模式回归,将经验似然到贝叶斯框架。本文还证明了各种不适当的先验未知模型参数产生一个适当的联合后验。使用模拟数据集和真实数据集说明了所提出的方法。
2012-08-02 stat.AP stat.ME
Bayesian nonparametric scalar-on-image regression via Potts-Gibbs random partition models
标量图像回归旨在研究基于高维成像数据的感兴趣标量响应的变化。我们提出了一种新的贝叶斯非参数标量图像回归模型,利用体素的空间坐标组体素具有相似的影响的响应有一个共同的系数。我们采用Potts-Gibbs随机分区模型作为随机分区的先验,其中分区过程是空间依赖的,从而鼓励代表空间连续区域的组。此外,贝叶斯收缩先验用于识别与预测最相关的协变量和区域。使用模拟数据集说明了所提出的模型。
2022-06-22 stat.AP stat.ME
Bayesian Markov-Switching Partial Reduced-Rank Regression
CUNEF Universidad(CUNEF大学);Luiss University(卢伊斯大学);University of Milan(米兰大学);Fondazione Eni Enrico Mattei(埃尼·恩里科·马泰伊基金会);Queen Mary University of London(伦敦大学玛丽女王学院);Memorial University of Newfoundland(纽芬兰纪念大学)
本文提出贝叶斯马尔可夫切换部分降维回归模型,通过分组和秩估计处理时间变化的响应分组和不同复杂度的回归关系。
2025-12-19 stat.CO stat.ME
Bayesian profile regression for clustering analysis involving a longitudinal response and explanatory variables
鉴定具有共同功能的共调控基因是现代基因组学的一个关键问题。贝叶斯轮廓回归是一种半监督混合建模方法,它利用响应来指导对相关聚类的推断。以前的应用程序的配置文件回归考虑了单变量连续,分类,计数的结果。在这项工作中,我们扩展贝叶斯轮廓回归的情况下,结果是纵向(或多变量连续),并提供PReMiuMlongi,更新版本的PReMiuM,R包配置文件回归。我们考虑多元正态和高斯过程回归响应模型,并提供了四个模拟研究的原则应用程序的证明。该模型适用于芽殖酵母的数据,以确定在酿酒酵母细胞周期的基因组共调节。我们确定了4个不同的基因组与特定模式的基因表达轨迹,随着绑定的转录因子,可能参与其共同调控过程。
2021-11-08 stat.AP stat.ME
Risk Margin Quantile Function Via Parametric and Non-Parametric Bayesian Quantile Regression
我们开发了分位数回归模型,以获得风险边际和评估资本在非寿险应用。通过利用整个范围的条件分位数函数,特别是较高的分位数水平,我们详细介绍了分位数回归是如何能够提供一个准确的估计的风险保证金和概述的基础上的历史波动性的一般保险公司的损失组合的隐含资本。两个建模框架被认为是基于参数和非参数分位数回归模型,我们专门在这个保险设置。在参数分位数回归框架中,我们在贝叶斯回归框架下考虑了弹性广义贝塔分布族、非对称Laplace(AL)分布和幂Pareto分布等模型。通过马尔可夫链蒙特卡罗(MCMC)抽样策略研究了每种情况下的贝叶斯后验分位数回归模型。在非参数分位数回归框架中,我们与参数贝叶斯模型形成对比,我们采用AL分布作为代理,并与参数AL模型一起,将解决方案表示为均匀分布的尺度混合以便于实现。该模型扩展到采用动态均值,方差和偏度,并应用于分析两个真实的损失准备金数据集进行推理和讨论有趣的功能分位数回归的风险保证金计算。
2014-02-11 q-fin.RM stat.AP stat.CO
High-Dimensional Bayesian Regularised Regression with the BayesReg Package
贝叶斯惩罚回归技术,如贝叶斯套索和贝叶斯马蹄估计,最近在统计文献中受到了大量的关注。然而,在通用马尔可夫链蒙特卡罗平台(如STAN)之外,实现最先进的贝叶斯惩罚回归的软件相对较少。本文介绍了一个新的工具箱bayesreg,用于拟合具有连续收缩先验密度的贝叶斯惩罚回归模型。该工具箱的特点是具有高斯或重尾误差模型的贝叶斯线性回归和具有岭、套索、马蹄和马蹄$+$估计量的贝叶斯逻辑斯谛回归。该工具箱是免费的,开源的,可用于MATLAB和R数值平台。
2016-12-20 stat.CO
Bayesian Transfer Learning for High-Dimensional Linear Regression via Adaptive Shrinkage
University of California, Los Angeles(加州大学洛杉矶分校)
BLAST通过自适应收缩先验和贝叶斯源选择,提升高维线性回归的后验推断精度与不确定性量化。
2026-03-06 stat.AP stat.CO stat.ME
A Theoretical Analysis of Logistic Regression and Bayesian Classifiers
本研究的目的是显示逻辑回归和贝叶斯分类器在指数和非指数分布族的情况下的根本区别,产生以下结果。首先,逻辑回归是贝叶斯分类器的一种不太通用的表示。其次,我们应该假设类的分布,以正确说明逻辑回归方程。第三,在特定情况下,正确指定的生成贝叶斯分类器和判别逻辑回归的预测概率之间没有差异。
2021-08-08 econ.EM stat.ME
Bayesian Clustered Coefficients Regression with Auxiliary Covariates Assistant Random Effects
在区域经济学研究中,一个令人感兴趣的问题是检测区域之间的相似性,并估计它们在经济模型中的共享系数。在这篇文章中,我们提出了一个有限混合物(MFM)聚类回归模型的辅助协变量,占人口或经济特征的相似性在空间域的混合。我们的贝叶斯构造提供了聚类数和聚类配置的推断,以及每个聚类的参数估计。通过模拟实验说明了该模型的实证性能,并进一步应用于佐治亚州每月住房成本的影响因素的研究。
2021-08-28 econ.EM stat.AP stat.ME
Bayesian experimental design: grouped geometric pooled posterior via ensemble Kalman methods
University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
本文提出一种分组几何池化后验框架,通过集成卡尔曼方法在保持计算成本的同时提高准确性,适用于复杂物理系统的贝叶斯实验设计问题。
2026-04-20 cs.IT math.IT stat.ML
Regression Adjustment for Noncrossing Bayesian Quantile Regression
针对分位数回归中多个分位数的拟合曲线可能交叉的问题,提出了一种两阶段的方法。在第一阶段应用标准贝叶斯分位数回归模型,然后进行高斯过程回归调整,该调整使分位数函数单调化,同时从附近的分位数借用强度。两阶段方法在计算上是高效的,并且比现有技术更通用。该方法被证明是具有竞争力的替代方法,通过其性能在模拟的例子。
2015-02-04 stat.ME
Posterior Consistency of Bayesian Inverse Regression and Inverse Reference Distributions
我们认为贝叶斯推断逆回归问题的目标是推断未观察到的协变量从观察到的响应和协变量。我们建立后验一致性的贝叶斯逆回归problemunder适当的先验在留一交叉验证设置中的未观察到的协变量。我们将其与逆参考分布的后验一致性(Bhattacharya(2013))相关联,以评估模型的充分性。我们用贝叶斯逆回归的各种例子来说明我们的理论和方法,以及足够的模拟实验。
2020-05-01 math.ST stat.TH
Variable Selection in Bayesian Semiparametric Regression Models
本文扩展了现有的用于高斯过程回归中变量选择的贝叶斯方法,以选择空间相关结构中的回归项和活动协变量。然后,我们使用估计的后验概率通过交叉验证在相对较少的模式之间进行选择,从而提高预测。
2014-12-31 stat.ME
Multiple Adaptive Bayesian Linear Regression for Scalable Bayesian Optimization with Warm Start
贝叶斯优化(BO)是一种基于模型的无梯度黑箱函数优化方法。通常,BO由高斯过程(GP)驱动,其算法复杂度是评估数量的立方。因此,基于GP的BO不能利用大量的过去或相关的函数评估,例如,来热启动BO过程。我们开发了一个多自适应贝叶斯线性回归模型作为一个可扩展的替代方案,其复杂性是线性的观察。多个贝叶斯线性回归模型通过共享的前馈神经网络耦合,该前馈神经网络学习联合表示并跨机器学习问题传递知识。
2017-12-08 stat.ML
Bayesian model selection for linear regression
在这篇笔记中,我们介绍了线性回归与基函数,以应用贝叶斯模型选择。我们的目标是结合贝叶斯分析提供的奥卡姆剃刀,以便自动选择能够最佳地解释数据而不过度拟合的模型。
2015-12-15 math.ST stat.ME stat.TH
Geometric Ergodicity of Gibbs Samplers in Bayesian Penalized Regression Models
我们考虑三个贝叶斯惩罚回归模型,并表明,各自的确定性扫描吉布斯采样器是几何遍历的回归问题的尺寸无关。我们证明了几何遍历的吉布斯采样贝叶斯融合套索,贝叶斯组套索,和贝叶斯稀疏组套索。几何遍历性与矩条件一起导致蒙特卡罗平均值的马尔可夫链中心极限定理的存在,并确保可靠的输出分析。我们的几何遍历性的结果,使我们也可以提供默认的吉布斯采样器的起始值。
2017-07-04 math.ST stat.CO stat.TH
Linear regression in the Bayesian framework
这些注释旨在阐明从给定数据集执行线性回归的不同策略。文献中提出了加权和普通最小二乘法、岭回归或LASSO等方法。本文是我对这些方法的理解,据我所知,这些方法更好地统一在贝叶斯框架中。导出了用这些方法进行线性回归的计算公式。模型选择的KIC也在本文档的最后导出。
2019-08-09 stat.ME
Bayesian quantile additive regression trees
在给定一组预测变量的条件均值估计中,回归树的嵌入已经成为流行的统计工具。然而,尽管线性分位数回归模型越来越受欢迎,但分位数回归树及其集成尚未获得太多关注。这项工作提出了一个贝叶斯分位数加性回归树模型,显示出非常好的预测性能,说明使用模拟研究和实际数据的应用。还考虑了进一步扩展以解决二进制分类问题。
2016-07-10 stat.ML
A note on Bayesian logistic regression for spatial exponential family Gibbs point processes
近年来,指数族Gibbs空间点过程的逻辑斯谛回归推理方法被提出.我们将它与二次切向变分逼近技术相结合,导出了一种新的贝叶斯空间点模式分析方法。该技术进行了详细描述,并证明了数值例子。
2014-11-03 stat.ME stat.OT
Model Comparison for Semantic Grouping
Babylon Health(巴比伦健康)
我们引入了一个概率框架来量化两组嵌入之间的语义相似性。我们制定的语义相似性的任务作为一个模型比较任务,我们对比生成模型,共同模型两个句子与一个不。我们说明了如何使用这个框架可以用于语义文本相似性的任务,使用明确的假设如何嵌入的话产生。我们应用模型比较,利用信息标准来解决贝叶斯模型比较的一些缺点,同时仍然惩罚模型的复杂性。我们通过在STS数据集上选择适当的可能性来应用所提出的框架来实现具有竞争力的结果。
2019-05-01 cs.CL cs.LG stat.ML
Permuted and Augmented Stick-Breaking Bayesian Multinomial Regression
要建模的分类响应变量的协变量,我们提出了一个排列和增强棒打破(paSB)建设,一对一的映射观察到的类别随机排列的潜在棒。这种新的构造将多项式回归转换为对特定于棒的二元随机变量的回归分析,给定其协变量依赖的棒成功概率,这些随机变量是相互独立的,这些概率由其相应类别的回归系数参数化。paSB构造允许将任意交叉熵损失二进制分类器转换为贝叶斯多项式分类器。具体地说,我们参数化的负面的粘失效概率与一个家庭的协变量依赖的softplus功能,构建非参数贝叶斯多项式softplus回归,并转换贝叶斯支持向量机(SVM)到贝叶斯多项式SVM。这些贝叶斯多项式回归模型不仅能够提供概率估计,量化不确定性,增加鲁棒性,并产生非线性分类决策边界,而且还适合于后验模拟。实例结果证明了它们有吸引力的性质和性能。
2018-06-19 stat.ME stat.ML
On posterior concentration rates for Bayesian quantile regression based on the misspecified asymmetric Laplace likelihood
非对称拉普拉斯密度(ALD)被用作贝叶斯分位数回归的工作似然。Sriram等人(2013)基于错误指定的ALD推导出贝叶斯线性分位数回归的后验一致性。虽然他们的论文也主张$\sqrt{n}-$的一致性,但Sriram和Ramamoorthi(2017)强调,该论点仅适用于小于$\sqrt{n}$的比率。因此,$\sqrt{n}-$率的问题仍然没有得到解决,但有必要进行有意义的贝叶斯推断的基础上的ALD。在本文中,我们得出的结果,以获得后验一致率贝叶斯分位数回归的基础上误指定的ALD。我们得出我们的结果在一个稍微一般的设置,分位数函数可能是非线性的。特别地,我们给出了使用ALD的贝叶斯线性分位数回归的$\sqrt{n}-$一致性的充分条件。我们还提供了贝叶斯非线性分位数回归的例子。
2020-08-08 math.ST stat.TH
MPBART - Multinomial Probit Bayesian Additive Regression Trees
本文提出了多项式概率贝叶斯加性回归树(MPBART)作为BART-贝叶斯加性回归树的多项式概率扩展(Chipman et al(2010))。MPBART是灵活的,允许包括预测,描述观察单位以及可用的选择方案。通过两个模拟研究和四个真实数据的例子,我们表明,MPBART具有很好的预测性能相比,其他离散选择和多类分类方法。为了实现MPBART,我们开发了一个R包mpbart,可以从CRAN仓库免费获得。
2016-02-06 stat.ML
Bayesian regression and Bitcoin
Massachusetts Institute of Technology(麻省理工学院)
在本文中,我们讨论了贝叶斯回归方法及其预测比特币(一种最近流行的虚拟加密货币)价格变化的有效性。贝叶斯回归是指利用经验数据作为代理进行贝叶斯推理。我们利用贝叶斯回归的所谓的“潜在源模型”。Chen,Nikolov and Shah(2013)和Bresler,Chen and Shah(2014)介绍并讨论了“潜在源模型”的贝叶斯回归,用于二进制分类。他们建立了二元分类设置方法的理论和经验功效。在本文中,我们利用它来预测真实价值的数量,即比特币的价格。基于这种价格预测方法,我们设计了一个简单的比特币交易策略。该策略能够在不到60天的时间内对实际数据跟踪运行时,投资几乎翻了一番。
2014-10-06 cs.AI math.ST stat.TH
Bayesian size-and-shape regression modelling
ETH Zurich(苏黎世联邦理工学院);Università della Svizzera italiana(瑞士意大利语大学);Polytechnic of Turin(都灵理工大学);Sapienza University(罗马第一大学)
本研究基于已有成果,提出带高斯地标点的尺寸与形状响应变量回归模型的贝叶斯估计方法,该方法属于贝叶斯潜变量模型框架,具备高度灵活的建模能力。
2024-06-10 stat.ME
Spatial Regression and the Bayesian Filter
空间依赖结果的回归对推理和计算提出了许多挑战。非空间模型和传统的空间混合效应模型各有其优点和缺点,使得从业者难以确定如何进行空间回归分析。我们讨论了各种流行的空间回归模型隐含假设的数据生成机制,并讨论了这些假设的影响。我们提出贝叶斯空间滤波作为非空间模型和传统空间混合模型之间的近似中间方式。我们通过模拟表明,我们的贝叶斯空间过滤模型有几个理想的属性,因此可能是一个有用的除了空间统计学家的工具包。
2017-07-31 stat.ME
Theoretical properties of Bayesian Student-$t$ linear regression
Bayesian Student- $t$线性回归是正态模型的一种常见的稳健替代模型,但其理论特性还不是很好地理解。我们的目标是通过提供两种不同的渐近情景分析来填补一些空白。结果允许精确地表征通过自由度(至少渐近地)控制的鲁棒性和效率之间的权衡。
2023-02-07 math.ST stat.ME stat.TH
Bayesian Kernel and Mutual $k$-Nearest Neighbor Regression
R2 Research(R2 研究公司)
我们提出了两种非参数回归方法的贝叶斯扩展,这两种方法是核回归方法和互$k$ -最近邻回归方法。基于高斯过程回归模型导出,扩展提供了目标值估计的分布和选择超参数的框架。结果表明,这两种方法分别渐近收敛于核回归方法和互$k$ -最近邻回归方法.仿真结果表明,所提出的方法可以选择合适的超参数,并优于或相当于人工数据集和真实世界数据集的前方法。
2016-08-04 cs.LG stat.ML
Bayesian Regression of Piecewise Constant Functions
我们推导出一个精确和有效的贝叶斯回归算法的分段常数函数的未知段数,边界位置和水平。它适用于任何噪声和段级先验,例如可以处理离群值的Cauchy。我们得到简单,但很好的估计段内方差。我们还提出了贝叶斯回归曲线作为平滑数据而不模糊边界的更好方法。贝叶斯方法还允许直接确定证据、断裂概率和误差估计,这对于模型选择以及显著性和稳健性研究非常有用。我们讨论了合成和现实世界的例子的性能。将讨论许多可能的扩展。
2006-06-13 cs.LG math.PR math.ST
Robust Bayesian Regression with Synthetic Posterior
虽然线性回归模型是统计科学中的基本工具,但估计结果可能对离群值敏感。虽然在频率论框架中已经提出了几种稳健的方法,但统计推断并不一定是简单的。本文提出了一种基于$γ$ -散度的合成后验分布的线性回归模型的贝叶斯鲁棒推断方法,它使我们能够通过后验分布自然地评估估计的不确定性。我们也考虑使用收缩先验的回归系数进行稳健贝叶斯变量选择和估计的同时。我们在吉布斯抽样中采用贝叶斯自助法,发展了一种有效的后验计算算法。通过仿真研究和著名数据集的应用,说明了所提出的方法的性能。
2020-05-26 stat.ME
Bayesian Dyadic Trees and Histograms for Regression
许多用于回归的机器学习工具基于将协变量空间递归划分为较小的区域,其中可以局部估计回归函数。其中,回归树和他们的合奏表现出令人印象深刻的经验表现。在这项工作中,我们揭示了这些方法的贝叶斯变体背后的机制。特别是,我们研究贝叶斯回归直方图,如贝叶斯二元树,在简单的回归情况下,只有一个预测。我们专注于重建的回归曲面是分段常数,其中的跳跃数是未知的。我们发现,适当设计的先验,后验分布集中在真正的步骤回归函数在一个接近极小极大率。这些结果不需要知道真正的步骤数,也不需要知道真正的分区单元的宽度。因此,贝叶斯二元回归树是完全自适应的,可以恢复真正的分段回归函数几乎一样,如果我们知道确切的数量和位置的跳跃。我们的研究结果构成了理解贝叶斯树及其集合在实践中如此有效的第一步。作为一个旁白,我们讨论了平衡区间划分的先验分布,以及它们如何与几何概率中的一个老问题相关。也就是说,我们涉及的概率覆盖的圆周的圆与随机弧的端点被限制在一个网格,一个新的变种的原始问题。
2017-11-28 math.ST stat.TH
Bayesian linear regression with Student-t assumptions
贝叶斯线性回归作为一种仅使用训练数据自动确定模型复杂度的方法,为我们提供了一种选择超参数的原则性方法。但当分布假设超出高斯分布时,往往需要近似推理。本文提出了一个具有学生t假设的贝叶斯线性回归模型(BLRS),它可以被精确地推断。在这个框架下,共轭先验和期望最大化(EM)算法进行了推广。同时,我们证明了最大似然解等价于高斯假设下的标准贝叶斯线性回归(BLRG)。BLRS的$q$ -EM算法与BLRG的EM算法几乎相同。实验结果表明,在预测网络新闻流行度的任务中,BLRS的$q$ -EM比BLRG的EM能更快地收敛。
2016-04-15 cs.LG stat.ML
Mixed Beta Regression: A Bayesian Perspective
本文建立在最近的研究,重点是连续有界数据的回归建模,如在连续尺度上测量的比例。具体来说,它涉及来自贝叶斯方法的混合效应的beta回归模型。我们使用一个合适的参数化的贝塔法在其平均值和精度参数,并允许这两个参数通过回归结构,可能涉及固定和随机效应建模。规范的先验分布进行了讨论,通过吉布斯抽样的计算实现,并给出了说明性的例子。
2012-11-14 stat.CO
Dimension-free PAC-Bayesian bounds for matrices, vectors, and linear least squares regression
在弱多项式矩假设下,考虑重尾样本分布,研究了无量纲PAC贝叶斯边界。它涵盖了向量或矩阵的平均值的估计,以及最小二乘线性回归的应用。特别的努力致力于估计的格拉姆矩阵,由于其突出的作用,在高维数据分析。
2017-12-31 math.ST stat.TH
Regression approaches for Approximate Bayesian Computation
本书介绍了近似贝叶斯计算(ABC)的回归方法和回归调整。回归调整在拒绝抽样之后调整参数值,以考虑模拟与观测之间的不完全匹配。当有许多汇总统计数据时,模拟和观察之间的不完美匹配可能更加明显,这种现象被称为维数灾难。由于这种不完美的匹配,与真实的可信区间相比,用回归方法获得的可信区间可能会膨胀。本章介绍了回归调整的主要概念。本文给出了一个定理,比较了有无回归调整的后验分布的理论性质。最后,回归调整在群体遗传学中的实际应用表明,与拒绝方法相比,回归调整缩小了后验分布,这是一种避免置信区间膨胀的解决方案。
2017-07-05 stat.ME
The Tilted Beta Binomial Linear Regression Model: a Bayesian Approach
本文提出了新的线性回归模型来处理过分散的二项数据集。这些新的模型称为倾斜贝塔二项回归模型,是根据倾斜贝塔二项分布定义的,假设二项分布的参数遵循倾斜β分布。作为这种回归模型的一种特殊情况,我们提出了β矩形二项回归模型,从二项分布定义,假设他们的参数遵循β矩形分布。这些新的线性回归模型,定义假设这些新的分布的参数遵循回归结构,使用贝叶斯方法和OpenBUGS软件进行拟合。建议的回归模型拟合到一个过度分散的二项数据集的种子发芽取决于所选择的种子androot的类型的数量。
2019-11-25 stat.ME
Machine Learning, Linear and Bayesian Models for Logistic Regression in Failure Detection Problems
SoftServe, Inc.(SoftServe 公司);Ivan Franko National University of Lviv(利沃夫伊万·弗兰科国立大学)
在这项工作中,我们研究了使用逻辑回归在制造故障检测。作为分析的数据集,我们使用了来自Kaggle竞争Bosch生产线性能的数据。我们考虑了机器学习、线性和贝叶斯模型的使用。对于机器学习方法,我们分析了基于XGBoost树的分类器,以获得高分分类。使用广义线性模型进行Logistic回归,可以分析所研究的因素的影响。逻辑回归的贝叶斯方法给出了模型参数的统计分布。它可以用于概率分析,例如风险评估。
2016-12-17 cs.LG stat.ML
bartMachine: Machine Learning with Bayesian Additive Regression Trees
我们在R中提出了一个新的包,实现了贝叶斯加性回归树(BART)。该软件包引入了许多新的功能,数据分析使用BART,如变量选择,相互作用检测,模型诊断图,纳入缺失数据和能力,以保存树为未来的预测。它比当前的R实现快得多,并行化,并且能够处理大样本量和高维数据。
2014-11-24 cs.LG stat.ML
Rejoinder for the discussion of the paper "A novel algorithmic approach to Bayesian Logic Regression"
在这篇答辩中,我们总结了评论,问题和评论的文件“一种新的算法方法贝叶斯逻辑回归”的讨论者。然后,我们对这些评论、问题和评论做出回应,提供原始模型的几个扩展,并提供关于我们的R包EMJMCMC的教程(http://aliaksah.github.io/EMJMCMC2016/)
2020-05-01 math.LO stat.CO stat.ME
Generalized Bayesian Additive Regression Trees Models: Beyond Conditional Conjugacy
University of Texas at Austin(德克萨斯大学奥斯汀分校)
贝叶斯加法回归树近年来由于其将机器学习技术与原则性不确定性量化相结合的能力而受到越来越多的关注。然而,用于拟合BART模型的贝叶斯后拟合算法将其应用限制在一小类存在条件共轭的模型上。在这篇文章中,我们通过引入一个非常简单的、无调整参数的、可逆跳马尔可夫链蒙特卡罗算法,大大扩展了BART对任意\emph{generalized BART}模型的适用范围。我们的算法只需要用户能够计算的可能性和(可选)其梯度和费舍尔信息。潜在的应用是非常广泛的,我们考虑的例子在生存分析,结构异方差回归,伽玛形状回归。
2022-02-20 cs.LG stat.ME stat.ML
Bayesian Spatial Monotonic Multiple Regression
我们考虑单调,多元回归的一组连续的区域(格子数据)。回归函数在区域之间允许变化,并表现出地理结构。我们开发了新的贝叶斯非参数方法,它允许连续和不连续的功能形状,并估计使用标记点过程和可逆跳马尔可夫链蒙特卡罗技术。地理上的依赖性是由一个灵活的先验分布,参数化允许依赖性随功能水平而变化。该方法使用贝叶斯全局优化和交叉验证进行调整。估计值可用于变量选择、阈值检测和预测以及回归函数的外推。我们的方法的性能和灵活性说明了模拟研究和挪威保险数据集的应用。
2016-05-19 stat.ME
Variational Bayesian inference for linear and logistic regression
本文介绍线性与逻辑回归的变分贝叶斯推断,涵盖模型、推导及MATLAB/Octave实现,并作为教程与示例文档,提供免费在线函数。
2019-06-29 stat.ML
On high-dimensional classification by sparse generalized Bayesian logistic regression
本文针对高维分类问题,提出稀疏广义贝叶斯逻辑回归方法,利用分数似然后验,推导了分数后验的集中结果及误分类超额风险界,并扩展到模型误设情形。
2024-03-19 math.ST stat.TH
Selection of tuning parameters in bridge regression models via Bayesian information criterion
我们考虑的桥梁线性回归建模,它可以产生一个稀疏或非稀疏模型。模型建立过程中的一个关键点是调整参数的选择,包括正则化参数和调整参数的桥梁回归模型。调整参数的选择可以看作是一个模型选择和评估问题。本文提出了一种基于贝叶斯方法的桥梁回归模型评价的模型选择准则。该选择标准使我们能够客观地选择调整参数。我们调查我们提出的建模策略的有效性,通过一些数值例子。
2012-04-14 stat.ME stat.ML
Tutorial on Bayesian Functional Regression Using Stan
Johns Hopkins University(约翰斯·霍普金斯大学);University of Minnesota(明尼苏达大学)
本文介绍了使用 Stan 实现贝叶斯函数回归的方法,并通过 NHANES 数据展示了其在灵活建模和替代频率学方法方面的优势。
2026-02-26 stat.CO stat.ME
Bayesian Group Selection in Logistic Regression with Application to MRI Data Analysis
本文研究协变量为组结构的贝叶斯逻辑斯谛回归模型。在高维环境中,通常假设只有一小部分组是重要的,因此一致的组选择是非常重要的。虽然一致频率论的组选择方法已经被提出,但逻辑斯谛回归模型的贝叶斯组选择方法的理论性质还没有被研究。本文研究了高维环境下逻辑斯谛回归模型的分层组spike和slab先验。在温和的条件下,我们建立了诱导后验的强组选择一致性,这是贝叶斯文献中的第一个理论结果。通过仿真研究,我们证明了所提出的方法的性能优于现有的国家的最先进的方法在各种设置。我们进一步将我们的方法应用于预测帕金森病的MRI数据集,并显示其优于其他竞争者的优势。
2019-12-04 stat.ME