Multivariate Bayesian Last Layer for Regression with Uncertainty Quantification and Decomposition
Université Paris Saclay（巴黎萨克雷大学）；CEA LIST（法国原子能和替代能源委员会LIST研究所）；CEA（法国原子能和替代能源委员会）
本文提出了一种多变量回归中的贝叶斯最后层模型，通过EM算法实现参数学习，能够分离不确定性并增强神经网络的不确定性感知能力。
2026-01-30 cs.LG stat.ML
Differentially Private Bayesian Linear Regression
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
线性回归是处理敏感的人工来源数据的许多领域的重要工具。重要的先前工作集中在产生差分私人点估计，它提供了一个隐私保证个人，同时仍然允许建模者通过估计回归系数从数据中得出见解。我们研究贝叶斯线性回归问题，目标是计算后验分布，正确量化私人发布的统计数据的不确定性。我们表明，一个天真的方法，忽略了隐私机制注入的噪音在现实的数据设置做得很差。然后，我们开发了噪声感知的方法，执行推理的隐私机制，并在广泛的场景中产生正确的后验。
2019-10-29 cs.LG stat.ML
Fully Nonparametric Bayesian Additive Regression Trees
University of Pennsylvania（宾夕法尼亚大学）；Medical College of Wisconsin（威斯康星医学院）；Arizona State University（亚利桑那州立大学）
贝叶斯加性回归树（Bayesian Additive Regression Trees，BART）是一种完全贝叶斯的建模方法。BART可以以相当自动的方式揭示具有高维回归量的复杂回归函数，并通过后验提供不确定性的贝叶斯量化。但是，BART假设IID正常错误。这种强参数假设可能导致误导性推断和不确定性量化。在本文中，我们使用经典的狄利克雷过程混合（Dirichlet process mixture）机制的非参数模型的误差分布。BART的一个关键优势是默认的先验设置在各种问题中都能很好地工作。扩展BART的挑战是选择BART的参数，以便在误差接近正态时不会失去标准BART方法的优势，但BART具有适应非正态误差的能力。
2018-07-09 cs.LG stat.ML
metabeta -- A fast neural model for Bayesian mixed-effects regression
Human-Centered AI, Helmholtz Munich, Germany（以人为中心的人工智能，慕尼黑海德堡研究所）
metabeta是一种快速的神经网络模型，用于贝叶斯混合效应回归，通过预训练时间优化计算，实现高效且稳定的性能。
2026-02-04 cs.LG stat.ML
On the Gaussian process limit of Bayesian Additive Regression Trees
本文推导并计算了精确的BART先验协方差函数，将其无限树极限实现为高斯过程回归，发现通过自然调整超参数可使其与标准BART竞争力相当，从而简化模型构建并避开复杂的MCMC算法。
2025-07-11 cs.LG stat.ML
Uncertainty-Aware (UNA) Bases for Deep Bayesian Regression Using Multi-Headed Auxiliary Networks
Harvard University（哈佛大学）
神经线性模型（NLM）是深度贝叶斯模型，通过从数据中学习特征，然后对这些特征执行贝叶斯线性回归，从而产生预测不确定性。尽管他们的流行，很少有作品集中在有条不紊地评估这些模型的预测不确定性。在这项工作中，我们证明了NLM的传统训练程序大大低估了分布外输入的不确定性，因此它们不能天真地部署在风险敏感的应用程序中。我们确定了这种行为的根本原因，并提出了一个新的训练框架，捕捉有用的预测不确定性的下游任务。
2021-12-15 cs.LG stat.ML
REALITrees: Rashomon Ensemble Active Learning for Interpretable Trees
Department of Statistics, University of Washington（统计学系，华盛顿大学）；Department of Computer Science, Duke University（计算机科学系，杜克大学）；Department of Sociology, University of Washington（社会学系，华盛顿大学）
REAL通过构建近优模型集合，利用PAC-Bayesian框架优化委员会成员权重，提升主动学习在中等噪声环境下的性能。
2026-03-24 cs.LG stat.ML
Very fast Bayesian Additive Regression Trees on GPU
unifi（乌尼维斯大学）；Department of Statistics, Computer Science, Applications ``Giuseppe Parenti'' (DISIA)（统计与计算机科学应用系（DISIA））
针对BART运行慢的问题，提出GPU加速实现，速度提升高达200倍，与XGBoost竞争，并开源在bartz包中。
2025-07-09 cs.LG stat.ML
Bayesian Information Sharing Between Noise And Regression Models Improves Prediction of Weak Effects
Aalto University（阿尔托大学）；University of Helsinki（赫尔辛基大学）；Institute for Molecular Medicine Finland (FIMM)（芬兰分子医学研究所（FIMM））；University of Oulu（奥卢大学）；Oulu University Hospital（奥卢大学医院）；University of Eastern Finland（东芬兰大学）；Imperial College London（帝国理工学院）；National Institute for Health and Welfare（国家健康与福利研究所）；University of Bristol（布里斯托大学）
我们考虑在多输出回归设置中预测弱效应，当协变量被期望解释一个小的量，小于$\approx 1%$，目标变量的方差。为了便于预测的弱影响，我们约束我们的模型结构，通过引入一种新的贝叶斯方法之间的回归模型和噪声模型共享信息。通过在贝叶斯降秩回归的上下文中引入无限收缩先验和组稀疏性，并使用贝叶斯无限因子模型作为灵活的低秩噪声模型，实现了有效参数数的进一步减少。在我们的实验中，结合新颖性的模型在丰富的表型数据的基因组预测中优于替代方案。特别是，噪声和回归模型之间的信息共享导致预测精度的显着提高。
2013-10-16 cs.LG stat.ML
Generalized Bayesian Additive Regression Trees Models: Beyond Conditional Conjugacy
University of Texas at Austin（德克萨斯大学奥斯汀分校）
贝叶斯加法回归树近年来由于其将机器学习技术与原则性不确定性量化相结合的能力而受到越来越多的关注。然而，用于拟合BART模型的贝叶斯后拟合算法将其应用限制在一小类存在条件共轭的模型上。在这篇文章中，我们通过引入一个非常简单的、无调整参数的、可逆跳马尔可夫链蒙特卡罗算法，大大扩展了BART对任意\emph{generalized BART}模型的适用范围。我们的算法只需要用户能够计算的可能性和（可选）其梯度和费舍尔信息。潜在的应用是非常广泛的，我们考虑的例子在生存分析，结构异方差回归，伽玛形状回归。
2022-02-20 cs.LG stat.ME stat.ML
Multiple Adaptive Bayesian Linear Regression for Scalable Bayesian Optimization with Warm Start
贝叶斯优化（BO）是一种基于模型的无梯度黑箱函数优化方法。通常，BO由高斯过程（GP）驱动，其算法复杂度是评估数量的立方。因此，基于GP的BO不能利用大量的过去或相关的函数评估，例如，来热启动BO过程。我们开发了一个多自适应贝叶斯线性回归模型作为一个可扩展的替代方案，其复杂性是线性的观察。多个贝叶斯线性回归模型通过共享的前馈神经网络耦合，该前馈神经网络学习联合表示并跨机器学习问题传递知识。
2017-12-08 stat.ML
Bayesian quantile additive regression trees
在给定一组预测变量的条件均值估计中，回归树的嵌入已经成为流行的统计工具。然而，尽管线性分位数回归模型越来越受欢迎，但分位数回归树及其集成尚未获得太多关注。这项工作提出了一个贝叶斯分位数加性回归树模型，显示出非常好的预测性能，说明使用模拟研究和实际数据的应用。还考虑了进一步扩展以解决二进制分类问题。
2016-07-10 stat.ML
MPBART - Multinomial Probit Bayesian Additive Regression Trees
本文提出了多项式概率贝叶斯加性回归树（MPBART）作为BART-贝叶斯加性回归树的多项式概率扩展（Chipman et al（2010））。MPBART是灵活的，允许包括预测，描述观察单位以及可用的选择方案。通过两个模拟研究和四个真实数据的例子，我们表明，MPBART具有很好的预测性能相比，其他离散选择和多类分类方法。为了实现MPBART，我们开发了一个R包mpbart，可以从CRAN仓库免费获得。
2016-02-06 stat.ML
Variational Bayesian inference for linear and logistic regression
本文介绍线性与逻辑回归的变分贝叶斯推断，涵盖模型、推导及MATLAB/Octave实现，并作为教程与示例文档，提供免费在线函数。
2019-06-29 stat.ML
Permuted and Augmented Stick-Breaking Bayesian Multinomial Regression
要建模的分类响应变量的协变量，我们提出了一个排列和增强棒打破（paSB）建设，一对一的映射观察到的类别随机排列的潜在棒。这种新的构造将多项式回归转换为对特定于棒的二元随机变量的回归分析，给定其协变量依赖的棒成功概率，这些随机变量是相互独立的，这些概率由其相应类别的回归系数参数化。paSB构造允许将任意交叉熵损失二进制分类器转换为贝叶斯多项式分类器。具体地说，我们参数化的负面的粘失效概率与一个家庭的协变量依赖的softplus功能，构建非参数贝叶斯多项式softplus回归，并转换贝叶斯支持向量机（SVM）到贝叶斯多项式SVM。这些贝叶斯多项式回归模型不仅能够提供概率估计，量化不确定性，增加鲁棒性，并产生非线性分类决策边界，而且还适合于后验模拟。实例结果证明了它们有吸引力的性质和性能。
2018-06-19 stat.ME stat.ML
A Variational Bayesian State-Space Approach to Online Passive-Aggressive Regression
在线被动攻击（PA）学习是一类基于边缘的在线算法，适用于各种实时预测任务，包括分类和回归。PA算法制定的确定性点估计问题由一组用户定义的超参数：该方法无法捕捉模型/预测的不确定性，使其性能高度敏感的超参数配置。在本文中，我们介绍了一种新的PA学习框架的回归，克服了上述限制。我们贡献了一个贝叶斯状态空间解释PA回归，随着一个新的在线变分推断计划，不仅产生概率预测，但也提供了自动超参数调整的好处。各种现实世界的数据集的实验表明，我们的方法执行显着优于一个更标准的，线性高斯状态空间模型。
2015-09-08 stat.ML
The Bayesian Echo Chamber: Modeling Social Influence via Linguistic Accommodation
Duke University（杜克大学）；UCL（伦敦大学学院）；Microsoft Research（微软研究院）
我们提出了贝叶斯回声室，一个新的贝叶斯生成模型的社会互动数据。该模型通过对人们语言使用随时间的演变进行建模，发现它们之间潜在的影响关系。与以前的工作推断的影响，这主要集中在简单的时间动态证明通过话轮转换行为，我们的模型捕捉到更微妙的影响关系，证明通过语言的适应模式的互动内容。该模型是基于离散模拟的多变量霍克斯过程，允许一个完全的贝叶斯推断算法。我们验证了我们的模型的能力，发现潜在的影响模式，使用美国最高法院和电影“12愤怒的人”听到的辩论成绩单。“我们展示了我们的模型的能力，通过使用它来推断联邦公开市场委员会会议记录的潜在影响模式，展示了在小组讨论中发现社会动态的最先进性能。
2015-01-27 cs.CL cs.LG cs.SI
Quantum Gaussian Process Regression for Bayesian Optimization
Fraunhofer Institute for Manufacturing Engineering and Automation (IPA)（弗劳恩霍夫制造工程与自动化研究所（IPA））
提出基于参数化量子电路量子核的高斯过程回归方法，保留方差信息，作为贝叶斯优化代理模型，在真实数据集超参数优化中性能媲美经典方法。
2023-04-25 cs.LG quant-ph
Selection of tuning parameters in bridge regression models via Bayesian information criterion
我们考虑的桥梁线性回归建模，它可以产生一个稀疏或非稀疏模型。模型建立过程中的一个关键点是调整参数的选择，包括正则化参数和调整参数的桥梁回归模型。调整参数的选择可以看作是一个模型选择和评估问题。本文提出了一种基于贝叶斯方法的桥梁回归模型评价的模型选择准则。该选择标准使我们能够客观地选择调整参数。我们调查我们提出的建模策略的有效性，通过一些数值例子。
2012-04-14 stat.ME stat.ML
Variable fusion for Bayesian linear regression via spike-and-slab priors
在线性回归模型中，系数的融合用于识别与响应具有相似关系的预测因子。这就是所谓的可变融合。提出了一种基于贝叶斯线性回归模型的变量融合方法。我们专注于分层贝叶斯模型的基础上的尖峰和板坯事先的方法。一个尖峰和平板先验是定制的，以执行可变融合。为了获得参数的估计，我们开发了一个吉布斯采样器的参数。仿真研究和实际数据分析表明，我们提出的方法取得了更好的性能比以前的方法。
2020-12-02 stat.ME stat.ML
Bayesian Additive Distribution Regression
Department of Statistics and Data Sciences（统计与数据科学系）
DistBART通过贝叶斯加法回归树先验建模分布回归，结合浅层决策树和随机特征近似，实现高效非参数回归与不确定性量化。
2026-03-06 stat.ME stat.ML
Sharded Bayesian Additive Regression Trees
Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；The Ohio State University（俄亥俄州立大学）
本文提出随机化分片贝叶斯加性回归树（SBT），通过随机化辅助变量、分片树和交集树结构统一刻画数据划分与BART子模型，并给出最优权重与最坏情况复杂度分析。
2023-06-01 cs.LG math.ST stat.ME
Bayesian Regression of Piecewise Constant Functions
我们推导出一个精确和有效的贝叶斯回归算法的分段常数函数的未知段数，边界位置和水平。它适用于任何噪声和段级先验，例如可以处理离群值的Cauchy。我们得到简单，但很好的估计段内方差。我们还提出了贝叶斯回归曲线作为平滑数据而不模糊边界的更好方法。贝叶斯方法还允许直接确定证据、断裂概率和误差估计，这对于模型选择以及显著性和稳健性研究非常有用。我们讨论了合成和现实世界的例子的性能。将讨论许多可能的扩展。
2006-06-13 cs.LG math.PR math.ST
High-Dimensional Bayesian Regularised Regression with the BayesReg Package
贝叶斯惩罚回归技术，如贝叶斯套索和贝叶斯马蹄估计，最近在统计文献中受到了大量的关注。然而，在通用马尔可夫链蒙特卡罗平台（如STAN）之外，实现最先进的贝叶斯惩罚回归的软件相对较少。本文介绍了一个新的工具箱bayesreg，用于拟合具有连续收缩先验密度的贝叶斯惩罚回归模型。该工具箱的特点是具有高斯或重尾误差模型的贝叶斯线性回归和具有岭、套索、马蹄和马蹄$+$估计量的贝叶斯逻辑斯谛回归。该工具箱是免费的，开源的，可用于MATLAB和R数值平台。
2016-12-20 stat.CO
A Theoretical Analysis of Logistic Regression and Bayesian Classifiers
本研究的目的是显示逻辑回归和贝叶斯分类器在指数和非指数分布族的情况下的根本区别，产生以下结果。首先，逻辑回归是贝叶斯分类器的一种不太通用的表示。其次，我们应该假设类的分布，以正确说明逻辑回归方程。第三，在特定情况下，正确指定的生成贝叶斯分类器和判别逻辑回归的预测概率之间没有差异。
2021-08-08 econ.EM stat.ME
Rejoinder for the discussion of the paper "A novel algorithmic approach to Bayesian Logic Regression"
在这篇答辩中，我们总结了评论，问题和评论的文件“一种新的算法方法贝叶斯逻辑回归”的讨论者。然后，我们对这些评论、问题和评论做出回应，提供原始模型的几个扩展，并提供关于我们的R包EMJMCMC的教程（http：//aliaksah.github.io/EMJMCMC2016/）
2020-05-01 math.LO stat.CO stat.ME
Regression Adjustment for Noncrossing Bayesian Quantile Regression
针对分位数回归中多个分位数的拟合曲线可能交叉的问题，提出了一种两阶段的方法。在第一阶段应用标准贝叶斯分位数回归模型，然后进行高斯过程回归调整，该调整使分位数函数单调化，同时从附近的分位数借用强度。两阶段方法在计算上是高效的，并且比现有技术更通用。该方法被证明是具有竞争力的替代方法，通过其性能在模拟的例子。
2015-02-04 stat.ME
Posterior Consistency of Bayesian Inverse Regression and Inverse Reference Distributions
我们认为贝叶斯推断逆回归问题的目标是推断未观察到的协变量从观察到的响应和协变量。我们建立后验一致性的贝叶斯逆回归problemunder适当的先验在留一交叉验证设置中的未观察到的协变量。我们将其与逆参考分布的后验一致性（Bhattacharya（2013））相关联，以评估模型的充分性。我们用贝叶斯逆回归的各种例子来说明我们的理论和方法，以及足够的模拟实验。
2020-05-01 math.ST stat.TH
Variable Selection in Bayesian Semiparametric Regression Models
本文扩展了现有的用于高斯过程回归中变量选择的贝叶斯方法，以选择空间相关结构中的回归项和活动协变量。然后，我们使用估计的后验概率通过交叉验证在相对较少的模式之间进行选择，从而提高预测。
2014-12-31 stat.ME
ViBR-WM: Visual Bayesian Regression for World Modeling
Texas A&M University（德州农工大学）
ViBR-WM是一种视觉贝叶斯回归世界模型，通过可解释回归和贝叶斯变量选择，在四项预测任务中均优于现有方法，实现更低的物理目标误差。
2026-09-29 cs.CV cs.LG stat.ME
From Estimation to Sampling for Bayesian Linear Regression with Spike-and-Slab Prior
本文针对带尖峰-厚板先验的贝叶斯稀疏线性回归，利用后验收缩性质设计了基于吉布斯采样和随机局部化的高效采样算法，并证明随机局部化采样器在数据矩阵设计不佳时优势更明显。
2023-07-09 stat.CO stat.ME stat.ML
SoftBart: Soft Bayesian Additive Regression Trees
贝叶斯加性回归树（BART）模型作为一种通用的非参数建模技术，近年来受到越来越多的关注。BART将现代机器学习技术的灵活性与贝叶斯推断的原则性不确定性量化相结合，它已被证明是唯一适合解决许多科学领域（包括医学和社会科学）中常见的高噪声问题的方法。本文介绍了用于拟合Linero和Yang（2018）的Soft BART算法的SoftBart包。除了改进其他BART软件包的预测性能外，该软件包的主要目标是促进将BART纳入更大的模型中，使其成为贝叶斯统计研究人员的理想选择。我展示了如何使用这个包进行标准预测任务，以及如何将BART模型嵌入到更大的模型中;我通过使用SoftBart实现非参数概率单位回归模型、半参数变系数模型和部分线性模型来说明。
2022-10-28 stat.CO stat.ME stat.ML
Bayesian model selection for linear regression
在这篇笔记中，我们介绍了线性回归与基函数，以应用贝叶斯模型选择。我们的目标是结合贝叶斯分析提供的奥卡姆剃刀，以便自动选择能够最佳地解释数据而不过度拟合的模型。
2015-12-15 math.ST stat.ME stat.TH
Geometric Ergodicity of Gibbs Samplers in Bayesian Penalized Regression Models
我们考虑三个贝叶斯惩罚回归模型，并表明，各自的确定性扫描吉布斯采样器是几何遍历的回归问题的尺寸无关。我们证明了几何遍历的吉布斯采样贝叶斯融合套索，贝叶斯组套索，和贝叶斯稀疏组套索。几何遍历性与矩条件一起导致蒙特卡罗平均值的马尔可夫链中心极限定理的存在，并确保可靠的输出分析。我们的几何遍历性的结果，使我们也可以提供默认的吉布斯采样器的起始值。
2017-07-04 math.ST stat.CO stat.TH
Linear regression in the Bayesian framework
这些注释旨在阐明从给定数据集执行线性回归的不同策略。文献中提出了加权和普通最小二乘法、岭回归或LASSO等方法。本文是我对这些方法的理解，据我所知，这些方法更好地统一在贝叶斯框架中。导出了用这些方法进行线性回归的计算公式。模型选择的KIC也在本文档的最后导出。
2019-08-09 stat.ME
Safe-Bayesian Generalized Linear Regression
Leiden University（莱顿大学）；CWI（荷兰国家数学与计算机科学研究所）；University of Oxford（牛津大学）；University of Victoria（维多利亚大学）
我们研究广义贝叶斯推理下的误指定，即当模型是“错误的，但有用的”。广义贝叶斯为可能性配备了学习率$η$。我们发现，对于广义线性模型（GLM），$η$ -广义贝叶斯集中在模型内的最佳逼近的真相为特定的$η\neq 1$，即使在严重错误指定的噪声，只要尾部的真实分布是指数。我们推导出广义贝叶斯套索和逻辑斯谛回归的MCMC采样器，并给出了模拟和真实数据的例子，其中广义贝叶斯大大优于标准贝叶斯。
2021-05-29 cs.LG math.ST stat.ME
A note on Bayesian logistic regression for spatial exponential family Gibbs point processes
近年来，指数族Gibbs空间点过程的逻辑斯谛回归推理方法被提出.我们将它与二次切向变分逼近技术相结合，导出了一种新的贝叶斯空间点模式分析方法。该技术进行了详细描述，并证明了数值例子。
2014-11-03 stat.ME stat.OT
Bayes-ically fair: A Bayesian Ranking of the Olympic Medal Table
针对传统奥运奖牌排名受人口规模影响的问题，提出基于奖牌-人口比的贝叶斯排名方法，通过收缩技术稳定小国表现，提供更公平的跨赛事排名。
2025-10-16 stat.AP
Bayesian Modal Regression based on Mixture Distributions
本文提出基于单峰混合分布的贝叶斯众数回归统一框架，推导后验正常性条件，并通过模拟和实际数据证明其对离群点稳健、能发现均值或中位数回归遗漏的协变量效应并构建更紧的预测区间。
2024-06-28 stat.AP stat.ME
On Soft Bayesian Additive Regression Trees and asynchronous longitudinal regression analysis
在许多纵向研究中，协变量和响应经常在不规则、不匹配和受试者特定的时间间歇性观察到。当协变量和响应被异步观测时，如何处理这样的数据是一个经常提出的问题。贝叶斯加性回归树（Bayesian Additive Regression Trees，BART）是一种贝叶斯非参数方法，已被证明与最好的现代预测方法（如随机森林和提升决策树）具有竞争力。树的和结构与贝叶斯推理框架相结合，提供了一个准确和鲁棒的统计方法。BART变体软贝叶斯加性回归树（SBART）构造使用随机决策树和实质性的理论和实践的好处。在本文中，我们提出了一个加权SBART模型的解决方案，异步纵向数据。与其他方法相比，现有方法在对协变量过程的假设较少的情况下是有效的。广泛的模拟研究提供了这种解决方案的数值支持。来自艾滋病研究的数据被用来说明我们的方法
2021-08-26 stat.AP stat.ME
Bayesian Modeling of Nonlinear Poisson Regression with Artificial Neural Networks
在大数据时代，计数数据的建模和预测在包括健康、金融、社会等在内的许多领域变得非常重要。虽然线性泊松回归已被广泛用于计数和评级数据的建模，但它可能并不总是合适的，因为它无法捕捉复杂数据中的一些固有变异性。在这项研究中，我们引入了一个概率驱动的非线性泊松回归模型与贝叶斯人工神经网络（ANN）的模型计数或率数据。这种新的非线性泊松回归模型与贝叶斯人工神经网络开发提供了更高的预测精度比传统的泊松或负二项回归模型显示，在我们的模拟和真实数据的研究。
2018-10-24 stat.AP
On posterior concentration rates for Bayesian quantile regression based on the misspecified asymmetric Laplace likelihood
非对称拉普拉斯密度（ALD）被用作贝叶斯分位数回归的工作似然。Sriram等人（2013）基于错误指定的ALD推导出贝叶斯线性分位数回归的后验一致性。虽然他们的论文也主张$\sqrt{n}-$的一致性，但Sriram和Ramamoorthi（2017）强调，该论点仅适用于小于$\sqrt{n}$的比率。因此，$\sqrt{n}-$率的问题仍然没有得到解决，但有必要进行有意义的贝叶斯推断的基础上的ALD。在本文中，我们得出的结果，以获得后验一致率贝叶斯分位数回归的基础上误指定的ALD。我们得出我们的结果在一个稍微一般的设置，分位数函数可能是非线性的。特别地，我们给出了使用ALD的贝叶斯线性分位数回归的$\sqrt{n}-$一致性的充分条件。我们还提供了贝叶斯非线性分位数回归的例子。
2020-08-08 math.ST stat.TH
Bayesian regression and Bitcoin
Massachusetts Institute of Technology（麻省理工学院）
在本文中，我们讨论了贝叶斯回归方法及其预测比特币（一种最近流行的虚拟加密货币）价格变化的有效性。贝叶斯回归是指利用经验数据作为代理进行贝叶斯推理。我们利用贝叶斯回归的所谓的“潜在源模型”。Chen，Nikolov and Shah（2013）和Bresler，Chen and Shah（2014）介绍并讨论了“潜在源模型”的贝叶斯回归，用于二进制分类。他们建立了二元分类设置方法的理论和经验功效。在本文中，我们利用它来预测真实价值的数量，即比特币的价格。基于这种价格预测方法，我们设计了一个简单的比特币交易策略。该策略能够在不到60天的时间内对实际数据跟踪运行时，投资几乎翻了一番。
2014-10-06 cs.AI math.ST stat.TH
Bayesian size-and-shape regression modelling
ETH Zurich（苏黎世联邦理工学院）；Università della Svizzera italiana（瑞士意大利语大学）；Polytechnic of Turin（都灵理工大学）；Sapienza University（罗马第一大学）
本研究基于已有成果，提出带高斯地标点的尺寸与形状响应变量回归模型的贝叶斯估计方法，该方法属于贝叶斯潜变量模型框架，具备高度灵活的建模能力。
2024-06-10 stat.ME
Spatial Regression and the Bayesian Filter
空间依赖结果的回归对推理和计算提出了许多挑战。非空间模型和传统的空间混合效应模型各有其优点和缺点，使得从业者难以确定如何进行空间回归分析。我们讨论了各种流行的空间回归模型隐含假设的数据生成机制，并讨论了这些假设的影响。我们提出贝叶斯空间滤波作为非空间模型和传统空间混合模型之间的近似中间方式。我们通过模拟表明，我们的贝叶斯空间过滤模型有几个理想的属性，因此可能是一个有用的除了空间统计学家的工具包。
2017-07-31 stat.ME
Theoretical properties of Bayesian Student-$t$ linear regression
Bayesian Student- $t$线性回归是正态模型的一种常见的稳健替代模型，但其理论特性还不是很好地理解。我们的目标是通过提供两种不同的渐近情景分析来填补一些空白。结果允许精确地表征通过自由度（至少渐近地）控制的鲁棒性和效率之间的权衡。
2023-02-07 math.ST stat.ME stat.TH
Robust Bayesian Regression with Synthetic Posterior
虽然线性回归模型是统计科学中的基本工具，但估计结果可能对离群值敏感。虽然在频率论框架中已经提出了几种稳健的方法，但统计推断并不一定是简单的。本文提出了一种基于$γ$ -散度的合成后验分布的线性回归模型的贝叶斯鲁棒推断方法，它使我们能够通过后验分布自然地评估估计的不确定性。我们也考虑使用收缩先验的回归系数进行稳健贝叶斯变量选择和估计的同时。我们在吉布斯抽样中采用贝叶斯自助法，发展了一种有效的后验计算算法。通过仿真研究和著名数据集的应用，说明了所提出的方法的性能。
2020-05-26 stat.ME
Bayesian Dyadic Trees and Histograms for Regression
许多用于回归的机器学习工具基于将协变量空间递归划分为较小的区域，其中可以局部估计回归函数。其中，回归树和他们的合奏表现出令人印象深刻的经验表现。在这项工作中，我们揭示了这些方法的贝叶斯变体背后的机制。特别是，我们研究贝叶斯回归直方图，如贝叶斯二元树，在简单的回归情况下，只有一个预测。我们专注于重建的回归曲面是分段常数，其中的跳跃数是未知的。我们发现，适当设计的先验，后验分布集中在真正的步骤回归函数在一个接近极小极大率。这些结果不需要知道真正的步骤数，也不需要知道真正的分区单元的宽度。因此，贝叶斯二元回归树是完全自适应的，可以恢复真正的分段回归函数几乎一样，如果我们知道确切的数量和位置的跳跃。我们的研究结果构成了理解贝叶斯树及其集合在实践中如此有效的第一步。作为一个旁白，我们讨论了平衡区间划分的先验分布，以及它们如何与几何概率中的一个老问题相关。也就是说，我们涉及的概率覆盖的圆周的圆与随机弧的端点被限制在一个网格，一个新的变种的原始问题。
2017-11-28 math.ST stat.TH
Mixed Beta Regression: A Bayesian Perspective
本文建立在最近的研究，重点是连续有界数据的回归建模，如在连续尺度上测量的比例。具体来说，它涉及来自贝叶斯方法的混合效应的beta回归模型。我们使用一个合适的参数化的贝塔法在其平均值和精度参数，并允许这两个参数通过回归结构，可能涉及固定和随机效应建模。规范的先验分布进行了讨论，通过吉布斯抽样的计算实现，并给出了说明性的例子。
2012-11-14 stat.CO
Dimension-free PAC-Bayesian bounds for matrices, vectors, and linear least squares regression
在弱多项式矩假设下，考虑重尾样本分布，研究了无量纲PAC贝叶斯边界。它涵盖了向量或矩阵的平均值的估计，以及最小二乘线性回归的应用。特别的努力致力于估计的格拉姆矩阵，由于其突出的作用，在高维数据分析。
2017-12-31 math.ST stat.TH
Debiased Bayesian Inference for High-dimensional Regression Models
本文提出了一种去偏贝叶斯推断方法，用于修正高维回归模型中后验分布的偏倚，确保频范有效性，并通过模拟和实证应用验证了其性能。
2025-12-10 econ.EM math.ST stat.CO
Bayesian surface regression versus spatial spectral nonparametric curve regression
分析了2020年2月至10月期间部分西班牙社区省份的COVID-19发病率。两个无限维回归方法进行了测试。第一个是在Ruiz-Medina，Miranda和Espejo（2019）中介绍的回归框架中实现的。具体地说，一个baidom框架中采用的时间自相关算子的纯点谱的估计，表征表面序列的二阶结构。第二种方法是在空间曲线回归的背景下制定的。基于空间周期图算子，计算谱密度算子的非参数估计量来逼近曲线之间的空间相关性。降维是通过投影到长期空间协方差算子的经验特征向量上来实现的。交叉验证程序来测试两个功能回归方法的性能。
2021-10-30 stat.AP stat.ME
Regression approaches for Approximate Bayesian Computation
本书介绍了近似贝叶斯计算（ABC）的回归方法和回归调整。回归调整在拒绝抽样之后调整参数值，以考虑模拟与观测之间的不完全匹配。当有许多汇总统计数据时，模拟和观察之间的不完美匹配可能更加明显，这种现象被称为维数灾难。由于这种不完美的匹配，与真实的可信区间相比，用回归方法获得的可信区间可能会膨胀。本章介绍了回归调整的主要概念。本文给出了一个定理，比较了有无回归调整的后验分布的理论性质。最后，回归调整在群体遗传学中的实际应用表明，与拒绝方法相比，回归调整缩小了后验分布，这是一种避免置信区间膨胀的解决方案。
2017-07-05 stat.ME
Bayesian Mode Regression
与均值、分位数和方差一样，众数也是集中趋势和数据汇总的重要度量。许多实际问题往往集中在“在网络中的所有元素中，哪个元素（基因或文件或信号）出现得最频繁或最典型？".在这种情况下，模式回归提供了回归量如何影响条件模式的方便总结，并且完全不同于基于条件均值或条件分位数或条件方差的其他回归模型。一些推理方法已被用于模式回归，但没有一个是从贝叶斯的角度。本文介绍了贝叶斯模式回归，探索三种不同的方法。我们从一个参数贝叶斯模型，采用一个似然函数，是基于一个模式的均匀分布。结果表明，无论数据的原始分布如何，使用这种特殊的均匀分布是贝叶斯模式回归的一种非常自然和有效的方法。基于此参数似然的后验估计，即使在误设定下，也是一致的且渐近正态的。然后，我们开发了一个非参数贝叶斯模型，使用Dirichlet过程（DP）的混合模式均匀分布，最后，我们探索贝叶斯经验似然模式回归，将经验似然到贝叶斯框架。本文还证明了各种不适当的先验未知模型参数产生一个适当的联合后验。使用模拟数据集和真实数据集说明了所提出的方法。
2012-08-02 stat.AP stat.ME
