A proposal for informative default priors scaled by the standard error of estimates
如果我们对某个感兴趣的参数有一个无偏估计，那么它的绝对值对于参数的绝对值是正偏的。当信噪比（SNR）很小时，这种偏差很大，当我们以统计显著性为条件时，它会变得更大;这就是赢家的诅咒。这是正则化的频率论动机。为了确定合适的收缩量，我们建议从大量相似研究的集合或语料库中估计SNR的分布，并将其用作先验分布。语料库的范围越广，先验信息越少，但范围越广并不一定会导致先验信息越分散。我们表明，估计的前简化，如果我们要求后验推理是等变的线性变换下的数据。我们用来自心理学的86项复制研究和178项3期临床试验的语料库证明了我们的方法。我们的建议并不是要取代基于特定问题的完整信息的先验知识;相反，它代表了一个家庭明智的选择，应该比当前默认的统一先验知识产生更好的长期属性，这导致了系统性的高估效应大小和复制危机，当这些夸大的估计在以后的研究中没有出现时。
2020-11-30 stat.ME
Default Bayesian Model Selection of Constrained Multivariate Normal Linear Models
多元正态线性模型是应用研究中最广泛的统计推断模型之一。特殊情况包括（多变量）t检验、（M）AN（C）OVA、（多变量）多元回归和重复测量分析。然而，用于模型选择的统计程序是有限的，其中模型可能对感兴趣的模型参数具有等式和顺序约束。本文提出了一个默认的贝叶斯因子的模型选择问题。默认贝叶斯因子基于广义分数贝叶斯方法，其中不同的分数用于不同的观测，并且默认先验以所研究的约束空间的边界为中心。首先，该方法是全自动的，因此可以在先验信息较弱或完全不可用时应用。第二，使用组特定分数，使用来自每个组的相同量的信息，导致具有矩阵柯西分布的最小信息默认先验，导致一致的默认贝叶斯因子。第三，数值计算可以使用并行化来完成，这使得它在计算上很便宜。第四，在观察新数据时，可以以相对简单的方式更新证据。第五，在存在随机缺失的缺失数据的情况下，可以相对直接地应用选择标准。社会科学和行为科学的应用程序用于说明。
2021-03-12 stat.ME
Implementing and Automating Fixed-Form Variational Posterior Approximation through Stochastic Linear Regression
最近，我们提出了一个通用的算法来近似非标准贝叶斯后验分布的库尔贝克-莱布勒散度最小化相对于一个更方便的近似分布。在本说明中，我们提供了如何在实践中有效地实现该算法的细节。我们还建议后验近似的形式，迭代次数，步长和其他用户选择的默认选择。通过使用这些默认值，可以完全自动地为分层模型构建良好的后验近似。
2014-01-09 stat.CO
Sparsity by Default: The Theory and Practice of ARD in Gaussian Process Regression for Variable Selection
George Mason University（乔治梅森大学）
本文系统梳理了高斯过程回归中自动相关性确定（ARD）的理论基础、算法实践与渐近性质，论证其通过边际似然实现有效稀疏性，并对比多种变量选择方法，指出其优势在于与核学习集成、软件支持广泛且成本低。
2026-09-29 cs.LG stat.ML
A tutorial on generalizing the default Bayesian t-test via posterior sampling and encompassing priors
随着所谓的默认贝叶斯假设检验的出现，应用领域的科学家们已经获得了一个强大的和原则性的方法来测试假设。然而，这样的默认检验通常都有一个折衷方案，要求分析师接受一种通用的假设检验方法。此外，这样的测试可能没有灵活性来测试科学家真正关心的问题。在本教程中，我演示了一种灵活的方法来概括一个特定的默认测试（JZS t检验; Rouder等人，2009年），这是越来越流行的社会和行为科学。该方法使用两个理论结果，Savage-Dickey密度比（Dickey和Lientz，1980）和包含先验的技术（Klugkist等人，2005）结合MCMC抽样，通过一个易于使用的概率建模包R称为Greta。通过对这些技术的全面数学描述以及说明性示例，向读者呈现了一个通用的、灵活的工作流程，该工作流程可以扩展以解决与他或她自己的工作相关的问题。
2019-02-05 stat.CO
Mixtures of g-Priors for Generalised Additive Model Selection with Penalised Splines
我们提出了一个客观的贝叶斯方法来选择协变量和惩罚样条变换广义加性模型。为模型参数指定一个合理的默认先验，并结合模型本身的多重性校正先验，对于这项任务至关重要。在这里，我们使用了良好的研究和良好的行为连续混合的g先验作为默认先验。我们在正态模型中引入该方法，并将其推广到非正态指数族。仿真研究和文献中的应用说明了所提出的方法。一个有效的实现是在R-包“hypergsplines”。
2012-08-20 stat.ME
Default priors for Gaussian processes
出于复杂计算机模型的统计评估，我们处理高斯过程的参数的客观先验规范的问题。特别是，我们推导出的Jeffreys规则，独立Jeffreys和参考先验的这种情况下，并证明所得到的后验分布是适当的一组相当一般的条件下。一个适当的平坦的先验策略，基于最大似然估计，也被认为是，然后所有的先验进行比较的理由，随后的贝叶斯程序的频率属性。计算问题也在本文中得到解决，我们说明了所提出的解决方案，通过一个例子，从复杂的计算机模型验证领域。
2005-05-27 math.ST stat.TH
Calibration of the rating transition model for high and low default portfolios
本文针对信用评级转移模型校准问题，提出基于拉普拉斯近似结合卡尔曼滤波的高违约组合校准算法，以及基于粒子滤波和高斯过程回归的低违约组合校准算法，实验验证了两种算法的有效性和准确性。
2024-05-01 q-fin.RM stat.ME
Evaluating Default Priors with a Generalization of Eaton's Markov Chain
我们考虑评估不适当的先验在一个正式的贝叶斯设置根据其使用的后果。设$Φ$是参数空间上的一类函数，考虑二次损失下$Φ$的元素估计.如果$Φ$中每个函数的形式Bayes估计是可容许的，则先验关于$Φ$是强可容许的.伊顿建立强容许性的方法是基于研究与推理设置相关的特定马尔可夫链的稳定性。在以前的工作中，根据$ϕ\in Φ$是有界的还是无界的，对此进行了不同的处理。我们介绍和研究一个新的马尔可夫链，使我们能够统一和推广现有的方法，同时扩大其潜在的适用范围。为了说明该方法，我们建立强容许条件时，模型是一个$p$维多元正态分布与未知的均值向量$θ$和先验的形式是$ν(\|θ\|^{2})dθ$。
2011-09-06 math.ST stat.TH
Bayesian Region Selection and Prediction in Poisson Regression with Spatially Dependent Global-Local Shrinkage Prior
Yale School of Public Health（耶鲁大学公共卫生学院）；University of Arizona（亚利桑那大学）
本文提出一种新的全局-局部收缩先验，用于泊松回归中空间变量的选择与预测，结合条件自回归先验和超重尾先验，以处理空间依赖性和稀疏结构，提升预测精度。
2026-05-06 stat.AP stat.ME
Default Bayesian analysis for multi-way tables: a data-augmentation approach
针对Meta分析和多中心临床试验中常见的多元列联表，提出了一种正则化估计策略。我们的方法是基于数据增强，并呼吁大量的一类新的Polya-Γ分布。我们的主要贡献是建立相关的分布理论，并证明了这种数据增强计划的三个有用的功能。首先，它导致简单的EM和吉布斯采样算法的后验推理，规避解析近似，数值积分，大都市-黑斯廷斯，或变分方法的需要。其次，它允许建模者在选择先验时有更大的灵活性，而先验传统上来自狄利克雷或逻辑正态族。例如，我们的方法允许用户将经典惩罚似然技术（例如套索或桥）的贝叶斯模拟用于计算对数比值比的正则化估计。最后，我们的数据增强方案自然地提出了一个默认的策略，事先选择的基础上的逻辑-Z模型，这是密切相关的杰弗里斯先验的二项式比例。为了说明该方法，我们主要关注荟萃分析/多中心研究（或JxKxN表）的特定情况。但是，一般的方法包括许多其他常见的情况，我们将提供一些例子。
2011-09-19 math.ST stat.CO stat.ME
Deriving Proper Uniform Priors for Regression Coefficients, Part II
在贝叶斯模型选择问题中，通常应避免不适当的先验，这是一个相对众所周知的事实。本文导出了回归系数的一个适当的、简约的一致先验。然后，我们使用此先验来推导所考虑的回归模型的相应证据值。通过这些证据值，可以计算竞争回归模型的后验概率。
2013-08-05 stat.ME
Approximate Reference Prior for Gaussian Random Fields
参考先验理论对于地统计数据的分析是有吸引力的，因为它们能够进行自动贝叶斯分析，并且具有理想的贝叶斯和频率属性。但它们的使用受到计算障碍的阻碍，这使得它们在实践中的应用具有挑战性。在这项工作中，我们推导出一类新的默认先验近似的参考先验的一些高斯随机场的参数。它是基于从平稳随机场的谱近似导出的协方差参数的积分似然的近似。该先验依赖于平均函数的结构和在与辅助规则网格相关联的一组谱点处评估的模型的谱密度。除了保持理想的贝叶斯和频率属性，这些近似的参考先验更稳定，它们的计算比精确的参考先验要简单得多。与精确参考先验不同，相关参数的边缘近似参考先验总是适当的，无论相关函数的均值函数或光滑性如何。此属性对协方差模型选择有重要影响。一个例子比较默认贝叶斯分析提供了一个数据集的铅污染在加利西亚，西班牙。
2022-01-26 stat.ME
Geometric Ergodicity of Gibbs Samplers in Bayesian Penalized Regression Models
我们考虑三个贝叶斯惩罚回归模型，并表明，各自的确定性扫描吉布斯采样器是几何遍历的回归问题的尺寸无关。我们证明了几何遍历的吉布斯采样贝叶斯融合套索，贝叶斯组套索，和贝叶斯稀疏组套索。几何遍历性与矩条件一起导致蒙特卡罗平均值的马尔可夫链中心极限定理的存在，并确保可靠的输出分析。我们的几何遍历性的结果，使我们也可以提供默认的吉布斯采样器的起始值。
2017-07-04 math.ST stat.CO stat.TH
Bayesian Elastic Net Regression with Structured Prior Dependence
The Ohio State University（俄亥俄州立大学）
本文提出了一种具有结构先验依赖的贝叶斯弹性网回归方法，通过正交正态分布和L1正则化g先验提升模型灵活性，并通过模拟和实验验证其有效性。
2025-12-31 stat.ME
Bayesian Regression Using a Prior on the Model Fit: The R2-D2 Shrinkage Prior
高维线性回归的先验分布需要为未观测到的回归系数指定一个联合分布，这本身就很困难。相反，我们提出了一类新的收缩先验的线性回归通过指定一个先验的模型拟合，特别是决定系数，然后通过分配到系数在一个新的方式。所提出的方法相比，有利的起源和尾部行为，从而导致在后收缩和经验性能的改善性能方面的浓度比以前的方法。所提出的先验的限制行为是$1/x$，在原点周围和尾部。这种行为是最优的，因为它同时位于尾部和原点周围的不适当先验的边界上。现有的收缩先验都不能同时在两个区域中获得这种行为。我们还表明，我们提出的先验导致相同的近极大极小后收缩率的尖峰和平板前。
2020-07-08 stat.ME
On posterior propriety for the Student-$t$ linear regression model under Jeffreys priors
具有厚尾误差项的回归模型是一种越来越受欢迎的选择，以获得对离群观测值的更稳健的推断。本文主要研究基于Jeffreys规则的客观先验下Student- $t$线性回归模型的贝叶斯推断。对Fonseca等人（2008）提出的后部适当性结果进行了重新审查和纠正。特别是，它表明，标准的杰弗里斯规则事先排除存在一个适当的后验分布。
2013-11-08 math.ST stat.AP stat.ME
On choosing mixture components via non-local priors
选择混合物组分的数量仍然是一个难以捉摸的挑战。模型选择标准可能过于宽松或保守，返回的组分分离不良，实际用途有限。我们正式的非本地先验（NLP）的混合物，并显示它们如何导致良好分离的组件与不可忽略的重量，可解释为不同的亚群。我们还提出了一个估计的后验模型概率在本地和非本地的先验，表明贝叶斯因子的后验空簇概率比。该估计器具有广泛的适用性，并有助于设置阈值，以降低过拟合混合物中的未占用分量。我们建议默认先验参数的基础上，多模态正常/T混合和分类结果的最小信息。我们从理论上分析了NLP引起的稀疏性，推导出易于处理的表达式和算法。我们充分开发正常，二项式和产品二项式混合，但理论，计算和原则持有更普遍。我们观察到严重缺乏灵敏度的贝叶斯信息准则（BIC），不够简约的AIC和当地的先验，和奇异BIC的混合行为。我们还考虑过拟合混合，它们的性能是有竞争力的，但取决于调整参数。在我们的默认先验启发下，NLP在稀疏性和功率之间提供了一个很好的折衷，以检测有意义的分离组件。
2019-06-11 stat.ME
On the correspondence from Bayesian log-linear modelling to logistic regression modelling with $g$-priors
考虑一组分类变量，其中至少有一个是二进制的。描述所得列联表中计数的对数线性模型意味着特定的逻辑斯谛回归模型，以二进制变量作为结果。在贝叶斯框架内，$g$先验和$g$先验的混合通常被分配给广义线性模型的参数。我们证明了，指定一个$g$先验（或混合的$g$先验）的参数，一定的对数线性模型指定一个$g$先验（或混合的$g$先验）的参数相应的逻辑斯谛回归。通过推导一个渐近结果，并与数值例子，我们表明，当采用$g$ -前，这种对应关系扩展到后验分布的模型参数。因此，关于主效应和交互作用项的存在，将拟合对数线性模型的推断转换为逻辑斯谛回归框架内的推断是有效的。
2017-05-04 stat.ME
On the Use of Cauchy Prior Distributions for Bayesian Logistic Regression
在逻辑斯谛回归中，当预测因子的线性组合可以完美地分类样本中的部分或全部观测值时，分离发生，并且因此，回归系数的有限最大似然估计不存在。Gelman等人（2008）建议将独立柯西分布作为逻辑斯谛回归中回归系数的默认先验，即使在分离的情况下也是如此，并在其分析中报告了后验模式。由于柯西先验的均值不存在，一个自然的问题是分离下回归系数的后验均值是否存在。我们证明定理，提供了必要和充分条件下独立的柯西先验的logit链接和一般家庭的链接函数，包括概率链接后的手段存在。我们还研究了多元柯西先验下后验均值的存在性。对于完整的贝叶斯推断，我们开发了一个基于Polya-Gamma数据增强的Gibbs采样器，用于在独立的Student-t先验（包括Cauchy先验）下从后验分布中采样，并在补充中提供了配套的R软件包。我们的经验表明，即使在分离下的回归系数的后验均值存在，柯西先验的后验样本的大小可能是异常大，相应的吉布斯采样器显示出非常缓慢的混合。虽然Stan中的No-U-Turn Sampler等替代算法可以极大地改善混合，但为了解决分离下Cauchy先验的极重尾后验问题，需要考虑自由度大于1的轻尾先验，如正常先验或Student-t先验。
2017-02-09 stat.ME
Simple Bayesian testing of scientific expectations in linear regression models
科学理论通常可以使用线性回归模型中相对效应的等式和顺序约束来制定。例如，可以预期第一预测器的效果大于第二预测器的效果，并且预期第二预测器大于第三预测器。然后，我们的目标是将这些期望与竞争性的科学期望或理论进行测试。本文提出了一种简单的默认贝叶斯因子检验，用于检验具有等式和顺序约束的多个假设对兴趣效应的影响。所提出的测试标准可以计算，而不需要外部先验信息的预期效果之前，观察数据。该方法在名为“{ \tt lmhyp}”的R包中实现，该包可免费下载并随时可用。使用社会和行为科学的实证应用程序的方法和软件的可用性进行说明。
2019-01-29 stat.ME
Variational Bayesian Sparse Negative Binomial Regression
University of Tehran（德黑兰大学）；Ferdowsi University of Mashhad（马什哈德费尔多西大学）
针对高维计数数据回归难题，开发变分贝叶斯框架，用马蹄形和连续收缩先验实现稀疏负二项回归，相比MCMC方法计算量大幅减少，在过度离散和泊松数据中都有良好表现，为高维稀疏计数回归提供实用工具。
2026-07-30 stat.ME
On the Computational Efficiency of Bayesian Additive Regression Trees: An Asymptotic Analysis
Department of Statistics and Data Science, National University of Singapore（统计与数据科学系，新加坡国立大学）；Department of Statistics, UC Berkeley（统计系，加州大学伯克利分校）；Department of Electrical Engineering and Computer Sciences, UC Berkeley（电气工程与计算机科学系，加州大学伯克利分校）；Center for Computational Biology, UC Berkeley（计算生物学中心，加州大学伯克利分校）
本文分析了BART采样器在大规模数据下的计算效率，发现其收敛时间随样本量增加而增加，但通过增加树数量或提高温度可有效缓解这一问题。
2026-02-07 cs.LG math.ST stat.ML
Bayesian Fused Lasso Modeling via Horseshoe Prior
贝叶斯融合套索方法是一种稀疏贝叶斯方法，它同时收缩回归系数和它们的连续差。在本文中，我们提出了一个贝叶斯融合套索模型通过马蹄先验。通过假设连续回归系数的差异具有马蹄形先验，所提出的方法使我们能够防止这些差异的过度收缩。我们还提出了一个贝叶斯六边形算子的回归收缩和平等的选择（HORSES）与马蹄事先，它对所有组合的差异回归系数的先验。仿真研究和实际数据的应用表明，所提出的方法比现有的方法有更好的性能。
2022-01-20 stat.ME
Evolution of Covariance Functions for Gaussian Process Regression using Genetic Programming
University of Applied Sciences Upper Austria（上奥地利应用科学大学）
在这方面的贡献，我们描述了一种方法来发展高斯过程的复合协方差函数使用遗传编程。高斯过程和类似的基于核的模型（如SVM）的一个关键方面是，协方差函数应该适应建模数据。通常，平方指数协方差函数用作默认值。但是，这可能导致错误指定的模型，无法很好地拟合数据。在所提出的方法中，我们使用的协方差函数和遗传编程的语法组成搜索空间的句子，可以从语法。我们测试了所提出的方法从二维测试功能的合成数据，并在莫纳罗亚山CO2时间序列。结果表明，我们的方法是可行的，找到比默认协方差函数表现得更好的协方差函数。对于CO2数据集的复合协方差函数被发现，匹配的手调协方差函数的性能。
2013-05-22 cs.LG cs.NE stat.ML
Log-Linear Bayesian Additive Regression Trees for Multinomial Logistic and Count Regression Models
本文介绍了对数线性模型的贝叶斯加性回归树（BART），包括多项逻辑斯谛回归和计数回归，其中包含零膨胀和过度离差。BART已被应用于非参数均值回归和二进制分类问题在一系列的设置。然而，现有的应用程序的BART已被限制为高斯“数据”，无论是观察到的或潜在的模型。这主要是因为有效的MCMC算法可用于高斯似然。但是，虽然许多有用的模型是自然铸造的潜在高斯变量，许多其他人不是-包括本文考虑的模型。我们开发了新的数据增强策略，并仔细指定这些新模型的先验分布。像原来的BART先验一样，新的先验分布经过精心构造和校准，在防止过拟合的同时具有灵活性。新的先验和数据增强方案使我们能够在高斯模型的背景之外实现一个有效的MCMC采样器。这些新方法的效用说明了与以前公布的数据集的例子和应用程序。
2019-08-26 stat.ME
On the half-Cauchy prior for a global scale parameter
本文认为，在贝叶斯分层模型中，半柯西分布应取代逆Γ分布作为顶层尺度参数的默认先验，至少在需要适当先验的情况下是这样.我们的论点涉及贝叶斯和频率论推理的混合，旨在补充Gelman（2006）支持先验的折叠t家族的原始案例。首先，我们将半柯西先验推广到更广泛的超几何倒β先验。我们推导出后验矩和边际密度的表达式，当这些先验被用于贝叶斯分层模型中的顶级正态方差时。我们继续证明一个命题，连同结果的时刻和边际，使我们能够描述的频率风险的贝叶斯估计下所有的全球收缩先验的类。这些理论结果，反过来，使我们能够研究半柯西先验与广泛的一类替代品的频率属性。半柯西在这个类中占据了一个合理的“中间地带”：它在原点附近表现得很好，但在参数空间的其他部分不会导致剧烈的妥协。这为重复、常规地使用这个先验提供了一个替代的、经典的理由。我们还考虑的情况下，潜在的平均向量是稀疏的，我们认为，通常的共轭选择的逆伽马先验是特别不合适的，并可能导致高度扭曲的后验推理。最后，我们简要总结了层次模型中尺度项的默认先验规范中的一些公开问题。
2011-09-25 stat.ME
Repulsive g-Priors for Regression Mixtures
Graduate School of Economics, Keio University（庆应义塾大学经济学研究科）；Faculty of Economics, Keio University（庆应义塾大学经济学部）
本文提出了一种用于回归混合的排斥性g先验，通过在马氏度量下强制分离组件，提高模型的简洁性和预测性能。
2025-12-18 stat.ME
Objective Bayesian hypothesis testing in binomial regression models with integral prior distributions
在这项工作中，我们应用积分先验的方法来处理贝叶斯模型选择在二项式回归模型与一般的链接功能。这些模型经常用于调查流行病学研究中的关联和风险，其中一个目标是展示暴露是否是发展某种疾病的风险因素;本文的目的是测试特定暴露因素的影响。我们制定了贝叶斯模型选择情况下的问题，并解决它使用客观贝叶斯因素。为了在二项回归模型的回归系数上构造参考先验分布，我们依赖于积分先验的方法，该方法几乎是自动的，因为它只需要指定估计参考先验，并且不依赖于这些先验中的调整参数或超参数。
2013-06-28 stat.CO stat.ME
Conjugate priors and bias reduction for logistic regression models
统计实践中通常使用二项响应的逻辑斯谛回归模型。然而，由于数据可分性，最大似然估计可能不存在。我们解决这个问题，通过考虑共轭先验惩罚，总是产生有限的估计。这样的规范有一个明确的贝叶斯解释，并享有几个不变性属性，使其成为一个有吸引力的优先选择。我们表明，所提出的方法导致Firth（1993）的减少偏差的方法的准确近似，从而导致具有比最大似然更小的渐近偏差的估计量，并且其存在性总是有保证的。此外，所考虑的惩罚似然可以表示为真实似然，其中原始数据被伪计数的集合替换。因此，我们的方法可以利用完善的和可扩展的算法用于逻辑斯谛回归。我们比较我们的估计与其他减少偏差的方法，大大提高了计算性能，并取得了吸引人的推理结果。
2022-02-17 stat.ME
Optimal designs for nonlinear regression models with respect to non-informative priors
在非线性回归模型中，费舍尔信息依赖于模型的参数。因此，最大化信息矩阵的某些功能的最优设计不能直接实现，但需要一些关于未知参数的初步知识。贝叶斯最优性准则为这个问题提供了一个有吸引力的解决方案。这些标准敏感地依赖于模型参数的先验分布的合理规范，这可能不是在所有应用中都可用的。本文研究了无信息先验分布下的贝叶斯最优性准则。特别是，我们研究了Jeffreys和Berger-Bernardo先验，其相应的最优性准则不一定是凹的。几个例子进行了研究，最优设计相对于新的标准进行计算和比较贝叶斯最优设计的基础上统一和功能统一的先验。
2013-11-04 stat.ME
The prior can generally only be understood in the context of the likelihood
贝叶斯分析的一个关键点是先验分布的选择，并且有大量关于潜在缺省的文献，包括均匀先验、Jeffreys先验、参考先验、最大熵先验和弱信息先验。然而，这些方法，往往表现出一个关键的概念紧张在先验建模：一个模型编码真实的先验信息应选择不参考模型的测量过程中，但几乎所有常见的先验建模技术隐含的参考可能性的动机。在本文中，我们解决了这个明显的悖论，把先验的选择到整个贝叶斯分析的背景下，从推理预测模型评估。
2017-08-31 stat.ME
On a Loss-based prior for the number of components in mixture models
我们提出了一个有限混合模型的分量数的先验分布。新颖的是，先验分布是通过考虑的损失，如果没有考虑代表组件的数量的真实值将招致。先验具有优雅且易于实现的结构，其允许自然地包括可能具有的任何先验信息，以及在该信息不可用的情况下选择默认解决方案。通过对实际数据和模拟数据的分析，研究了先验知识的性能，并与现有的替代方案进行了比较。
2018-09-04 stat.ME
Sparse and Smooth Prior for Bayesian Linear Regression with Application to ETEX Data
线性回归模型的解的稀疏性是一个普遍的要求，许多先验分布已被设计用于此目的。然而，稀疏性要求与解决方案的平滑性的组合在应用中也很常见，现有的先验模型相当少。在本文中，我们比较了两种先验结构，贝叶斯融合套索（BFL）和最小二乘与自适应先验协方差阵（LS-APC）。由于后者只有变分解，我们推导出一个吉布斯抽样算法的推理和贝叶斯模型选择。该方法是为高维问题而设计的，因此，我们讨论了与后验估计相关的数值问题。在模拟中，我们表明，LS-APC先验实现的结果与分段常数参数的贝叶斯融合套索，并优于更一般的形状的参数的BFL。LS-APC先验的另一个优点是在实际应用中揭示的欧洲示踪剂实验（ETEX）的释放曲线的估计。具体而言，当回归矩阵没有信息时，LS-APC模型提供了更保守的不确定性界限。
2017-06-21 stat.AP
Variable fusion for Bayesian linear regression via spike-and-slab priors
在线性回归模型中，系数的融合用于识别与响应具有相似关系的预测因子。这就是所谓的可变融合。提出了一种基于贝叶斯线性回归模型的变量融合方法。我们专注于分层贝叶斯模型的基础上的尖峰和板坯事先的方法。一个尖峰和平板先验是定制的，以执行可变融合。为了获得参数的估计，我们开发了一个吉布斯采样器的参数。仿真研究和实际数据分析表明，我们提出的方法取得了更好的性能比以前的方法。
2020-12-02 stat.ME stat.ML
Regularizing Bayesian Predictive Regressions
我们表明，正则化贝叶斯预测回归提供了一个框架，事先敏感性分析。我们开发了一个程序，联合正则化的期望和方差-协方差阵使用一对收缩先验。我们的方法直接适用于向量自回归（VAR）和看似无关回归（SUR）。正则化路径提供先验灵敏度诊断。通过利用正则化惩罚和预测先验分布之间的二元性，我们重新解释了宏观金融研究的两个经典贝叶斯分析：股票溢价可预测性和预测宏观经济增长率。我们发现，存在合理的先验规范的可预测性超过标准普尔500指数收益率使用账面市值比，CAY（消费，财富，收入比），和国库券利率。我们使用市场时机策略评估预测，我们表明最佳正则化的解决方案优于买入并持有的方法。第二个实证应用涉及预测工业生产，通货膨胀和消费增长率，并证明了我们的方法的可行性。
2017-09-13 stat.ME
Bayesian high-dimensional linear regression with generic spike-and-slab priors
Spike-and-slab先验是高维线性回归问题的常用贝叶斯解。以往的spike-and-slab方法的理论研究主要集中在特定的先验公式上，使用先验相关的条件和分析，因此不能直接推广。在本文中，我们提出了一类通用的尖峰和板先验，并制定了一个统一的框架，严格评估其理论性质。从技术上讲，我们提供了一般的条件下，通用的尖峰和板先验可以实现接近最优的后验收缩率和模型选择的一致性。我们的结果包括Narisetty和He（2014）和Castillo等人的结果。（2015）作为特例。
2020-02-12 math.ST stat.ME stat.ML
On the Choice of Model Space Priors and Multiplicity Control in Bayesian Variable Selection: An Application to Streaming Logistic Regression
The University of Iowa（爱荷华大学）
本文探讨了贝叶斯变量选择中模型空间先验的选择对流式逻辑回归的影响，提出了一种简化MD先验并评估其在稀疏性和多重性控制中的有效性。
2025-12-27 stat.CO stat.ME
From Estimation to Sampling for Bayesian Linear Regression with Spike-and-Slab Prior
本文针对带尖峰-厚板先验的贝叶斯稀疏线性回归，利用后验收缩性质设计了基于吉布斯采样和随机局部化的高效采样算法，并证明随机局部化采样器在数据矩阵设计不佳时优势更明显。
2023-07-09 stat.CO stat.ME stat.ML
Block Hyper-g Priors in Bayesian Regression
贝叶斯回归的先验分布的发展传统上是由实现合理的模型选择和参数估计的目标驱动的。表征良好性能的属性的形式化导致了g先验的厚尾混合物的发展和普及，如Zellner-Siow和hyper-g先验。特定先验的性质通常在可能性或先验的限制下阐明。在本文中，我们引入了一个新的，条件信息渐近的动机是由共同的数据分析设置，其中至少有一个回归系数是远远大于其他。我们分析了现有的混合物的g先验在此限制下，揭示了两个新的行为，本质上最小二乘（ELS）估计和条件林德利的paradigm（CLP），并认为这些行为是，在一般情况下，不可取的。由于这两种行为背后的驱动程序是使用一个单一的，潜在的尺度参数，这是共同的所有系数，我们提出了一个块超g先验，定义首先分区的协变量成组，然后将独立的超g先验的相应块的系数。我们提供的条件下，ELS和CLP避免了新的类的先验，并提供传统的样本量渐近下的一致性结果。
2015-01-13 math.ST stat.ME stat.TH
Why optional stopping can be a problem for Bayesians
最近，选择性停止一直是贝叶斯心理学界争论的话题。Rouder（2014）认为，选择性停止对贝叶斯人来说没有问题，甚至建议在实践中使用选择性停止，Wagenmakers et al.（2012）。这篇文章解决了这个问题是否可选停止贝叶斯方法是有问题的，并指定在何种情况下，在何种意义上，它是和不是。通过稍微改变和扩展Rouder（2014）的实验，我们说明，一旦感兴趣的参数配备了默认或务实的先验-这意味着，在贝叶斯因子假设检验的大多数实际应用中-对可选停止的弹性可能会崩溃。我们区分了三种类型的默认先验，每一种都有自己的特定问题，从根本没有问题（0型先验）到非常严重（II型先验）。
2021-03-25 math.ST stat.ME stat.TH
Very fast Bayesian Additive Regression Trees on GPU
unifi（乌尼维斯大学）；Department of Statistics, Computer Science, Applications ``Giuseppe Parenti'' (DISIA)（统计与计算机科学应用系（DISIA））
针对BART运行慢的问题，提出GPU加速实现，速度提升高达200倍，与XGBoost竞争，并开源在bartz包中。
2026-11-10 cs.LG stat.ML
Fully Bayesian Logistic Regression with Hyper-Lasso Priors for High-dimensional Feature Selection
高维特征选择出现在现代科学的许多领域。例如，在基因组研究中，我们希望找到可以用于将不同类别的组织（例如癌症和正常组织）与在某些组织细胞中活跃（表达）的数万个基因分开的基因。为此，我们希望用大量的特征（也称为变量，预测因子）来拟合回归和分类模型。在过去的十年中，惩罚似然方法拟合回归模型的基础上hyper-LASSO惩罚受到越来越多的关注，在文献中。然而，使用马尔可夫链蒙特卡罗（MCMC）的完全贝叶斯方法在文献中仍然缺乏发展。本文介绍了一种基于超LASSO先验（非凸罚）的逻辑斯谛回归模型严重多模态后验的MCMC（fully Bayesian）学习方法。我们的MCMC算法使用哈密顿蒙特卡罗在一个限制性吉布斯抽样框架，我们称我们的方法贝叶斯逻辑斯谛回归与超LASSO（BLRHL）先验。我们已经使用模拟研究和真实数据分析，以证明超LASSO先验的优越性能，并探讨了超LASSO先验的选择沉重和规模的问题。
2018-05-12 stat.CO stat.ME stat.ML
Fully Nonparametric Bayesian Additive Regression Trees
University of Pennsylvania（宾夕法尼亚大学）；Medical College of Wisconsin（威斯康星医学院）；Arizona State University（亚利桑那州立大学）
贝叶斯加性回归树（Bayesian Additive Regression Trees，BART）是一种完全贝叶斯的建模方法。BART可以以相当自动的方式揭示具有高维回归量的复杂回归函数，并通过后验提供不确定性的贝叶斯量化。但是，BART假设IID正常错误。这种强参数假设可能导致误导性推断和不确定性量化。在本文中，我们使用经典的狄利克雷过程混合（Dirichlet process mixture）机制的非参数模型的误差分布。BART的一个关键优势是默认的先验设置在各种问题中都能很好地工作。扩展BART的挑战是选择BART的参数，以便在误差接近正态时不会失去标准BART方法的优势，但BART具有适应非正态误差的能力。
2018-07-09 cs.LG stat.ML
Adaptive Bayesian credible sets in regression with a Gaussian process prior
本文研究了两种经验贝叶斯方法和一种分层贝叶斯方法，用于在非参数回归模型中调整高斯过程的尺度。我们表明，所有的方法导致后收缩率，适应真正的回归函数的平滑度。此外，我们还证明了当真实回归函数满足一定的外推条件时，相应的可信集覆盖了该函数。这个条件取决于具体的方法，但是由自相似性的条件所暗示。后一个条件被证明是满足概率1下的先验分布。
2015-04-29 math.ST stat.TH
Convergence properties of Gibbs samplers for Bayesian probit regression with proper priors
贝叶斯概率回归模型（Albert和Chib（1993））是流行的，广泛用于二元回归。虽然在没有任何先验信息的情况下，回归系数的不适当的平坦先验是适当的选择，但是当先验信息可用时或者在系数的数量（$p$）大于样本大小（$n$）的现代高维设置中，适当的正态先验是期望的。对于这两种选择的先验，由此产生的后验密度是棘手的，数据Dugmentation（DA）马尔可夫链是用来产生近似样本的后验分布。建立这个DA马尔可夫链的几何遍历性是很重要的，因为它提供了理论保证构造标准误差的马尔可夫链为基础的后验量的估计。在本文中，我们首先表明，在正常的先验的情况下，DA马尔可夫链是几何遍历 * 的所有 * 选择的设计矩阵$X$，$n$和$p$（不像不适当的先验的情况下，其中$n \geq p$和另一个条件$X$后的适当性本身）。我们还得到了DA马尔可夫链是迹类的充分条件，即，相应算子的本征值是可求和的。特别是，这使我们能够得出结论，Haar PX-DA三明治算法（通过在DA算法的两个步骤之间插入一个廉价的额外步骤获得）在适当的意义上严格优于DA算法。
2017-01-03 math.ST stat.ME stat.TH
Empirical priors for prediction in sparse high-dimensional linear regression
在本文中，我们采用了常见的稀疏，高维线性回归模型，并专注于重要的，但往往被忽视的预测任务。特别是，我们考虑了一个新的经验贝叶斯框架，将数据在两种方式的先验：一个是中心的非零回归系数的先验，另一个是提供一些额外的正则化。我们表明，在某些设置中，所提出的经验贝叶斯后验预测分布的渐近集中是非常快的，我们建立了一个伯恩斯坦-冯米塞斯定理，确保派生的经验贝叶斯预测区间达到目标频率覆盖概率。经验先验具有方便的共轭形式，因此后验计算相对简单和快速。最后，我们的数值结果表明，所提出的方法的强大的有限样本性能的预测精度，不确定性量化，和计算时间相比，现有的贝叶斯方法。
2020-06-04 math.ST stat.ME stat.TH
GRASP: Grouped Regression with Adaptive Shrinkage Priors
Department of Data Science and AI, Monash University（墨尔本大学数据科学与人工智能系）；Department for Information Systems, University of Haifa（海法大学信息系）
GRASP提出基于NBP先验的简单贝叶斯分组回归框架，直接控制尾部实现自适应稀疏性，并量化组内收缩相关性，实证显示鲁棒性。
2025-06-22 cs.LG stat.ME stat.ML
High-dimensional properties for empirical priors in linear regression with unknown error variance
我们研究了高维线性回归的全贝叶斯过程。我们采用[1]中介绍的数据依赖的经验先验。在他们的论文中，这些先验具有很好的后验收缩特性，并且易于计算。本文将他们的理论结果推广到误差方差未知的情况。在适当的稀疏性假设下，通过分析多元t分布，我们得到了模型选择的一致性、后验收缩率以及Bernstein von-Mises定理。
2022-02-11 math.ST stat.TH
A comparison of Bayesian and frequentist interval estimators in regression that utilize uncertain prior information
考虑一个具有回归参数β和正态分布误差的线性回归模型。假设感兴趣的参数是theta = a^T beta，其中a是指定的向量。定义参数tau = c^T beta - t，其中c和t是指定的，并且a和c是线性无关的。还假设我们有不确定的先验信息tau = 0。Kabaila和Giri，2009年，JSPI，描述了一种新的频率论1-alpha置信区间的θ，利用这种不确定的先验信息。我们比较这个置信区间与贝叶斯1-alpha等尾和最短的可信区间θ，从先验密度τ是一个混合的矩形“板”和狄拉克δ函数“尖峰”，结合非信息先验密度的模型的其他参数。我们表明，这些频率和贝叶斯区间估计依赖于数据在非常不同的方式。我们还考虑了这种先验分布，导致贝叶斯和频率区间估计更大的相似性的一些密切的变化。尽管如此，正如我们所展示的，这些区间估计量之间仍然存在很大的差异。
2014-01-14 math.ST stat.ME stat.TH
Mixtures of Gaussian Processes for regression under multiple prior distributions
Otto-Friedrich-University（奥托-弗里德里希大学）
在构建贝叶斯机器学习模型时，我们可能会面临多个不同的先验分布，因此需要在模型中以合理的方式适当考虑它们。虽然这种情况在经典贝叶斯统计中得到了很好的探索，但对于复杂的机器学习问题，开发相应的方法似乎很有用。考虑到它们的基本贝叶斯框架及其广泛的流行性，高斯过程是解决这一任务的良好候选者。因此，我们扩展了高斯过程回归的混合模型的思想，以便同时处理多个先验信念-分析回归公式和稀疏变分方法都被考虑。此外，我们考虑使用我们的方法，另外占功能回归问题中的先验误指定的问题。
2021-04-19 cs.LG stat.ML
Geometric ergodicity of Polya-Gamma Gibbs sampler for Bayesian logistic regression with a flat prior
逻辑斯谛回归模型是分析二进制数据最常用的模型。在贝叶斯逻辑斯谛回归模型中，在没有先验信息的情况下，回归系数往往采用不适当的平坦先验。由此产生的顽固性后壁密度可以通过运行Polson et al.的（2013）数据增强（DA）算法。在本文中，我们建立了马尔可夫链的基础上Polson等人。的（2013）DA算法是几何遍历的。证明这一理论结果具有重要的实际意义，因为它保证了有限二阶矩条件下样本平均值的中心极限定理的存在性。CLT又允许DA算法的用户计算后验估计的标准误差。
2018-07-02 math.ST stat.TH
Restricted type II maximum likelihood priors on regression coefficients
在贝叶斯假设检验和模型选择中，先验分布的选择必须慎重。例如，为位置参数设置任意大的先验尺度，这是估计问题中的常见做法，可能会导致测试中的不良行为（林德利悖论）。本文研究了一类约束Ⅱ型极大似然先验关于回归系数的性质。在II型ML中，超参数通过最大化模型的边际似然来“估计”。在这篇文章中，我们通过估计它们的方差或协方差阵来定义先验，增加限制，以确保所得先验至少与传统的模型不确定性的适当先验一样模糊。我们发现，这些II型ML先验通常会产生接近贝叶斯信息准则（BIC）获得的答案的结果。
2019-11-21 math.ST stat.TH
Objective Bayesian analysis for spatial Student-t regression models
先验分布的选择是贝叶斯分析的一个关键方面。对于空间回归模型，参数的主观先验选择可能并不简单，从这一角度出发，利用客观贝叶斯分析框架，为自由度未知的空间Student-t回归模型引入了一个参考。空间Student-t回归模型提出了两个主要的挑战时，引发的先验：一个空间依赖参数和自由度的其他之一。众所周知，后验分布相对于客观先验的适当性并不总是得到保证，而适当的先验分布的使用可能会主导和偏置后验分析。在本文中，我们展示的条件下，我们提出的参考先验收益率适当的后验分布。模拟研究，以评估性能的参考之前，一个常用的模糊适当的前。
2020-04-09 math.ST stat.TH
