Regularization in regression: comparing Bayesian and frequentist methods in a poorly informative situation
使用一组模拟的真实基准，我们比较贝叶斯和频率正则化方法在低信息约束下，当变量的数量几乎等于模拟和真实数据集上的观测数量时。这种比较包括基于Zellner g先验的贝叶斯变量选择的新的全局非信息方法，类似于Liang et al.（2008）。这些校准的建议的利益进行了讨论。我们提出的数值实验突出了贝叶斯正则化方法的吸引力，与非贝叶斯替代品相比。它们在频率论方法中占主导地位，因为它们提供更小的预测误差，同时以简约的方式选择最相关的变量。
2011-11-15 stat.CO stat.ME
Bayesian Elastic Net Regression with Structured Prior Dependence
The Ohio State University（俄亥俄州立大学）
本文提出了一种具有结构先验依赖的贝叶斯弹性网回归方法，通过正交正态分布和L1正则化g先验提升模型灵活性，并通过模拟和实验验证其有效性。
2025-12-31 stat.ME
Variational Predictive Information Bottleneck
Google Research（谷歌研究院）
在经典论文中，Zellner证明了贝叶斯推理可以作为信息论泛函的解决方案。下面我们推导出这个泛函的广义形式作为预测信息瓶颈目标的变分下界。这种广义的功能包括最现代的推理程序，并建议新的。
2019-10-23 cs.IT cs.LG math.IT
Closed-Form Power and Sample Size Calculations for Bayes Factors
本文提出了无需蒙特卡洛模拟即可计算贝叶斯因子假设检验中功效与样本量的方法，在近似正态性假设下推导出闭式解公式，并开发了R包bfpwr以支持复杂先验下的研究设计。
2024-11-13 stat.ME
A study of variable selection using g-prior distribution with ridge parameter
在贝叶斯随机搜索变量选择框架中，回归系数的常见先验分布是Zellner（1986）的g先验。然而，在两种标准情况下，相关的协方差阵不存在，不能使用Zellner的传统先验：如果观测值的数目小于变量的数目（大p和小n范例），或者如果一些变量是其他变量的线性组合。在这种情况下，通过引入岭参数，可以使用从Zellner先验导出的先验分布。Gupta和Ibrahim（2007）引入的先验是对g-prior的灵活和简单的改编。本文研究了岭参数对变量选择的影响。提出了一种简单的方法来选择相关的超参数。该方法对任何广义线性混合模型都是有效的，我们重点讨论了概率单位混合模型中某些变量是其他变量的线性组合的情况。该方法适用于模拟和真实的数据集获得的Affyandroid微阵列实验。结果与贝叶斯套索获得的结果进行比较。
2011-11-14 stat.ME
Robust Bayesian variable selection with sub-harmonic priors
本文研究了一般球对称误差分布线性模型中的贝叶斯变量选择问题。我们提出了次谐波先验出现的Zellner的g-先验的贝叶斯因子是独立的基本误差分布的混合物的一类，只要它是在球对称类。由于这种不变性球对称误差分布，我们把我们的方法作为一个强大的贝叶斯变量选择方法。我们证明了我们的贝叶斯因子具有模型选择的一致性和连贯性。我们还开发了拉普拉斯近似贝叶斯因子的一些最近研究的混合物的g先验最近出现在文献中（包括我们自己的）的高斯误差。在每种情况下，这些近似值都由基于BIC的高斯贝叶斯因子乘以先验超参数的简单有理函数和相应模型的R^2给出。我们还扩展了模型选择的一致性为几个g先验贝叶斯因子方法高斯误差的整个类的球对称误差分布。此外，我们证明了我们的类的次谐波先验是唯一的在一个大类的混合物的g-先验在文献中研究的是强大的，在我们的意义上。模拟研究和两个真实数据集的分析表明，我们的鲁棒贝叶斯因子相对于BIC和其他混合的g先验方法的良好性能。
2013-03-11 math.ST stat.ME stat.TH
Revisiting High Dimensional Bayesian Model Selection for Gaussian Regression
随着协变量数目的增加，回归问题的模型选择仍然是一个重要的问题，在理论和应用。模型选择一致性和均值结构重构依赖于贝叶斯因子学习率和模型复杂性惩罚之间的相互作用。在这项工作中，我们提出的结果Zellner-Siow先验的回归系数配对泊松模型的复杂性。我们发现，模型选择的一致性限制了真实模型的维数增加得太快。此外，我们表明，新的协变量的平均结构的额外贡献必须足够大，以克服复杂性惩罚。不同模型集的平均贝叶斯因子涉及从设计矩阵中选择列的随机变量。我们表明，这些随机变量有一个大的类没有时刻渐近，需要使用稳定的法律进行分析。我们推导出这些随机变量的吸引区域，并获得了控制错误发现的设计矩阵的条件。
2019-05-15 math.ST stat.TH
Statistical details of the default priors in the Bambi library
这是Yarkoni和Westfall（2017）的姊妹篇论文，描述了使用简单界面估计贝叶斯广义线性混合模型的Python包Bambi。在这里，我给出了默认的统计细节，当用户没有指定先验时，所有模型中使用的弱信息先验。我们的方法是首先推导出斜率的方差，如果我们在偏相关尺度上定义先验，然后在斜率上设置独立的正态先验，方差等于这些隐含的方差。我们的方法在精神上类似于Zellner的g-prior（Zellner 1986），因为它涉及回归斜率上的多元正态先验，具有调节参数以控制先验的宽度或信息量，而不管数据和预测因子的尺度如何。主要区别在于，这里的调谐参数可直接解释为似然偏相关分布的标准差，并且该调谐参数对于不同的系数可以具有不同的值。截距和随机效应的默认先验最终基于先验斜率方差。
2017-02-10 stat.AP
Consistency of Bayes factor for nonnested model selection when the model dimension grows
Zellner的$g$ -先验是正态回归模型中模型选择问题的一种常用先验选择。Wang和Sun [J. Statistist.计划Inference 147（2014）95-105]最近采用了这种先验，并为$g$设置了一个特殊的超先验，这导致了嵌套线性模型比较的贝叶斯因子的封闭形式表达式。他们已经证明，在非常一般的条件下，当两个竞争模型具有$O(n^τ)$阶时，贝叶斯因子是一致的，对于$τ<1$和对于$τ=1$，除了原假设周围的一个小的不一致区域外，几乎是一致的。本文研究了具有增长参数的非嵌套线性模型的Bayes因子相合性。其中一些结果推广了嵌套线性模型的Bayes因子的结果。具体来说，我们比较了文献中提出的贝叶斯因子和内在贝叶斯因子之间的渐近行为。
2016-06-06 math.ST stat.TH
Block Hyper-g Priors in Bayesian Regression
贝叶斯回归的先验分布的发展传统上是由实现合理的模型选择和参数估计的目标驱动的。表征良好性能的属性的形式化导致了g先验的厚尾混合物的发展和普及，如Zellner-Siow和hyper-g先验。特定先验的性质通常在可能性或先验的限制下阐明。在本文中，我们引入了一个新的，条件信息渐近的动机是由共同的数据分析设置，其中至少有一个回归系数是远远大于其他。我们分析了现有的混合物的g先验在此限制下，揭示了两个新的行为，本质上最小二乘（ELS）估计和条件林德利的paradigm（CLP），并认为这些行为是，在一般情况下，不可取的。由于这两种行为背后的驱动程序是使用一个单一的，潜在的尺度参数，这是共同的所有系数，我们提出了一个块超g先验，定义首先分区的协变量成组，然后将独立的超g先验的相应块的系数。我们提供的条件下，ELS和CLP避免了新的类的先验，并提供传统的样本量渐近下的一致性结果。
2015-01-13 math.ST stat.ME stat.TH
Necessary and Sufficient Conditions for High-Dimensional Posterior Consistency under $g$-Priors
我们检查充要条件后一致性下$g$先验，包括扩展到层次和经验贝叶斯模型。这篇文章的主要特点是，我们允许回归的数量以相同的速度增长的样本量和定义后验一致性下的超向量范数，而不是更传统的欧几里德范数。我们特别考虑了George和Foster（2000）的经验贝叶斯模型、Liang等人（2008）的hyper- $g$ -prior以及Zellner和Siow（1980）考虑的先验。
2015-09-03 math.ST stat.TH
Posterior covariance information criterion for general loss functions
本文提出利用后验协方差以低成本估计广义贝叶斯推断的一般预测度量，给出 Gibbs 与插件泛化误差估计量、理论保证及多类应用。
2025-01-11 stat.ME
Bayes Sensitivity with Fisher-Rao Metric
我们提出了一个几何框架来评估贝叶斯过程的敏感性建模假设的基础上的非参数Fisher-Rao度量。虽然框架是一般的精神，本文的重点是限制在两个设置下的度量为基础的诊断：评估局部和全局的鲁棒性贝叶斯过程的扰动的可能性和先验，并确定有影响力的意见。该方法是基于平方根表示的密度，使之能够计算测地线和测地距离的分析形式，方便自然校准的本地和全球的差异措施的定义。我们的方法的一个重要特点是定义的几何$ε$污染类的抽样分布和先验概率密度函数的空间上通过内在分析。我们展示了我们的框架在几个模拟玩具数据集上的适用性，以及在广义混合效应模型，方向数据和形状数据的真实数据设置中的适用性。
2014-04-25 stat.ME
Mixtures of g-priors in Generalized Linear Models
Zellner g-先验的混合已在线性模型中得到广泛研究，并已被证明具有贝叶斯变量选择和模型平均的许多理想性质。在文献中已经提出了几个扩展的g-先验的广义线性模型（GLM），然而，选择先验分布的g和由此产生的属性的推断得到了相当少的关注。本文通过将截断的复合合流超几何（tCCH）分布赋为1/（1 + g），统一了GLM中g先验的混合，其中包括文献中的几种g先验的混合，如hyper-g，Beta-prime，truncated Gamma，incomplete inverse Gamma，benchmark，robust，hyper-g/n和intrinsic prior。通过积分拉普拉斯近似，1/（1 + g）的后验分布又是tCCH分布，因此近似的边缘似然性可通过分析获得，从而导致用于模型选择的“复合超几何信息准则”。我们讨论了GLM中g先验的局部几何性质，并展示了Bayarri等人提出的模型选择的必要条件，如渐近模型选择一致性，内在一致性和测量不变性，可以用来证明超参数的先验和特定选择。我们说明推理使用这些先验知识，并通过模拟和真实数据的例子将它们与其他方法进行对比。该方法在R包BAS中实现，并在CRAN上免费提供。
2018-05-04 stat.ME
The generalized IFS Bayesian method and an associated variational principle covering the classical and dynamical cases
本文提出一种广义 IFS 贝叶斯方法及广义贝叶斯法则，涵盖动态与非动态设定，并证明其产生的后验概率与变分原理最优解相关，同时通过 Ruelle 算子推导出动态贝叶斯法则。
2023-09-07 cond-mat.stat-mech math-ph math.DS
Bayesian Clustered Coefficients Regression with Auxiliary Covariates Assistant Random Effects
在区域经济学研究中，一个令人感兴趣的问题是检测区域之间的相似性，并估计它们在经济模型中的共享系数。在这篇文章中，我们提出了一个有限混合物（MFM）聚类回归模型的辅助协变量，占人口或经济特征的相似性在空间域的混合。我们的贝叶斯构造提供了聚类数和聚类配置的推断，以及每个聚类的参数估计。通过模拟实验说明了该模型的实证性能，并进一步应用于佐治亚州每月住房成本的影响因素的研究。
2021-08-28 econ.EM stat.AP stat.ME
Bayesian Semiparametric Multivariate Density Regression with Coordinate-Wise Predictor Selection
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出了一种灵活的贝叶斯方法，用于估计多变量结果在存在分类协变量时的联合密度。通过高斯Copula框架，方法有效捕捉多变量响应不同坐标的依赖结构，利用共享原子的灵活混合模型和新的Tucker张量分解结构，实现坐标特定的协变量子集识别。
2026-10-22 stat.ME
Bayes Factors for Peri-Null Hypotheses
对贝叶斯因子点-原假设检验的一个长期反对意见是，点-原假设从一开始就被认为是假的。我们研究的后果，近似尖锐的点零假设的模糊的"周边零"假设例示为一个狭窄的先验分布集中在感兴趣的点。然后，周零贝叶斯因子等于点零贝叶斯因子乘以校正项，该校正项本身是贝叶斯因子。对于中等样本量，校正项相对无关紧要;然而，对于大样本量，校正项变得有影响力，并导致围零贝叶斯因子不一致，接近一个极限，该极限取决于在最大似然估计下评估的先验坐标的比率。我们刻画了围零贝叶斯因子的渐近行为，并简要讨论了如何构建围零贝叶斯因子假设检验的建议，也是一致的。
2022-05-19 math.ST stat.ME stat.TH
Predicting Stock Market Crash with Bayesian Generalised Pareto Regression
本文提出贝叶斯广义帕累托回归模型，结合波动率协变量预测印度Nifty 50指数崩盘风险，实证表明Cauchy先验最优且全球波动率显著提升预测能力。
2025-06-21 q-fin.ST stat.AP stat.ML
The E-Posterior
本文提出基于e-变量的e-后验表示方法，在保留对任意损失函数预测能力的同时，提供不受先验适当性影响的频率学派有效风险界，使极小化极大决策更安全，并重新解释了Kiefer-Berger-Brown-Wolpert条件频率学派检验。
2023-09-18 math.ST stat.ME stat.TH
Practical Bayesian model evaluation using leave-one-out cross-validation and WAIC
留一法交叉验证（LOO）和广泛适用的信息准则（WAIC）是使用在参数值的后验模拟中评估的对数似然估计拟合贝叶斯模型的逐点样本外预测准确度的方法。LOO和WAIC相对于AIC和DIC等简单的预测误差估计具有各种优势，但在实践中使用较少，因为它们涉及额外的计算步骤。在这里，我们为LOO和WAIC提供了快速稳定的计算，可以使用现有的模拟绘制来执行。我们引入了一个有效的计算LOO使用帕累托平滑重要性抽样（PSIS），一个新的程序，正则化的重要性权重。虽然WAIC是渐近等于LOO，我们证明了PSIS-LOO是更强大的有限的情况下，弱先验或有影响力的意见。作为我们计算的副产品，我们还获得了近似的标准误估计的预测误差和两个模型之间的预测误差的比较。我们实现了一个R包中的计算称为“厕所”，并证明使用模型适合与贝叶斯推断包斯坦。
2016-09-12 stat.CO stat.ME
Power-Expected-Posterior Priors for Variable Selection in Gaussian Linear Models
在线性模型中贝叶斯变量选择的期望后验先验（EPP）方法的背景下，我们结合了幂先验和单位信息先验方法的思想，同时产生最小信息先验并减少训练样本的影响。结果是，在实践中，我们的功率预期后验（PEP）方法是足够不敏感的训练样本的大小n*，由于PEP的单位信息的建设，一个可以采取n* 等于全数据样本量n和免除训练样本。在本文中，我们专注于高斯线性模型和开发我们的方法在两个不同的基线先验选择：独立Jeffreys（或参考）前，产生的J-PEP后，和Zellner g先验，导致Z-PEP。我们发现，在参考基线先验下，PEP贝叶斯因子的渐近性与Schwartz的BIC准则的渐近性是等价的，从而保证了PEP方法在模型选择中的一致性。我们比较我们的方法的性能，在模拟研究和一个真实的例子，涉及预测的空气污染物浓度从气象协变量，与各种先前定义的变量的贝叶斯因素的客观变量选择。我们的先验，由于其单位信息结构，导致变量选择过程，（1）系统地比具有最小训练样本的基本EPP更简约，同时不牺牲期望的性能特征来实现这种简约;（2）对训练样本的大小是鲁棒的，因此享受上述的优点，完全避免训练样本;以及（3）识别实现良好的样本外预测性能的最大后验模型。
2014-05-20 stat.CO
High Dimensional Bayesian Network Classification with Network Global-Local Shrinkage Priors
本文提出了一种新的贝叶斯分类框架的网络标记的节点。虽然关于网络数据的统计建模的文献通常涉及对单个网络的分析，但最近在包括脑成像研究在内的几种生物应用中出现的复杂数据提出了为受试者设计网络分类器的需求。本文考虑了大脑连接体研究的一个应用，其总体目标是根据受试者的大脑网络数据将其分为两个独立的组，并识别有影响力的感兴趣区域（ROI）（称为节点）。现有的方法要么把所有的边权值作为一个长向量，要么用几个摘要度量来概括网络信息。这两种方法都忽略了完整的网络结构，可能会导致在小样本中不太理想的推断，并且没有被设计为识别重要的网络节点。我们提出了一种新的二进制逻辑斯谛回归框架与网络作为预测和二进制响应，网络预测系数建模使用一类新的全局-局部收缩先验。该框架能够准确地检测网络中影响分类的节点和边缘。我们的框架是使用一个有效的马尔可夫链蒙特卡罗算法。理论上，我们表现出渐近最优分类的建议框架时，网络边缘的数量增长速度比样本量。通过大量的模拟研究和对大脑连接体数据的分析，该框架得到了经验性的验证。
2020-09-23 stat.AP stat.ME
Bayesian Predictive Coding
VERSES AI Research Lab（VERSES AI研究实验室）；School of Engineering and Informatics, University of Sussex（萨塞克斯大学工程与信息学院）；Max Planck Institute of Animal Behavior（马克斯·普朗克动物行为研究所）；Duke University（杜克大学）
本文提出了一种PC的贝叶斯扩展方法BPC，通过估计网络参数的后验分布来量化不确定性，同时保留了PC的局部性并产生闭式Hebbian权重更新，在保证生物合理性的同时改善了收敛性能。
2025-03-31 cs.AI cs.LG stat.ML
Information Borrowing in Regression Models
模型开发通常需要考虑数据结构、主题因素、模型假设和拟合优度。要诊断这些因素中的任何一个的问题，在更细粒度的级别上理解回归模型估计值可能会有所帮助。我们提出了一种新的方法分解点估计从回归模型通过放置在数据集群的权重。权重仅由模型规格和数据可用性提供，因此可用于将数据不平衡和模型假设的影响与实际模型估计值明确联系起来。在现有文献中，在线性模型中，权重矩阵被理解为帽子矩阵。我们将其扩展到贝叶斯分层回归模型，通过随机效应之间的协方差，将先验信息和复杂的依赖结构。我们表明，模型的权重，我们称之为借款因素，概括收缩和信息借用所有回归模型。相比之下，帽子矩阵的重点主要放在表示杠杆金额的对角元素上。我们还提供了汇总借款因素的指标，这些指标实际上很有用。我们提出的理论属性的借款因素和相关的指标，并证明他们的用法在两个例子。通过明确量化借用和收缩，研究人员可以更好地整合领域知识，评估模型性能和数据属性（如数据不平衡或影响点）的影响。
2022-01-09 stat.ME
Robust Ensemble Kalman Filtering Under Observation Noise Misspecification
Heidelberg University（海德堡大学）；University of Potsdam（波茨坦大学）
针对动态系统贝叶斯滤波中观测噪声误设定问题，提出利用扩散分数匹配调整分析步信息处理的鲁棒卡尔曼滤波器，理论证明其在线性高斯状态空间中的共轭性、鲁棒性、协方差稳定性及高维一致性，并通过集成近似实现EnKF、ESRF和LETKF变体，在目标跟踪、Lorenz 63和Lorenz 96系统中验证了鲁棒性与稳定性的权衡。
2026-11-09 math.DS math.ST stat.ME
From Few to Many: Self-Improving Many-Shot Reasoners Through Iterative Optimization and Generation
Google Cloud AI Research（谷歌云AI研究院）
本文提出BRIDGE算法，通过贝叶斯优化交替执行识别高影响力示例的“优化”步骤与重用示例扩展推理路径的“生成”步骤，有效提升了大型语言模型在多示例上下文学习中的推理性能。
2025-02-01 cs.AI cs.LG stat.ML
Inference with Imputed Data: The Allure of Making Stuff Up
数据的不完全可观测性产生识别问题。对于缺失的数据，没有灵丹妙药。人们对总体参数的了解取决于人们认为可信的假设。假设的可信度随经验设置而变化。没有具体的假设可以提供一个现实的一般解决方案的问题的推断与缺失的数据。然而，鲁宾已经推广了随机多重插补（RMI）作为处理公共使用数据中缺失值的一般方法。这一建议对那些寻求简单解决数据缺失问题的实证研究人员很有影响。这篇论文补充了我以前对归责的批评。它提供了一个透明的评估混合贝叶斯和频率论的思维使用鲁宾为RMI。当目标是学习条件期望时，它评估随机插补以替换缺失的结果或协变量数据。它考虑了可能有助于打击编造东西的诱惑的措施。
2022-05-15 econ.EM stat.ME
Identifying microbial drivers in biological phenotypes with a Bayesian Network Regression model
本文首次系统评估仅含交互效应的 Bayesian Network Regression 模型在高维稀疏微生物数据中识别表型驱动微生物的能力，并公开 Julia 实现。
2024-01-20 stat.AP
Colorectal cancer risk mapping through Bayesian Networks
本文融合专家知识与观察性数据构建CRC Bayesian Network，量化风险因素及预测不确定性，并开发图形化风险图谱工具以划分人群、支持筛查与治疗决策。
2024-09-06 stat.AP
Microarrays, Empirical Bayes and the Two-Groups Model
由奈曼、皮尔逊和费舍尔提出的经典的频率论假设检验理论被认为是二十世纪最有影响力的应用数学。21世纪出现了一些新的情况：高通量设备，如微阵列，通常需要同时对数千个单独的案例进行假设检验，这与经典理论所设想的完全不同。在这些情况下，经验贝叶斯信息开始强迫频率论者和贝叶斯论者。两组模型是一个简单的贝叶斯结构，便于经验贝叶斯分析。本文关注的是贝叶斯和频率论思想在两组设置的相互作用，特别注意集中在Benjamini和Hochberg的错误发现率的方法。主题包括在大规模测试情况下原假设的选择和意义，权力的考虑，置换方法的局限性，组的情况下（如微阵列研究中的途径），相关效应，多个置信区间和贝叶斯竞争对手的两组模型的显着性检验。
2008-08-05 stat.ME
Pushing the Limits of Contemporary Statistics: Contributions in Honor of Jayanta K. Ghosh
Jayanta Kumar Ghosh是统计学领域最杰出的教授之一。他在许多领域的研究，特别是渐近，已经突破性的，在世界各地有影响力，并通过奖项和其他荣誉得到广泛认可。他作为印度统计研究所所长和国际统计研究所所长以及其他重要职位在统计方面的领导作用也同样出色。为了表彰贾扬塔的巨大影响，本卷是一个努力，以表彰他通过绘制贡献的主要领域，他已经工作，并继续工作。论文自然分为五类。首先，序贯估计是Jayanta的出发点。因此，从这个主题开始，有两篇论文，一个经典的霍尔和丁导致一个变量的p值，和一个贝叶斯的伯杰和孙扩展参考先验停时的问题。第二，在一般的先验规范领域，有五篇论文。Jayanta早期的大部分工作都涉及群体家庭，比如Sweeting的论文。也有两个文件居住之间的联系模糊集和先验，由Meeden和Delampady和昂热。同样大胆的是Mukerjee的工作，他利用数据依赖的先验知识，以及Ghosh、Santra和Kim发现的几个先验选择标准的令人满意的融合。Jayanta自己研究了各种先验选择标准，包括概率匹配先验和参考先验。
2008-06-27 math.ST stat.TH
Repairing Locally Misspecified GMM: An Empirical Bayes Approach
UC Berkeley（加州大学伯克利分校）
本文针对受阶为$n^{-1/2}$的可交换误设定误差污染的GMM，提出经验贝叶斯方法修复局部误设定，通过构造偏差校正估计量与经验贝叶斯估计量，在模拟与实证研究中验证了其优于标准两阶段最小二乘估计的性能。
2026-09-09 econ.EM stat.ME
