Contributed Discussion to Uncertainty Quantification for the Horseshoe by Stéphanie van der Pas, Botond Szabó and Aad van der Vaart
我们首先介绍正在讨论的文件的主要思想。我们讨论了一些有趣的问题,自适应组件明智的可信区间。然后,我们简要地触及自相似性和过度偏见限制的概念。其次是对本文进行的广泛模拟研究的一些评论。
2018-01-28 math.ST stat.TH
Functional Horseshoe Smoothing for Functional Trend Estimation
Graduate School of Economics, The University of Tokyo(东京大学经济学研究科);Center for Spatial Information Science, The University of Tokyo(东京大学空间信息科学中心)
由于仪器和计算机的发展,功能性观察越来越受欢迎。然而,有效的方法,灵活地估计潜在的趋势与有效的不确定性量化的一系列功能数据(如功能时间序列)仍然是稀缺的。在这项工作中,我们开发了一个局部自适应平滑方法,称为功能马蹄平滑,通过引入收缩之前的一般顺序的差异的功能变量。这使我们能够通过充分利用收缩能力来捕捉突然变化,并通过贝叶斯推断来评估不确定性。完全贝叶斯框架允许通过后验预测损失来选择基函数的数量。我们提供的理论性质的模型,支持收缩能力。此外,通过利用功能数据的性质,该方法能够处理异构观测数据,而无需数据增强。仿真研究和实际数据分析表明,该方法具有良好的性能。
2022-09-21 stat.CO stat.ME
Horseshoe Predictive Inference
Booth School of Business, The University of Chicago(芝加哥大学布斯商学院)
本文研究了在连续混合先验(马蹄先验)下预测推断的理论性质,提出新的理论结果证明预测贝叶斯估计在稀疏性已知时的渐近最优性,并展示了在稀疏性未知时的自适应性能。
2026-04-17 math.ST stat.ME stat.TH
Deep Horseshoe Gaussian Processes
提出深度马蹄高斯过程Deep-HGP作为新先验,通过数据驱动选择长度尺度参数,在非参数回归中实现自适应最优收敛速率,同时适应平滑度与组合结构。
2025-02-01 math.ST stat.ML stat.TH
Horseshoe-based Bayesian nonparametric estimation of effective population size trajectories
系统动力学是群体遗传学的一个领域,它使用遗传序列数据来估计过去的群体动态。现代最先进的贝叶斯非参数方法用于恢复未知形式的种群大小轨迹,使用变点模型或高斯过程先验。当变点的数目未知并且需要估计时,变点模型遭受计算问题。基于高斯过程的方法缺乏局部自适应性,并且不能准确地恢复表现出诸如趋势突变或平滑度变化等特征的轨迹。我们提出了一种新的,局部自适应的方法贝叶斯非参数非线性动态推理,具有灵活性,以适应一大类的功能行为。局部自适应的结果从建模的对数转换的有效人口规模先验的马蹄形马尔可夫随机场,最近提出的统计模型,混合在一起的最佳性能的变点和高斯过程建模范例。我们使用模拟数据来评估模型性能,并发现我们提出的方法与当代方法相比,偏差减少,精度提高。我们还使用我们的模型来重建埃及人类丙型肝炎病毒遗传多样性的过去变化,并估计古代和现代草原野牛的种群规模变化。这些分析表明,我们的新方法捕捉到了最先进的方法所错过的种群规模轨迹的特征。
2019-07-29 q-bio.PE stat.ME
Bayesian Pliable Lasso with Horseshoe Prior for Interaction Effects in GLMs with Missing Responses
本文提出贝叶斯可塑套索,结合马蹄先验处理广义线性模型中的交互效应与缺失响应,通过分层先验强制遗传约束并自适应收缩,开发高效吉布斯采样算法,在完整和不完整数据下优于现有方法。
2025-09-09 stat.AP stat.CO stat.ME
Uncertainty quantification for the horseshoe
研究了稀疏多元正态均值模型中马蹄先验的可信集和边际可信区间。我们这样做,在自适应设置,而不假设知识的稀疏水平(信号的数量)。我们考虑的分层贝叶斯方法,把一个先验的未知的稀疏水平和经验贝叶斯方法的最大边际似然估计的稀疏水平。我们表明,可信球和边际可信区间有良好的频率覆盖和最佳的大小,如果稀疏水平的先验知识是正确的。根据一般理论,诚实置信集的大小不能适应未知的稀疏水平。因此,基于马蹄先验的层次和经验贝叶斯可信集在整个参数空间上是不诚实的。我们表明,这是由于过度收缩某些参数和可靠的球和边际可信区间确实给正确的不确定性量化的参数集。特别是,我们证明了边缘贝叶斯过程的错误发现的分数是由一个正确的选择截止控制。
2017-02-13 math.ST stat.TH
Locally adaptive smoothing with Markov random fields and shrinkage priors
我们提出了一个局部自适应非参数曲线拟合方法,在一个完全贝叶斯框架内操作。该方法使用收缩先验来诱导潜在趋势函数中k阶差异的稀疏性,从而提供局部自适应和全局控制的组合。使用收缩先验的法线表示的尺度混合,我们使我们的方法和k阶高斯马尔可夫随机场平滑之间的明确连接。我们称之为收缩先验马尔可夫随机场(SPMRF)的过程。我们使用哈密顿蒙特卡罗来近似模型参数的后验分布,因为这种方法在我们的模型所表现出的高维和强参数相关性的存在下提供了优越的性能。我们使用模拟数据比较了三种先验公式的性能,发现马蹄先验提供了偏差和精度之间的最佳折衷。我们将SPMRF模型应用于两个经常用于测试非参数方法的基准数据示例。我们发现,这种方法是足够灵活,以适应各种数据生成模型,并提供了自适应特性和计算的易处理性,使其成为一个有用的除了贝叶斯非参数工具箱。
2017-02-09 stat.ME
Tail-adaptive Bayesian shrinkage
本文提出尾部自适应贝叶斯收缩方法,通过全局-局部-尾部高斯混合先验使尾部厚重程度随稀疏水平自适应调整,并证明其后验在稀疏正态均值模型上达到极小极大最优速率,在不同稀疏状态下优于固定尾部的Horseshoe先验。
2024-10-24 math.ST stat.AP stat.CO
Adaptive lasso and Dantzig selector for spatial point processes intensity estimation
Lasso和Dantzig选择器是能够同时执行变量选择和估计的标准程序。本文关注的是扩展这些程序的空间点过程强度估计。我们提出了自适应版本的这些程序,开发有效的计算方法,并得出一个大类的空间点过程的原始设置下的参数的数量,即考虑的空间协变量的数量,增加与预期的数据点的数量的渐近结果。这两个程序进行了比较,在理论上,在模拟研究,并在一个真实的数据例子。
2022-05-23 stat.ME
Heavy-tailed and Horseshoe priors for regression and sparse Besov rates
Department of Mathematics and Statistics, University of Cyprus(塞浦路斯大学数学与统计系)
本文提出重尾和马蹄先验分布用于回归,实现对贝索夫光滑信号的稀疏贝索夫速率适应。
2026-02-03 math.ST stat.TH
Functional Horseshoe Priors for Subspace Shrinkage
我们引入了一个新的收缩函数空间之前,称为功能马蹄先验(fHS),鼓励收缩对参数类的功能。与参数模型的其他收缩先验不同,fHS收缩作用于函数的形状,而不是诱导模型参数的稀疏性。我们研究了所提出的方法的有效性,显示了自适应后验浓度的功能。我们还证明了一致性的模型选择程序阈值的收缩参数的功能马蹄事先。我们将fHS应用于非参数加性模型,并将其性能与基于标准马蹄铁先验和几种惩罚似然方法的程序进行比较。在几个仿真和实际算例中,我们发现新方法比其他方法具有更小的估计误差和更精确的模型选择。本文的补充材料,其中包含额外的模拟和真实数据示例,MCMC诊断和理论结果的证明,可在线获得。
2018-09-27 stat.ME
Adaptive shrinkage of smooth functional effects towards a predefined functional subspace
在本文中,我们提出了一个新的马蹄型先验层次自适应收缩样条函数的影响,对一个预定义的向量空间的参数函数。我们不是将每个样条系数向零收缩,而是在控制与预定义向量空间的偏差之前使用自适应马蹄铁。为此目的,修改后的马蹄先验设置为每个样条曲线一个尺度参数,而不是每个系数一个。提出的先验允许大量的基函数捕捉各种功能的影响,而估计的功能效果是防止从一个高度振荡的过拟合。我们实现这一点,通过整合一个平滑的惩罚类似的随机游动事先普遍适用于贝叶斯P-样条先验。在模拟研究中,我们展示了新的先验规范的属性,并将其与文献中的其他方法进行比较。此外,我们展示了所提出的方法的适用性,估计在德国的能源消耗在一天的过程中。对于推理,我们依赖于马尔可夫链蒙特卡罗模拟结合吉布斯抽样的样条系数切片采样的模型中的所有尺度参数。
2021-01-14 stat.ME
GRASP: Grouped Regression with Adaptive Shrinkage Priors
Department of Data Science and AI, Monash University(墨尔本大学数据科学与人工智能系);Department for Information Systems, University of Haifa(海法大学信息系)
GRASP提出基于NBP先验的简单贝叶斯分组回归框架,直接控制尾部实现自适应稀疏性,并量化组内收缩相关性,实证显示鲁棒性。
2025-06-22 cs.LG stat.ME stat.ML
Dynamic Shrinkage Processes
提出了一类新的贝叶斯时间序列和回归分析的动态收缩过程。建立在一个全球性的局部框架之前的建设,其中连续规模的高斯分布的混合物采用理想的收缩性能和计算的易处理性,我们模型之间的依赖关系的局部尺度参数。由此产生的过程继承了流行的全局-局部先验(如马蹄铁先验)的理想收缩行为,但提供了额外的局部自适应性,这对于建模时间序列数据或具有局部特征的回归函数非常重要。我们构建了一个计算效率高的吉布斯抽样算法的基础上的Pólya-Gamma尺度混合表示的建议的过程。使用动态收缩过程,我们开发了一个贝叶斯趋势过滤模型,产生更准确的估计和更紧密的后验可信区间比竞争的方法,并应用该模型的不规则曲线拟合的每分钟的Twitter CPU使用数据。此外,我们开发了一个自适应的时变参数回归模型,以评估法玛-弗伦奇五因素资产定价模型的有效性与动量添加为第六个因素。我们对制造业和医疗保健行业数据的动态分析表明,除了市场风险外,没有其他风险因素是显著的,除了短期内。
2018-02-24 stat.ME
Adaptive post-Dantzig estimation and prediction for non-sparse "large $p$ and small $n$" models
为了估计和模型预测的一致性(甚至是预言性质),几乎所有现有的变量/特征选择方法都严重依赖于模型的稀疏性。然而,对于“大$p$和小$n$“模型,稀疏性假设很难检验,特别是当这个假设被违反时,所有现有估计的一致性通常是不可能的,因为由现有方法如LASSO和Dantzig选择器选择的工作模型通常是有偏差的。为了解决这个问题,本文提出了自适应后Dantzig估计和模型预测。这里的适应性是指基于新方法的一致性对模型的非稀疏性、收缩调节参数的选择和预测向量的维数具有自适应性。其思想是在Dantzig选择器确定一个子模型作为工作模型后,通过选择合适的工具变量和非参数调整,构造一个全局无偏的子模型。子模型中参数的新估计可以具有渐近正态性。相合估计量与所选子模型和调整后的模型一起改进模型预测。仿真研究表明,新方法与高斯-丹齐格选择器等经典方法相比,在估计和预测精度上都有明显的提高。
2010-08-07 stat.ME
Uncertainty Quantification in Bayesian Reduced-Rank Sparse Regressions
提出一种贝叶斯降秩稀疏回归模型,通过混合先验与全局-局部收缩先验估计系数矩阵秩,并引入SAVS及两种新工具实现不确定性量化,在模拟与真实数据中验证了有效性。
2024-02-13 stat.AP stat.ME
Non-parametric adaptive bandwidth selection for kernel estimators of spatial intensity functions
基于Campbell-Mecke公式和Abramson平方根定律,提出了一种新的空间点过程强度函数核估计的完全非参数两步自适应带宽选择方法.我们提出了一个模拟研究,以评估其性能相对于Cronie-Van Lieshout全球带宽选择器,并应用该技术在theGroningen气田诱发地震的数据。
2022-10-21 stat.ME
Bayesian model-averaging stochastic item selection for adaptive testing
UCLA Department of Statistics(加州大学洛杉矶分校);Renaissance Learning;NIH Clinical Center(美国国立卫生研究院临床中心)
本文提出一种基于贝叶斯模型平均的随机项目选择方法,用于自适应测试,解决测量效率与项目安全性的平衡问题,实现完整的项目库曝光。
2026-03-31 cs.IT math.IT stat.ME
Log-Scale Shrinkage Priors and Adaptive Bayesian Global-Local Shrinkage Estimation
Monash University(莫纳什大学);The University of Melbourne(墨尔本大学)
全局-局部收缩层次是贝叶斯估计的一个重要创新。我们提出了使用对数尺度分布作为一种新的基础上生成家庭的先验分布的局部收缩超参数。通过改变尺度参数,可以改变先验分布在系数估计中促进稀疏性的程度。通过检查类分布的对数的局部收缩参数,有对数线性,或子对数线性的尾巴,我们表明,许多标准的先验分布的局部收缩参数可以统一的尾部行为和浓度特性,其相应的边缘分布的系数$β_j$。我们推导出$|β_j|=0$周围的浓度率的上限,和尾部衰减为$|β_j| \to \infty$,可实现这一广泛的一类先验分布。然后,我们提出了一种新的类型的超重尾先验,称为log- $t$先验的属性,无论相关的尺度参数的选择,边缘分布总是发散在$β_j = 0$,并始终具有超柯西尾。我们发展的结果表明,当先验分布(子)对数线性尾部达到Kullback-Leibler超有效性,并证明了对数- $t$先验分布总是超有效的。我们发现,日志- $t$先验是不太敏感的错误指定的全球收缩参数比马蹄铁或套索先验。通过将尺度参数的对数尺度先验分布的贝叶斯层次,我们得到新的自适应收缩程序。仿真结果表明,自适应log- $t$程序似乎总是表现良好,无论水平的稀疏性或信噪比的基础模型。
2020-01-30 cs.LG math.ST stat.TH
Group Inverse-Gamma Gamma Shrinkage for Sparse Regression with Block-Correlated Predictors
重尾连续收缩先验,如马蹄先验,被广泛用于稀疏估计问题。然而,有有限的工作扩展这些先验预测与分组结构。本文中特别感兴趣的是回归系数估计,其中协变量空间中的高共线性口袋包含在已知的协变量分组中。为了减轻由于多重共线性引起的方差膨胀,我们提出了组逆伽马伽马(GIGG)先验,这是一种重尾先验,可以以数据自适应的方式在局部和组收缩之间进行权衡。GIGG先验的一个特殊情况是组马蹄先验,其收缩曲线在组内相关,使得回归系数边缘具有精确的马蹄正则化。我们证明了线性回归模型中回归系数的后验一致性和稀疏正态均值模型中均值参数的后验浓度结果。对应于GIGG回归的完整条件分布可以以封闭形式导出,从而导致直接的后验计算。我们表明,GIGG回归结果在低均方误差在很宽的范围内的相关结构和组内的信号密度,通过模拟。我们将GIGG回归应用于国家健康和营养检查调查的数据,将环境暴露与肝功能联系起来。
2021-02-21 stat.ME
Spectral Collapsed Gibbs Sampler for Bayesian Sparse Regression
Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出一种基于谱分解的高斯-马尔可夫采样器,用于解决贝叶斯稀疏回归中高维数据后验推断的效率问题,通过优化全局尺度参数τ的混合性,提升算法收敛速度和稳定性。
2026-05-07 stat.CO stat.ME
Virtual Dummies: Enabling Scalable FDR-Controlled Variable Selection via Sequential Sampling of Null Features
本文提出VD-LARS方法,通过序列采样_null_特征实现高维变量选择的FDR控制,大幅降低内存和运行时间,同时保持精确选择律和FDR保证。
2026-04-08 stat.ME stat.ML
Scalable Variable Selection under Predictor Dependence with Adaptive Virtual Dummies
针对高维变量选择中预测变量依赖导致的FDR失控与计算冗余问题,提出基于自适应虚拟哑变量和共享惰性Gram缓存的方法,实现经验FDR控制并获超六倍加速,支持十万预测变量。
2026-09-28 eess.SP stat.ME