Semi-parametric Expert Bayesian Network Learning with Gaussian Processes and Horseshoe Priors
National University of Singapore（新加坡国立大学）；Harvard University（哈佛大学）
该研究提出带线性约束的半参数专家贝叶斯网络学习模型，结合高斯过程与差异化尺度马蹄先验引入少量非线性，可生成多样适配用户输入的图，在合成及UCI肝病数据集上性能优于现有半参数贝叶斯网络模型。
2024-01-29 cs.LG stat.ML
Model Selection in Bayesian Neural Networks via Horseshoe Priors
贝叶斯神经网络（BNN）最近受到越来越多的关注，因为它们能够提供良好校准的后验不确定性。然而，模型选择-甚至选择节点的数量-仍然是一个悬而未决的问题。在这项工作中，我们将马蹄铁先验应用于贝叶斯神经网络的节点预激活，这有效地关闭了无助于解释数据的节点。我们证明了我们的先验知识可以防止BNN拟合不足，即使所需的节点数量被严重高估。此外，这种对节点数量的模型选择并不以牺牲预测或计算性能为代价;事实上，我们学习的是更小的网络，其预测性能与当前方法相当。
2017-05-29 stat.ML
Structured Variational Learning of Bayesian Neural Networks with Horseshoe Priors
IBM research（IBM研究院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Harvard University（哈佛大学）
贝叶斯神经网络（BNN）最近受到越来越多的关注，因为它们能够提供良好校准的后验不确定性。然而，模型选择-甚至选择节点的数量-仍然是一个悬而未决的问题。最近的工作提出了在贝叶斯神经网络的节点预激活上使用马蹄铁先验，这有效地关闭了无助于解释数据的节点。在这项工作中，我们提出了几个建模和推理的进步，不断提高学习模型的紧凑性，同时保持预测性能，特别是在小样本设置，包括强化学习。
2018-07-31 cs.LG stat.ML
Robust Bayesian high-dimensional variable selection and inference with the horseshoe family of priors
针对重尾误差下高维稳健回归的推断难题，本文构建采用 horseshoe 先验族和高效 Gibbs 抽样的贝叶斯层次模型，证明其在选择、估计与可信区间推断上优于替代方法。
2025-07-22 stat.ME
Horseshoe shrinkage methods for Bayesian fusion estimation
我们考虑高维信号的估计和结构学习的问题，通过正常的序列模型，其中潜在的参数向量是分段常数，或具有块结构。我们开发了一种贝叶斯融合估计方法，通过使用马蹄铁前诱导一个强大的收缩效应的连续差异的平均参数，同时施加足够的前浓度为非零值相同。因此，所提出的方法有利于一致的估计和结构恢复的信号片。我们提供了理论上的理由，我们的方法推导出后验收敛率和建立选择的一致性在适当的假设。我们还将我们提出的方法扩展到任意图上的信号去噪，并开发了有效的计算方法，同时提供了理论保证。我们通过大量的模拟和两个现实生活中的信号去噪在生物和地球物理应用的例子证明了基于马蹄铁贝叶斯融合估计方法的优越性能。我们还展示了我们的方法在一个现实世界的大型网络的图形信号去噪问题的估计性能。
2021-03-30 math.ST stat.ME stat.TH
Concentration of a sparse Bayesian model with Horseshoe prior in estimating high-dimensional precision matrix
本文针对高维稀疏精度矩阵估计，提出基于Horseshoe先验的回火后验集中性理论，并给出模型误设下的oracle不等式，通过模拟验证了方法的有效性。
2024-09-13 math.ST stat.ML stat.TH
Inference of multiple high-dimensional networks with the Graphical Horseshoe prior
我们开发了一种新的全贝叶斯方法多个相关的精度矩阵，称为多个图形马蹄铁（mGHS）。所提出的方法依赖于一种新的多变量收缩先验的基础上马蹄事先借用的强度和共享稀疏模式的群体，提高后边缘选择时，精度矩阵是相似的。另一方面，当组是独立的时，没有性能损失。此外，mGHS提供了一个相似性矩阵估计，有助于理解跨组的网络相似性。我们实现了一个有效的Metropolis-within-Gibbs后验推理，具体而言，局部方差参数更新通过一种新的和有效的修改拒绝抽样算法，从三参数Γ分布的样本。该方法的规模以及相对于变量的数量，并提供了一个最快的全贝叶斯方法估计多个精度矩阵。最后，边缘选择是一种新的方法，基于模型切割。我们的经验表明，mGHS优于竞争的方法，通过模拟研究和应用程序的自行车共享数据集。
2023-02-13 stat.CO stat.ME
Robust high-dimensional Bayesian regression with non-Gaussian errors under global--local shrinkage priors
Ferdowsi University of Mashhad（马什哈德 Ferdowsi 大学）
针对高维多元回归中非高斯误差问题，提出基于尺度-位置混合误差分布与马蹄+先验的稳健贝叶斯框架，实现系数和残差精度矩阵的联合稀疏性，理论证明后验收缩性和选择一致性，模拟和实证表明优于高斯方法。
2026-06-08 stat.AP stat.CO stat.ME
Handling bounded response in high dimensions: a Horseshoe prior Bayesian Beta regression approach
针对高维有界响应数据建模，提出基于 Horseshoe 先验和 Pólya-Gamma 增广的贝叶斯 Beta 回归方法，并首次给出后验一致性理论证明，在估计精度和可解释性上优于现有方法。
2025-05-28 math.ST stat.ME stat.ML
Adaptive posterior contraction rates for the horseshoe
本文研究了稀疏多元正态均值模型中基于马蹄先验的贝叶斯估计过程的频率论性质。以前的理论结果假设稀疏水平，即信号的数量，是已知的。我们放弃这一假设，并描述了马蹄铁先验的一个关键参数的最大边际似然估计（MMLE）的行为。我们证明了MMLE是一个有效的估计的稀疏水平，在这个意义上说，它导致（近）极小极大最优估计的基本均值向量生成的数据。除了这个经验贝叶斯过程中，我们考虑分层贝叶斯方法，把先验的未知稀疏水平以及。我们表明，这两种贝叶斯技术导致率自适应最优后验收缩，这意味着马蹄后验是一个很好的候选人生成率自适应可信集。
2017-02-13 math.ST stat.TH
Informative co-data learning for high-dimensional Horseshoe regression
高维数据通常来自临床基因组学研究，以推断特定性状的相关预测因子。提高预测性能的一种方法是包括来自先验知识或先前研究的预测因子的信息。这种信息也称为"共同数据“。为此，我们开发了一种新的贝叶斯模型，包括协数据在一个高维回归框架，称为信息马蹄回归（infHS）。所提出的方法回归协数据变量的回归参数的先验方差，改善变量的选择和预测。我们实现了一个吉布斯采样器和变分近似算法。前者适用于中等尺寸的应用程序，除了预测，目标后验推理，而后者的计算效率允许处理非常大量的变量。我们展示了包括共同数据的好处与模拟研究。最后，我们证明了infHS优于两个基因组学应用的竞争方法。
2023-03-10 stat.AP stat.CO stat.ME
Functional Horseshoe Smoothing for Functional Trend Estimation
Graduate School of Economics, The University of Tokyo（东京大学经济学研究科）；Center for Spatial Information Science, The University of Tokyo（东京大学空间信息科学中心）
由于仪器和计算机的发展，功能性观察越来越受欢迎。然而，有效的方法，灵活地估计潜在的趋势与有效的不确定性量化的一系列功能数据（如功能时间序列）仍然是稀缺的。在这项工作中，我们开发了一个局部自适应平滑方法，称为功能马蹄平滑，通过引入收缩之前的一般顺序的差异的功能变量。这使我们能够通过充分利用收缩能力来捕捉突然变化，并通过贝叶斯推断来评估不确定性。完全贝叶斯框架允许通过后验预测损失来选择基函数的数量。我们提供的理论性质的模型，支持收缩能力。此外，通过利用功能数据的性质，该方法能够处理异构观测数据，而无需数据增强。仿真研究和实际数据分析表明，该方法具有良好的性能。
2022-09-21 stat.CO stat.ME
High-dimensional Bayesian Tobit regression for censored response with Horseshoe prior
针对高维左删失回归问题，提出结合 Horseshoe 先验、数据增强与 Gibbs 采样的贝叶斯 Tobit 框架，并证明其后验一致性与稀疏收敛速率。
2025-05-13 math.ST stat.ME stat.ML
Horseshoe-based Bayesian nonparametric estimation of effective population size trajectories
系统动力学是群体遗传学的一个领域，它使用遗传序列数据来估计过去的群体动态。现代最先进的贝叶斯非参数方法用于恢复未知形式的种群大小轨迹，使用变点模型或高斯过程先验。当变点的数目未知并且需要估计时，变点模型遭受计算问题。基于高斯过程的方法缺乏局部自适应性，并且不能准确地恢复表现出诸如趋势突变或平滑度变化等特征的轨迹。我们提出了一种新的，局部自适应的方法贝叶斯非参数非线性动态推理，具有灵活性，以适应一大类的功能行为。局部自适应的结果从建模的对数转换的有效人口规模先验的马蹄形马尔可夫随机场，最近提出的统计模型，混合在一起的最佳性能的变点和高斯过程建模范例。我们使用模拟数据来评估模型性能，并发现我们提出的方法与当代方法相比，偏差减少，精度提高。我们还使用我们的模型来重建埃及人类丙型肝炎病毒遗传多样性的过去变化，并估计古代和现代草原野牛的种群规模变化。这些分析表明，我们的新方法捕捉到了最先进的方法所错过的种群规模轨迹的特征。
2019-07-29 q-bio.PE stat.ME
Wavelet-Based Bayesian Hierarchical Modeling with Regularized Horseshoe Priors for Spatially Correlated Functional Data
Instituto de Matemática, Estatística e Computação Científica. Universidade Estadual de Campinas(UNICAMP)（坎皮纳斯州立大学数学、统计与科学计算研究所）
该研究针对空间相关功能数据，提出带正则化马蹄先验的小波贝叶斯分层模型，能稳定预测未监测位置的污染物曲线及不确定性，在墨西哥城PM₁₀数据上表现优于对比方法。
2026-08-28 stat.ME
A Laplace Mixture Representation of the Horseshoe and Some Implications
马蹄铁先验，定义为正常的一半柯西尺度混合，提供了一种最先进的方法贝叶斯稀疏信号恢复。我们提供了一个新的代表性的马蹄铁密度作为一个规模的拉普拉斯密度的混合物，明确识别的混合措施。利用著名的Bernstein-Widder定理和Bochner的结果，我们的表示立即建立了马蹄铁密度的完全单调性和相应惩罚的强单调性。从而建立了局部线性近似和期望最大化算法在马蹄惩罚回归下寻找后验模式的等价性。此外，所得到的估计是稀疏的。
2022-12-08 stat.ME
Probabilistically-autoencoded horseshoe-disentangled multidomain item-response theory models
NIH（美国国立卫生研究院）
项目反应理论（IRT）是一种非线性生成概率范式，用于使用考试来识别，量化和比较个体的潜在特质，相对于他们的同龄人，在感兴趣的人群中。在现有的多维IRT方法中，需要对测试项目进行因子分解。对于这项任务，线性探索性因素分析，使IRT事后模型。我们建议跳过初始因子分析，在IRT模型中直接执行因子分解之前使用稀疏促进马蹄铁，以便所有训练都发生在单个自洽步骤中。作为一个层次贝叶斯模型，我们适应WAIC的维度选择的问题。IRT模型类似于概率自动编码器。通过将生成IRT模型绑定到贝叶斯神经网络（形成概率自动编码器），可以获得与可解释贝叶斯模型一致的评分算法。在一些IRT应用中，需要神经网络评分机的黑盒性质。在这篇手稿中，我们演示了IRT内因子分解和评分方法的评论。
2019-12-05 cs.LG stat.ML
False Discovery Rate Control via Frequentist-assisted Horseshoe
针对马蹄形先验在频率学派FDR控制上的空白，提出频率学派辅助的马蹄形方法，通过极小极大估计全局参数并保留全贝叶斯结构，实现高维正态均值检验等场景的有限样本FDR控制，且优于现有方法，还为复杂模型推广提供方向。
2025-02-17 math.ST stat.ME stat.ML
Bayesian non-linear subspace shrinkage using horseshoe priors
针对贝叶斯非参数回归中利用先验非线性函数空间信息的问题，提出非线性函数收缩（NLFS）方法，通过泰勒级数展开将函数收缩扩展至非线性子空间，并在 Hill 模型及真实数据上验证了其有效性与组合空间收缩的便捷性。
2024-07-24 stat.ME
A Horseshoe mixture model for Bayesian screening with an application to light sheet fluorescence microscopy in brain imaging
在本文中，我们重点关注使用光片荧光显微镜（一种最近开发的全脑成像技术）识别差异激活的大脑区域。大多数现有的统计方法通过将大脑区域划分为两类来解决这个问题：显着和非显着激活。然而，对于我们研究的中心脑成像问题，这种二进制分组可能会通过过滤掉微弱但重要的信号来提供过于简单的发现，这些信号通常被数据中存在的噪声所掺杂。为了克服这一限制，我们引入了一种新的贝叶斯方法，该方法允许将大脑区域分类为具有不同程度相关性的几个层次。我们的方法是基于收缩先验的组合-广泛用于回归和多重假设检验问题-和混合模型-通常用于基于模型的聚类。在现有的正则化先验分布，它使用的尖峰和板前或连续规模的混合物，我们的类先验是基于连续规模的混合物的离散混合物，并设计了一个集群收缩版本的马蹄事先。因此，我们的方法为贝叶斯稀疏估计提供了一个更通用的设置，大大减少了所需的收缩参数的数量，并创建了一个跨感兴趣单元共享信息的框架。我们表明，这种方法导致我们的大脑成像问题更有生物学意义和可解释的结果，因为它允许活跃和不活跃的区域之间的歧视，而在同一时间排名的发现到集群代表层相似的重要性。
2023-01-27 stat.ME
Default Bayesian analysis with global-local shrinkage priors
我们提供了一个框架，用于评估默认的性质的先验分布使用的财产，我们研究的全球局部收缩先验。特别是，我们证明了马蹄先验，最初设计用于处理稀疏性，也具有规律的变化，因此是适当的默认贝叶斯分析。为了说明我们的方法，我们解决了Efron（1973）提出的无信息先验问题，他指出高维正态均值模型中的标准平坦无信息先验对于感兴趣的非线性参数可以是高度信息化的。我们考虑四个这样的问题，并显示全局-局部收缩先验，如马蹄铁和马蹄铁+执行Efron（1973）在每种情况下的要求。我们发现这是因为全局-局部收缩先验能够分离嵌入在高维噪声中的低维信号，即使是非线性函数。
2016-05-15 stat.ME
Horseshoe Priors for Time-Varying AR and GARCH Processes
针对英国 Park Grass Experiment，本文提出带方差参数化 Gamma 似然的贝叶斯时变 AR 与 GARCH 模型，以分析草原产量稳定性随时间的变化及其气候影响。
2023-08-17 stat.AP
Sensitivity Analysis of Priors in the Bayesian Dirichlet Auto-Regressive Moving Average Model
本文通过模拟与标普500行业权重数据，系统评估了五种先验在B-DARMA模型中的表现，发现收缩先验（尤其horseshoe）能抑制过拟合噪声，但无法修复滞后阶数误设，强调正确滞后选择与收缩强度匹配的重要性。
2025-06-18 stat.AP stat.ME
Heavy Tailed Horseshoe Priors
贝叶斯框架中的局部自适应收缩是通过使用局部-全局先验分布来实现的，所述局部-全局先验分布对全局稀疏水平以及用于平均结构参数的个体收缩参数进行建模。这些模型中最流行的是马蹄先验及其变体，因为它们的尖峰和厚板行为涉及原点处的渐近线和重尾。在这篇文章中，我们提出了一种替代马蹄先验，它在原点处具有更尖锐的渐近线以及更重的尾部，我们称之为重尾马蹄先验。我们证明，混合的形状参数提供了改进的尖峰和板的行为，以及更好的重建性能比其他马蹄变体。仿真研究表明，重尾马蹄铁的优势，在绝对误差的真值均值结构以及预言。
2019-03-03 math.ST stat.ME stat.TH
Horseshoe Regularization for Machine Learning in Complex and Deep Models
自从正则化的马蹄先验出现以来，全局-局部收缩方法已被证明是机器学习中贝叶斯方法发展的沃土，特别是对于高维回归和分类问题。它们在计算上取得了显著的成功，并得到了强有力的理论支持。大多数现有文献都集中在线性高斯情况下;参见Bhadra et al.（2019 b）进行系统调查。本文的目的是通过回顾与机器学习应用更相关的复杂模型中的方法和计算发展，证明马蹄正则化的有用性。具体来说，我们专注于非线性和非高斯模型中的马蹄正则化方法的挑战;多变量模型;和深度神经网络。我们还概述了最近的计算马蹄形收缩的复杂模型的发展，以及可用的软件实现列表，允许一个冒险超出舒适区的典型线性回归问题。
2019-11-22 stat.ME stat.ML
Scalable Multiple Network Inference with the Joint Graphical Horseshoe
针对图形马蹄先验在高维多网络推断中计算效率低的问题，提出可扩展ECM算法与联合图形马蹄估计器，实现跨网络信息借用并提升估计精度与可扩展性。
2023-04-17 stat.AP stat.ME
Bayesian Regularization for Functional Graphical Models with Applications to Neuroimaging
图模型用于表达在不同节点上观察到的随机变量之间的条件依赖关系，广泛应用于遗传学、神经科学和社会网络分析等许多领域。虽然目前大多数用于估计图形模型的统计方法都集中在标量数据上，但当在每个节点处观察到的数据是功能性的（例如信号或图像）时，人们对估计类似的依赖结构感兴趣。在本文中，我们提出了一个完全贝叶斯正则化计划估计功能图模型。我们首先考虑乔等人提出的函数图形套索的直接贝叶斯模拟。（2019）。然后，我们提出了一个正则化策略，通过图形马蹄铁。我们通过模拟研究比较这些方法，并将我们提出的功能图形马蹄铁应用于两个激励应用程序，用于比较酒精组和对照组之间的脑激活的脑电图数据，以及在创伤性脑损伤（TBI）存在下结构连接的变化。我们的研究结果让我们深入了解了大脑在受伤后如何试图补偿断开的网络。
2022-10-21 stat.AP stat.ME stat.ML
Geometric ergodicity of Gibbs samplers for the Horseshoe and its regularized variants
马蹄铁是高维贝叶斯线性回归中广泛使用的一种连续收缩先验。最近，正则化版本的马蹄事先也已在文献中介绍。在文献中已经开发了各种吉布斯采样马尔可夫链，以从相应的难处理的后验密度生成近似样本。建立这些马尔可夫链的几何遍历性为基于马尔可夫链的后验量估计的渐近标准误差的准确性提供了关键的技术依据。在本文中，我们建立了几何遍历对应于马蹄先验及其正则化变量的线性回归的背景下，各种吉布斯采样。首先，我们建立了几何遍历的吉布斯采样器的原始马蹄后严格弱于现有的分析文献中的条件下。其次，我们考虑了Piironen和Vehtari（2017）中引入的正则化马蹄先验，并证明了Gibbs采样马尔可夫链从相应的后验中采样的几何遍历性，而无需对全局和局部收缩参数进行任何截断约束。最后，我们考虑Nishimura和Suchard（2020）中引入的正则化马蹄先验的一个变体，并再次建立Gibbs采样马尔可夫链的几何遍历性，以从相应的后验中采样。
2021-01-02 math.ST stat.TH
Multivariate Varying-Coefficient BART with Graphical Horseshoe Priors
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
提出多变量变系数BART框架，用独立BART集成建模非线性系数曲面，图形马蹄先验捕捉残差稀疏依赖，并证明后验收缩率。
2026-06-27 math.ST stat.ME stat.ML
Horseshoe Mixtures-of-Experts (HS-MoE)
Booth School of Business University of Chicago（芝加哥大学商学院）；Volgenau School of Engineering, George Mason University（乔治·马歇尔大学工程学院）；Department of Systems Engineering and Operations Research George Mason University（乔治·马歇尔大学系统工程与运营管理系）
HS-MoE模型通过结合马蹄先验和输入依赖门控，实现数据自适应的稀疏专家选择，并提出粒子学习算法用于顺序推断。
2026-01-14 cs.LG stat.ML
Signal Adaptive Variable Selector for the Horseshoe Prior
在这篇文章中，我们提出了一种简单的方法来执行变量选择作为后模型拟合练习使用连续收缩先验，如流行的马蹄先验。所提出的信号自适应变量估计（SAVS）方法后处理点估计，如后验均值，将变量分为信号和空值。该方法是完全自动化的，并且不需要指定任何调优参数。我们进行了一个全面的模拟研究，以比较所提出的SAVS方法的性能，频率论惩罚程序和贝叶斯模型选择程序。SAVS被认为是在所有的设置高度竞争，特别是被认为是强大的相关设计。我们还将SAVS应用于具有超过20，000个协变量的基因组数据集，以说明其可扩展性。
2018-10-21 stat.ME
Sparse Horseshoe Estimation via Expectation-Maximisation
Monash University（莫纳什大学）；The University of Melbourne（墨尔本大学）
马蹄先验被认为具有稀疏参数向量贝叶斯估计的许多理想的属性，但它的密度函数缺乏一个解析形式。因此，找到后验模式的封闭形式解是具有挑战性的。传统的马蹄估计使用后验均值来估计参数，但这些估计不是稀疏的。我们提出了一种新的期望最大化（EM）的程序计算MAP估计的参数的情况下，标准的线性模型。我们的方法的一个特别的优势是，M步只取决于形式的先验，它是独立的形式的可能性。我们介绍了几个简单的修改，这个EM程序，允许直接扩展到广义线性模型。在模拟和真实数据上进行的实验中，我们的方法在统计性能和计算成本方面与最先进的稀疏估计方法相当或优于它们。
2022-11-07 cs.LG stat.ML
Component-wise iterative ensemble Kalman inversion for static Bayesian models with unknown measurement error covariance
集合卡尔曼滤波（EnKF）是卡尔曼滤波在高维线性高斯状态空间模型下的一种蒙特卡罗近似。EnKF方法也被开发用于具有高斯似然的静态贝叶斯模型的参数推断，其方式类似于似然回火序贯蒙特卡罗（SMC）。这些方法通常被称为集合卡尔曼反演（EKI）。与SMC不同，如果似然是线性高斯的，先验是高斯的，则EKI的推断仅是渐近无偏的。但是，EKI运行速度明显更快。目前，EKI方法的一个很大的局限性是假设测量误差的协方差是完全已知的。我们开发了一种新的方法，我们称之为组件式迭代集合卡尔曼反演（CW-IEKI），它允许元素的协方差阵推断旁边的模型参数可以忽略不计的额外成本。这种新的方法相比，SMC在三个不同的应用实例：土壤中的氮矿化模型，是基于农业生产系统模拟器（APSIM），一个模型预测海草下降，由于从水温和光照的压力，和模型预测珊瑚钙化率。在所有这些例子中，我们发现CW-IEKI具有与SMC相对相似的预测性能，尽管具有更大的不确定性，并且它具有更快的运行时间。
2022-06-06 stat.AP stat.CO
Uncertainty quantification for the horseshoe
研究了稀疏多元正态均值模型中马蹄先验的可信集和边际可信区间。我们这样做，在自适应设置，而不假设知识的稀疏水平（信号的数量）。我们考虑的分层贝叶斯方法，把一个先验的未知的稀疏水平和经验贝叶斯方法的最大边际似然估计的稀疏水平。我们表明，可信球和边际可信区间有良好的频率覆盖和最佳的大小，如果稀疏水平的先验知识是正确的。根据一般理论，诚实置信集的大小不能适应未知的稀疏水平。因此，基于马蹄先验的层次和经验贝叶斯可信集在整个参数空间上是不诚实的。我们表明，这是由于过度收缩某些参数和可靠的球和边际可信区间确实给正确的不确定性量化的参数集。特别是，我们证明了边缘贝叶斯过程的错误发现的分数是由一个正确的选择截止控制。
2017-02-13 math.ST stat.TH
Horseshoe Predictive Inference
Booth School of Business, The University of Chicago（芝加哥大学布斯商学院）
本文研究了在连续混合先验（马蹄先验）下预测推断的理论性质，提出新的理论结果证明预测贝叶斯估计在稀疏性已知时的渐近最优性，并展示了在稀疏性未知时的自适应性能。
2026-04-17 math.ST stat.ME stat.TH
Graph-Adaptive Horseshoe for Compositional Regression
The University of Texas MD Anderson Cancer Center（德克萨斯大学安德森癌症中心）；Rice University（莱斯大学）
本研究提出用于成分回归的GRACE贝叶斯框架，自适应学习结果驱动的收缩图，在模拟和口腔微生物组数据应用中表现出更优性能，证实自适应图对成分回归的重要性。
2026-08-19 stat.AP stat.ME
Sparsity information and regularization in the horseshoe and other shrinkage priors
马蹄先验已被证明是稀疏贝叶斯估计的一个值得注意的替代方案，但以前有两个问题。首先，还没有系统的方式来基于关于参数向量中的稀疏度的先验信息来指定全局收缩超参数的先验。第二，马蹄先验具有不期望的性质，即不可能单独指定关于稀疏性的信息和最大系数的正则化量，这对于弱识别的参数（诸如在数据分离的情况下的逻辑斯谛回归系数）可能是有问题的。本文针对这两个问题提出了解决方案。我们引入了一个概念的有效数量的非零参数，显示一个直观的方式制定前的全局超参数的稀疏性假设的基础上，并认为，以前的默认选择是可疑的，基于他们的倾向，有利于解决方案与更多的unshrinking参数比我们通常期望的先验。此外，我们引入了一个推广的马蹄先验，称为正则化马蹄，它允许我们指定一个最小的正则化水平的最大值。我们表明，新的先验可以被认为是连续对应的钉和板前有限板宽度，而原来的马蹄铁类似的钉和板的无限宽的板。对合成和真实世界数据的数值实验说明了这两个理论进步的好处。
2017-07-06 stat.ME
Tail-adaptive Bayesian shrinkage
本文提出尾部自适应贝叶斯收缩方法，通过全局-局部-尾部高斯混合先验使尾部厚重程度随稀疏水平自适应调整，并证明其后验在稀疏正态均值模型上达到极小极大最优速率，在不同稀疏状态下优于固定尾部的Horseshoe先验。
2024-10-24 math.ST stat.AP stat.CO
Bayesian Shrinkage in High-Dimensional VAR Models: A Comparative Study
UCLA（加州大学洛杉矶分校）；Airbnb（爱彼迎）；UCLA Fielding School of Public Health（加州大学洛杉矶分校菲尔丁公共卫生学院）
本文比较了贝叶斯收缩先验和频率学正则化方法在高维VAR模型中的表现，发现马蹄型贝叶斯方法在参数估计和预测中表现优异。
2026-02-07 econ.EM stat.AP stat.ME
Deep Horseshoe Gaussian Processes
提出深度马蹄高斯过程Deep-HGP作为新先验，通过数据驱动选择长度尺度参数，在非参数回归中实现自适应最优收敛速率，同时适应平滑度与组合结构。
2025-02-01 math.ST stat.ML stat.TH
On the Hyperprior Choice for the Global Shrinkage Parameter in the Horseshoe Prior
马蹄先验已被证明是稀疏贝叶斯估计的一个值得注意的替代方案，但如本文所示，结果可能对全局收缩超参数的先验选择敏感。我们认为，以前的默认选择是可疑的，因为他们倾向于更unshrinking系数比我们通常期望先验的解决方案。如果该参数没有被数据强烈识别，则可能导致不良结果。我们推导出全局参数和系数向量中的非零有效个数之间的关系，并给出了一种简单直观的方法，根据我们对模型中非零系数个数的先验信念，为全局参数建立先验。对真实世界数据的结果表明，人们可以大大受益-在改进的参数估计，预测精度，并减少计算时间-从转换甚至一个粗略的猜测的非零系数的数量到全局参数的先验使用我们的框架。
2017-04-27 stat.ME
Tree Ensembles with Rule Structured Horseshoe Regularization
提出了一种新的贝叶斯模型，用于灵活的非线性回归和分类使用树集成。该模型基于Friedman和Popescu（2008）中的RuleFit方法，其中在L1-正则化回归中使用来自决策树和线性项的规则。我们修改RuleFit取代L1正则化的马蹄事先，这是众所周知的，给积极收缩的噪声预测，而留下的重要信号基本上不变。当大量规则被用作预测器时，这一点尤其重要，因为其中许多规则只会产生噪声。我们的马蹄先验有一个额外的分层，它将更多的收缩先验应用于具有大量分裂的规则，以及仅由少数观察值满足的规则。我们先验的积极噪声收缩也使得有可能用来自随机森林的额外一组树来补充Friedman和Popescu（2008）中的提升规则，这为集合带来了理想的多样性。我们从后验分布使用一个非常有效的，易于实现的吉布斯采样器的样本。在16个数据集上，新模型的性能优于RuleFit、BART和随机森林等最先进的方法。该模型和它的解释证明了众所周知的波士顿住房数据，并对癌症分类的基因表达数据。用于解释模型结果的后验采样、预测和图形工具在公开可用的R软件包中实现。
2018-02-15 stat.ME stat.ML
Estimation of sparse linear dynamic networks using the stable spline horseshoe prior
动态网络的辨识是近年来控制领域中最具挑战性的问题之一。这样的系统由大规模互连系统组成，也称为模块。为了恢复完整的网络动态，两个关键步骤是拓扑检测，其中必须从数据中推断哪些连接是活动的，以及模块估计。由于一小部分连接在许多真实系统中是有效的，该问题也发现了与组稀疏估计的基本连接。特别地，在线性设置中，模块对应于期望具有零范数但在小部分样本中的未知脉冲响应。本文提出了一种新的线性动态网络辨识的贝叶斯方法，其中脉冲响应通过两个特定的先验分布的组合来描述。第一个是一个块版本的马蹄事先，具有重要的全球局部收缩功能的模型。第二个是稳定样条先验，它对模块的平滑指数衰减信息进行编码。由此产生的模型被称为稳定样条马蹄（SSH）先验。它实现了小脉冲响应的积极收缩，而较大的脉冲响应则方便地进行稳定的样条正则化。推理是由一个马尔可夫链蒙特卡罗计划，定制的动态上下文，并能够有效地返回采样形式的模块的后验。我们包括数值研究表明，新的方法可以准确地重建稀疏网络动态时，成千上万的未知脉冲响应系数必须从相对较小的数据集推断。
2021-07-23 cs.SY eess.SY stat.ME
Bayesian model inversion using stochastic spectral embedding
在本文中，我们提出了一种新的无采样方法来解决贝叶斯模型反演问题，这是以前提出的谱似然展开（SLE）方法的扩展。我们的方法，称为随机谱似然嵌入（SSLE），使用最近提出的随机谱嵌入（SSE）方法的局部谱扩展细化近似的似然函数的贝叶斯反演问题的核心。我们表明，与SLE类似，这种方法通过直接对展开系数进行后处理，得到了贝叶斯后验分布的关键统计数据（例如证据、后验矩和后验边缘）的解析表达式。因为SSLE和SSE依赖于似然函数的直接近似，所以它们在某种程度上独立于前向模型的计算/数学复杂性。我们进一步提高SSLE的效率，通过引入似然特定的自适应样本富集计划。为了展示所提出的SSLE的性能，我们解决了三个问题，表现出不同种类的复杂性的似然函数：多模态，高后验浓度和高标称维数。我们展示了SSLE如何显着改善SLE，并提出它作为一个有前途的替代现有的反演框架。
2021-04-20 stat.CO stat.ME
Data-Driven Forward Discretizations for Bayesian Inversion
本文提出了一个框架，学习昂贵的前向模型的离散化贝叶斯逆问题。其主要思想是将离散化的参数作为贝叶斯机器中待估计的未知数的一部分。我们数值计算表明，在机械工程，信号处理和地球科学中出现的各种反问题，观测包含有用的信息，以指导离散化的选择。
2020-08-21 cs.NA math.NA stat.CO
A practical and efficient approach for Bayesian reservoir inversion: Insights from the Alvheim field data
针对贝叶斯储层反演的计算难题，提出用多元自适应回归样条替代正演模型、结合FFT处理高维场及预条件Crank-Nicolson采样的高效方法，效率提升34倍，经模拟与Alvheim油田数据验证有效。
2024-03-06 stat.AP
Non-parametric Inference for Diffusion Processes: A Computational Approach via Bayesian Inversion for PDEs
该研究提出基于偏微分方程贝叶斯反演的扩散过程非参数推断工作流，依托过程无穷小生成元构建无穷维问题，探讨优化与采样求解方法，初步实现单/多尺度过程的轨迹数据推断。
2024-11-04 cs.CE stat.CO
T-LoHo: A Bayesian Regularization Model for Structured Sparsity and Smoothness on Graphs
图形通常用于表示复杂的数据结构。在处理图结构数据的模型中，多变量参数可能不仅表现出稀疏模式，而且在零和非零参数都倾向于聚集在一起的意义上具有结构稀疏性和平滑性。我们提出了一个新的先验的高维参数与图形关系，被称为基于树的低秩马蹄（T-LoHo）模型，推广流行的单变量贝叶斯马蹄收缩之前的多变量设置，同时检测结构稀疏性和光滑性。T-LoHo先验可以嵌入到许多高维分层模型中。为了说明它的效用，我们将其应用到正则化贝叶斯高维回归问题，其中的回归系数由一个图连接，使得到的集群具有灵活的形状，并满足集群邻接约束相对于图。我们设计了一个有效的马尔可夫链蒙特卡罗算法，提供完整的贝叶斯推断与模型参数的不确定性措施，如集群的数量。我们提供了理论研究的聚类效应和后验浓度的结果。最后，我们说明了该模型的性能与模拟研究和道路网络上的异常检测的实际数据应用。结果表明，与其他竞争方法（如稀疏融合套索）相比，有了很大的改进。
2021-10-27 stat.ME stat.ML
Spike-and-slab shrinkage priors for structurally sparse Bayesian neural networks
Computational Science Initiative, Brookhaven National Laboratory（布鲁克海文国家实验室计算科学倡议）；Department of Statistics and Probability, Michigan State University（密歇根州立大学统计与概率系）
本文提出结构稀疏贝叶斯神经网络，利用尖峰-平板组Lasso和Horseshoe先验剪除冗余节点，实现高效压缩与低延迟推理。
2024-08-21 cs.LG stat.ME stat.ML
Debiased Bayesian Inference for High-dimensional Regression Models
CUHK-Shenzhen（香港中文大学（深圳））；Emory University（埃默里大学）；Chinese University of Hong Kong（香港中文大学）
本文提出了一种去偏贝叶斯推断方法，用于修正高维回归模型中后验分布的偏倚，确保频范有效性，并通过模拟和实证应用验证了其性能。
2025-12-10 econ.EM math.ST stat.CO
Automatic tempered posterior distributions for Bayesian inversion problems
Universidad rey Juan Carlos（胡安·卡洛斯国王大学）；Universidad Carlos III de Madrd（马德里卡洛斯三世大学）
我们提出了一种新的自适应重要性抽样计划贝叶斯反演问题的利益和数据噪声的功率的推断是分裂的。更具体地说，我们考虑对感兴趣的变量进行贝叶斯分析（即，要反演的模型参数），而我们采用极大似然方法来估计噪声功率。整个技术通过迭代过程、交替采样和优化步骤来实现。此外，噪声功率也被用作感兴趣的变量的后验分布的缓和参数。因此，生成一系列的回火后验密度，其中回火参数是根据噪声功率的实际估计自动选择的。还可以对模型参数和尺度参数进行完整的贝叶斯研究。数值实验表明，所提出的方法的好处。
2021-07-24 cs.AI stat.CO
Dependent Bayesian Lenses: Categories of Bidirectional Markov Kernels with Canonical Bayesian Inversion
我们概括了现有的贝叶斯透镜的结构，以允许在向后的对象依赖于向前的对象的状态（解释为概率分布）的对象对之间的透镜。这给了一个自然的设置，研究随机地图与贝叶斯逆限制在一个给定的先验支持的点。为了正式说明这一点，我们提出了一个定义弗里茨的支持对象在马尔可夫范畴，并表明，这些产生了一个部分到类别的依赖贝叶斯镜头编码一个更规范的概念贝叶斯反演。
2022-09-29 cs.LO math.CT math.PR
Tuning Free Rank-Sparse Bayesian Matrix and Tensor Completion with Global-Local Priors
矩阵和张量补全是一系列问题的框架，包括协同过滤、缺失数据和图像重建。通过利用矩阵或张量是低秩的假设来估计缺失的条目。大多数现有的贝叶斯技术鼓励秩稀疏建模因子分解矩阵和张量与正常伽玛先验。然而，马蹄事先和其他“全球本地”配方提供调谐参数的解决方案，可以更好地实现同时秩稀疏和丢失值的恢复。我们发现这些全球本地先验优于常用的替代品在模拟和协同过滤任务预测棋盘游戏评级。
2019-05-27 stat.ME
Bayesian Inversion via Probabilistic Cellular Automata: an application to image denoising
University of Perugia（佩鲁贾大学）
本文提出利用概率细胞自动机解决逆问题的贝叶斯方法，通过PSNR和SSIM指标比较了PCA与Gibbs采样在图像去噪中的性能，证明PCA在高维逆问题中具有潜力。
2026-03-21 math.PR stat.CO
