Sparse Bayesian Lasso via a Variable-Coefficient $\ell_1$ Penalty
本文提出一种变系数 $\ell_1$ 惩罚的稀疏贝叶斯 Lasso 方法，通过可学习惩罚权重减少偏差，应用于变分贝叶斯，实现低偏差和不确定性量化，计算效率高，并成功应用于伊拉克内战流离失所数据的时空建模。
2023-05-12 stat.CO stat.ME stat.ML
Bayesian Lasso Posterior Sampling via Parallelized Measure Transport
众所周知，Lasso可以被解释为具有Laplacian先验的贝叶斯后验模式估计。从完整的后验分布（Bayesian Lasso）中获取样本，与仅使用Lasso点估计相比，在性能方面具有重大优势。传统上，贝叶斯套索是通过吉布斯抽样方法，缺乏可扩展性，未知的收敛速度，并产生的样本，必然是相关的。我们提供了一个测量运输的方法来生成i.i.d样本的后，通过构建一个运输映射，将一个样本从拉普拉斯先验到一个样本的后。我们展示了如何建设这个运输地图可以并行成模块，迭代解决拉索问题，并执行封闭形式的线性代数更新。利用这种后验抽样方法，我们通过期望最大化算法对Lasso正则化参数进行极大似然估计。我们提供比较传统的吉布斯采样器使用糖尿病数据集的埃夫隆等人。最后，我们给出了一个例子，利用并行化，图形处理单元，其执行时间的计算系统上的实现方式有更少的依赖于尺寸相比，一个标准的实现。
2018-01-07 stat.CO
MCMC convergence diagnosis using geometry of Bayesian LASSO
利用Bayesian LASSO的后验分布，构造了参数空间上的半范数。我们表明，分拆函数取决于l1和l2的标准和目前的三个制度的比率。我们推导了贝叶斯LASSO的浓度，并给出了MCMC收敛性诊断。
2015-12-04 math.ST stat.TH
The Lasso Distribution: Properties, Sampling Methods, and Applications in Bayesian Lasso Regression
本文提出 Lasso 分布，推导其矩、矩母函数等性质并给出高效抽样算法，将其应用于贝叶斯 Lasso 回归的 Gibbs 抽样中，并提供 R 包 BayesianLasso。
2025-08-15 stat.CO
Bayesian Pliable Lasso with Horseshoe Prior for Interaction Effects in GLMs with Missing Responses
本文提出贝叶斯可塑套索，结合马蹄先验处理广义线性模型中的交互效应与缺失响应，通过分层先验强制遗传约束并自适应收缩，开发高效吉布斯采样算法，在完整和不完整数据下优于现有方法。
2025-09-09 stat.AP stat.CO stat.ME
Bayesian Lasso : Concentration and MCMC Diagnosis
利用Bayesian LASSO的后验分布，构造了参数空间上的半范数。我们证明了分拆函数依赖于l 1和l 2范数的比值，并提出了三种制度。推导了贝叶斯LASSO算法的收敛性，并给出了MCMC算法的收敛性诊断.关键词：LASSO，贝叶斯，MCMC，对数凹，几何，不完全Γ函数
2018-02-22 math.ST stat.TH
Bayesian Joint Spike-and-Slab Graphical Lasso
Yale School of Public Health（耶鲁大学公共卫生学院）；University of Washington（华盛顿大学）；Ohio State University（俄亥俄州立大学）
在这篇文章中，我们提出了一个新的类的先验贝叶斯推断与多高斯图形模型。我们完全引入贝叶斯处理两个流行的程序，组图形套索和融合图形套索，并将其扩展到一个连续的钉和板的框架，允许自适应收缩和模型选择同时进行。我们开发了一个期望最大化算法，执行快速和动态的探索后验模式。我们的方法有效地选择稀疏模型，其偏差比其他正则化程序所引起的偏差小得多。所提出的方法的性能通过仿真和两个实际数据的例子证明。
2019-05-09 cs.LG stat.ML
Adaptive Shrinkage with a Nonparametric Bayesian Lasso
本文提出非参数贝叶斯 Lasso，通过在收缩参数上放置 Dirichlet Process 先验扩展 spike-and-slab Lasso，实现自适应灵活的贝叶斯回归与变量选择，在系数恢复、变量选择和预测上优于现有方法。
2024-11-13 stat.ME
Variational Full Bayes Lasso: Knots Selection in Regression Splines
我们开发了一个全自动贝叶斯套索通过变分推断。这是一个用于近似后验分布的可扩展过程。对回归样条中节点的选择进行了研究。为了贯彻我们的建议，一个全自动变分贝叶斯套索，Jefferey的先验提出的超参数和决策理论的方法来决定是否选择一个结或没有。广泛的仿真研究，以确保所提出的算法的有效性。算法的性能也在一些真实数据集上进行了测试，包括来自世界大流行的Covid-19的数据。同样，这些算法在捕获数据结构方面表现出非常好的性能。
2021-02-26 stat.CO stat.ME
Geometric Ergodicity of Gibbs Samplers in Bayesian Penalized Regression Models
我们考虑三个贝叶斯惩罚回归模型，并表明，各自的确定性扫描吉布斯采样器是几何遍历的回归问题的尺寸无关。我们证明了几何遍历的吉布斯采样贝叶斯融合套索，贝叶斯组套索，和贝叶斯稀疏组套索。几何遍历性与矩条件一起导致蒙特卡罗平均值的马尔可夫链中心极限定理的存在，并确保可靠的输出分析。我们的几何遍历性的结果，使我们也可以提供默认的吉布斯采样器的起始值。
2017-07-04 math.ST stat.CO stat.TH
Regenerative Simulation for the Bayesian Lasso
Park和Casella的Gibbs采样器是最流行的MCMC方法之一，用于从贝叶斯Lasso回归的后验密度中采样。与许多马尔可夫链采样器一样，他们的吉布斯采样器缺乏理论上合理的输出分析方法-一种用于估计给定遍历平均值的方差和估计链从平稳分布采样的接近程度的方法，即老化。在本文中，我们解决了这个缺点，通过识别再生结构的采样器的公园和卡塞拉，从而提供了一个理论上合理的方法来评估其性能。再生结构提供了强一致的方差估计量和与目标后验密度的全变差距离的估计量（上界）。其结果是一个简单的和理论上健全的方式来评估公园和卡塞拉，更普遍的是，其他MCMC采样器，再生模拟是可能的平稳性。我们进行了一个数值研究，我们验证了我们的再生方法计算的标准误，通过比较它与AR（1）启发式近似计算的标准误。因此，我们表明，贝叶斯Lasso模型，再生方法是一个可行的和理论上合理的替代现有的ad-hoc MCMC收敛诊断。
2018-06-06 stat.CO
Developing an information criterion for spatial data analysis through Bayesian generalized fused lasso
针对空间变化系数模型中贝叶斯广义融合lasso先验分布复杂度确定难题，推导估计量渐近性质并提出先验增广信息准则PIIC，数值实验证明其在降低预测风险上优于WAIC。
2025-10-13 stat.ME
Bayesian sparse graphical models and their mixtures using lasso selection priors
我们提出了高斯图形模型的贝叶斯方法，导致稀疏和自适应收缩的精度（逆协方差）矩阵的估计。我们的方法是基于套索型正则化先验导致简约的参数化的精度矩阵，这是必不可少的几个应用程序，涉及学习变量之间的关系。在这种情况下，我们引入了一种新类型的选择之前，开发一个稀疏结构的精度矩阵，使大多数元素正好为零，除了确保正定性-从而进行模型选择和估计同时进行。我们将这些方法扩展到有限和无限混合高斯图形模型的聚类数据使用Dirichlet过程先验。我们讨论了适当的后验模拟方案，以实现后验推理在所提出的模型，包括评估的归一化常数，这是感兴趣的参数的功能，从而导致相关矩阵的限制。我们评估我们的方法的操作特性，通过几个模拟和应用到真实的数据集。
2013-10-03 stat.ME
Convergence analysis of data augmentation algorithms in Bayesian lasso models with log-concave likelihoods
School of Statistics University of Minnesota（明尼苏达大学统计学院）
本文研究了贝叶斯拉索模型中数据增强算法的收敛性，推导了通用收敛界并应用于三种具体模型，给出了不同模型的混合时间复杂度。
2025-12-23 math.ST stat.TH
Bayesian Chain Graph LASSO Models to Learn Sparse Microbial Networks with Predictors
微生物组数据需要统计模型，这些模型可以同时解码微生物对环境的反应和微生物之间的相互作用。虽然多响应线性回归模型似乎是一个简单的解决方案，我们认为，把它作为一个图形模型是有缺陷的，因为它不代表邻接矩阵的回归系数矩阵不编码的响应和预测节点之间的条件依赖结构。这一观察结果在生物学环境中尤其重要，因为我们对特定实验干预的边缘有先验知识，而这些知识只能在条件依赖模型下正确编码。在这里，我们提出了一个链图模型与两组节点（预测和响应），其解决方案产生一个图形的边缘，确实代表条件依赖，因此，同意实验者的直觉的平均行为下的节点治疗。我们的模型的解决方案是稀疏通过贝叶斯LASSO。此外，我们提出了一个自适应的扩展，使不同的收缩可以适用于不同的边缘，将边缘特定的先验知识。我们的模型是通过一个有效的吉布斯抽样算法计算成本低廉，并可以通过适当的层次结构，二进制，计数和成分的反应。我们将我们的模型应用于人类肠道和土壤微生物组成数据集，并强调CG-LASSO可以估计数据中有生物意义的网络结构。CG-LASSO软件作为R软件包可在https://github.com/YunyiShen/CAR-LASSO上获得。
2022-07-23 stat.AP stat.ME
Analytic solution and stationary phase approximation for the Bayesian lasso and elastic net
The Roslin Institute（罗斯林研究所）；The University of Edinburgh（爱丁堡大学）；University of Bergen（卑尔根大学）
套索和弹性网线性回归模型对模型参数施加双指数先验分布，以实现回归收缩和变量选择，从而允许从大数据集推断稳健模型。然而，由于需要评估分析上难以处理的配分函数积分，因此在推导这些模型中回归系数的完整后验分布的估计方面取得的成功有限。这里，傅里叶变换被用来将这些积分表示为“回归频率”上的复值振荡积分。这将导致在一个分析的扩展和固定相近似的贝叶斯套索和弹性网，其中的双指数先验的不可微性的配分函数迄今为止回避这样的方法。这种近似的使用导致高度精确的数值估计的期望值和边际后验分布的回归系数，并允许贝叶斯推断的更高维的模型比以前可能的。
2018-11-28 cs.LG math.ST q-bio.QM
Bayesian Fused Lasso regression for dynamic binary networks
我们提出了一个多项逻辑斯谛回归模型，用于有向二元网络的时间序列中的链路预测。为了说明数据的动态性质，我们采用了与融合套索惩罚密切相关的模型参数的动态模型。除了促进稀疏性，这个先验允许我们探索网络结构中存在的变化点。我们介绍快速计算算法的估计和预测使用优化和贝叶斯方法。使用模拟数据和NYMEX天然气期货市场的金融交易网络的数据来说明该模型的性能。包含交易网络数据集和实现算法的代码的补充材料可在线获得。
2017-10-03 stat.AP
Fully Bayesian Classification with Heavy-tailed Priors for Selection in High-dimensional Features with Grouping Structure
在许多使用高维数据的现代科学研究问题中，需要进行特征选择。一个典型的例子是从高维基因表达中找到与某种疾病（如癌症）相关的最有用的基因。基因的表达具有分组结构，例如，一组具有相似生物学功能的共调节基因往往具有相似的表达。已经提出了许多统计方法来将分组结构考虑在特征选择中，包括组LASSO、监督组LASSO和对组代表的回归。在本文中，我们提出了一个完整的贝叶斯Robit回归方法与重尾（稀疏）先验（简称FBRHT）选择功能与分组结构。FBRHT的主要特点包括它比LASSO更积极地丢弃不相关的特征，并且它可以在没有预先指定的分组结构的情况下自动进行组内特征选择。在本文中，我们使用模拟和真实的数据集，以证明FBRHT选择的稀疏特征子集的预测能力与LASSO，组LASSO，监督组LASSO，惩罚逻辑斯谛回归和随机森林选择的其他更大的特征子集相当，并且通过FBRHT选择的简洁特征子集具有比从通过上述方法选择的顶部特征。
2017-05-12 stat.ME
High-Dimensional Bayesian Regularised Regression with the BayesReg Package
贝叶斯惩罚回归技术，如贝叶斯套索和贝叶斯马蹄估计，最近在统计文献中受到了大量的关注。然而，在通用马尔可夫链蒙特卡罗平台（如STAN）之外，实现最先进的贝叶斯惩罚回归的软件相对较少。本文介绍了一个新的工具箱bayesreg，用于拟合具有连续收缩先验密度的贝叶斯惩罚回归模型。该工具箱的特点是具有高斯或重尾误差模型的贝叶斯线性回归和具有岭、套索、马蹄和马蹄$+$估计量的贝叶斯逻辑斯谛回归。该工具箱是免费的，开源的，可用于MATLAB和R数值平台。
2016-12-20 stat.CO
Sparse online variational Bayesian regression
这项工作认为变分贝叶斯推断作为一个廉价的和可扩展的替代方案，完全贝叶斯方法的背景下，稀疏促进先验。特别是，考虑的先验产生的正态分布与广义逆高斯混合分布的尺度混合。这包括变分贝叶斯LASSO作为[65]中引入的贝叶斯LASSO的廉价且可扩展的替代方案。它还包括一个家庭的先验更强烈地促进稀疏。对于线性模型，该方法只需要迭代求解确定性最小二乘问题。此外，对于p个未知协变量，该方法可以精确地在线实现，每次迭代的计算成本为$O(p^3)$，存储器成本为$O(p^2)$-换句话说，每次迭代的成本与n无关，并且原则上可以考虑无限的数据。对于大的$p$的近似是能够实现有希望的结果，每次迭代的成本$O(p)$，在计算和存储器。超参数调整的策略也被认为是。该方法是实现真实和模拟数据。结果表明，性能的变量选择和不确定性量化的变贝叶斯LASSO可以媲美贝叶斯LASSO的问题，这是易于处理的方法，并为一小部分的成本。本方法在膝上型计算机上在不到30分钟内舒适地处理$n = 65536$、$p = 131073$，并且在一夜之间处理$n = 10^5$、$p = 2.1 \times 10^6$。
2021-12-22 cs.NA math.NA math.OC
Variational Bayesian Weighted Complex Network Reconstruction
Xi’an Jiaotong University（西安交通大学）；Henan University（河南大学）
复杂网络重构是当前许多领域的研究热点。目前，最流行的数据驱动重建框架是基于lasso的。然而，它被发现，在噪声的存在下，套索失去了加权网络的效率。本文建立了一个新的框架来处理这个问题。其核心思想是采用一系列的线性回归问题来建模网络节点之间的关系，然后使用一个有效的变分贝叶斯算法来推断未知系数。对合成数据和真实数据进行的数值实验表明，新方法在重建精度和运行速度方面均优于lasso。
2020-02-29 cs.LG cs.SI stat.AP
Bayesian Analysis for miRNA and mRNA Interactions Using Expression Data
Dalian University of Technology（大连理工大学）
microRNA（miRNAs）是由19-22个核苷酸组成的小RNA分子，通过抑制mRNA翻译成蛋白质或切割靶mRNA，在转录后基因调控中发挥重要的调控作用。推测miRNA靶点为理解miRNA在可能参与复杂疾病的生物过程中的作用提供了有用的信息。已经提出了用于点估计的统计方法学，例如最小绝对收缩和选择算子（LASSO）算法，以基于序列和表达数据来鉴定miRNA和mRNA的相互作用。在本文中，我们提出使用贝叶斯LASSO（BLASSO）和非负贝叶斯LASSO（nBLASSO）分析之间的相互作用的miRNA和mRNA的表达数据。所提出的贝叶斯方法探索了对miRNA-mRNA相互作用建模所需的那些参数的后验分布。这些方法可用于通过绘制这些参数的后验分布来观察miRNA对靶标的推断作用。为了比较的目的，最小二乘回归（LSR），岭回归（RR），LASSO，非负LASSO（nLASSO），并提出贝叶斯方法应用于四个公共数据集。我们得出结论，nLASSO和nBLASSO在灵敏度和特异性方面表现最好。与仅提供这些参数的单一估计的点估计算法相比，贝叶斯方法更有意义，并且提供了可信区间，其考虑了miRNA和mRNA的推断相互作用的不确定性。此外，贝叶斯方法自然地提供统计显著性以选择令人信服的推断的相互作用，而点估计算法需要手动选择的阈值，这是不太有意义的，以选择可能的相互作用。
2014-06-30 cs.LG q-bio.GN q-bio.MN
Fast Mixing of Data Augmentation Algorithms: Bayesian Probit, Logit, and Lasso Regression
Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出使用改进的导电性方法研究数据增强算法的混合时间，证明了三种重要算法的非渐近多项式上界，展示了在设计矩阵和先验协方差矩阵上的紧界。
2026-04-21 math.PR math.ST stat.ML
Algorithmic Bayesian Group Gibbs Selection
贝叶斯模型选择，在George和McCulloch（1993）和Abramovich等人（1998）中有先例，支持与模型不确定性相关的可信度度量，但当稀疏先验近似时，计算成本可能很高。我们设计了一个适合高斯噪声，t分布噪声和逻辑学习的精确选择引擎，受益于坐标下降套索的数据结构。吉布斯采样器链以与等能量（Equi-Energy）兼容的压缩二进制格式存储（Kou等人，2006）回火。我们实现了一个分组效应选择模型，类似于组套索的设置，以确定进入模型的系数的共同输入。我们推导出一个函数的群包含被积函数，并引入一个新的MCMC开关步骤，以避免数值积分。定理表明该步具有指数收敛到目标分布。我们证明了群体选择的作用，以告知遗传分解的dilemma实验，并确定潜在的数量性状基因座在p > 40 K异质股票单倍型/表型研究。
2023-03-10 stat.CO stat.ME
The Kernel Interaction Trick: Fast Bayesian Discovery of Pairwise Interactions in High Dimensions
Massachusetts Institute of Technology（麻省理工学院）；Harvard University（哈佛大学）
发现感兴趣的反应的相互作用效应是生物学、医学、经济学和许多其他科学学科面临的基本问题。在理论上，贝叶斯方法发现成对相互作用享有许多好处，如一致的不确定性量化，结合背景知识的能力，和理想的收缩性能。然而，在实践中，贝叶斯方法往往是计算上棘手的，即使是中等规模的问题。我们的关键见解是，许多具有实际意义的分层模型都承认特定的高斯过程（GP）表示; GP允许我们用O（p）核超参数向量而不是O（p^2）相互作用和主效应来捕获后验。通过隐式表示，我们可以在模型超参数上运行马尔可夫链蒙特卡罗（MCMC），每次迭代在p中记忆线性。我们专注于稀疏诱导模型和数据集上的各种协变量的行为，我们的方法：（1）减少运行时间的数量级MCMC的天真的应用程序，（2）提供较低的类型I和第二类错误相对于国家的最先进的基于LASSO的方法，（3）提供了改进的计算缩放在高维相对于现有的贝叶斯和基于LASSO的方法。
2022-11-13 cs.LG stat.CO stat.ME
Bayesian Regularization: From Tikhonov to Horseshoe
贝叶斯正则化是现代统计和机器学习方法中的核心工具。许多应用涉及高维稀疏信号恢复问题。本文的目的是提供一个基于惩罚的正则化方法的文献综述，从Tikhonov（Ridge，Lasso）到马蹄正则化。
2019-02-17 stat.ME
A LASSO-Penalized BIC for Mixture Model Selection
基于族的方法对基于混合模型的聚类和分类的有效性取决于简约模型的选择。目前的智慧建议贝叶斯信息准则（BIC）的混合模型选择。然而，BIC具有众所周知的局限性，包括倾向于高估组件的数量，以及倾向于经常大幅低估更高维度的组件数量。虽然前一个问题可以通过合并组件来解决，但后者在集群和分类应用程序中是不可能缓解的。在本文中，一个LASSO惩罚BIC（LPBIC）的介绍，以克服这个问题。这种方法是说明的基础上的应用程序的扩展的混合物的因素分析，其中的LPBIC是用来选择组件的数量和潜在因素的数量。在几种情况下，LPBIC表现出匹配或优于BIC。
2012-11-27 math.ST stat.CO stat.ME
Bayesian Adaptive Selection of Basis Functions for Functional Data Representation
考虑到功能数据分析的背景下，我们开发并应用了一种新的贝叶斯方法，通过吉布斯采样器选择基函数的功能数据的有限表示。所提出的方法使用伯努利潜变量分配零的一些基函数系数与一个积极的概率。该过程允许自适应基选择，因为它可以确定基的数量以及应该选择哪些来表示功能数据。此外，所提出的程序措施的选择过程的不确定性，并可以同时适用于多个曲线。开发的方法可以处理观察到的曲线，这些曲线可能由于实验误差和受试者之间的随机个体差异而有所不同，人们可以在涉及巴西每日COVID-19病例数的真实数据集应用中观察到这些曲线。仿真研究表明，所提出的方法的主要属性，如其精度估计系数和强度的过程中找到真正的基函数集。尽管已经在功能数据分析的背景下开发，我们还通过模拟与完善的LASSO和贝叶斯LASSO，这是为非功能数据开发的方法，提出的模型进行了比较。
2022-05-26 stat.CO stat.ME
Bayesian Cluster Weighted Gaussian Models
Athens University of Economics and Business（雅典经济与商业大学）
提出一类新的贝叶斯混合正态线性回归模型，通过引入预测变量分布的额外高斯随机成分，利用lasso和graphical-lasso先验分别处理回归系数和协方差结构，并采用跨维度伸缩采样器自动确定聚类数，在模拟和生物医学数据上优于EM、回归混合和专家混合方法。
2026-05-06 stat.CO stat.ME
Structured Bayesian Modeling of Dynamic Receptive1 Fields in Salamander Retinal Ganglion Cells
Texas A&M University（德克萨斯农工大学）
本文提出一种结合空间高斯马尔可夫随机场与时间自回归过程的泊松贝叶斯模型，用于蝾螈视网膜神经节细胞动态感受野估计，在155个神经元记录和模拟实验中优于LASSO等方法，并通过函数聚类识别出三种时间响应表型。
2026-09-28 cs.NE stat.ME
A Data Driven Bayesian Graphical Ridge Estimator
贝叶斯方法在高斯图模型（GGM）估计中将精确关联优先于稀疏性，在科学文献中仍然相对较少。人们普遍认为，$\ell_2$惩罚在GGM估计中享有较小的计算足迹，而$\ell_1$惩罚鼓励被估量的稀疏性。贝叶斯自适应图形套索先验被用来作为一个出发点，在制定一个计算效率高的图形脊型先验的事件，准确的关联优先于稀疏表示。利用脊型惩罚构造了一种新的模拟精度矩阵的块吉布斯采样器。将贝叶斯图脊型先验扩展为贝叶斯自适应图脊型先验。合成实验表明，图形脊型估计享有计算效率，在中等尺寸，和数值性能，相对非稀疏精度矩阵，当比较他们的套索同行。自适应图形脊型估计应用于细胞信号数据，以推断人类T细胞信号中磷酸化蛋白质之间的关键关联。所有计算工作量都使用baygel R软件包进行。
2022-10-28 stat.ME
Bayesian High-dimensional Grouped-regression using Sparse Projection-posterior
North Carolina State University（北卡罗来纳州立大学）
提出一种基于稀疏投影后验的贝叶斯高维分组回归方法，通过三种投影映射实现组变量选择和估计，并证明模型选择一致性和最优后验收缩率。
2026-05-22 stat.ME
Sampling constrained probability distributions using Spherical Augmentation
具有约束概率分布的统计模型在机器学习中非常丰富。一些示例包括具有范数约束的回归模型（例如，Lasso）、probit、许多copula模型和潜在狄利克雷分配（LDA）。贝叶斯推断涉及概率分布局限于约束域可能是非常具有挑战性的常用的抽样算法。在本文中，我们提出了一种新的增强技术，通过将约束域映射到增强空间中的球体来处理各种约束。通过在这个球体的表面上自由移动，采样算法隐式地处理约束，并生成在映射回原始空间时保持在边界内的建议。我们提出的方法，称为{球面增强}，提供了一个数学上自然和计算效率的框架，从约束概率分布采样。我们展示了我们的方法的优势，国家的最先进的采样算法，如精确的哈密顿蒙特卡罗，使用几个例子，包括截断高斯分布，贝叶斯套索，贝叶斯桥回归，重建量化平稳高斯过程，和LDA主题建模。
2015-06-19 stat.CO stat.ML
Formal Bayesian Transfer Learning via the Total Risk Prior
Department of Mathematics and Statistics, University of Massachusetts Amherst（数学与统计学系，马萨诸塞大学阿默斯特分校）；Department of Mathematics and Statistics, Georgetown University（数学与统计学系，乔治城大学）；Department of Computer Science, Georgetown University（计算机科学系，乔治城大学）
本文提出基于总风险先验的形式化贝叶斯迁移学习方法，通过条件风险最小化构建联合先验，实现完整不确定性量化与模型平均，在遗传学应用中优于Trans-Lasso。
2026-10-16 cs.LG stat.ML
Bayesian nonparametric sparse VAR models
Ca’ Foscari University of Venice（威尼斯卡福斯卡里大学）；Free University of Bozen-Bolzano（博尔扎诺自由大学）
本文提出了一种新的贝叶斯非参数Lasso先验（BNP-Lasso）用于高维VAR模型，以提高估计效率和预测精度，通过聚类和收缩VAR系数来克服过参数化和过拟合问题，适用于从时间序列中提取因果网络。
2018-10-29 econ.GN q-fin.EC stat.ME
Robust Bayesian Model Averaging for Linear Regression Models With Heavy-Tailed Errors
本文针对重尾误差线性回归提出一种结合spike and slab先验的全贝叶斯变量选择方法，并构建涵盖双曲分布与Student-t分布族的灵活误差模型，通过高效Gibbs采样器实现后验推断，在模拟和真实数据上表现优于现有方法。
2024-11-23 stat.CO stat.ME
Empirical Likelihood Based Bayesian Variable Selection
经验似然是一种流行的非参数统计工具，不需要任何分布假设。在本文中，我们探讨了通过贝叶斯经验似然进行变量选择的可能性。从理论上证明了当先验分布满足一定的温和条件时，相应的贝叶斯经验似然估计是后验相合的，并且是变量选择相合的。作为特例，我们证明了贝叶斯经验似然LASSO和SCAD的先验满足这样的条件，从而可以以概率趋于1的方式识别参数的非零元素。此外，它是很容易验证，这些条件满足其他广泛使用的先验，如脊，弹性网和自适应LASSO。经验似然取决于需要通过数值求解非线性方程获得的参数。因此，后验分布不存在共轭先验，导致MCMC抽样算法在某些情况下收敛缓慢。为了解决这个问题，我们提出了一种新的方法，它使用一个近似分布的建议。计算结果表明，本文所用的例子快速收敛。我们使用模拟和真实数据分析来说明所提出的方法的优点。
2022-06-10 stat.ME
Adaptive Bayesian SLOPE -- High-dimensional Model Selection with Missing Values
我们考虑的问题，变量选择在高维设置与缺失的观测之间的协变量。为了解决这个相对不足的问题，我们提出了一个新的协同程序-自适应贝叶斯斜率-有效地结合了斜率方法（排序$l_1$正则化）与尖峰和板LASSO方法。我们将我们的方法定位在贝叶斯框架内，该框架允许同时进行变量选择和参数估计，尽管存在缺失值。与尖峰和平板LASSO一样，系数被认为是由两组组成的分层模型产生的：（1）非活动的尖峰和（2）活动的平板。然而，我们没有为每个协变量分配独立的尖峰先验，而是在这里部署了一个联合的“SLOPE”尖峰先验，它考虑了系数幅度的排序，以控制错误的发现。通过大量的模拟，我们展示了令人满意的性能，功率，FDR和估计偏差在各种情况下。最后，我们分析了一个真实的数据集，其中包括来自巴黎医院的患者，他们经历了严重的创伤，在预测血小板水平方面表现出色。我们的方法已经在C++中实现，并包装成一个R包ABSLOPE供公众使用。
2019-11-06 stat.AP stat.CO stat.ME
Linear regression in the Bayesian framework
这些注释旨在阐明从给定数据集执行线性回归的不同策略。文献中提出了加权和普通最小二乘法、岭回归或LASSO等方法。本文是我对这些方法的理解，据我所知，这些方法更好地统一在贝叶斯框架中。导出了用这些方法进行线性回归的计算公式。模型选择的KIC也在本文档的最后导出。
2019-08-09 stat.ME
Bayesian Trend Filtering
我们开发了一个完全贝叶斯分层模型的趋势过滤，本身是一个新的发展，非参数，单变量回归。该框架更广泛地适用于广义套索，但重点是贝叶斯趋势过滤。我们比较了两个收缩先验，双指数和广义双帕累托。一个模拟研究，比较贝叶斯趋势滤波的原始配方和其他一些流行的方法表明，我们的方法，以提高估计误差，同时保持，如果不提高覆盖概率。两个时间序列数据集证明贝叶斯趋势滤波的鲁棒性可能违反其假设。
2015-05-28 stat.ME
Scalable Bayesian shrinkage and uncertainty quantification in high-dimensional regression
贝叶斯收缩方法作为高维回归和模型选择的工具，最近引起了人们的极大兴趣。这些方法自然有利于易于处理的不确定性量化和纳入先验信息。这些模型，包括贝叶斯套索，全局-局部收缩先验，和尖峰和平板先验的一个共同特征是，回归系数上的相应先验可以表示为正态的尺度混合。虽然用于从通常难以处理的相关后验密度中进行采样的三步吉布斯采样器已被证明对于其中几个模型具有几何遍历性（Khare和Hobert，2013; Khare和Khare，2014），但最近已经证明，尽管有这种明显的理论保障，这种采样器的收敛在现代高维环境中仍然非常缓慢。我们提出了一种新的方法，通过一个易于处理的两步阻塞吉布斯采样器从相同的后验。我们证明了我们提出的两步块采样器具有非常优越的收敛行为相比，原来的三步采样器在高维制度的真实和模拟数据。我们还提供了一个详细的理论基础的贝叶斯套索的上下文中的新方法。首先，我们得到明确的（几何）收敛速度的上限。此外，我们从理论上证明，虽然原来的贝叶斯套索链不是希尔伯特-施密特，拟议的链是迹类（因此希尔伯特-施密特）。迹类性质具有重要的理论和实际意义。这意味着相应的马尔可夫算子是紧的，其特征值是可和的。它还有助于严格比较两步阻塞链与“三明治”算法，其目的是通过插入廉价的额外步骤来提高两步链的性能。
2017-04-14 stat.CO
Bayesian Low Rank and Sparse Covariance Matrix Decomposition
本文研究了一类特殊结构的高维协方差阵的估计问题，该结构是低秩稀疏矩阵的和。该协方差结构具有广泛的应用，包括因子分析和随机效应模型。我们提出了一种估计协方差阵的贝叶斯方法，通过将协方差模型表示为潜在因子个数未知的因子模型的形式。我们引入二元指标的因素选择和秩估计的低秩分量结合贝叶斯套索方法的稀疏分量估计。仿真结果表明，该方法可以恢复的秩以及稀疏的两个组件分别。我们进一步将我们的方法扩展到图形因子模型，其中残差的图形模型以及选择因子的数量是感兴趣的。我们采用超逆Wishart先验建模的残差可分解的图形，和贝叶斯图形套索选择方法的不受限制的图形。我们通过模拟表明，扩展模型可以恢复的潜在因素的数量和图形模型的残差成功时，样本量是足够的相对于尺寸。
2013-10-15 stat.ME
A Bayesian Graphical Approach for Large-Scale Portfolio Management with Fewer Historical Data
管理包含许多资产的大规模投资组合是金融领域最具挑战性的任务之一。这部分是因为当资产数量$p$超过观测数量$n$时，资产收益的协方差或精度矩阵的估计趋于不稳定甚至不可行。基于这个原因，以往关于投资组合管理的研究大多集中在$ p < n$的案例上。为了处理$p > n$的情况下，我们建议使用一个新的贝叶斯框架的基础上自适应图形LASSO估计的精度矩阵的资产收益率在一个大规模的投资组合。与以往文献中关于图形LASSO的研究不同，我们的方法利用了Oya和Nakatsuma（2022）提出的精度矩阵的贝叶斯估计方法，以便始终保证精度矩阵的正定性。作为一个实证应用，我们构造了$p = 100$的全局最小方差投资组合的不同值的n与所提出的方法以及非贝叶斯图形LASSO方法，并比较他们的样本外的表现与等权重的投资组合作为基准.在这个比较中，所提出的方法产生更稳定的结果比非贝叶斯方法的夏普比率，投资组合的组成和营业额。此外，所提出的方法成功地估计精度矩阵，即使$n$是远远小于$p$和非贝叶斯方法无法做到这一点。
2022-03-05 q-fin.PM stat.AP
Spike-and-slab shrinkage priors for structurally sparse Bayesian neural networks
Computational Science Initiative, Brookhaven National Laboratory（布鲁克海文国家实验室计算科学倡议）；Department of Statistics and Probability, Michigan State University（密歇根州立大学统计与概率系）
本文提出结构稀疏贝叶斯神经网络，利用尖峰-平板组Lasso和Horseshoe先验剪除冗余节点，实现高效压缩与低延迟推理。
2024-08-21 cs.LG stat.ME stat.ML
Bayesian estimation of a sparse precision matrix
我们考虑的问题，估计稀疏精度矩阵的多元高斯分布，包括维数$p$是大的情况下。高斯图模型提供了一个重要的工具，通过在底层图中的边的存在或不存在来描述条件独立性。一个流行的非贝叶斯方法估计的图形结构是由图形套索。在本文中，我们考虑了解决该问题的贝叶斯方法。我们使用先验，它把一个点质量的混合物在零和一定的绝对连续分布的非对角元素的精度矩阵。因此，所得到的后验分布可以用于图形结构学习。得到了精度矩阵的后验收敛速度。模型空间上的后验分布计算起来极其麻烦。我们提出了一种快速的计算方法近似的后验概率的各种图形使用拉普拉斯近似的方法，通过扩大后验模式，这是图形套索我们选择的先验分布周围的后验密度。我们还提供了近似的精度估计。
2014-04-07 math.ST stat.CO stat.TH
Bayesian Quantile Regression for Single-Index Models
利用非对称Laplace分布，它提供了一个机制，贝叶斯推断的分位数回归模型，我们开发了一个完全贝叶斯方法来拟合单指标模型的条件分位数回归。在这项工作中，我们使用一个高斯过程事先未知的非参数链接函数和拉普拉斯分布的索引向量，与后者的动机最近流行的贝叶斯套索的想法。我们设计了一个用于后验推理的马尔可夫链蒙特卡罗算法。仔细考虑核矩阵的奇异性，以及一些完整的条件分布的易处理性，导致部分折叠的方法，其中非参数连接函数在一些采样步骤中被整合出来。我们的模拟表明，贝叶斯方法与频率论方法的优越性能。该方法进一步说明了飓风数据的应用程序。
2011-12-30 stat.CO stat.ME
Reciprocal Graphical Models for Integrative Gene Regulatory Network Analysis
构建基因调控网络是系统生物学的一项基本任务。我们引入了一个高斯倒易图形模型，通过整合mRNA基因表达和DNA水平信息（包括拷贝数和甲基化）来推断基因调控关系。数据集成允许对某些监管关系的方向性进行推断，否则由于马尔可夫等价性而无法区分。有效的推理是基于联立方程模型。采用贝叶斯模型选择技术来估计图的结构。我们通过模拟和两个应用程序在ZODIAC成对基因相互作用分析和结肠腺癌途径分析说明我们的方法。
2016-07-22 stat.ME
Bayesian sparse convex clustering via global-local shrinkage priors
NTT Advanced Technology Corporation（NTT先进技术公司）；The University of Electro-Communications（电气通信大学）
稀疏凸聚类是在凸聚类框架下对观测值进行聚类的同时进行变量选择。虽然加权$L_1$范数通常用于稀疏凸聚类中的正则化项，但如果样本量不足，则其使用增加了对数据的依赖性并降低了估计精度。针对这些问题，本文提出了一种基于贝叶斯套索和全局-局部收缩先验的贝叶斯稀疏凸聚类方法。我们引入吉布斯抽样算法，我们的方法使用的比例混合正态分布。仿真研究和实际数据分析表明了所提出方法的有效性。
2020-05-26 cs.LG stat.ME stat.ML
High-dimensional Bayesian Tobit regression for censored response with Horseshoe prior
针对高维左删失回归问题，提出结合 Horseshoe 先验、数据增强与 Gibbs 采样的贝叶斯 Tobit 框架，并证明其后验一致性与稀疏收敛速率。
2025-05-13 math.ST stat.ME stat.ML
Empowering Differential Networks Using Bayesian Analysis
差分网络（DN）是模拟多个样本之间条件依赖关系变化的重要工具。贝叶斯方法估计DN，从经典的观点，介绍了一个计算效率的阈值选择图形模型的确定。该算法分别估计精度矩阵的DN使用贝叶斯自适应图形套索过程。合成实验表明，贝叶斯DN执行异常良好的数值精度和图形结构的确定相比，国家的最先进的方法。将所提出的方法应用于南非COVID- $19$数据，以研究大流行不同阶段之间DN结构的变化。
2021-05-28 stat.ME
Bayesian Inference for Gamma Models
我们使用正态方差-均值混合理论来推导包括伽马函数的模型的数据增强方案。我们的方法适用于统计和机器学习中的许多情况，包括多项狄利克雷分布、负二项回归、Poisson-Gamma分层模型、极值模型等。所有这些模型都包括一个伽马函数，它不允许自然共轭先验分布，这对推理和预测提出了重大挑战。为了提供一个数据扩充策略，我们建立和发展了指数倒数Γ分布类的理论。这允许开发可扩展的EM和MCMC算法。我们说明了我们的方法上的一些例子，包括伽玛形状推断，负二项回归和狄利克雷分配。最后，我们总结了未来研究的方向。
2021-06-21 stat.CO stat.ME stat.ML
Sparse and Smooth Prior for Bayesian Linear Regression with Application to ETEX Data
线性回归模型的解的稀疏性是一个普遍的要求，许多先验分布已被设计用于此目的。然而，稀疏性要求与解决方案的平滑性的组合在应用中也很常见，现有的先验模型相当少。在本文中，我们比较了两种先验结构，贝叶斯融合套索（BFL）和最小二乘与自适应先验协方差阵（LS-APC）。由于后者只有变分解，我们推导出一个吉布斯抽样算法的推理和贝叶斯模型选择。该方法是为高维问题而设计的，因此，我们讨论了与后验估计相关的数值问题。在模拟中，我们表明，LS-APC先验实现的结果与分段常数参数的贝叶斯融合套索，并优于更一般的形状的参数的BFL。LS-APC先验的另一个优点是在实际应用中揭示的欧洲示踪剂实验（ETEX）的释放曲线的估计。具体而言，当回归矩阵没有信息时，LS-APC模型提供了更保守的不确定性界限。
2017-06-21 stat.AP
Robust Bayesian graphical modeling using $γ$-divergence
本文提出一种基于 $\gamma$-散度的稳健贝叶斯高斯图模型推断方法，通过贝叶斯图形套索实现后验稳健性，并开发了加权贝叶斯自助法高效计算算法。
2025-01-23 stat.ME
Extended Bayesian Information Criteria for Gaussian Graphical Models
在逆协方差阵中具有稀疏性的高斯图模型在许多现代应用中具有重要意义。对于恢复的图形结构的问题，信息标准提供了有用的优化目标的算法搜索通过组的图形或其他方法，如图形套索，这是一种可能性惩罚技术的调整参数的选择。在本文中，我们建立了一个扩展的贝叶斯信息准则的一致性高斯图模型的情况下，变量的数量p和样本量n增长。与早期的工作相比，回归的情况下，我们的治疗允许增长的非零参数的数量在真正的模型，这是必要的，以覆盖连通图。我们证明了这个标准的性能与图形套索一起使用时，模拟数据，并验证该标准确实比交叉验证或普通贝叶斯信息标准时，p和非零参数q的数量都与n的规模更好。
2010-11-30 math.ST stat.TH
