MCMC convergence diagnosis using geometry of Bayesian LASSO
利用Bayesian LASSO的后验分布，构造了参数空间上的半范数。我们表明，分拆函数取决于l1和l2的标准和目前的三个制度的比率。我们推导了贝叶斯LASSO的浓度，并给出了MCMC收敛性诊断。
2015-12-04 math.ST stat.TH
Bayesian Lasso : Concentration and MCMC Diagnosis
利用Bayesian LASSO的后验分布，构造了参数空间上的半范数。我们证明了分拆函数依赖于l 1和l 2范数的比值，并提出了三种制度。推导了贝叶斯LASSO算法的收敛性，并给出了MCMC算法的收敛性诊断.关键词：LASSO，贝叶斯，MCMC，对数凹，几何，不完全Γ函数
2018-02-22 math.ST stat.TH
The Reciprocal Bayesian LASSO
与对系数使用递增惩罚的传统惩罚方法相反，倒数LASSO（rLASSO）正则化采用递减惩罚函数，从而导致相对于传统收缩方法更强的简约性和更优的模型选择。在这里，我们考虑一个完全贝叶斯制定的rLASSO问题，这是基于观察的rLASSO估计线性回归参数可以被解释为贝叶斯后验模式估计时，回归参数被分配独立的逆拉普拉斯先验。贝叶斯推断从这个后验是可能的，使用扩展的层次结构的双重帕累托或截断正态分布的规模混合的动机。在模拟和真实的数据集上，我们表明贝叶斯公式在广泛的场景中在估计，预测和变量选择方面优于其经典表弟，同时提供后验推理的优势。最后，我们讨论了这种新方法的其他变体，并提供了一个统一的框架，使用灵活的倒数惩罚变量选择。本文中描述的所有方法都可以作为R包在https://github.com/himelmallick/BayesRecipe上公开获得。
2021-09-16 stat.CO stat.ME stat.ML
Adaptive Shrinkage with a Nonparametric Bayesian Lasso
本文提出非参数贝叶斯 Lasso，通过在收缩参数上放置 Dirichlet Process 先验扩展 spike-and-slab Lasso，实现自适应灵活的贝叶斯回归与变量选择，在系数恢复、变量选择和预测上优于现有方法。
2024-11-13 stat.ME
Analytic solution and stationary phase approximation for the Bayesian lasso and elastic net
The Roslin Institute（罗斯林研究所）；The University of Edinburgh（爱丁堡大学）；University of Bergen（卑尔根大学）
套索和弹性网线性回归模型对模型参数施加双指数先验分布，以实现回归收缩和变量选择，从而允许从大数据集推断稳健模型。然而，由于需要评估分析上难以处理的配分函数积分，因此在推导这些模型中回归系数的完整后验分布的估计方面取得的成功有限。这里，傅里叶变换被用来将这些积分表示为“回归频率”上的复值振荡积分。这将导致在一个分析的扩展和固定相近似的贝叶斯套索和弹性网，其中的双指数先验的不可微性的配分函数迄今为止回避这样的方法。这种近似的使用导致高度精确的数值估计的期望值和边际后验分布的回归系数，并允许贝叶斯推断的更高维的模型比以前可能的。
2018-11-28 cs.LG math.ST q-bio.QM
Bayesian Lasso Posterior Sampling via Parallelized Measure Transport
众所周知，Lasso可以被解释为具有Laplacian先验的贝叶斯后验模式估计。从完整的后验分布（Bayesian Lasso）中获取样本，与仅使用Lasso点估计相比，在性能方面具有重大优势。传统上，贝叶斯套索是通过吉布斯抽样方法，缺乏可扩展性，未知的收敛速度，并产生的样本，必然是相关的。我们提供了一个测量运输的方法来生成i.i.d样本的后，通过构建一个运输映射，将一个样本从拉普拉斯先验到一个样本的后。我们展示了如何建设这个运输地图可以并行成模块，迭代解决拉索问题，并执行封闭形式的线性代数更新。利用这种后验抽样方法，我们通过期望最大化算法对Lasso正则化参数进行极大似然估计。我们提供比较传统的吉布斯采样器使用糖尿病数据集的埃夫隆等人。最后，我们给出了一个例子，利用并行化，图形处理单元，其执行时间的计算系统上的实现方式有更少的依赖于尺寸相比，一个标准的实现。
2018-01-07 stat.CO
The Lasso Distribution: Properties, Sampling Methods, and Applications in Bayesian Lasso Regression
本文提出 Lasso 分布，推导其矩、矩母函数等性质并给出高效抽样算法，将其应用于贝叶斯 Lasso 回归的 Gibbs 抽样中，并提供 R 包 BayesianLasso。
2025-08-15 stat.CO
Bayesian Pliable Lasso with Horseshoe Prior for Interaction Effects in GLMs with Missing Responses
本文提出贝叶斯可塑套索，结合马蹄先验处理广义线性模型中的交互效应与缺失响应，通过分层先验强制遗传约束并自适应收缩，开发高效吉布斯采样算法，在完整和不完整数据下优于现有方法。
2025-09-09 stat.AP stat.CO stat.ME
Developing an information criterion for spatial data analysis through Bayesian generalized fused lasso
针对空间变化系数模型中贝叶斯广义融合lasso先验分布复杂度确定难题，推导估计量渐近性质并提出先验增广信息准则PIIC，数值实验证明其在降低预测风险上优于WAIC。
2025-10-13 stat.ME
Bayesian sparse graphical models and their mixtures using lasso selection priors
我们提出了高斯图形模型的贝叶斯方法，导致稀疏和自适应收缩的精度（逆协方差）矩阵的估计。我们的方法是基于套索型正则化先验导致简约的参数化的精度矩阵，这是必不可少的几个应用程序，涉及学习变量之间的关系。在这种情况下，我们引入了一种新类型的选择之前，开发一个稀疏结构的精度矩阵，使大多数元素正好为零，除了确保正定性-从而进行模型选择和估计同时进行。我们将这些方法扩展到有限和无限混合高斯图形模型的聚类数据使用Dirichlet过程先验。我们讨论了适当的后验模拟方案，以实现后验推理在所提出的模型，包括评估的归一化常数，这是感兴趣的参数的功能，从而导致相关矩阵的限制。我们评估我们的方法的操作特性，通过几个模拟和应用到真实的数据集。
2013-10-03 stat.ME
Convergence analysis of data augmentation algorithms in Bayesian lasso models with log-concave likelihoods
School of Statistics University of Minnesota（明尼苏达大学统计学院）
本文研究了贝叶斯拉索模型中数据增强算法的收敛性，推导了通用收敛界并应用于三种具体模型，给出了不同模型的混合时间复杂度。
2025-12-23 math.ST stat.TH
Sparse Bayesian Lasso via a Variable-Coefficient $\ell_1$ Penalty
本文提出一种变系数 $\ell_1$ 惩罚的稀疏贝叶斯 Lasso 方法，通过可学习惩罚权重减少偏差，应用于变分贝叶斯，实现低偏差和不确定性量化，计算效率高，并成功应用于伊拉克内战流离失所数据的时空建模。
2023-05-12 stat.CO stat.ME stat.ML
Bayesian Chain Graph LASSO Models to Learn Sparse Microbial Networks with Predictors
微生物组数据需要统计模型，这些模型可以同时解码微生物对环境的反应和微生物之间的相互作用。虽然多响应线性回归模型似乎是一个简单的解决方案，我们认为，把它作为一个图形模型是有缺陷的，因为它不代表邻接矩阵的回归系数矩阵不编码的响应和预测节点之间的条件依赖结构。这一观察结果在生物学环境中尤其重要，因为我们对特定实验干预的边缘有先验知识，而这些知识只能在条件依赖模型下正确编码。在这里，我们提出了一个链图模型与两组节点（预测和响应），其解决方案产生一个图形的边缘，确实代表条件依赖，因此，同意实验者的直觉的平均行为下的节点治疗。我们的模型的解决方案是稀疏通过贝叶斯LASSO。此外，我们提出了一个自适应的扩展，使不同的收缩可以适用于不同的边缘，将边缘特定的先验知识。我们的模型是通过一个有效的吉布斯抽样算法计算成本低廉，并可以通过适当的层次结构，二进制，计数和成分的反应。我们将我们的模型应用于人类肠道和土壤微生物组成数据集，并强调CG-LASSO可以估计数据中有生物意义的网络结构。CG-LASSO软件作为R软件包可在https://github.com/YunyiShen/CAR-LASSO上获得。
2022-07-23 stat.AP stat.ME
Variational Bayesian Weighted Complex Network Reconstruction
Xi’an Jiaotong University（西安交通大学）；Henan University（河南大学）
复杂网络重构是当前许多领域的研究热点。目前，最流行的数据驱动重建框架是基于lasso的。然而，它被发现，在噪声的存在下，套索失去了加权网络的效率。本文建立了一个新的框架来处理这个问题。其核心思想是采用一系列的线性回归问题来建模网络节点之间的关系，然后使用一个有效的变分贝叶斯算法来推断未知系数。对合成数据和真实数据进行的数值实验表明，新方法在重建精度和运行速度方面均优于lasso。
2020-02-29 cs.LG cs.SI stat.AP
Bayesian Fused Lasso regression for dynamic binary networks
我们提出了一个多项逻辑斯谛回归模型，用于有向二元网络的时间序列中的链路预测。为了说明数据的动态性质，我们采用了与融合套索惩罚密切相关的模型参数的动态模型。除了促进稀疏性，这个先验允许我们探索网络结构中存在的变化点。我们介绍快速计算算法的估计和预测使用优化和贝叶斯方法。使用模拟数据和NYMEX天然气期货市场的金融交易网络的数据来说明该模型的性能。包含交易网络数据集和实现算法的代码的补充材料可在线获得。
2017-10-03 stat.AP
Geometric Ergodicity of Gibbs Samplers in Bayesian Penalized Regression Models
我们考虑三个贝叶斯惩罚回归模型，并表明，各自的确定性扫描吉布斯采样器是几何遍历的回归问题的尺寸无关。我们证明了几何遍历的吉布斯采样贝叶斯融合套索，贝叶斯组套索，和贝叶斯稀疏组套索。几何遍历性与矩条件一起导致蒙特卡罗平均值的马尔可夫链中心极限定理的存在，并确保可靠的输出分析。我们的几何遍历性的结果，使我们也可以提供默认的吉布斯采样器的起始值。
2017-07-04 math.ST stat.CO stat.TH
Fully Bayesian Classification with Heavy-tailed Priors for Selection in High-dimensional Features with Grouping Structure
在许多使用高维数据的现代科学研究问题中，需要进行特征选择。一个典型的例子是从高维基因表达中找到与某种疾病（如癌症）相关的最有用的基因。基因的表达具有分组结构，例如，一组具有相似生物学功能的共调节基因往往具有相似的表达。已经提出了许多统计方法来将分组结构考虑在特征选择中，包括组LASSO、监督组LASSO和对组代表的回归。在本文中，我们提出了一个完整的贝叶斯Robit回归方法与重尾（稀疏）先验（简称FBRHT）选择功能与分组结构。FBRHT的主要特点包括它比LASSO更积极地丢弃不相关的特征，并且它可以在没有预先指定的分组结构的情况下自动进行组内特征选择。在本文中，我们使用模拟和真实的数据集，以证明FBRHT选择的稀疏特征子集的预测能力与LASSO，组LASSO，监督组LASSO，惩罚逻辑斯谛回归和随机森林选择的其他更大的特征子集相当，并且通过FBRHT选择的简洁特征子集具有比从通过上述方法选择的顶部特征。
2017-05-12 stat.ME
Bayesian Analysis for miRNA and mRNA Interactions Using Expression Data
Dalian University of Technology（大连理工大学）
microRNA（miRNAs）是由19-22个核苷酸组成的小RNA分子，通过抑制mRNA翻译成蛋白质或切割靶mRNA，在转录后基因调控中发挥重要的调控作用。推测miRNA靶点为理解miRNA在可能参与复杂疾病的生物过程中的作用提供了有用的信息。已经提出了用于点估计的统计方法学，例如最小绝对收缩和选择算子（LASSO）算法，以基于序列和表达数据来鉴定miRNA和mRNA的相互作用。在本文中，我们提出使用贝叶斯LASSO（BLASSO）和非负贝叶斯LASSO（nBLASSO）分析之间的相互作用的miRNA和mRNA的表达数据。所提出的贝叶斯方法探索了对miRNA-mRNA相互作用建模所需的那些参数的后验分布。这些方法可用于通过绘制这些参数的后验分布来观察miRNA对靶标的推断作用。为了比较的目的，最小二乘回归（LSR），岭回归（RR），LASSO，非负LASSO（nLASSO），并提出贝叶斯方法应用于四个公共数据集。我们得出结论，nLASSO和nBLASSO在灵敏度和特异性方面表现最好。与仅提供这些参数的单一估计的点估计算法相比，贝叶斯方法更有意义，并且提供了可信区间，其考虑了miRNA和mRNA的推断相互作用的不确定性。此外，贝叶斯方法自然地提供统计显著性以选择令人信服的推断的相互作用，而点估计算法需要手动选择的阈值，这是不太有意义的，以选择可能的相互作用。
2014-06-30 cs.LG q-bio.GN q-bio.MN
Regenerative Simulation for the Bayesian Lasso
Park和Casella的Gibbs采样器是最流行的MCMC方法之一，用于从贝叶斯Lasso回归的后验密度中采样。与许多马尔可夫链采样器一样，他们的吉布斯采样器缺乏理论上合理的输出分析方法-一种用于估计给定遍历平均值的方差和估计链从平稳分布采样的接近程度的方法，即老化。在本文中，我们解决了这个缺点，通过识别再生结构的采样器的公园和卡塞拉，从而提供了一个理论上合理的方法来评估其性能。再生结构提供了强一致的方差估计量和与目标后验密度的全变差距离的估计量（上界）。其结果是一个简单的和理论上健全的方式来评估公园和卡塞拉，更普遍的是，其他MCMC采样器，再生模拟是可能的平稳性。我们进行了一个数值研究，我们验证了我们的再生方法计算的标准误，通过比较它与AR（1）启发式近似计算的标准误。因此，我们表明，贝叶斯Lasso模型，再生方法是一个可行的和理论上合理的替代现有的ad-hoc MCMC收敛诊断。
2018-06-06 stat.CO
Variational Full Bayes Lasso: Knots Selection in Regression Splines
我们开发了一个全自动贝叶斯套索通过变分推断。这是一个用于近似后验分布的可扩展过程。对回归样条中节点的选择进行了研究。为了贯彻我们的建议，一个全自动变分贝叶斯套索，Jefferey的先验提出的超参数和决策理论的方法来决定是否选择一个结或没有。广泛的仿真研究，以确保所提出的算法的有效性。算法的性能也在一些真实数据集上进行了测试，包括来自世界大流行的Covid-19的数据。同样，这些算法在捕获数据结构方面表现出非常好的性能。
2021-02-26 stat.CO stat.ME
Formal Bayesian Transfer Learning via the Total Risk Prior
Department of Mathematics and Statistics, University of Massachusetts Amherst（数学与统计学系，马萨诸塞大学阿默斯特分校）；Department of Mathematics and Statistics, Georgetown University（数学与统计学系，乔治城大学）；Department of Computer Science, Georgetown University（计算机科学系，乔治城大学）
本文提出基于总风险先验的形式化贝叶斯迁移学习方法，通过条件风险最小化构建联合先验，实现完整不确定性量化与模型平均，在遗传学应用中优于Trans-Lasso。
2026-10-16 cs.LG stat.ML
Spike-and-slab shrinkage priors for structurally sparse Bayesian neural networks
Computational Science Initiative, Brookhaven National Laboratory（布鲁克海文国家实验室计算科学倡议）；Department of Statistics and Probability, Michigan State University（密歇根州立大学统计与概率系）
本文提出结构稀疏贝叶斯神经网络，利用尖峰-平板组Lasso和Horseshoe先验剪除冗余节点，实现高效压缩与低延迟推理。
2024-08-21 cs.LG stat.ME stat.ML
Fast Mixing of Data Augmentation Algorithms: Bayesian Probit, Logit, and Lasso Regression
Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出使用改进的导电性方法研究数据增强算法的混合时间，证明了三种重要算法的非渐近多项式上界，展示了在设计矩阵和先验协方差矩阵上的紧界。
2026-04-21 math.PR math.ST stat.ML
Sparse online variational Bayesian regression
这项工作认为变分贝叶斯推断作为一个廉价的和可扩展的替代方案，完全贝叶斯方法的背景下，稀疏促进先验。特别是，考虑的先验产生的正态分布与广义逆高斯混合分布的尺度混合。这包括变分贝叶斯LASSO作为[65]中引入的贝叶斯LASSO的廉价且可扩展的替代方案。它还包括一个家庭的先验更强烈地促进稀疏。对于线性模型，该方法只需要迭代求解确定性最小二乘问题。此外，对于p个未知协变量，该方法可以精确地在线实现，每次迭代的计算成本为$O(p^3)$，存储器成本为$O(p^2)$-换句话说，每次迭代的成本与n无关，并且原则上可以考虑无限的数据。对于大的$p$的近似是能够实现有希望的结果，每次迭代的成本$O(p)$，在计算和存储器。超参数调整的策略也被认为是。该方法是实现真实和模拟数据。结果表明，性能的变量选择和不确定性量化的变贝叶斯LASSO可以媲美贝叶斯LASSO的问题，这是易于处理的方法，并为一小部分的成本。本方法在膝上型计算机上在不到30分钟内舒适地处理$n = 65536$、$p = 131073$，并且在一夜之间处理$n = 10^5$、$p = 2.1 \times 10^6$。
2021-12-22 cs.NA math.NA math.OC
Bayesian sparse convex clustering via global-local shrinkage priors
NTT Advanced Technology Corporation（NTT先进技术公司）；The University of Electro-Communications（电气通信大学）
稀疏凸聚类是在凸聚类框架下对观测值进行聚类的同时进行变量选择。虽然加权$L_1$范数通常用于稀疏凸聚类中的正则化项，但如果样本量不足，则其使用增加了对数据的依赖性并降低了估计精度。针对这些问题，本文提出了一种基于贝叶斯套索和全局-局部收缩先验的贝叶斯稀疏凸聚类方法。我们引入吉布斯抽样算法，我们的方法使用的比例混合正态分布。仿真研究和实际数据分析表明了所提出方法的有效性。
2020-05-26 cs.LG stat.ME stat.ML
The Kernel Interaction Trick: Fast Bayesian Discovery of Pairwise Interactions in High Dimensions
Massachusetts Institute of Technology（麻省理工学院）；Harvard University（哈佛大学）
发现感兴趣的反应的相互作用效应是生物学、医学、经济学和许多其他科学学科面临的基本问题。在理论上，贝叶斯方法发现成对相互作用享有许多好处，如一致的不确定性量化，结合背景知识的能力，和理想的收缩性能。然而，在实践中，贝叶斯方法往往是计算上棘手的，即使是中等规模的问题。我们的关键见解是，许多具有实际意义的分层模型都承认特定的高斯过程（GP）表示; GP允许我们用O（p）核超参数向量而不是O（p^2）相互作用和主效应来捕获后验。通过隐式表示，我们可以在模型超参数上运行马尔可夫链蒙特卡罗（MCMC），每次迭代在p中记忆线性。我们专注于稀疏诱导模型和数据集上的各种协变量的行为，我们的方法：（1）减少运行时间的数量级MCMC的天真的应用程序，（2）提供较低的类型I和第二类错误相对于国家的最先进的基于LASSO的方法，（3）提供了改进的计算缩放在高维相对于现有的贝叶斯和基于LASSO的方法。
2022-11-13 cs.LG stat.CO stat.ME
High-Dimensional Bayesian Regularised Regression with the BayesReg Package
贝叶斯惩罚回归技术，如贝叶斯套索和贝叶斯马蹄估计，最近在统计文献中受到了大量的关注。然而，在通用马尔可夫链蒙特卡罗平台（如STAN）之外，实现最先进的贝叶斯惩罚回归的软件相对较少。本文介绍了一个新的工具箱bayesreg，用于拟合具有连续收缩先验密度的贝叶斯惩罚回归模型。该工具箱的特点是具有高斯或重尾误差模型的贝叶斯线性回归和具有岭、套索、马蹄和马蹄$+$估计量的贝叶斯逻辑斯谛回归。该工具箱是免费的，开源的，可用于MATLAB和R数值平台。
2016-12-20 stat.CO
Bayesian Regularization: From Tikhonov to Horseshoe
贝叶斯正则化是现代统计和机器学习方法中的核心工具。许多应用涉及高维稀疏信号恢复问题。本文的目的是提供一个基于惩罚的正则化方法的文献综述，从Tikhonov（Ridge，Lasso）到马蹄正则化。
2019-02-17 stat.ME
Structured Bayesian Modeling of Dynamic Receptive1 Fields in Salamander Retinal Ganglion Cells
Texas A&M University（德克萨斯农工大学）
本文提出一种结合空间高斯马尔可夫随机场与时间自回归过程的泊松贝叶斯模型，用于蝾螈视网膜神经节细胞动态感受野估计，在155个神经元记录和模拟实验中优于LASSO等方法，并通过函数聚类识别出三种时间响应表型。
2026-09-28 cs.NE stat.ME
A Data Driven Bayesian Graphical Ridge Estimator
贝叶斯方法在高斯图模型（GGM）估计中将精确关联优先于稀疏性，在科学文献中仍然相对较少。人们普遍认为，$\ell_2$惩罚在GGM估计中享有较小的计算足迹，而$\ell_1$惩罚鼓励被估量的稀疏性。贝叶斯自适应图形套索先验被用来作为一个出发点，在制定一个计算效率高的图形脊型先验的事件，准确的关联优先于稀疏表示。利用脊型惩罚构造了一种新的模拟精度矩阵的块吉布斯采样器。将贝叶斯图脊型先验扩展为贝叶斯自适应图脊型先验。合成实验表明，图形脊型估计享有计算效率，在中等尺寸，和数值性能，相对非稀疏精度矩阵，当比较他们的套索同行。自适应图形脊型估计应用于细胞信号数据，以推断人类T细胞信号中磷酸化蛋白质之间的关键关联。所有计算工作量都使用baygel R软件包进行。
2022-10-28 stat.ME
Bayesian High-dimensional Grouped-regression using Sparse Projection-posterior
North Carolina State University（北卡罗来纳州立大学）
提出一种基于稀疏投影后验的贝叶斯高维分组回归方法，通过三种投影映射实现组变量选择和估计，并证明模型选择一致性和最优后验收缩率。
2026-05-22 stat.ME
Choosing the Right Regularizer for Applied ML: Simulation Benchmarks of Popular Scikit-learn Regularization Frameworks
本研究通过134400次模拟评估了四种正则化方法在机器学习中的性能，发现当样本数与特征数比足够时，Ridge、Lasso和ElasticNet可互换，但Lasso在多重共线性和低信噪比下表现差，建议避免在高条件数和小样本情况下使用Lasso或Post-Lasso OLS。
2026-04-07 cs.LG stat.ML
Bayesian nonparametric sparse VAR models
Ca’ Foscari University of Venice（威尼斯卡福斯卡里大学）；Free University of Bozen-Bolzano（博尔扎诺自由大学）
本文提出了一种新的贝叶斯非参数Lasso先验（BNP-Lasso）用于高维VAR模型，以提高估计效率和预测精度，通过聚类和收缩VAR系数来克服过参数化和过拟合问题，适用于从时间序列中提取因果网络。
2018-10-29 econ.GN q-fin.EC stat.ME
Empirical Likelihood Based Bayesian Variable Selection
经验似然是一种流行的非参数统计工具，不需要任何分布假设。在本文中，我们探讨了通过贝叶斯经验似然进行变量选择的可能性。从理论上证明了当先验分布满足一定的温和条件时，相应的贝叶斯经验似然估计是后验相合的，并且是变量选择相合的。作为特例，我们证明了贝叶斯经验似然LASSO和SCAD的先验满足这样的条件，从而可以以概率趋于1的方式识别参数的非零元素。此外，它是很容易验证，这些条件满足其他广泛使用的先验，如脊，弹性网和自适应LASSO。经验似然取决于需要通过数值求解非线性方程获得的参数。因此，后验分布不存在共轭先验，导致MCMC抽样算法在某些情况下收敛缓慢。为了解决这个问题，我们提出了一种新的方法，它使用一个近似分布的建议。计算结果表明，本文所用的例子快速收敛。我们使用模拟和真实数据分析来说明所提出的方法的优点。
2022-06-10 stat.ME
Linear regression in the Bayesian framework
这些注释旨在阐明从给定数据集执行线性回归的不同策略。文献中提出了加权和普通最小二乘法、岭回归或LASSO等方法。本文是我对这些方法的理解，据我所知，这些方法更好地统一在贝叶斯框架中。导出了用这些方法进行线性回归的计算公式。模型选择的KIC也在本文档的最后导出。
2019-08-09 stat.ME
Bayesian Trend Filtering
我们开发了一个完全贝叶斯分层模型的趋势过滤，本身是一个新的发展，非参数，单变量回归。该框架更广泛地适用于广义套索，但重点是贝叶斯趋势过滤。我们比较了两个收缩先验，双指数和广义双帕累托。一个模拟研究，比较贝叶斯趋势滤波的原始配方和其他一些流行的方法表明，我们的方法，以提高估计误差，同时保持，如果不提高覆盖概率。两个时间序列数据集证明贝叶斯趋势滤波的鲁棒性可能违反其假设。
2015-05-28 stat.ME
Bayesian Low Rank and Sparse Covariance Matrix Decomposition
本文研究了一类特殊结构的高维协方差阵的估计问题，该结构是低秩稀疏矩阵的和。该协方差结构具有广泛的应用，包括因子分析和随机效应模型。我们提出了一种估计协方差阵的贝叶斯方法，通过将协方差模型表示为潜在因子个数未知的因子模型的形式。我们引入二元指标的因素选择和秩估计的低秩分量结合贝叶斯套索方法的稀疏分量估计。仿真结果表明，该方法可以恢复的秩以及稀疏的两个组件分别。我们进一步将我们的方法扩展到图形因子模型，其中残差的图形模型以及选择因子的数量是感兴趣的。我们采用超逆Wishart先验建模的残差可分解的图形，和贝叶斯图形套索选择方法的不受限制的图形。我们通过模拟表明，扩展模型可以恢复的潜在因素的数量和图形模型的残差成功时，样本量是足够的相对于尺寸。
2013-10-15 stat.ME
A LASSO-Penalized BIC for Mixture Model Selection
基于族的方法对基于混合模型的聚类和分类的有效性取决于简约模型的选择。目前的智慧建议贝叶斯信息准则（BIC）的混合模型选择。然而，BIC具有众所周知的局限性，包括倾向于高估组件的数量，以及倾向于经常大幅低估更高维度的组件数量。虽然前一个问题可以通过合并组件来解决，但后者在集群和分类应用程序中是不可能缓解的。在本文中，一个LASSO惩罚BIC（LPBIC）的介绍，以克服这个问题。这种方法是说明的基础上的应用程序的扩展的混合物的因素分析，其中的LPBIC是用来选择组件的数量和潜在因素的数量。在几种情况下，LPBIC表现出匹配或优于BIC。
2012-11-27 math.ST stat.CO stat.ME
Bayesian Sparse Covariance Structure Analysis for Correlated Count Data
The University of Electro-Communications（电气通信大学）；National Police Agency Info-Communications Bureau（警察厅信息通信局）
在本文中，我们提出了一个贝叶斯图LASSO相关的可数数据，并将其应用于空间犯罪数据。在所提出的模型中，我们假设一个高斯图形模型的潜变量，占主导地位的潜在犯罪风险。为了评估所提出的模型，我们确定了更好地代表样本的最佳超参数。我们应用所提出的模型估计的稀疏逆协方差的潜在变量和评估的部分相关系数。最后，我们说明了犯罪现场数据的结果，并考虑估计的潜在变量和部分相关系数的稀疏逆协方差。
2020-06-05 cs.LG stat.ME
Algorithmic Bayesian Group Gibbs Selection
贝叶斯模型选择，在George和McCulloch（1993）和Abramovich等人（1998）中有先例，支持与模型不确定性相关的可信度度量，但当稀疏先验近似时，计算成本可能很高。我们设计了一个适合高斯噪声，t分布噪声和逻辑学习的精确选择引擎，受益于坐标下降套索的数据结构。吉布斯采样器链以与等能量（Equi-Energy）兼容的压缩二进制格式存储（Kou等人，2006）回火。我们实现了一个分组效应选择模型，类似于组套索的设置，以确定进入模型的系数的共同输入。我们推导出一个函数的群包含被积函数，并引入一个新的MCMC开关步骤，以避免数值积分。定理表明该步具有指数收敛到目标分布。我们证明了群体选择的作用，以告知遗传分解的dilemma实验，并确定潜在的数量性状基因座在p > 40 K异质股票单倍型/表型研究。
2023-03-10 stat.CO stat.ME
A Bayesian Graphical Approach for Large-Scale Portfolio Management with Fewer Historical Data
管理包含许多资产的大规模投资组合是金融领域最具挑战性的任务之一。这部分是因为当资产数量$p$超过观测数量$n$时，资产收益的协方差或精度矩阵的估计趋于不稳定甚至不可行。基于这个原因，以往关于投资组合管理的研究大多集中在$ p < n$的案例上。为了处理$p > n$的情况下，我们建议使用一个新的贝叶斯框架的基础上自适应图形LASSO估计的精度矩阵的资产收益率在一个大规模的投资组合。与以往文献中关于图形LASSO的研究不同，我们的方法利用了Oya和Nakatsuma（2022）提出的精度矩阵的贝叶斯估计方法，以便始终保证精度矩阵的正定性。作为一个实证应用，我们构造了$p = 100$的全局最小方差投资组合的不同值的n与所提出的方法以及非贝叶斯图形LASSO方法，并比较他们的样本外的表现与等权重的投资组合作为基准.在这个比较中，所提出的方法产生更稳定的结果比非贝叶斯方法的夏普比率，投资组合的组成和营业额。此外，所提出的方法成功地估计精度矩阵，即使$n$是远远小于$p$和非贝叶斯方法无法做到这一点。
2022-03-05 q-fin.PM stat.AP
Network-Scale Traffic Modeling and Forecasting with Graphical Lasso and Neural Networks
East China Normal University（华东师范大学）
交通流预测，特别是短时交通流预测，是智能交通系统（ITS）中的一个重要研究课题。本文对短时交通流的网络规模建模与预测进行了大量的研究。首先，我们提出了单路段和多路段交通流预测模型的概念。其次，我们将这两个模型与单任务学习和多任务学习相结合，构建了四个预测模型。多环节模型和多任务学习的结合不仅提高了实验效率，而且提高了预测精度。此外，提出了一种新的多环节单任务方法，结合图形套索（GL）和神经网络（NN）。GL提供了一种解决涉及大量变量的问题的通用方法。使用L1正则化，GL利用稀疏逆协方差矩阵构建稀疏图形模型。此外，高斯过程回归（GPR）是贝叶斯机器学习中的经典回归算法。虽然探地雷达的研究已经很广泛，但在交通流预测中的应用还很少。本文将探地雷达应用于交通流预测，并展示了其潜力。通过充分的实验，我们比较了所有提出的方法，并作出了全面的评价。
2017-12-25 cs.LG stat.ML
Bayesian Masking: Sparse Bayesian Estimation with Weaker Shrinkage Bias
Kyoto University（京都大学）；National Institute of Informatics（国立信息学研究所）
稀疏线性回归的一个常见策略是引入正则化，通过使相应的权重为零来消除不相关的特征。然而，正则化经常缩小相关特征的估计量，这导致不正确的特征选择。出于上述问题，我们提出了贝叶斯掩蔽（BM），稀疏估计方法，不施加正则化的权重。BM的关键概念是引入随机屏蔽特征的二进制潜变量。估计掩蔽率自动确定特征的相关性。我们推导出一个变分贝叶斯推断算法，最大限度地提高了下界的因子分解信息准则（FIC），这是最近开发的渐近标准，用于评估边际对数似然。此外，我们提出了重新参数化，以加速收敛的派生算法。最后，我们表明，BM优于Lasso和自动相关性确定（ARD）的稀疏收缩权衡。
2015-10-06 cs.LG stat.ML
High-dimensional Bayesian Tobit regression for censored response with Horseshoe prior
针对高维左删失回归问题，提出结合 Horseshoe 先验、数据增强与 Gibbs 采样的贝叶斯 Tobit 框架，并证明其后验一致性与稀疏收敛速率。
2025-05-13 math.ST stat.ME stat.ML
Bayesian Adaptive Selection of Basis Functions for Functional Data Representation
考虑到功能数据分析的背景下，我们开发并应用了一种新的贝叶斯方法，通过吉布斯采样器选择基函数的功能数据的有限表示。所提出的方法使用伯努利潜变量分配零的一些基函数系数与一个积极的概率。该过程允许自适应基选择，因为它可以确定基的数量以及应该选择哪些来表示功能数据。此外，所提出的程序措施的选择过程的不确定性，并可以同时适用于多个曲线。开发的方法可以处理观察到的曲线，这些曲线可能由于实验误差和受试者之间的随机个体差异而有所不同，人们可以在涉及巴西每日COVID-19病例数的真实数据集应用中观察到这些曲线。仿真研究表明，所提出的方法的主要属性，如其精度估计系数和强度的过程中找到真正的基函数集。尽管已经在功能数据分析的背景下开发，我们还通过模拟与完善的LASSO和贝叶斯LASSO，这是为非功能数据开发的方法，提出的模型进行了比较。
2022-05-26 stat.CO stat.ME
Bayesian Cluster Weighted Gaussian Models
Athens University of Economics and Business（雅典经济与商业大学）
提出一类新的贝叶斯混合正态线性回归模型，通过引入预测变量分布的额外高斯随机成分，利用lasso和graphical-lasso先验分别处理回归系数和协方差结构，并采用跨维度伸缩采样器自动确定聚类数，在模拟和生物医学数据上优于EM、回归混合和专家混合方法。
2026-05-06 stat.CO stat.ME
Empowering Differential Networks Using Bayesian Analysis
差分网络（DN）是模拟多个样本之间条件依赖关系变化的重要工具。贝叶斯方法估计DN，从经典的观点，介绍了一个计算效率的阈值选择图形模型的确定。该算法分别估计精度矩阵的DN使用贝叶斯自适应图形套索过程。合成实验表明，贝叶斯DN执行异常良好的数值精度和图形结构的确定相比，国家的最先进的方法。将所提出的方法应用于南非COVID- $19$数据，以研究大流行不同阶段之间DN结构的变化。
2021-05-28 stat.ME
Bayesian Inference in Sparse Gaussian Graphical Models
University of Edinburgh（爱丁堡大学）；Pharmatics Ltd（Pharmatics有限公司）
科学的基本任务之一是在观察到的现象之间找到可解释的关系。这一任务的一种方法，近年来受到关注的是基于概率图形模型与稀疏约束的模型结构。在本文中，我们描述了两种新的方法来贝叶斯推断稀疏结构的高斯图模型（GGM）。一个是基于一个简单的修改的尖端块吉布斯采样器稀疏GGM，这导致显着的计算增益在高维。另一种方法是基于哈密顿蒙特卡罗采样器的一个特定的结构，这导致进一步的显着改善。我们比较了我们的完全贝叶斯方法与流行的基于规则的图形LASSO，并在相同的计算成本下证明了贝叶斯处理的显着优势。我们将这些方法应用于广泛的模拟数据集和真实的金融数据集。
2013-09-27 cs.LG stat.ML
Safe-Bayesian Generalized Linear Regression
Leiden University（莱顿大学）；CWI（荷兰国家数学与计算机科学研究所）；University of Oxford（牛津大学）；University of Victoria（维多利亚大学）
我们研究广义贝叶斯推理下的误指定，即当模型是“错误的，但有用的”。广义贝叶斯为可能性配备了学习率$η$。我们发现，对于广义线性模型（GLM），$η$ -广义贝叶斯集中在模型内的最佳逼近的真相为特定的$η\neq 1$，即使在严重错误指定的噪声，只要尾部的真实分布是指数。我们推导出广义贝叶斯套索和逻辑斯谛回归的MCMC采样器，并给出了模拟和真实数据的例子，其中广义贝叶斯大大优于标准贝叶斯。
2021-05-29 cs.LG math.ST stat.ME
Sparse and Smooth Prior for Bayesian Linear Regression with Application to ETEX Data
线性回归模型的解的稀疏性是一个普遍的要求，许多先验分布已被设计用于此目的。然而，稀疏性要求与解决方案的平滑性的组合在应用中也很常见，现有的先验模型相当少。在本文中，我们比较了两种先验结构，贝叶斯融合套索（BFL）和最小二乘与自适应先验协方差阵（LS-APC）。由于后者只有变分解，我们推导出一个吉布斯抽样算法的推理和贝叶斯模型选择。该方法是为高维问题而设计的，因此，我们讨论了与后验估计相关的数值问题。在模拟中，我们表明，LS-APC先验实现的结果与分段常数参数的贝叶斯融合套索，并优于更一般的形状的参数的BFL。LS-APC先验的另一个优点是在实际应用中揭示的欧洲示踪剂实验（ETEX）的释放曲线的估计。具体而言，当回归矩阵没有信息时，LS-APC模型提供了更保守的不确定性界限。
2017-06-21 stat.AP
Robust Bayesian graphical modeling using $γ$-divergence
本文提出一种基于 $\gamma$-散度的稳健贝叶斯高斯图模型推断方法，通过贝叶斯图形套索实现后验稳健性，并开发了加权贝叶斯自助法高效计算算法。
2025-01-23 stat.ME
Bayesian estimation of a sparse precision matrix
我们考虑的问题，估计稀疏精度矩阵的多元高斯分布，包括维数$p$是大的情况下。高斯图模型提供了一个重要的工具，通过在底层图中的边的存在或不存在来描述条件独立性。一个流行的非贝叶斯方法估计的图形结构是由图形套索。在本文中，我们考虑了解决该问题的贝叶斯方法。我们使用先验，它把一个点质量的混合物在零和一定的绝对连续分布的非对角元素的精度矩阵。因此，所得到的后验分布可以用于图形结构学习。得到了精度矩阵的后验收敛速度。模型空间上的后验分布计算起来极其麻烦。我们提出了一种快速的计算方法近似的后验概率的各种图形使用拉普拉斯近似的方法，通过扩大后验模式，这是图形套索我们选择的先验分布周围的后验密度。我们还提供了近似的精度估计。
2014-04-07 math.ST stat.CO stat.TH
Adaptive Bayesian SLOPE -- High-dimensional Model Selection with Missing Values
我们考虑的问题，变量选择在高维设置与缺失的观测之间的协变量。为了解决这个相对不足的问题，我们提出了一个新的协同程序-自适应贝叶斯斜率-有效地结合了斜率方法（排序$l_1$正则化）与尖峰和板LASSO方法。我们将我们的方法定位在贝叶斯框架内，该框架允许同时进行变量选择和参数估计，尽管存在缺失值。与尖峰和平板LASSO一样，系数被认为是由两组组成的分层模型产生的：（1）非活动的尖峰和（2）活动的平板。然而，我们没有为每个协变量分配独立的尖峰先验，而是在这里部署了一个联合的“SLOPE”尖峰先验，它考虑了系数幅度的排序，以控制错误的发现。通过大量的模拟，我们展示了令人满意的性能，功率，FDR和估计偏差在各种情况下。最后，我们分析了一个真实的数据集，其中包括来自巴黎医院的患者，他们经历了严重的创伤，在预测血小板水平方面表现出色。我们的方法已经在C++中实现，并包装成一个R包ABSLOPE供公众使用。
2019-11-06 stat.AP stat.CO stat.ME
Extended Bayesian Information Criteria for Gaussian Graphical Models
在逆协方差阵中具有稀疏性的高斯图模型在许多现代应用中具有重要意义。对于恢复的图形结构的问题，信息标准提供了有用的优化目标的算法搜索通过组的图形或其他方法，如图形套索，这是一种可能性惩罚技术的调整参数的选择。在本文中，我们建立了一个扩展的贝叶斯信息准则的一致性高斯图模型的情况下，变量的数量p和样本量n增长。与早期的工作相比，回归的情况下，我们的治疗允许增长的非零参数的数量在真正的模型，这是必要的，以覆盖连通图。我们证明了这个标准的性能与图形套索一起使用时，模拟数据，并验证该标准确实比交叉验证或普通贝叶斯信息标准时，p和非零参数q的数量都与n的规模更好。
2010-11-30 math.ST stat.TH
