A Bayesian Lasso based Sparse Learning Model
University of Bergen（卑尔根大学）
贝叶斯套索是在线性回归框架下构造的，并应用吉布斯抽样来估计回归参数。本文提出了一种新的稀疏学习模型，命名为贝叶斯套索稀疏（BLS）模型，它采取了贝叶斯套索的分层模型公式。与原始贝叶斯套索的主要区别在于估计过程; BLS方法使用基于类型II极大似然过程的学习算法。与贝叶斯套索相反，BLS提供了回归参数的稀疏估计。通过引入核函数，得到了非线性监督学习问题的BLS方法。我们比较了BLS模型，众所周知的相关向量机，快速拉普拉斯方法，BLS套索，套索，模拟和真实数据。数值结果表明，该算法具有稀疏性和精确性，特别是在处理噪声和不规则数据集时。
2022-07-14 cs.LG stat.ML
Scalable Bayesian Optimization with Sparse Gaussian Process Models
Deakin University（迪肯大学）
该研究围绕贝叶斯优化，提出结合导数信息与可扩展稀疏高斯过程，以加快收敛并处理海量数据。
2020-10-26 cs.IR cs.LG stat.ML
Hierarchical sparse Bayesian learning: theory and application for inferring structural damage from incomplete modal data
由于过度载荷或环境退化而造成的结构损坏通常发生在没有倒塌的局部区域。利用这种先验信息的空间稀疏的结构损伤的层次稀疏贝叶斯学习框架的目标是减少源的病态的刚度损失反演问题的损伤检测。稀疏贝叶斯学习方法自动从一组潜在的候选者中修剪掉不相关或不活动的特征，因此它们是用于产生稀疏解释子集的有效概率工具。我们以前已经提出了这样一种方法来建立局部刚度降低的概率，作为一个代理的损害，通过使用噪声不完整的模态数据之前和之后可能的损害。核心思想集中在一个特定的分层贝叶斯模型，促进空间稀疏的推断刚度减少的方式是一致的贝叶斯奥卡姆剃刀。在本文中，我们改进了我们以前提出的稀疏贝叶斯学习方法的理论，消除了近似，更重要的是，纳入了对刚度增加的约束。我们的方法有许多吸引人的功能，总结在本文的最后。我们验证的方法，将其应用到第二阶段的模拟和实验基准研究主办的IASC-ASCE工作组的结构健康监测。结果表明，该方法可以通过识别出的模态参数推断出结构的刚度损失，从而可靠地检测、定位和评估结构的损伤。有效地抑制了遗漏和错误损坏警报的发生。
2015-03-21 stat.AP stat.ME stat.ML
Enhancing Off-Grid One-Bit DOA Estimation with Learning-Based Sparse Bayesian Approach for Non-Uniform Sparse Array
本文提出一种学习型稀疏贝叶斯框架，利用展开神经网络自主学习超参数，在单快照一比特离网DOA估计中兼顾精度与效率，适用于均匀及非均匀稀疏阵列。
2024-12-14 eess.SP stat.ML
A Fast Non-Gaussian Bayesian Matching Pursuit Method for Sparse Reconstruction
提出了一种基于贝叶斯方法的快速匹配追踪稀疏信号恢复方法。该方法被称为nGpFBMP，即使当信号先验是非高斯或未知时，也执行稀疏信号的贝叶斯估计。它是不可知的信号统计，并利用先验统计的加性噪声和稀疏率的信号，这是很容易估计的数据，如果没有。nGpFBMP利用一个贪婪的方法和顺序递归更新的度量，找到最主要的稀疏支持，以确定近似的最小均方误差（MMSE）估计的稀疏信号。仿真结果表明，我们提出的估计的权力和鲁棒性。
2012-06-19 stat.OT
Bayesian sparse convex clustering via global-local shrinkage priors
NTT Advanced Technology Corporation（NTT先进技术公司）；The University of Electro-Communications（电气通信大学）
稀疏凸聚类是在凸聚类框架下对观测值进行聚类的同时进行变量选择。虽然加权$L_1$范数通常用于稀疏凸聚类中的正则化项，但如果样本量不足，则其使用增加了对数据的依赖性并降低了估计精度。针对这些问题，本文提出了一种基于贝叶斯套索和全局-局部收缩先验的贝叶斯稀疏凸聚类方法。我们引入吉布斯抽样算法，我们的方法使用的比例混合正态分布。仿真研究和实际数据分析表明了所提出方法的有效性。
2020-05-26 cs.LG stat.ME stat.ML
Sparse Functional Data Classification via Bayesian Aggregation
针对稀疏函数型数据分类难题，提出融合 FPCA、bootstrap 概率聚合与 Bayesian GLM 贝叶斯校准的方法，模拟和三项真实数据分析均验证其准确率优于传统方法。
2025-03-13 stat.CO
A Fast Iterative Bayesian Inference Algorithm for Sparse Channel Estimation
本文提出了一种基于导频符号观测值的多载波贝叶斯信道估计算法。利用无线多径信道固有的稀疏性，通过建模多径分量的增益的先验分布与Bessel K概率密度函数的分层表示，然后将一种高效，快速的迭代贝叶斯推断方法应用于所提出的模型。由此产生的估计优于其他国家的最先进的贝叶斯和非贝叶斯估计，无论是通过产生较低的均方估计误差或通过达到相同的精度与改进的收敛速度，如我们的数值评估。
2013-03-06 cs.IT math.IT stat.ML
Bayesian Masking: Sparse Bayesian Estimation with Weaker Shrinkage Bias
Kyoto University（京都大学）；National Institute of Informatics（国立信息学研究所）
稀疏线性回归的一个常见策略是引入正则化，通过使相应的权重为零来消除不相关的特征。然而，正则化经常缩小相关特征的估计量，这导致不正确的特征选择。出于上述问题，我们提出了贝叶斯掩蔽（BM），稀疏估计方法，不施加正则化的权重。BM的关键概念是引入随机屏蔽特征的二进制潜变量。估计掩蔽率自动确定特征的相关性。我们推导出一个变分贝叶斯推断算法，最大限度地提高了下界的因子分解信息准则（FIC），这是最近开发的渐近标准，用于评估边际对数似然。此外，我们提出了重新参数化，以加速收敛的派生算法。最后，我们表明，BM优于Lasso和自动相关性确定（ARD）的稀疏收缩权衡。
2015-10-06 cs.LG stat.ML
Sparse Bayesian learning with uncertainty models and multiple dictionaries
稀疏贝叶斯学习（SBL）已经成为一种快速和有竞争力的方法来执行稀疏处理。SBL算法，这是使用贝叶斯框架开发的，近似地解决了非凸优化问题，使用固定点更新。它提供了相当的性能，并且比稀疏处理中使用的凸优化技术快得多。我们提出了一个信号模型，占字典不匹配和存在的错误，在低信噪比的权重向量。推导了一个包含失配和加权误差统计量的定点更新方程。我们还处理来自多个字典的观察结果。使用随机极大似然估计噪声方差。推导出的更新方程进行了定量研究，使用波束成形模拟应用于到达方向（DoA）。使用单频和多频观测，并在混叠的存在下，SBL的性能进行评估。SwellEx-96实验数据定性地证明了SBL的优点。
2017-06-26 cs.IT math.IT stat.AP
Fully Bayesian Autoencoders with Latent Sparse Gaussian Processes
EURECOM（欧洲通信研究院）；University of California, Irvine（加州大学欧文分校）
自动编码器及其变体是表示学习和生成建模中使用最广泛的模型之一。然而，基于自动编码器的模型通常假设学习的表示是i.i.d.。并且不能捕获数据样本之间的相关性。为了解决这个问题，我们提出了一种新的稀疏高斯过程贝叶斯自动编码器（SGPAE）模型，在该模型中，我们对贝叶斯自动编码器的潜在空间施加完全贝叶斯稀疏高斯过程先验。我们通过随机梯度Hamilton Monte Carlo对该模型进行后验估计。我们在广泛的表示学习和生成建模任务上定性和定量地评估了我们的方法，并表明我们的方法始终优于依赖于变分自编码器的多个替代方案。
2023-02-09 cs.LG stat.ML
PAC-Bayesian Estimation and Prediction in Sparse Additive Models
本文研究稀疏性假设下高维可加模型的估计和预测问题（$p\gg n$范式）。研究了一种PAC-Bayesian策略，给出了概率上的预言不等式.通过最近的成果在高维MCMC算法的实施，我们的方法的性能进行评估模拟数据。
2013-02-01 math.ST stat.ME stat.TH
Bayesian model choice and information criteria in sparse generalized linear models
我们考虑高维广义线性模型中的贝叶斯模型选择，协变量p的数量相对于样本量n较大，但稀疏的是，与p相比，活动协变量的数量较小。将协变量视为随机变量，并采用p随n增加的渐近情景，我们表明，贝叶斯模型选择使用一定的先验模型的集合是渐近等价的选择模型使用扩展的贝叶斯信息准则。此外，我们证明了最小的真模型是由这两种方法的概率趋于1。在解决了随机协变量后，我们还能够为高维稀疏图形建模的伪似然方法给出一致性结果。真实数据的实验表明，良好的性能的扩展贝叶斯信息准则的回归和图形模型。
2011-12-23 math.ST stat.TH
Unified Bayesian theory of sparse linear regression with nuisance parameters
研究了高维高斯稀疏回归中含有未知冗余参数时贝叶斯过程的频率论渐近性质。冗余参数可以是有限维、高维或无限维的。零点质量和连续分布的混合用于稀疏回归系数的先验分布，并将适当的先验分布用于冗余参数。稀疏回归系数的最佳后验收缩，阻碍了冗余参数的存在，也检查和讨论。结果表明，该过程产生强大的模型选择的一致性。稀疏回归系数的Bernstein-vonMises型定理也得到了不确定性量化通过可信集与保证频率覆盖。许多例子的渐近性质进行了研究，使用本研究中开发的理论。
2021-02-17 math.ST stat.TH
On The Sparse Bayesian Learning Of Linear Models
本文对Tipping（2001）的线性回归模型的稀疏贝叶斯学习（SBL）在高维环境下进行了重新检验。我们提出了一个硬阈值版本的SBL估计，实现，正交设计矩阵，非渐近估计误差率的$σ\sqrt{s\log p}/\sqrt{n}$，其中$n$是样本量，$p$回归变量的数量，$σ$是回归模型的标准差，和$s$的非零回归系数的数量。我们还建立了高概率的估计识别非零回归系数。在我们的模拟中，我们发现当要恢复的信号很强时，稀疏贝叶斯学习回归的性能优于套索（Tibshirani（1996））。
2015-02-11 stat.ME
Bayesian hierarchical modelling of sparse count processes in retail analytics
零售分析领域已经被丰富数据的可用性所改变，这些数据可用于执行需求预测和库存管理等任务。然而，事实证明，一项更具挑战性的任务是预测对销售量很少的产品的需求。结果数据的稀疏性限制了传统分析的部署程度。为了解决这一问题，我们将销售数据表示为结构化的稀疏多变量点过程，该过程允许已知存在于稀疏销售数据中的自相关、互相关和时间聚类等特征。我们引入贝叶斯点过程模型来捕捉这些现象，其中包括一个障碍组件，以应付稀疏性和一个令人兴奋的组件，以应付时间内和跨产品的聚类。然后，我们将此模型转换为贝叶斯分层框架，以允许跨不同产品借用信息，这是解决每个产品数据稀疏性的关键。我们使用真实的销售数据进行了详细的分析，表明该模型在预测能力方面优于现有方法，并讨论了对推断的解释。
2018-05-15 stat.AP
Bayesian Sparse Global-Local Shrinkage Regression for Selection of Grouped Variables
惩罚线性回归的大多数估计可以被视为适当选择先验分布的后验模式。贝叶斯收缩方法，特别是马蹄估计，近年来在估计稀疏、高维线性模型的问题中引起了极大的关注。本文扩展了这些想法，并提出了一个贝叶斯分组模型与连续的全局-局部收缩先验来处理复杂的组层次结构，包括重叠和多级组结构。由于后验均值从来不是线性模型系数的稀疏估计，我们将最近提出的解耦收缩和选择（DSS）技术的问题，从后验样本中选择变量组。为了选择一个最终的，稀疏的模型，我们还适应广义信息标准的方法的DSS框架。为了确保稀疏组，其中只有少数预测是活跃的，可以有效地识别，我们提供了一个替代度的自由估计稀疏贝叶斯线性模型，考虑到收缩的影响模型系数。模拟和实际数据分析，使用我们提出的方法显示出良好的性能，在正确识别的活动和不活动的群体，预测，与贝叶斯分组板和穗的方法相比。
2017-11-03 stat.ME
Bayesian System Identification based on Hierarchical Sparse Bayesian Learning and Gibbs Sampling with Application to Structural Damage Assessment
本文的重点是贝叶斯系统识别噪声不完整的模态数据的基础上，我们可以在更新结构模型时施加空间稀疏刚度的变化。为此，基于我们以前的工作类似的层次稀疏贝叶斯学习模型，我们提出了两个吉布斯抽样算法。这两种算法处理方程误差精度参数后验不确定性的策略不同，但都是从结构刚度参数和系统模态参数的条件后验概率密度函数（PDF）中采样。吉布斯抽样的有效维数较低，因为迭代采样仅从对应于三个参数组的三个条件后验PDF中完成，同时从其中一个算法中的另一个条件后验PDF中对方程误差精度参数进行采样，其中方程误差精度参数未被整合为“滋扰”参数。从计算的角度来看，一个很好的特点是，它是没有必要解决一个结构模型的非线性特征值问题。所提出的算法的有效性和鲁棒性说明将它们应用到IASE ASCE第二阶段的模拟和实验基准研究。我们的目标是使用不完整的模态数据识别之前和之后可能的损害，以检测和评估空间稀疏的刚度降低引起的任何损害。我们过去和现在的重点是满足所产生的挑战，从贝叶斯推断的结构刚度服务，以加强基于振动的结构系统识别的能力，但我们的方法也有更广泛的适用性，在科学和技术的逆问题，系统矩阵是从噪声的部分信息推断其特征量。
2017-01-13 stat.AP stat.ME stat.ML
Multi Snapshot Sparse Bayesian Learning for DOA Estimation
利用稀疏贝叶斯学习（SBL）方法，从多快拍传感器阵列数据中估计平面波的到达方向（DOA）。先验源振幅假设为独立的零均值复高斯分布，超参数为未知方差（即源功率）。对于超参数为未知噪声方差的复高斯似然，导出了相应的高斯后验分布。对于给定数量的DOA，通过最大化证据自动选择超参数，并促进稀疏DOA估计。讨论了SBL DOA估计方法，并与LASSO（$\ell_1$ -正则化）、常规波束形成和MUSIC方法进行了比较
2016-02-29 cs.IT math.IT math.ST
Bayesian sparse reconstruction: a brute-force approach to astronomical imaging and machine learning
我们提出了一个原则性的贝叶斯信号重建框架，其中信号由基函数建模，基函数的数量（和形式，如果需要的话）由数据本身确定。这种方法是基于传统的稀疏重建和正则化技术的贝叶斯解释，其中稀疏性是通过先验贝叶斯模型选择。我们证明了我们的方法的噪声1-和2维信号，包括天文图像。此外，通过使用乘积空间方法，基函数的数量和类型可以被视为整数参数，其后验分布直接采样。我们表明，数量级的增加，计算效率是可能的，从这种技术相比，分别计算贝叶斯证据，进一步的计算收益是可能的，使用它与动态嵌套抽样相结合。我们的方法也可以很容易地应用于神经网络，它允许网络架构由数据确定的原则贝叶斯的方式，通过处理节点和隐藏层的数量作为参数。
2018-11-25 astro-ph.IM stat.ME stat.ML
Structure-Based Bayesian Sparse Reconstruction
稀疏信号重构算法因其在各个领域的广泛应用而受到研究者的关注。在本文中，我们提出了一个简单的贝叶斯方法，利用稀疏约束和先验统计信息（高斯或其他），以获得接近最优的估计。此外，我们利用在许多信号处理应用中遇到的感测矩阵的丰富结构来开发一个快速稀疏恢复算法。该算法的计算复杂性相对较低，与广泛使用的凸松弛法以及贪婪匹配追踪技术相比，特别是在低稀疏率。
2012-07-16 math.ST stat.TH
Pattern-Coupled Sparse Bayesian Learning for Recovery of Block-Sparse Signals
University of Electronic Science and Technology of China（电子科技大学）；Stevens Institute of Technology（史蒂文斯理工学院）；Schlumberger-Doll Research Center（斯伦贝谢多尔研究中心）
我们考虑的问题，恢复块稀疏信号的结构是未知的\emph{a priori}。块稀疏信号与非零系数发生在集群自然出现在许多实际情况。然而，在实践中，对块结构的知识通常是不可用的。在本文中，我们开发了一个新的稀疏贝叶斯学习方法恢复块稀疏信号与未知的聚类模式。具体地说，模式耦合的分层高斯先验模型被引入来表征系数之间的统计依赖性，其中一组超参数被用来控制信号系数的稀疏性。与传统的稀疏贝叶斯学习框架中每个单独的超参数独立地与每个系数相关联不同，在本文中，每个系数的先验不仅涉及其自身的超参数，而且还涉及其近邻的超参数。通过这种方式，相邻系数的稀疏模式彼此相关，并且分层模型具有鼓励结构化稀疏解决方案的潜力。超参数以及稀疏信号通过期望最大化（EM）算法最大化其后验概率来学习。数值实验结果表明，该算法与现有方法相比具有一致的优越性。
2013-11-09 cs.IT cs.LG math.IT
Hierarchical sparse Bayesian learning for structural health monitoring with incomplete modal data
对于土木结构，由于地震等严重荷载事件或由于长期环境退化而导致的结构损坏通常发生在结构的局部区域。提出了一种新的稀疏贝叶斯概率框架，用于计算由损伤引起的局部刚度降低的概率，该框架使用可能损伤之前和之后的噪声不完整模态数据。该方法将结构的系统模态参数作为贝叶斯模型修正的附加变量，并在不完全模态数据的情况下进行修正。一个特定的分层贝叶斯模型的构建，促进空间稀疏的推断刚度减少的方式是一致的贝叶斯奥卡姆剃刀。为了获得最合理的模型稀疏刚度减少连同其不确定性在一个指定的类别的模型，该方法采用的优化方案，迭代之间的所有不确定的参数，包括分层超参数。该方法有四个重要的好处：（1）它推断空间稀疏的刚度变化的基础上确定的模态参数;（2）在推断的刚度降低的不确定性是量化的;（3）不需要匹配的模型和实验模式，和（4）解决非线性特征值问题的结构模型是不需要的。所提出的方法适用于两个先前研究的例子，使用模拟数据：一个10层的剪切建设和三维支撑框架模型，从第二阶段模拟基准问题主办的IASC-ASCE工作组对结构健康监测。结果表明，在建模误差的存在下，损伤检测的误报和漏报现象明显减少。此外，确定的最可能的刚度损失比接近其实际值。
2014-08-16 stat.AP
Iterative Bayesian Reconstruction of Non-IID Block-Sparse Signals
提出了一种新的块迭代贝叶斯算法（Block-IBA），用于重构具有未知块结构的块稀疏信号。与现有的用于块稀疏信号恢复的算法不同，现有的算法假设未知信号的非零元素的簇结构是独立同分布的（i.i.d.），我们使用更现实的Bernoulli-Gaussian隐马尔可夫模型（BGHMM）来表征非独立同分布。在实践中经常遇到的块稀疏信号。块IBA迭代估计块稀疏信号的幅度和位置使用最陡上升的期望最大化（EM），并通过自适应阈值最优地选择块稀疏信号的非零元素。分析并证明了Block-IBA算法的全局收敛性，并通过数值实验和模拟仿真验证了Block-IBA算法的有效性。
2014-12-07 cs.IT math.IT stat.ML
Approximate Bayesian Inference via Sparse grid Quadrature Evaluation for Hierarchical Models
我们结合条件技术与稀疏网格求积规则，开发一种计算效率高的方法来近似边缘，但不一定是单变量，后量，通过稀疏网格求积评估（BISQuE）分层模型产生近似贝叶斯推断。BISQuE将后验量重新表述为条件量的加权积分，例如密度和期望。稀疏网格求积规则允许计算高效的近似高维积分，这出现在具有许多超参数的分层模型中。BISQuE相对于标准的马尔可夫链蒙特卡罗方法减少了至少两个数量级的几个应用和说明性模型的计算工作量。我们还简要讨论了使用BISQuE将集成嵌套拉普拉斯近似（INLA）应用于具有比目前实际更多超参数的模型。
2019-04-15 stat.CO stat.ME
Application of Bayesian Hierarchical Prior Modeling to Sparse Channel Estimation
用于稀疏信道估计的现有方法通常提供作为最大化目标函数的解来计算的估计，该目标函数被定义为对数似然函数和与感兴趣的参数的l1范数成比例的惩罚项的和。然而，其他惩罚项已被证明具有很强的稀疏诱导属性。在这项工作中，我们设计了导频辅助信道估计OFDM无线接收机的框架内的稀疏贝叶斯学习，通过定义层次贝叶斯先验模型，导致稀疏诱导惩罚条款。估计的结果作为一个应用程序的变分的消息传递算法的因素图表示的信号模型扩展的分层先验模型。数值结果表明，我们的信道估计相比，传统的和国家的最先进的稀疏方法的优越性能。
2012-04-03 stat.ML
Sparse Signal Recovery with Temporally Correlated Source Vectors Using Sparse Bayesian Learning
University of California at San Diego（加州大学圣地亚哥分校）
当解矩阵的每个非零行中的元素在时间上相关时，我们在多个测量向量（MMV）的上下文中解决稀疏信号恢复问题。现有的算法不考虑这种时间相关性，因此它们的性能显着降低的相关性。在这项工作中，我们提出了一个块稀疏贝叶斯学习框架，模型的时间相关性。在这个框架中，我们推导出两个稀疏贝叶斯学习（SBL）算法，具有优越的恢复性能相比，现有的算法，特别是在存在高的时间相关性。此外，我们的算法更好地处理高度欠定问题，并要求更少的行稀疏的解决方案矩阵。我们还提供了其成本函数的全局和局部最小值的分析，并表明，SBL成本函数具有非常理想的性质，即全局最小值是在稀疏解的MMV问题。大量的实验也提供了一些有趣的结果，激励未来的理论研究MMV模型。
2011-08-17 cs.LG stat.ML
Bayesian Sparse Covariance Structure Analysis for Correlated Count Data
The University of Electro-Communications（电气通信大学）；National Police Agency Info-Communications Bureau（警察厅信息通信局）
在本文中，我们提出了一个贝叶斯图LASSO相关的可数数据，并将其应用于空间犯罪数据。在所提出的模型中，我们假设一个高斯图形模型的潜变量，占主导地位的潜在犯罪风险。为了评估所提出的模型，我们确定了更好地代表样本的最佳超参数。我们应用所提出的模型估计的稀疏逆协方差的潜在变量和评估的部分相关系数。最后，我们说明了犯罪现场数据的结果，并考虑估计的潜在变量和部分相关系数的稀疏逆协方差。
2020-06-05 cs.LG stat.ME
Fast Marginalized Block Sparse Bayesian Learning Algorithm
National University of Defense Technology（国防科技大学）；Samsung R&D Institute America - Dallas（三星美国研究院（达拉斯））
利用信号的稀疏性和相关性，可以提高稀疏信号从噪声、欠定测量中恢复的性能。一种典型的相关结构是块稀疏信号中的块内相关。为了利用这种结构，最近提出了一种称为块稀疏贝叶斯学习（BSBL）的框架。从这个框架衍生的算法表现出优越的性能，但他们不是很快，这限制了他们的应用。这项工作得出了一个有效的算法，从这个框架中，使用边缘化的似然最大化方法。与现有的BSBL算法相比，它具有接近的恢复性能，但要快得多。因此，它更适合于大规模数据集和需要实时实现的应用。
2013-09-29 cs.IT cs.LG math.IT
Fast post-process Bayesian inference with Variational Sparse Bayesian Quadrature
Department of Computer Science, University of Helsinki（赫尔辛基大学计算机科学系）；Department of Statistics, University of Edinburgh（爱丁堡大学统计系）
针对已有大量模型评估却未被传统推断利用的问题，提出后处理贝叶斯推断框架及 VSBQ，通过稀疏 GP 代理、贝叶斯求积与变分推断实现无需额外模型调用的快速高质量后验近似。
2025-07-23 cs.LG stat.CO stat.ME
Bayesian Inference in Sparse Gaussian Graphical Models
University of Edinburgh（爱丁堡大学）；Pharmatics Ltd（Pharmatics有限公司）
科学的基本任务之一是在观察到的现象之间找到可解释的关系。这一任务的一种方法，近年来受到关注的是基于概率图形模型与稀疏约束的模型结构。在本文中，我们描述了两种新的方法来贝叶斯推断稀疏结构的高斯图模型（GGM）。一个是基于一个简单的修改的尖端块吉布斯采样器稀疏GGM，这导致显着的计算增益在高维。另一种方法是基于哈密顿蒙特卡罗采样器的一个特定的结构，这导致进一步的显着改善。我们比较了我们的完全贝叶斯方法与流行的基于规则的图形LASSO，并在相同的计算成本下证明了贝叶斯处理的显着优势。我们将这些方法应用于广泛的模拟数据集和真实的金融数据集。
2013-09-27 cs.LG stat.ML
Hierarchical Bayesian sparse image reconstruction with application to MRFM
本文提出了一种分层贝叶斯模型，当观测值由线性变换获得并被加性高斯白噪声破坏时，重建稀疏图像。我们的分层贝叶斯模型非常适合于这种自然稀疏的图像应用，因为它无缝地通过适当的贝叶斯先验解释了图像的稀疏性和积极性等属性。我们提出了一个先验，是基于一个加权的混合正指数分布和质量为零。先验具有通过分层贝叶斯模型的边缘化自动调整的超参数。为了克服后验分布的复杂性，提出了一种Gibbs抽样策略。吉布斯样本可以用于估计要恢复的图像，例如通过最大化估计的后验分布。在我们的完全贝叶斯方法中，所有参数的后验均可用。因此，我们的算法提供了更多的信息比其他以前提出的稀疏重建方法，只给一个点估计。我们的分层贝叶斯稀疏重建方法的性能说明合成和真实的数据从烟草病毒样本使用原型MRFM仪器。
2009-09-23 cs.IT math.IT physics.data-an
Inducing Point Allocation for Sparse Gaussian Processes in High-Throughput Bayesian Optimisation
稀疏高斯过程是高吞吐量贝叶斯优化（BO）循环的关键组成部分，然而，我们发现，现有的方法分配其诱导点严重妨碍优化性能。通过利用确定性点过程的质量多样性分解，我们提出了第一个专门为BO设计的诱导点分配策略。与现有的方法，只寻求减少目标函数的全局不确定性，我们的方法提供了精确优化所需的有前途的区域的本地高保真度建模。更一般地说，我们证明了我们提出的框架提供了一种灵活的方式来分配稀疏模型的建模能力，因此适合广泛的下游顺序决策任务。
2023-02-23 cs.LG stat.ML
Bayesian equation selection on sparse data for discovery of stochastic dynamical systems
通常，驱动随机动力系统的微分方程的基本系统被假设为已知的，推理以这个假设为条件。我们提出了一个贝叶斯框架，发现这个系统的微分方程的假设下，与现实生活中的场景，包括相对稀疏的数据的可用性。此外，我们讨论了对于梳理动力系统的重要细节至关重要的计算策略和算法创新，以解决在缺乏丰富数据的情况下严重的参数相互依赖性。这给出了一个完整的贝叶斯路径模型识别通过一个变量选择范例和参数估计的相应模型，只使用观察到的数据。我们提出了详细的计算和分析的Lorenz-96，Lorenz-63，和Orstein-Uhlenbeck系统使用贝叶斯框架，我们建议。
2021-01-12 stat.CO stat.ME
Bayesian Reinforcement Learning via Deep, Sparse Sampling
Chalmers University of Technology（查尔姆斯理工大学）；University of Oslo（奥斯陆大学）
我们使用有效的基于模型的在线规划解决贝叶斯强化学习的问题。我们提出了一个无乐观的贝叶斯自适应算法，以诱导更深，更稀疏的探索与理论界的性能相对于贝叶斯最优策略，具有较低的计算复杂性。主要的新颖性是使用候选策略生成器，在规划树中生成长期选项（超过信念），这使我们能够创建更稀疏和更深的树。在不同环境下的实验结果表明，与现有算法相比，该算法不仅在计算效率上更高，而且在离散环境下获得了更高的回报.
2020-06-27 cs.AI cs.LG stat.ML
Nonparametric Bayesian sparse factor models with application to gene expression modeling
University of Cambridge（剑桥大学）
提出了一种非参数贝叶斯扩展因子分析（FA），其中观测数据$\mathbf{Y}$被建模为潜在无穷多个隐藏因子$\mathbf{X}$的线性叠加$\mathbf{G}$。印度自助餐过程（IBP）被用作$\mathbf{G}$的先验，以纳入稀疏性，并允许推断潜在特征的数量。该模型的效用建模基因表达数据的研究使用随机生成的数据集的基础上，一个已知的稀疏连接矩阵E。大肠杆菌，并对三个生物数据集的日益复杂。
2011-07-28 cs.AI stat.AP stat.ML
Simultaneous Block-Sparse Signal Recovery Using Pattern-Coupled Sparse Bayesian Learning
University of Electronic Science and Technology of China（电子科技大学）；China Academy of Engineering Physics（中国工程物理研究院）
在本文中，我们考虑块稀疏信号恢复问题的背景下，多个测量向量（MMV）与共同的行稀疏模式。我们开发了一种新的方法来恢复常见的行稀疏MMV信号，其中模式耦合的分层高斯先验模型被引入到共同的行稀疏MMV信号的系数的块稀疏性和相邻系数之间的统计依赖性的特征。与许多其他方法不同，该方法能够自动捕获未知信号的块稀疏结构。我们的方法是使用期望最大化（EM）的框架。仿真结果表明，该方法在恢复块稀疏共行稀疏模式MMV信号时具有较好的性能。
2017-11-06 cs.IT cs.LG eess.SP
EP-GIG Priors and Applications in Bayesian Sparse Learning
在本文中，我们提出了一个新的框架，稀疏诱导先验的建设。特别是，我们定义这样的先验混合指数幂分布与广义逆高斯密度（EP-GIG）。EP-GIG是广义双曲分布的一种变体，其特殊情况包括高斯尺度混合和拉普拉斯尺度混合。此外，拉普拉斯尺度的混合物可以subserve的贝叶斯框架稀疏学习与非凸惩罚。EP-GIG的密度可以明确表达。此外，相应的后验分布也遵循广义逆高斯分布。这些属性使我们的期望最大化算法贝叶斯稀疏学习。我们发现，这些算法承担一个有趣的相似之处，迭代重新加权$\ell_2$或$\ell_1$方法。此外，我们提出了两个扩展的分组变量选择和逻辑斯谛回归。
2012-04-19 stat.ML
Sparse Bayesian Unsupervised Learning
本文研究了无监督高维环境下的变量选择、聚类和估计问题。我们的方法是基于拟合约束高斯混合模型，在那里我们学习的集群数量$K$和相关变量$S$的集合使用广义贝叶斯后验与稀疏诱导先验。我们证明了一个稀疏预言不等式，表明该过程选择最佳参数$K$和$S$。该过程使用基于面向聚类的贪婪建议的梅特罗波利斯-黑斯廷斯算法来实现，这使得收敛到后验非常快。
2014-01-30 stat.ML
Sparse Bayesian ARX models with flexible noise distributions
研究了观测值受非标准分布随机干扰干扰时线性动态系统模型的估计问题。本文特别是由传感器的不完善的应用涉及到显着贡献的离群值或环绕的问题，导致多模态分布，如机器人应用中经常遇到的。如将要说明的，这些非标准的测量误差可以显着地损害标准估计方法的有效性，而这里开发的计算贝叶斯方法被证明是同样有效的标准方法在标准测量噪声的情况下，但显着更有效的非标准测量噪声分布的情况。
2018-07-06 eess.SP stat.AP stat.ME
Sparse Bayesian vector autoregressions in huge dimensions
我们建立了一个具有多维随机波动率的贝叶斯向量自回归（VAR）模型，该模型能够处理大量的多维信息集。引入三个功能，以允许可靠的估计模型。首先，我们假设VAR中的简化形式误差具有因子随机波动率结构，允许有条件的逐方程估计。其次，我们应用最近开发的全局-局部收缩先验的VAR系数治愈灾难的维度。第三，我们利用最近的创新，有效地从高维多变量高斯分布采样。这使得基于模拟的完全贝叶斯推断可行的维数是大的，但时间序列长度是中等。我们展示了我们的方法在广泛的模拟研究的优点，并将该模型应用于美国的宏观经济数据，以评估其预测能力。
2019-12-04 econ.EM stat.AP stat.CO
A Stochastic Variance-Reduced Coordinate Descent Algorithm for Learning Sparse Bayesian Network from Discrete High-Dimensional Data
K. N. Toosi University of Technology（K.N.托西理工大学）；Polytechnique Montréal（蒙特利尔理工学院）
研究了从高维离散数据中学习稀疏结构贝叶斯网络的问题。与连续贝叶斯网络相比，离散贝叶斯网络的学习是一个具有挑战性的问题，由于大的参数空间。虽然已经开发了许多方法来学习连续贝叶斯网络，很少有方法已经提出了离散的。在本文中，我们解决学习贝叶斯网络作为一个优化问题，并提出了一个得分函数，保证学习的结构是一个稀疏的有向无环图。此外，我们还实现了一个分块随机坐标下降算法来优化得分函数。具体来说，我们在优化算法中使用了方差减少方法，使算法有效地处理高维数据。所提出的方法适用于合成数据从著名的基准网络。所构建的网络的质量，可扩展性和鲁棒性进行测量。与一些有竞争力的方法相比，结果表明，我们的算法优于一些众所周知的方法。
2022-09-24 cs.LG stat.ML
On high-dimensional classification by sparse generalized Bayesian logistic regression
本文针对高维分类问题，提出稀疏广义贝叶斯逻辑回归方法，利用分数似然后验，推导了分数后验的集中结果及误分类超额风险界，并扩展到模型误设情形。
2024-03-19 math.ST stat.TH
High-dimensional near-optimal experiment design for drug discovery via Bayesian sparse sampling
Chalmers University of Technology（查尔姆斯理工大学）；AstraZeneca AB（阿斯利康公司）
我们研究的问题进行自动化实验设计的药物筛选，通过贝叶斯推理和优化。特别是，我们比较和对比的线性高斯模型和高斯过程的行为，当与置信上限算法，汤普森采样，或有界水平树搜索。我们表明，非近视的复杂的探索技术，使用稀疏树搜索有一个明显的优势，如汤普森采样或置信上限在这种情况下的方法。我们证明了显着的优越性，该方法比现有的和合成的药物毒性数据集。
2021-04-23 cs.LG q-bio.QM stat.ML
INLA+ -- Approximate Bayesian inference for non-sparse models using HPC
本文提出INLA+框架，利用稠密矩阵和HPC在多节点上改进INLA方法，以处理非稀疏模型，并通过模拟和西班牙癌症死亡率数据验证其有效性。
2023-11-14 stat.AP stat.CO stat.ME
On Identification of Sparse Multivariable ARX Model: A Sparse Bayesian Learning Approach
University of Cambridge（剑桥大学）；Huazhong University of Science and Technology（华中科技大学）；Cardwell Investment Tech（卡德韦尔投资科技公司）；UC Berkeley（加州大学伯克利分校）
本文提出一种基于稀疏贝叶斯学习的方法，用于识别稀疏多变量ARX模型的布尔结构和节点间动态，无需先验知识，通过最大后验估计结合复杂性和组稀疏性惩罚。
2016-09-30 cs.LG cs.SY eess.SY
Optimal sparse phase retrieval via a quasi-Bayesian approach
Norwegian Institute of Public Health（挪威公共卫生研究院）
针对需仅用变换幅度重建信号的稀疏相位恢复问题，提出新型稀疏准贝叶斯方法，以缩放Student分布为收缩先验，通过PAC-贝叶斯框架分析，实现极小极大最优收敛率，为噪声环境下的该问题提供有原则的替代方案。
2025-04-13 cs.LG math.ST stat.ME
Sparse Bayesian factor analysis when the number of factors is unknown
有越来越多的研究兴趣在子字段的稀疏贝叶斯因子分析收缩先验，实现额外的稀疏性超出自然简约的因素模型。本着这种精神，我们估计的共同因素的数量，在高度实施的稀疏潜在的因素模型与尖峰和板先验的因素负载矩阵。我们的框架导致一个自然的，高效的，同时耦合的模型估计和选择，一方面和模型识别和秩估计（因子数）的另一方面。更准确地说，通过嵌入无序广义下三角负载表示过拟合稀疏因子模型，我们获得后验总结因子负载，共同的因素，以及通过后处理的因素尺寸从我们的高效和定制的马尔可夫链蒙特卡罗计划。
2023-01-16 stat.ME
Sparse Spectrum Gaussian Process for Bayesian Optimization
Deakin University（迪肯大学）；Applied Artificial Intelligence Institute（应用人工智能研究所）
我们提出了一种新的稀疏谱近似高斯过程（GP）的贝叶斯优化。虽然当前的稀疏谱方法为回归问题提供了所需的近似，但据观察，这种特定形式的稀疏近似会产生过度自信的GP，即它产生比原始GP更少的认识不确定性。由于预测均值和预测方差之间的平衡是贝叶斯优化成功的关键决定因素，目前的稀疏谱方法不太适合它，我们推导出一个新的正则化边缘似然寻找最佳频率来解决这个过度自信的问题，特别是贝叶斯优化。正则化器在模型拟合的准确性与所得GP的预测方差的目标增加之间进行权衡。具体来说，我们使用来自后验GP的全局最大分布的熵作为需要最大化的正则化器。由于这种分布不能解析计算，我们首先提出了一个汤普森抽样为基础的方法，然后一个更有效的顺序蒙特卡罗为基础的方法来估计它。后来，我们还表明，预期改善采集功能可以作为一个代理的最大分布，从而使整个过程更加有效。实验结果表明，当协方差矩阵因观测量大而出现病态时，该方法的贝叶斯优化收敛速度比稀疏谱方法和全GP方法都有较大的提高.
2020-06-08 cs.LG stat.ML
Bayesian sparse modeling for interpretable prediction of hydroxide ion conductivity in anion-conductive polymer membranes
本研究利用贝叶斯稀疏建模，基于共聚物组成计算亲水/疏水单元关键元素，识别出预测阴离子导电聚合物膜氢氧根离子电导率的关键特征。
2025-05-25 cond-mat.soft stat.AP stat.ML
Accelerated Sparse Bayesian Learning via Screening Test and Its Applications
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
在高维环境中，稀疏结构对于存储器和计算复杂度方面的效率至关重要。对于一个线性系统，直接寻找具有过完备特征字典的稀疏解通常是NP困难的，因此应该考虑替代的近似方法。在本文中，我们选择的替代方法是稀疏贝叶斯学习，作为经验贝叶斯方法，它使用参数化的先验来鼓励解决方案中的稀疏性，而不是具有固定先验的其他方法，如LASSO。而筛选测试的目的是快速识别出一个特征子集，其系数在最优解中保证为零，然后可以安全地从完整的字典中删除，以获得更小，更容易解决的问题。接下来，我们解决较小的问题，之后可以通过用零填充较小的解决方案来恢复原始问题的解决方案。所提出的方法的性能将在各种数据集和应用程序进行检查。
2020-07-08 cs.LG stat.ML
Nonparametric Bayesian Sparse Graph Linear Dynamical Systems
提出了一种非参数贝叶斯稀疏图线性动力系统（SGLDS），用于对序列观测的多元数据进行建模。SGLDS使用Bernoulli-Poisson链接和伽马过程来生成一个无限维稀疏随机图来模拟状态转换。根据图亲和矩阵的相应行和列的稀疏模式，SGLDS的潜在状态可以被分类为非动态状态或动态状态。一个正常的伽玛结构被用来缩小非动态状态所捕获的能量，而动态状态可以被进一步分类为活的，吸收，或噪声注入状态，其捕获的基础时间序列的不同类型的动态分量。SGLDS的国家的最先进的性能证明与合成和真实数据的实验。
2018-02-21 stat.ME stat.ML
High-Dimensional Bayesian Optimization with Sparse Axis-Aligned Subspaces
Facebook（脸书）；Broad Institute of Harvard and MIT（哈佛大学与麻省理工学院博德研究所）
贝叶斯优化（BO）是一个强大的范例，有效优化黑箱目标函数。高维BO提出了一个特殊的挑战，部分原因是维数灾难使得难以定义合适的一类代理模型，以及对其进行推理。我们认为，高斯过程代理模型定义在稀疏轴对齐的子空间提供了一个有吸引力的灵活性和简约性之间的妥协。我们证明，我们的方法，它依赖于汉密尔顿蒙特卡罗推理，可以快速识别稀疏子空间相关的建模未知的目标函数，使样本高效的高维BO。在一系列广泛的实验中，与现有的高维BO方法相比，我们证明了我们的算法，稀疏轴对齐子空间BO（SAASBO），在几个合成和现实世界的问题上实现了出色的性能，而无需设置特定于问题的超参数。
2021-06-10 cs.LG stat.ML
Sparse Bayesian State-Space and Time-Varying Parameter Models
在这一章中，我们将回顾贝叶斯框架下单变量和多变量时间序列的时变参数（TVP）模型的方差选择。我们展示了如何连续以及离散的尖峰和板坯收缩先验可以从回归模型的变量选择转移到TVP模型的方差选择，通过使用非中心参数化。我们讨论了有效的MCMC估计，并提供了一个应用程序，美国通货膨胀建模。
2022-07-25 econ.EM stat.ME
