A Bayesian Lasso based Sparse Learning Model
University of Bergen（卑尔根大学）
贝叶斯套索是在线性回归框架下构造的，并应用吉布斯抽样来估计回归参数。本文提出了一种新的稀疏学习模型，命名为贝叶斯套索稀疏（BLS）模型，它采取了贝叶斯套索的分层模型公式。与原始贝叶斯套索的主要区别在于估计过程; BLS方法使用基于类型II极大似然过程的学习算法。与贝叶斯套索相反，BLS提供了回归参数的稀疏估计。通过引入核函数，得到了非线性监督学习问题的BLS方法。我们比较了BLS模型，众所周知的相关向量机，快速拉普拉斯方法，BLS套索，套索，模拟和真实数据。数值结果表明，该算法具有稀疏性和精确性，特别是在处理噪声和不规则数据集时。
2022-07-14 cs.LG stat.ML
Enhancing Off-Grid One-Bit DOA Estimation with Learning-Based Sparse Bayesian Approach for Non-Uniform Sparse Array
本文提出一种学习型稀疏贝叶斯框架，利用展开神经网络自主学习超参数，在单快照一比特离网DOA估计中兼顾精度与效率，适用于均匀及非均匀稀疏阵列。
2024-12-14 eess.SP stat.ML
Bayesian Masking: Sparse Bayesian Estimation with Weaker Shrinkage Bias
Kyoto University（京都大学）；National Institute of Informatics（国立信息学研究所）
稀疏线性回归的一个常见策略是引入正则化，通过使相应的权重为零来消除不相关的特征。然而，正则化经常缩小相关特征的估计量，这导致不正确的特征选择。出于上述问题，我们提出了贝叶斯掩蔽（BM），稀疏估计方法，不施加正则化的权重。BM的关键概念是引入随机屏蔽特征的二进制潜变量。估计掩蔽率自动确定特征的相关性。我们推导出一个变分贝叶斯推断算法，最大限度地提高了下界的因子分解信息准则（FIC），这是最近开发的渐近标准，用于评估边际对数似然。此外，我们提出了重新参数化，以加速收敛的派生算法。最后，我们表明，BM优于Lasso和自动相关性确定（ARD）的稀疏收缩权衡。
2015-10-06 cs.LG stat.ML
Fully Bayesian Autoencoders with Latent Sparse Gaussian Processes
EURECOM（欧洲通信研究院）；University of California, Irvine（加州大学欧文分校）
自动编码器及其变体是表示学习和生成建模中使用最广泛的模型之一。然而，基于自动编码器的模型通常假设学习的表示是i.i.d.。并且不能捕获数据样本之间的相关性。为了解决这个问题，我们提出了一种新的稀疏高斯过程贝叶斯自动编码器（SGPAE）模型，在该模型中，我们对贝叶斯自动编码器的潜在空间施加完全贝叶斯稀疏高斯过程先验。我们通过随机梯度Hamilton Monte Carlo对该模型进行后验估计。我们在广泛的表示学习和生成建模任务上定性和定量地评估了我们的方法，并表明我们的方法始终优于依赖于变分自编码器的多个替代方案。
2023-02-09 cs.LG stat.ML
Scalable Bayesian Optimization with Sparse Gaussian Process Models
Deakin University（迪肯大学）
该研究围绕贝叶斯优化，提出结合导数信息与可扩展稀疏高斯过程，以加快收敛并处理海量数据。
2020-10-26 cs.IR cs.LG stat.ML
Sparse Signal Recovery with Temporally Correlated Source Vectors Using Sparse Bayesian Learning
University of California at San Diego（加州大学圣地亚哥分校）
当解矩阵的每个非零行中的元素在时间上相关时，我们在多个测量向量（MMV）的上下文中解决稀疏信号恢复问题。现有的算法不考虑这种时间相关性，因此它们的性能显着降低的相关性。在这项工作中，我们提出了一个块稀疏贝叶斯学习框架，模型的时间相关性。在这个框架中，我们推导出两个稀疏贝叶斯学习（SBL）算法，具有优越的恢复性能相比，现有的算法，特别是在存在高的时间相关性。此外，我们的算法更好地处理高度欠定问题，并要求更少的行稀疏的解决方案矩阵。我们还提供了其成本函数的全局和局部最小值的分析，并表明，SBL成本函数具有非常理想的性质，即全局最小值是在稀疏解的MMV问题。大量的实验也提供了一些有趣的结果，激励未来的理论研究MMV模型。
2011-08-17 cs.LG stat.ML
Bayesian Inference in Sparse Gaussian Graphical Models
University of Edinburgh（爱丁堡大学）；Pharmatics Ltd（Pharmatics有限公司）
科学的基本任务之一是在观察到的现象之间找到可解释的关系。这一任务的一种方法，近年来受到关注的是基于概率图形模型与稀疏约束的模型结构。在本文中，我们描述了两种新的方法来贝叶斯推断稀疏结构的高斯图模型（GGM）。一个是基于一个简单的修改的尖端块吉布斯采样器稀疏GGM，这导致显着的计算增益在高维。另一种方法是基于哈密顿蒙特卡罗采样器的一个特定的结构，这导致进一步的显着改善。我们比较了我们的完全贝叶斯方法与流行的基于规则的图形LASSO，并在相同的计算成本下证明了贝叶斯处理的显着优势。我们将这些方法应用于广泛的模拟数据集和真实的金融数据集。
2013-09-27 cs.LG stat.ML
Inducing Point Allocation for Sparse Gaussian Processes in High-Throughput Bayesian Optimisation
稀疏高斯过程是高吞吐量贝叶斯优化（BO）循环的关键组成部分，然而，我们发现，现有的方法分配其诱导点严重妨碍优化性能。通过利用确定性点过程的质量多样性分解，我们提出了第一个专门为BO设计的诱导点分配策略。与现有的方法，只寻求减少目标函数的全局不确定性，我们的方法提供了精确优化所需的有前途的区域的本地高保真度建模。更一般地说，我们证明了我们提出的框架提供了一种灵活的方式来分配稀疏模型的建模能力，因此适合广泛的下游顺序决策任务。
2023-02-23 cs.LG stat.ML
A Stochastic Variance-Reduced Coordinate Descent Algorithm for Learning Sparse Bayesian Network from Discrete High-Dimensional Data
K. N. Toosi University of Technology（K.N.托西理工大学）；Polytechnique Montréal（蒙特利尔理工学院）
研究了从高维离散数据中学习稀疏结构贝叶斯网络的问题。与连续贝叶斯网络相比，离散贝叶斯网络的学习是一个具有挑战性的问题，由于大的参数空间。虽然已经开发了许多方法来学习连续贝叶斯网络，很少有方法已经提出了离散的。在本文中，我们解决学习贝叶斯网络作为一个优化问题，并提出了一个得分函数，保证学习的结构是一个稀疏的有向无环图。此外，我们还实现了一个分块随机坐标下降算法来优化得分函数。具体来说，我们在优化算法中使用了方差减少方法，使算法有效地处理高维数据。所提出的方法适用于合成数据从著名的基准网络。所构建的网络的质量，可扩展性和鲁棒性进行测量。与一些有竞争力的方法相比，结果表明，我们的算法优于一些众所周知的方法。
2022-09-24 cs.LG stat.ML
Bayesian sparse convex clustering via global-local shrinkage priors
NTT Advanced Technology Corporation（NTT先进技术公司）；The University of Electro-Communications（电气通信大学）
稀疏凸聚类是在凸聚类框架下对观测值进行聚类的同时进行变量选择。虽然加权$L_1$范数通常用于稀疏凸聚类中的正则化项，但如果样本量不足，则其使用增加了对数据的依赖性并降低了估计精度。针对这些问题，本文提出了一种基于贝叶斯套索和全局-局部收缩先验的贝叶斯稀疏凸聚类方法。我们引入吉布斯抽样算法，我们的方法使用的比例混合正态分布。仿真研究和实际数据分析表明了所提出方法的有效性。
2020-05-26 cs.LG stat.ME stat.ML
A Fast Iterative Bayesian Inference Algorithm for Sparse Channel Estimation
本文提出了一种基于导频符号观测值的多载波贝叶斯信道估计算法。利用无线多径信道固有的稀疏性，通过建模多径分量的增益的先验分布与Bessel K概率密度函数的分层表示，然后将一种高效，快速的迭代贝叶斯推断方法应用于所提出的模型。由此产生的估计优于其他国家的最先进的贝叶斯和非贝叶斯估计，无论是通过产生较低的均方估计误差或通过达到相同的精度与改进的收敛速度，如我们的数值评估。
2013-03-06 cs.IT math.IT stat.ML
Sparse Spectrum Gaussian Process for Bayesian Optimization
Deakin University（迪肯大学）；Applied Artificial Intelligence Institute（应用人工智能研究所）
我们提出了一种新的稀疏谱近似高斯过程（GP）的贝叶斯优化。虽然当前的稀疏谱方法为回归问题提供了所需的近似，但据观察，这种特定形式的稀疏近似会产生过度自信的GP，即它产生比原始GP更少的认识不确定性。由于预测均值和预测方差之间的平衡是贝叶斯优化成功的关键决定因素，目前的稀疏谱方法不太适合它，我们推导出一个新的正则化边缘似然寻找最佳频率来解决这个过度自信的问题，特别是贝叶斯优化。正则化器在模型拟合的准确性与所得GP的预测方差的目标增加之间进行权衡。具体来说，我们使用来自后验GP的全局最大分布的熵作为需要最大化的正则化器。由于这种分布不能解析计算，我们首先提出了一个汤普森抽样为基础的方法，然后一个更有效的顺序蒙特卡罗为基础的方法来估计它。后来，我们还表明，预期改善采集功能可以作为一个代理的最大分布，从而使整个过程更加有效。实验结果表明，当协方差矩阵因观测量大而出现病态时，该方法的贝叶斯优化收敛速度比稀疏谱方法和全GP方法都有较大的提高.
2020-06-08 cs.LG stat.ML
Accelerated Sparse Bayesian Learning via Screening Test and Its Applications
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
在高维环境中，稀疏结构对于存储器和计算复杂度方面的效率至关重要。对于一个线性系统，直接寻找具有过完备特征字典的稀疏解通常是NP困难的，因此应该考虑替代的近似方法。在本文中，我们选择的替代方法是稀疏贝叶斯学习，作为经验贝叶斯方法，它使用参数化的先验来鼓励解决方案中的稀疏性，而不是具有固定先验的其他方法，如LASSO。而筛选测试的目的是快速识别出一个特征子集，其系数在最优解中保证为零，然后可以安全地从完整的字典中删除，以获得更小，更容易解决的问题。接下来，我们解决较小的问题，之后可以通过用零填充较小的解决方案来恢复原始问题的解决方案。所提出的方法的性能将在各种数据集和应用程序进行检查。
2020-07-08 cs.LG stat.ML
Nonparametric Bayesian Sparse Graph Linear Dynamical Systems
提出了一种非参数贝叶斯稀疏图线性动力系统（SGLDS），用于对序列观测的多元数据进行建模。SGLDS使用Bernoulli-Poisson链接和伽马过程来生成一个无限维稀疏随机图来模拟状态转换。根据图亲和矩阵的相应行和列的稀疏模式，SGLDS的潜在状态可以被分类为非动态状态或动态状态。一个正常的伽玛结构被用来缩小非动态状态所捕获的能量，而动态状态可以被进一步分类为活的，吸收，或噪声注入状态，其捕获的基础时间序列的不同类型的动态分量。SGLDS的国家的最先进的性能证明与合成和真实数据的实验。
2018-02-21 stat.ME stat.ML
High-Dimensional Bayesian Optimization with Sparse Axis-Aligned Subspaces
Facebook（脸书）；Broad Institute of Harvard and MIT（哈佛大学与麻省理工学院博德研究所）
贝叶斯优化（BO）是一个强大的范例，有效优化黑箱目标函数。高维BO提出了一个特殊的挑战，部分原因是维数灾难使得难以定义合适的一类代理模型，以及对其进行推理。我们认为，高斯过程代理模型定义在稀疏轴对齐的子空间提供了一个有吸引力的灵活性和简约性之间的妥协。我们证明，我们的方法，它依赖于汉密尔顿蒙特卡罗推理，可以快速识别稀疏子空间相关的建模未知的目标函数，使样本高效的高维BO。在一系列广泛的实验中，与现有的高维BO方法相比，我们证明了我们的算法，稀疏轴对齐子空间BO（SAASBO），在几个合成和现实世界的问题上实现了出色的性能，而无需设置特定于问题的超参数。
2021-06-10 cs.LG stat.ML
Bayesian orthogonal component analysis for sparse representation
本文讨论了确定一个低维空间，观察到的数据可以稀疏表示的问题。这个不完全字典学习任务可以被公式化为稀疏源与未知正交混合矩阵线性混合的盲分离问题。这个问题是制定在贝叶斯框架。首先，未知稀疏源被建模为Bernoulli-Gaussian过程。为了提高稀疏性，提出了一个原子在零和高斯分布的加权混合作为未观测源的先验分布。一个无信息的先验分布定义在一个适当的Stiefel流形被选为混合矩阵。使用马尔可夫链蒙特卡罗（MCMC）方法对未知参数进行贝叶斯推断。设计了一个部分塌陷Gibbs抽样器，根据未知模型参数和超参数的联合后验分布生成渐近分布的样本。然后，这些样本被用来近似的联合最大后验估计的源和混合矩阵。模拟合成数据进行报告，以说明该方法的性能恢复稀疏表示。最后研究了欠完备字典在稀疏编码中的应用。
2010-01-04 stat.ME stat.ML
Sparse Semi-supervised Heterogeneous Interbattery Bayesian Analysis
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）；Gregorio Marañón Health Research Institute（格雷戈里奥·马拉尼翁健康研究所）
贝叶斯特征提取方法，称为因子分析（FA），在机器学习中得到了广泛的研究，以获得数据的潜在表示。适当选择这些基本模型的概率和先验，使模型能够更好地适应数据性质（即异质性，稀疏性），获得更具代表性的潜在空间。本文的目的是提出一个通用的FA框架，能够模拟任何问题。为此，我们从贝叶斯电池间因子分析（BIBFA）模型开始，通过新功能对其进行增强，以便能够处理异构数据，包括特征选择，并处理缺失值以及半监督问题。所提出的模型，稀疏半监督异构电池间贝叶斯分析（SSHIBA）的性能已在4种不同的情况下进行了测试，以评估其每一个新颖性，不仅表现出很大的通用性和可解释性增益，而且还优于大多数最先进的算法。
2020-01-24 cs.LG stat.ML
A GAMP Based Low Complexity Sparse Bayesian Learning Algorithm
University of California, San Diego（加利福尼亚大学圣地亚哥分校）；The Ohio State University（俄亥俄州立大学）
在本文中，我们提出了一种算法的稀疏信号恢复问题，将阻尼高斯广义近似消息传递（GGAMP）的期望最大化（EM）为基础的稀疏贝叶斯学习（SBL）。特别是，GGAMP用于在SBL中实现E步，代替矩阵求逆，利用GGAMP保证以适当的阻尼收敛的事实。GGAMP-SBL算法比标准阻尼GAMP算法对任意测量矩阵$\boldsymbol{A}$具有更强的鲁棒性，同时比标准SBL算法具有更低的复杂度。然后，我们扩展的方法从单测量矢量（SMV）的情况下，时间相关的多个测量矢量（MMV）的情况下，导致GGAMP-TSBL算法。我们通过数值实验验证了所提出的算法的鲁棒性和计算优势。
2017-10-08 cs.LG stat.ML
Incremental Sparse Bayesian Ordinal Regression
University of Amsterdam（阿姆斯特丹大学）
有序回归（OR）旨在对不同数据类别之间的排序信息进行建模，这是多标签学习中的一个重要主题。一类重要的OR方法将问题建模为将特征映射到高维非线性空间的基函数的线性组合。然而，大多数基于基函数的算法是耗时的。我们提出了一种增量稀疏贝叶斯方法或任务，并介绍了一种算法，顺序学习相关的基函数在有序的情况下。我们的方法，称为增量稀疏贝叶斯有序回归（ISBOR），自动优化超参数通过类型II最大似然方法。ISBOR通过利用快速边缘似然优化，可以避免大矩阵求逆，这是将基于基函数的算法应用于大规模数据集上的OR任务的主要瓶颈。我们表明，ISBOR可以作出准确的预测与吝啬的基函数，同时提供自动估计的预测不确定性。在合成数据集和真实数据集上的大量实验证明了ISBOR与其他基于基函数的OR方法相比的效率和有效性。
2018-06-18 cs.LG stat.ML
Iterative Bayesian Reconstruction of Non-IID Block-Sparse Signals
提出了一种新的块迭代贝叶斯算法（Block-IBA），用于重构具有未知块结构的块稀疏信号。与现有的用于块稀疏信号恢复的算法不同，现有的算法假设未知信号的非零元素的簇结构是独立同分布的（i.i.d.），我们使用更现实的Bernoulli-Gaussian隐马尔可夫模型（BGHMM）来表征非独立同分布。在实践中经常遇到的块稀疏信号。块IBA迭代估计块稀疏信号的幅度和位置使用最陡上升的期望最大化（EM），并通过自适应阈值最优地选择块稀疏信号的非零元素。分析并证明了Block-IBA算法的全局收敛性，并通过数值实验和模拟仿真验证了Block-IBA算法的有效性。
2014-12-07 cs.IT math.IT stat.ML
Bayesian Reinforcement Learning via Deep, Sparse Sampling
Chalmers University of Technology（查尔姆斯理工大学）；University of Oslo（奥斯陆大学）
我们使用有效的基于模型的在线规划解决贝叶斯强化学习的问题。我们提出了一个无乐观的贝叶斯自适应算法，以诱导更深，更稀疏的探索与理论界的性能相对于贝叶斯最优策略，具有较低的计算复杂性。主要的新颖性是使用候选策略生成器，在规划树中生成长期选项（超过信念），这使我们能够创建更稀疏和更深的树。在不同环境下的实验结果表明，与现有算法相比，该算法不仅在计算效率上更高，而且在离散环境下获得了更高的回报.
2020-06-27 cs.AI cs.LG stat.ML
Hierarchical sparse Bayesian learning: theory and application for inferring structural damage from incomplete modal data
由于过度载荷或环境退化而造成的结构损坏通常发生在没有倒塌的局部区域。利用这种先验信息的空间稀疏的结构损伤的层次稀疏贝叶斯学习框架的目标是减少源的病态的刚度损失反演问题的损伤检测。稀疏贝叶斯学习方法自动从一组潜在的候选者中修剪掉不相关或不活动的特征，因此它们是用于产生稀疏解释子集的有效概率工具。我们以前已经提出了这样一种方法来建立局部刚度降低的概率，作为一个代理的损害，通过使用噪声不完整的模态数据之前和之后可能的损害。核心思想集中在一个特定的分层贝叶斯模型，促进空间稀疏的推断刚度减少的方式是一致的贝叶斯奥卡姆剃刀。在本文中，我们改进了我们以前提出的稀疏贝叶斯学习方法的理论，消除了近似，更重要的是，纳入了对刚度增加的约束。我们的方法有许多吸引人的功能，总结在本文的最后。我们验证的方法，将其应用到第二阶段的模拟和实验基准研究主办的IASC-ASCE工作组的结构健康监测。结果表明，该方法可以通过识别出的模态参数推断出结构的刚度损失，从而可靠地检测、定位和评估结构的损伤。有效地抑制了遗漏和错误损坏警报的发生。
2015-03-21 stat.AP stat.ME stat.ML
Bayesian Beta-Bernoulli Process Sparse Coding with Deep Neural Networks
Columbia University（哥伦比亚大学）
对于深度离散潜变量模型，已经提出了几种近似推理方法。然而，非参数的方法，以前已成功地用于经典的稀疏编码模型在很大程度上尚未探索的背景下，深模型。我们提出了一种非参数迭代算法来学习这种深度模型中的离散潜在表示。此外，为了学习尺度不变的离散特征，我们提出了局部数据缩放变量。最后，为了鼓励我们表示的稀疏性，我们提出了一个潜在因素的Beta-Bernoulli过程。我们评估我们的备用编码模型加上不同的似然模型。我们在具有不同特征的数据集上评估我们的方法，并将我们的结果与当前的摊销近似推理方法进行比较。
2023-03-14 cs.LG stat.ML
Sparse Gaussian Processes Revisited: Bayesian Approaches to Inducing-Variable Approximations
EURECOM（欧洲通信与网络研究院）；Aalto University（阿尔托大学）；CSIRO’s Data61（联邦科学与工业研究组织数据61部门）
基于诱导变量的变分推断技术为高斯过程（GP）模型的可伸缩后验估计提供了一个优雅的框架。除了实现可扩展性之外，它们相对于使用直接边际似然最大化的稀疏近似的主要优点之一是，它们为诱导输入（即诱导变量的位置）的点估计提供了鲁棒的替代方案。在这项工作中，我们挑战的共同智慧，优化诱导输入的变分框架产生最佳性能。我们表明，通过重新审视旧的模型近似，例如具有强大的基于采样的推理方法的完全独立的训练条件，以贝叶斯方式处理诱导位置和GP超参数可以显着提高性能。基于随机梯度哈密顿蒙特卡罗，我们开发了一种完全贝叶斯方法来构建可扩展的GP和深度GP模型，并通过几个回归和分类问题的广泛实验活动来展示其最先进的性能。
2021-02-23 cs.LG stat.ML
A Generalized Stochastic Variational Bayesian Hyperparameter Learning Framework for Sparse Spectrum Gaussian Process Regression
Interactive Digital Media Institute（互动数字媒体研究所）；National University of Singapore（新加坡国立大学）
虽然许多研究工作一直致力于基于大数据的诱导变量来扩展稀疏高斯过程（GP）模型，但很少关注利用GP内核的稀疏谱表示的其他较少探索的低秩GP近似类。本文提出了这样的努力，以推进稀疏谱GP模型的最新技术水平，以实现有竞争力的预测性能的大规模数据集。我们的广义框架的随机变分贝叶斯稀疏谱GP（sVBSSGP）模型解决了它们的缺点，采用贝叶斯处理的频谱频率，以避免过度拟合，建模这些频率联合在其变分分布，使他们的相互作用的后验，并利用本地数据提高预测性能。然而，这样的结构改进导致难以优化的变分下限。为了解决这个问题，我们利用变分参数化技巧，使它服从随机最优化。有趣的是，所得到的随机梯度具有线性可分解的结构，可以利用它来改进我们的随机最优化方法，以使每次迭代的时间恒定，同时保持其作为变分下限的精确梯度的无偏估计量的性质。对真实世界数据集的实证评估表明，sVBSSGP优于最先进的稀疏GP模型的随机实现。
2016-11-18 cs.LG stat.ML
Complexity-Optimized Sparse Bayesian Learning for Scalable Classification Tasks
University of Macau（澳门大学）
本文提出DQN-SBL方法，通过忽略大型协方差矩阵求逆将复杂度从$O(M^3)$降至$O(M)$，解决了稀疏贝叶斯学习在大规模问题中的内存溢出问题，并在保持泛化能力和模型稀疏性的同时实现了良好扩展。
2023-09-11 cs.LG stat.ML
High-dimensional near-optimal experiment design for drug discovery via Bayesian sparse sampling
Chalmers University of Technology（查尔姆斯理工大学）；AstraZeneca AB（阿斯利康公司）
我们研究的问题进行自动化实验设计的药物筛选，通过贝叶斯推理和优化。特别是，我们比较和对比的线性高斯模型和高斯过程的行为，当与置信上限算法，汤普森采样，或有界水平树搜索。我们表明，非近视的复杂的探索技术，使用稀疏树搜索有一个明显的优势，如汤普森采样或置信上限在这种情况下的方法。我们证明了显着的优越性，该方法比现有的和合成的药物毒性数据集。
2021-04-23 cs.LG q-bio.QM stat.ML
Pattern-Coupled Sparse Bayesian Learning for Recovery of Block-Sparse Signals
University of Electronic Science and Technology of China（电子科技大学）；Stevens Institute of Technology（史蒂文斯理工学院）；Schlumberger-Doll Research Center（斯伦贝谢多尔研究中心）
我们考虑的问题，恢复块稀疏信号的结构是未知的\emph{a priori}。块稀疏信号与非零系数发生在集群自然出现在许多实际情况。然而，在实践中，对块结构的知识通常是不可用的。在本文中，我们开发了一个新的稀疏贝叶斯学习方法恢复块稀疏信号与未知的聚类模式。具体地说，模式耦合的分层高斯先验模型被引入来表征系数之间的统计依赖性，其中一组超参数被用来控制信号系数的稀疏性。与传统的稀疏贝叶斯学习框架中每个单独的超参数独立地与每个系数相关联不同，在本文中，每个系数的先验不仅涉及其自身的超参数，而且还涉及其近邻的超参数。通过这种方式，相邻系数的稀疏模式彼此相关，并且分层模型具有鼓励结构化稀疏解决方案的潜力。超参数以及稀疏信号通过期望最大化（EM）算法最大化其后验概率来学习。数值实验结果表明，该算法与现有方法相比具有一致的优越性。
2013-11-09 cs.IT cs.LG math.IT
Multimodal Sparse Bayesian Dictionary Learning
ARM Machine Learning Research Lab（ARM机器学习研究实验室）；University of California, San Diego（加州大学圣地亚哥分校）
本文讨论了多模态数据集（即从多个数据源收集的数据集）的字典学习问题。我们提出了一种算法称为多模态稀疏贝叶斯字典学习（MSBDL）。MSBDL通过联合稀疏约束利用来自所有可用数据模态的信息。底层框架为从业者提供了相当大的灵活性，并解决了现有多模态词典学习方法的许多缺点。特别是，该过程包括超参数的自动调整，并且是独特的，因为它允许每个数据模态的字典具有不同的基数，这是数据的维度在模态之间不同的情况下的一个重要特征。MSBDL是可扩展的，可用于监督学习环境。MSBDL的收敛性的理论结果和数值结果提供了证据的MSBDL合成和真实数据集上的优越性能相比，现有的方法。
2019-05-29 cs.LG stat.ML
Fast Marginalized Block Sparse Bayesian Learning Algorithm
National University of Defense Technology（国防科技大学）；Samsung R&D Institute America - Dallas（三星美国研究院（达拉斯））
利用信号的稀疏性和相关性，可以提高稀疏信号从噪声、欠定测量中恢复的性能。一种典型的相关结构是块稀疏信号中的块内相关。为了利用这种结构，最近提出了一种称为块稀疏贝叶斯学习（BSBL）的框架。从这个框架衍生的算法表现出优越的性能，但他们不是很快，这限制了他们的应用。这项工作得出了一个有效的算法，从这个框架中，使用边缘化的似然最大化方法。与现有的BSBL算法相比，它具有接近的恢复性能，但要快得多。因此，它更适合于大规模数据集和需要实时实现的应用。
2013-09-29 cs.IT cs.LG math.IT
Fast post-process Bayesian inference with Variational Sparse Bayesian Quadrature
Department of Computer Science, University of Helsinki（赫尔辛基大学计算机科学系）；Department of Statistics, University of Edinburgh（爱丁堡大学统计系）
针对已有大量模型评估却未被传统推断利用的问题，提出后处理贝叶斯推断框架及 VSBQ，通过稀疏 GP 代理、贝叶斯求积与变分推断实现无需额外模型调用的快速高质量后验近似。
2025-07-23 cs.LG stat.CO stat.ME
Posterior Impropriety of some Sparse Bayesian Learning Models
稀疏贝叶斯学习模型通常用于预测数据集的协变量数量显著大于观测值。这种模型通常采用再生核希尔伯特空间（RKHS）方法来执行预测任务，并且可以使用适当或不适当的先验来实现。在这篇文章中，我们表明，在文献中的一些稀疏贝叶斯学习模型，当使用不正确的先验，导致不正确的后验。
2021-06-19 math.ST stat.TH
Bayesian System Identification based on Hierarchical Sparse Bayesian Learning and Gibbs Sampling with Application to Structural Damage Assessment
本文的重点是贝叶斯系统识别噪声不完整的模态数据的基础上，我们可以在更新结构模型时施加空间稀疏刚度的变化。为此，基于我们以前的工作类似的层次稀疏贝叶斯学习模型，我们提出了两个吉布斯抽样算法。这两种算法处理方程误差精度参数后验不确定性的策略不同，但都是从结构刚度参数和系统模态参数的条件后验概率密度函数（PDF）中采样。吉布斯抽样的有效维数较低，因为迭代采样仅从对应于三个参数组的三个条件后验PDF中完成，同时从其中一个算法中的另一个条件后验PDF中对方程误差精度参数进行采样，其中方程误差精度参数未被整合为“滋扰”参数。从计算的角度来看，一个很好的特点是，它是没有必要解决一个结构模型的非线性特征值问题。所提出的算法的有效性和鲁棒性说明将它们应用到IASE ASCE第二阶段的模拟和实验基准研究。我们的目标是使用不完整的模态数据识别之前和之后可能的损害，以检测和评估空间稀疏的刚度降低引起的任何损害。我们过去和现在的重点是满足所产生的挑战，从贝叶斯推断的结构刚度服务，以加强基于振动的结构系统识别的能力，但我们的方法也有更广泛的适用性，在科学和技术的逆问题，系统矩阵是从噪声的部分信息推断其特征量。
2017-01-13 stat.AP stat.ME stat.ML
On Identification of Sparse Multivariable ARX Model: A Sparse Bayesian Learning Approach
University of Cambridge（剑桥大学）；Huazhong University of Science and Technology（华中科技大学）；Cardwell Investment Tech（卡德韦尔投资科技公司）；UC Berkeley（加州大学伯克利分校）
本文提出一种基于稀疏贝叶斯学习的方法，用于识别稀疏多变量ARX模型的布尔结构和节点间动态，无需先验知识，通过最大后验估计结合复杂性和组稀疏性惩罚。
2016-09-30 cs.LG cs.SY eess.SY
Bayesian inference via sparse Hamiltonian flows
University of British Columbia（不列颠哥伦比亚大学）
贝叶斯核心集是数据的一个小的加权子集，在贝叶斯推断期间替换完整的数据集，目的是降低计算成本。虽然过去的工作经验表明，经常存在一个低推理误差的核心集，有效地构建这样的核心集仍然是一个挑战。当前的方法往往速度很慢，需要在核心集构建后进行二次推理步骤，并且不提供数据边缘证据的界限。在这项工作中，我们介绍了一种新的方法-稀疏哈密顿流-解决所有这三个挑战。该方法首先对数据进行均匀子采样，然后优化由核心集权重参数化的哈密顿流，并包括周期性动量准刷新步骤。理论结果表明，该方法能够指数压缩的数据集在一个代表性的模型，和准刷新步骤减少库尔贝克-莱布勒散度的目标。真实的和合成的实验表明，稀疏哈密顿流提供准确的后验近似显着减少运行时间相比，竞争的动态系统为基础的推理方法。
2023-01-12 cs.LG stat.CO stat.ML
Bayesian sparse reconstruction: a brute-force approach to astronomical imaging and machine learning
我们提出了一个原则性的贝叶斯信号重建框架，其中信号由基函数建模，基函数的数量（和形式，如果需要的话）由数据本身确定。这种方法是基于传统的稀疏重建和正则化技术的贝叶斯解释，其中稀疏性是通过先验贝叶斯模型选择。我们证明了我们的方法的噪声1-和2维信号，包括天文图像。此外，通过使用乘积空间方法，基函数的数量和类型可以被视为整数参数，其后验分布直接采样。我们表明，数量级的增加，计算效率是可能的，从这种技术相比，分别计算贝叶斯证据，进一步的计算收益是可能的，使用它与动态嵌套抽样相结合。我们的方法也可以很容易地应用于神经网络，它允许网络架构由数据确定的原则贝叶斯的方式，通过处理节点和隐藏层的数量作为参数。
2018-11-25 astro-ph.IM stat.ME stat.ML
Simultaneous Block-Sparse Signal Recovery Using Pattern-Coupled Sparse Bayesian Learning
University of Electronic Science and Technology of China（电子科技大学）；China Academy of Engineering Physics（中国工程物理研究院）
在本文中，我们考虑块稀疏信号恢复问题的背景下，多个测量向量（MMV）与共同的行稀疏模式。我们开发了一种新的方法来恢复常见的行稀疏MMV信号，其中模式耦合的分层高斯先验模型被引入到共同的行稀疏MMV信号的系数的块稀疏性和相邻系数之间的统计依赖性的特征。与许多其他方法不同，该方法能够自动捕获未知信号的块稀疏结构。我们的方法是使用期望最大化（EM）的框架。仿真结果表明，该方法在恢复块稀疏共行稀疏模式MMV信号时具有较好的性能。
2017-11-06 cs.IT cs.LG eess.SP
An Adaptive Empirical Bayesian Method for Sparse Deep Learning
Purdue University（普渡大学）
我们提出了一种新的自适应经验贝叶斯方法用于稀疏深度学习，其中稀疏性通过一类自适应尖峰和板先验来确保。所提出的方法的工作原理是交替采样自适应分层后验分布使用随机梯度马尔可夫链蒙特卡罗（MCMC）和平滑优化超参数使用随机逼近（SA）。在较弱的条件下，我们进一步证明了该方法收敛于渐近正确的分布。所提出的方法的经验应用导致最先进的性能MNIST和时尚MNIST与浅卷积神经网络和最先进的压缩性能CIFAR10与残差网络。该方法还提高了对对抗性攻击的抵抗力。
2020-04-13 cs.LG stat.ME stat.ML
A Bayesian sparse factor model with adaptive posterior concentration
Inha University（仁荷大学）；The University of Notre Dame（圣母大学）；Seoul National University（首尔国立大学）
本文提出一种新的高维稀疏因子模型贝叶斯推断方法，通过引入稀疏水平与因子维数之间的依赖关系，在保持计算可处理性的同时实现自适应后验收缩，并证明其在因子维数检测和协方差矩阵估计上具有最优或近似最优的理论性质与数值优势。
2023-05-29 cs.LG stat.ME stat.ML
Nonparametric Bayesian sparse factor models with application to gene expression modeling
University of Cambridge（剑桥大学）
提出了一种非参数贝叶斯扩展因子分析（FA），其中观测数据$\mathbf{Y}$被建模为潜在无穷多个隐藏因子$\mathbf{X}$的线性叠加$\mathbf{G}$。印度自助餐过程（IBP）被用作$\mathbf{G}$的先验，以纳入稀疏性，并允许推断潜在特征的数量。该模型的效用建模基因表达数据的研究使用随机生成的数据集的基础上，一个已知的稀疏连接矩阵E。大肠杆菌，并对三个生物数据集的日益复杂。
2011-07-28 cs.AI stat.AP stat.ML
High-Dimensional Sparse Bayesian Learning without Covariance Matrices
Harvard University（哈佛大学）；Massachusetts Institute of Technology（麻省理工学院）；Athinoula A. Martinos Center for Biomedical Imaging（阿瑟努拉·A·马蒂诺斯生物医学成像中心）；Harvard Medical School（哈佛医学院）
稀疏贝叶斯学习（SBL）是解决稀疏编码问题的一个强大框架。然而，最流行的推理算法SBL变得过于昂贵的高维设置，由于需要存储和计算一个大的协方差矩阵。我们引入了一个新的推理方案，避免了显式的协方差矩阵的建设，并行求解多个线性系统，以获得后验矩的SBL。我们的方法耦合一个鲜为人知的对角估计结果，从数值线性代数与共轭梯度算法。在几次模拟中，我们的方法在计算时间和内存方面比现有方法更好，特别是对于能够快速矩阵向量乘法的结构化字典。
2022-02-25 cs.LG eess.SP stat.CO
Optimal sparse phase retrieval via a quasi-Bayesian approach
Norwegian Institute of Public Health（挪威公共卫生研究院）
针对需仅用变换幅度重建信号的稀疏相位恢复问题，提出新型稀疏准贝叶斯方法，以缩放Student分布为收缩先验，通过PAC-贝叶斯框架分析，实现极小极大最优收敛率，为噪声环境下的该问题提供有原则的替代方案。
2025-04-13 cs.LG math.ST stat.ME
A Fast Non-Gaussian Bayesian Matching Pursuit Method for Sparse Reconstruction
提出了一种基于贝叶斯方法的快速匹配追踪稀疏信号恢复方法。该方法被称为nGpFBMP，即使当信号先验是非高斯或未知时，也执行稀疏信号的贝叶斯估计。它是不可知的信号统计，并利用先验统计的加性噪声和稀疏率的信号，这是很容易估计的数据，如果没有。nGpFBMP利用一个贪婪的方法和顺序递归更新的度量，找到最主要的稀疏支持，以确定近似的最小均方误差（MMSE）估计的稀疏信号。仿真结果表明，我们提出的估计的权力和鲁棒性。
2012-06-19 stat.OT
Supervised Dictionary Learning by a Variational Bayesian Group Sparse Nonnegative Matrix Factorization
Rudjer Boskovic Institute（鲁杰尔·博什科维奇研究所）
非负矩阵分解（NMF）与组稀疏约束的概率图形模型，并制定，假设一些观察数据已产生的模型，一个可行的变分贝叶斯算法的学习模型参数。当在监督学习场景中使用时，NMF最常用作无监督特征提取器，然后在所获得的特征子空间中进行分类。在将类标签映射到更一般的组概念（其是系数的稀疏性的基础）之后，所提出的组稀疏NMF模型允许的是将类标签信息并入以找到低维标签驱动的字典，其不仅旨在忠实地表示数据，而且还适合于类判别。在面部识别和面部表情识别领域进行的实验表明，在这种标签驱动的特征子空间中进行分类比在无监督方式下获得的特征子空间中进行分类具有优势。
2014-05-27 cs.CV cs.LG stat.ML
Sparse Functional Data Classification via Bayesian Aggregation
针对稀疏函数型数据分类难题，提出融合 FPCA、bootstrap 概率聚合与 Bayesian GLM 贝叶斯校准的方法，模拟和三项真实数据分析均验证其准确率优于传统方法。
2025-03-13 stat.CO
Bayesian and L1 Approaches to Sparse Unsupervised Learning
University of British Columbia（不列颠哥伦比亚大学）；Massachusetts Institute of Technology（麻省理工学院）；University of Cambridge（剑桥大学）
使用L1正则化稀疏学习产生了巨大的研究兴趣，在信号采集，图像编码，基因组学和协同过滤等不同领域的成功应用。虽然现有的工作突出了L1方法的许多优点，但在本文中，我们发现，与其他方法相比，L1正则化在预测性能方面往往表现不佳。我们专注于无监督的潜变量模型，并开发L1最小化因子模型，贝叶斯变体的“L1”，贝叶斯模型具有更强的L0样稀疏诱导通过尖峰和板分布。这些尖峰和厚板贝叶斯因子模型鼓励稀疏性，同时以原则性的方式考虑不确定性，并避免非零值的不必要收缩。我们证明了一些数据集，在实践中尖峰和板坯贝叶斯方法优于L1最小化，即使在计算预算。因此，我们强调需要重新评估L1方法在稀疏依赖应用中的广泛使用，特别是当我们关心推广到以前看不见的数据时，并提供一种替代方案，在许多不同的条件下，提供改进的推广性能。
2012-08-17 cs.AI cs.LG stat.ML
Bayesian sparse modeling for interpretable prediction of hydroxide ion conductivity in anion-conductive polymer membranes
本研究利用贝叶斯稀疏建模，基于共聚物组成计算亲水/疏水单元关键元素，识别出预测阴离子导电聚合物膜氢氧根离子电导率的关键特征。
2025-05-25 cond-mat.soft stat.AP stat.ML
Sparse Bayesian Optimization
Princeton University（普林斯顿大学）；Meta
贝叶斯优化（BO）是一个强大的方法，样本效率优化的黑箱目标函数。然而，BO在推荐系统等领域的应用通常需要考虑配置的可解释性和简单性，这是BO文献中以前没有研究过的设置。为了使BO对这种设置有用，我们提出了几种基于正则化的方法，使我们能够发现稀疏和更可解释的配置。我们提出了一种新的可微松弛同伦连续的基础上，使得它可以直接与$L_0$正则化的目标稀疏。我们确定规则化BO的故障模式，并开发了一种无超参数的方法，稀疏性探索贝叶斯优化（SEBO），旨在同时最大限度地提高目标目标和稀疏性。SEBO和固定正则化的基础上的方法进行评估合成和现实世界的问题，我们表明，我们能够有效地优化稀疏性。
2023-03-03 cs.AI cs.LG math.OC
Learning Large-Scale Bayesian Networks with the sparsebn Package
University of California Los Angeles（加州大学洛杉矶分校）
从数据中学习图形模型是一个重要的问题，具有广泛的应用，从基因组学到社会科学。如今的数据集通常有上千个--有时是数万或数十万个--变量和更少的样本。为了应对这一挑战，我们开发了一个新的R包，称为sparsebn，用于学习大型稀疏图形模型的结构，重点是贝叶斯网络。虽然有许多现有的软件包用于此任务，但此软件包侧重于从高维数据中学习大型网络的独特设置，可能需要干预。因此，所提供的方法在高维环境中重视可伸缩性和一致性。此外，在存在干预措施的情况下，这里实施的方法实现了从数据中学习因果网络的目标。此外，sparsebn软件包与现有的网络分析软件包完全兼容。
2018-03-10 cs.LG stat.CO stat.ME
PAC-Bayesian Estimation and Prediction in Sparse Additive Models
本文研究稀疏性假设下高维可加模型的估计和预测问题（$p\gg n$范式）。研究了一种PAC-Bayesian策略，给出了概率上的预言不等式.通过最近的成果在高维MCMC算法的实施，我们的方法的性能进行评估模拟数据。
2013-02-01 math.ST stat.ME stat.TH
Bayesian model choice and information criteria in sparse generalized linear models
我们考虑高维广义线性模型中的贝叶斯模型选择，协变量p的数量相对于样本量n较大，但稀疏的是，与p相比，活动协变量的数量较小。将协变量视为随机变量，并采用p随n增加的渐近情景，我们表明，贝叶斯模型选择使用一定的先验模型的集合是渐近等价的选择模型使用扩展的贝叶斯信息准则。此外，我们证明了最小的真模型是由这两种方法的概率趋于1。在解决了随机协变量后，我们还能够为高维稀疏图形建模的伪似然方法给出一致性结果。真实数据的实验表明，良好的性能的扩展贝叶斯信息准则的回归和图形模型。
2011-12-23 math.ST stat.TH
Effectiveness of sparse Bayesian algorithm for MVAR coefficient estimation in MEG/EEG source-space causality analysis
Tokyo Metropolitan University（东京都立大学）；Golden Metallic Inc.（金色金属公司）；University of California, San Francisco（旧金山加利福尼亚大学）
本文通过计算机实验评估稀疏贝叶斯算法在强背景干扰下估计多元自回归系数的有效性，发现其虽对干扰不敏感但会降低真实因果关系的可检测性。
2012-11-14 cs.NA math.NA stat.AP
Unified Bayesian theory of sparse linear regression with nuisance parameters
研究了高维高斯稀疏回归中含有未知冗余参数时贝叶斯过程的频率论渐近性质。冗余参数可以是有限维、高维或无限维的。零点质量和连续分布的混合用于稀疏回归系数的先验分布，并将适当的先验分布用于冗余参数。稀疏回归系数的最佳后验收缩，阻碍了冗余参数的存在，也检查和讨论。结果表明，该过程产生强大的模型选择的一致性。稀疏回归系数的Bernstein-vonMises型定理也得到了不确定性量化通过可信集与保证频率覆盖。许多例子的渐近性质进行了研究，使用本研究中开发的理论。
2021-02-17 math.ST stat.TH
On The Sparse Bayesian Learning Of Linear Models
本文对Tipping（2001）的线性回归模型的稀疏贝叶斯学习（SBL）在高维环境下进行了重新检验。我们提出了一个硬阈值版本的SBL估计，实现，正交设计矩阵，非渐近估计误差率的$σ\sqrt{s\log p}/\sqrt{n}$，其中$n$是样本量，$p$回归变量的数量，$σ$是回归模型的标准差，和$s$的非零回归系数的数量。我们还建立了高概率的估计识别非零回归系数。在我们的模拟中，我们发现当要恢复的信号很强时，稀疏贝叶斯学习回归的性能优于套索（Tibshirani（1996））。
2015-02-11 stat.ME
