A Stochastic Variance-Reduced Coordinate Descent Algorithm for Learning Sparse Bayesian Network from Discrete High-Dimensional Data
K. N. Toosi University of Technology（K.N.托西理工大学）；Polytechnique Montréal（蒙特利尔理工学院）
研究了从高维离散数据中学习稀疏结构贝叶斯网络的问题。与连续贝叶斯网络相比，离散贝叶斯网络的学习是一个具有挑战性的问题，由于大的参数空间。虽然已经开发了许多方法来学习连续贝叶斯网络，很少有方法已经提出了离散的。在本文中，我们解决学习贝叶斯网络作为一个优化问题，并提出了一个得分函数，保证学习的结构是一个稀疏的有向无环图。此外，我们还实现了一个分块随机坐标下降算法来优化得分函数。具体来说，我们在优化算法中使用了方差减少方法，使算法有效地处理高维数据。所提出的方法适用于合成数据从著名的基准网络。所构建的网络的质量，可扩展性和鲁棒性进行测量。与一些有竞争力的方法相比，结果表明，我们的算法优于一些众所周知的方法。
2022-09-24 cs.LG stat.ML
Sparse Spectrum Gaussian Process for Bayesian Optimization
Deakin University（迪肯大学）；Applied Artificial Intelligence Institute（应用人工智能研究所）
我们提出了一种新的稀疏谱近似高斯过程（GP）的贝叶斯优化。虽然当前的稀疏谱方法为回归问题提供了所需的近似，但据观察，这种特定形式的稀疏近似会产生过度自信的GP，即它产生比原始GP更少的认识不确定性。由于预测均值和预测方差之间的平衡是贝叶斯优化成功的关键决定因素，目前的稀疏谱方法不太适合它，我们推导出一个新的正则化边缘似然寻找最佳频率来解决这个过度自信的问题，特别是贝叶斯优化。正则化器在模型拟合的准确性与所得GP的预测方差的目标增加之间进行权衡。具体来说，我们使用来自后验GP的全局最大分布的熵作为需要最大化的正则化器。由于这种分布不能解析计算，我们首先提出了一个汤普森抽样为基础的方法，然后一个更有效的顺序蒙特卡罗为基础的方法来估计它。后来，我们还表明，预期改善采集功能可以作为一个代理的最大分布，从而使整个过程更加有效。实验结果表明，当协方差矩阵因观测量大而出现病态时，该方法的贝叶斯优化收敛速度比稀疏谱方法和全GP方法都有较大的提高.
2020-06-08 cs.LG stat.ML
Accelerated Sparse Bayesian Learning via Screening Test and Its Applications
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
在高维环境中，稀疏结构对于存储器和计算复杂度方面的效率至关重要。对于一个线性系统，直接寻找具有过完备特征字典的稀疏解通常是NP困难的，因此应该考虑替代的近似方法。在本文中，我们选择的替代方法是稀疏贝叶斯学习，作为经验贝叶斯方法，它使用参数化的先验来鼓励解决方案中的稀疏性，而不是具有固定先验的其他方法，如LASSO。而筛选测试的目的是快速识别出一个特征子集，其系数在最优解中保证为零，然后可以安全地从完整的字典中删除，以获得更小，更容易解决的问题。接下来，我们解决较小的问题，之后可以通过用零填充较小的解决方案来恢复原始问题的解决方案。所提出的方法的性能将在各种数据集和应用程序进行检查。
2020-07-08 cs.LG stat.ML
High-Dimensional Bayesian Optimization with Sparse Axis-Aligned Subspaces
Facebook（脸书）；Broad Institute of Harvard and MIT（哈佛大学与麻省理工学院博德研究所）
贝叶斯优化（BO）是一个强大的范例，有效优化黑箱目标函数。高维BO提出了一个特殊的挑战，部分原因是维数灾难使得难以定义合适的一类代理模型，以及对其进行推理。我们认为，高斯过程代理模型定义在稀疏轴对齐的子空间提供了一个有吸引力的灵活性和简约性之间的妥协。我们证明，我们的方法，它依赖于汉密尔顿蒙特卡罗推理，可以快速识别稀疏子空间相关的建模未知的目标函数，使样本高效的高维BO。在一系列广泛的实验中，与现有的高维BO方法相比，我们证明了我们的算法，稀疏轴对齐子空间BO（SAASBO），在几个合成和现实世界的问题上实现了出色的性能，而无需设置特定于问题的超参数。
2021-06-10 cs.LG stat.ML
Sparse Semi-supervised Heterogeneous Interbattery Bayesian Analysis
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）；Gregorio Marañón Health Research Institute（格雷戈里奥·马拉尼翁健康研究所）
贝叶斯特征提取方法，称为因子分析（FA），在机器学习中得到了广泛的研究，以获得数据的潜在表示。适当选择这些基本模型的概率和先验，使模型能够更好地适应数据性质（即异质性，稀疏性），获得更具代表性的潜在空间。本文的目的是提出一个通用的FA框架，能够模拟任何问题。为此，我们从贝叶斯电池间因子分析（BIBFA）模型开始，通过新功能对其进行增强，以便能够处理异构数据，包括特征选择，并处理缺失值以及半监督问题。所提出的模型，稀疏半监督异构电池间贝叶斯分析（SSHIBA）的性能已在4种不同的情况下进行了测试，以评估其每一个新颖性，不仅表现出很大的通用性和可解释性增益，而且还优于大多数最先进的算法。
2020-01-24 cs.LG stat.ML
Incremental Sparse Bayesian Ordinal Regression
University of Amsterdam（阿姆斯特丹大学）
有序回归（OR）旨在对不同数据类别之间的排序信息进行建模，这是多标签学习中的一个重要主题。一类重要的OR方法将问题建模为将特征映射到高维非线性空间的基函数的线性组合。然而，大多数基于基函数的算法是耗时的。我们提出了一种增量稀疏贝叶斯方法或任务，并介绍了一种算法，顺序学习相关的基函数在有序的情况下。我们的方法，称为增量稀疏贝叶斯有序回归（ISBOR），自动优化超参数通过类型II最大似然方法。ISBOR通过利用快速边缘似然优化，可以避免大矩阵求逆，这是将基于基函数的算法应用于大规模数据集上的OR任务的主要瓶颈。我们表明，ISBOR可以作出准确的预测与吝啬的基函数，同时提供自动估计的预测不确定性。在合成数据集和真实数据集上的大量实验证明了ISBOR与其他基于基函数的OR方法相比的效率和有效性。
2018-06-18 cs.LG stat.ML
Bayesian Beta-Bernoulli Process Sparse Coding with Deep Neural Networks
Columbia University（哥伦比亚大学）
对于深度离散潜变量模型，已经提出了几种近似推理方法。然而，非参数的方法，以前已成功地用于经典的稀疏编码模型在很大程度上尚未探索的背景下，深模型。我们提出了一种非参数迭代算法来学习这种深度模型中的离散潜在表示。此外，为了学习尺度不变的离散特征，我们提出了局部数据缩放变量。最后，为了鼓励我们表示的稀疏性，我们提出了一个潜在因素的Beta-Bernoulli过程。我们评估我们的备用编码模型加上不同的似然模型。我们在具有不同特征的数据集上评估我们的方法，并将我们的结果与当前的摊销近似推理方法进行比较。
2023-03-14 cs.LG stat.ML
Sparse Gaussian Processes Revisited: Bayesian Approaches to Inducing-Variable Approximations
EURECOM（欧洲通信与网络研究院）；Aalto University（阿尔托大学）；CSIRO’s Data61（联邦科学与工业研究组织数据61部门）
基于诱导变量的变分推断技术为高斯过程（GP）模型的可伸缩后验估计提供了一个优雅的框架。除了实现可扩展性之外，它们相对于使用直接边际似然最大化的稀疏近似的主要优点之一是，它们为诱导输入（即诱导变量的位置）的点估计提供了鲁棒的替代方案。在这项工作中，我们挑战的共同智慧，优化诱导输入的变分框架产生最佳性能。我们表明，通过重新审视旧的模型近似，例如具有强大的基于采样的推理方法的完全独立的训练条件，以贝叶斯方式处理诱导位置和GP超参数可以显着提高性能。基于随机梯度哈密顿蒙特卡罗，我们开发了一种完全贝叶斯方法来构建可扩展的GP和深度GP模型，并通过几个回归和分类问题的广泛实验活动来展示其最先进的性能。
2021-02-23 cs.LG stat.ML
A Generalized Stochastic Variational Bayesian Hyperparameter Learning Framework for Sparse Spectrum Gaussian Process Regression
Interactive Digital Media Institute（互动数字媒体研究所）；National University of Singapore（新加坡国立大学）
虽然许多研究工作一直致力于基于大数据的诱导变量来扩展稀疏高斯过程（GP）模型，但很少关注利用GP内核的稀疏谱表示的其他较少探索的低秩GP近似类。本文提出了这样的努力，以推进稀疏谱GP模型的最新技术水平，以实现有竞争力的预测性能的大规模数据集。我们的广义框架的随机变分贝叶斯稀疏谱GP（sVBSSGP）模型解决了它们的缺点，采用贝叶斯处理的频谱频率，以避免过度拟合，建模这些频率联合在其变分分布，使他们的相互作用的后验，并利用本地数据提高预测性能。然而，这样的结构改进导致难以优化的变分下限。为了解决这个问题，我们利用变分参数化技巧，使它服从随机最优化。有趣的是，所得到的随机梯度具有线性可分解的结构，可以利用它来改进我们的随机最优化方法，以使每次迭代的时间恒定，同时保持其作为变分下限的精确梯度的无偏估计量的性质。对真实世界数据集的实证评估表明，sVBSSGP优于最先进的稀疏GP模型的随机实现。
2016-11-18 cs.LG stat.ML
Scalable Bayesian Optimization with Sparse Gaussian Process Models
Deakin University（迪肯大学）
该研究围绕贝叶斯优化，提出结合导数信息与可扩展稀疏高斯过程，以加快收敛并处理海量数据。
2020-10-26 cs.IR cs.LG stat.ML
Bayesian sparse convex clustering via global-local shrinkage priors
NTT Advanced Technology Corporation（NTT先进技术公司）；The University of Electro-Communications（电气通信大学）
稀疏凸聚类是在凸聚类框架下对观测值进行聚类的同时进行变量选择。虽然加权$L_1$范数通常用于稀疏凸聚类中的正则化项，但如果样本量不足，则其使用增加了对数据的依赖性并降低了估计精度。针对这些问题，本文提出了一种基于贝叶斯套索和全局-局部收缩先验的贝叶斯稀疏凸聚类方法。我们引入吉布斯抽样算法，我们的方法使用的比例混合正态分布。仿真研究和实际数据分析表明了所提出方法的有效性。
2020-05-26 cs.LG stat.ME stat.ML
Large-Scale Bayesian Tensor Reconstruction via Approximate Message Passing
The University of Hong Kong（香港大学）
本文提出CP-GAMP算法，通过近似消息传递和期望最大化方法，高效解决大规模张量重建问题，提升运行效率并保持重建精度。
2026-09-01 cs.LG eess.SP
Bayesian Reinforcement Learning via Deep, Sparse Sampling
Chalmers University of Technology（查尔姆斯理工大学）；University of Oslo（奥斯陆大学）
我们使用有效的基于模型的在线规划解决贝叶斯强化学习的问题。我们提出了一个无乐观的贝叶斯自适应算法，以诱导更深，更稀疏的探索与理论界的性能相对于贝叶斯最优策略，具有较低的计算复杂性。主要的新颖性是使用候选策略生成器，在规划树中生成长期选项（超过信念），这使我们能够创建更稀疏和更深的树。在不同环境下的实验结果表明，与现有算法相比，该算法不仅在计算效率上更高，而且在离散环境下获得了更高的回报.
2020-06-27 cs.AI cs.LG stat.ML
High-dimensional near-optimal experiment design for drug discovery via Bayesian sparse sampling
Chalmers University of Technology（查尔姆斯理工大学）；AstraZeneca AB（阿斯利康公司）
我们研究的问题进行自动化实验设计的药物筛选，通过贝叶斯推理和优化。特别是，我们比较和对比的线性高斯模型和高斯过程的行为，当与置信上限算法，汤普森采样，或有界水平树搜索。我们表明，非近视的复杂的探索技术，使用稀疏树搜索有一个明显的优势，如汤普森采样或置信上限在这种情况下的方法。我们证明了显着的优越性，该方法比现有的和合成的药物毒性数据集。
2021-04-23 cs.LG q-bio.QM stat.ML
High-dimensional macroeconomic forecasting using message passing algorithms
本文提出了两个不同的贡献，计量经济学分析的大信息集和结构不稳定性。首先，它将一个具有时变系数、随机波动率和外生预测变量的回归模型视为一个具有数千个协变量的等价高维静态回归问题。本说明书中的推理使用贝叶斯分层先验进行，该先验将系数的高维向量缩小到零或时间不变性。其次，它介绍了因素图和消息传递的框架，作为一种手段，设计有效的贝叶斯估计算法。特别是，广义近似消息传递（GAMP）算法推导出具有低算法复杂度，是平凡的并行化。其结果是一个全面的方法，可用于估计随时间变化的参数回归与任意大量的外生预测。在对美国价格通胀的预测中，这种方法表现得非常好。
2020-04-23 econ.EM q-fin.ST stat.ME
Bayesian inference via sparse Hamiltonian flows
University of British Columbia（不列颠哥伦比亚大学）
贝叶斯核心集是数据的一个小的加权子集，在贝叶斯推断期间替换完整的数据集，目的是降低计算成本。虽然过去的工作经验表明，经常存在一个低推理误差的核心集，有效地构建这样的核心集仍然是一个挑战。当前的方法往往速度很慢，需要在核心集构建后进行二次推理步骤，并且不提供数据边缘证据的界限。在这项工作中，我们介绍了一种新的方法-稀疏哈密顿流-解决所有这三个挑战。该方法首先对数据进行均匀子采样，然后优化由核心集权重参数化的哈密顿流，并包括周期性动量准刷新步骤。理论结果表明，该方法能够指数压缩的数据集在一个代表性的模型，和准刷新步骤减少库尔贝克-莱布勒散度的目标。真实的和合成的实验表明，稀疏哈密顿流提供准确的后验近似显着减少运行时间相比，竞争的动态系统为基础的推理方法。
2023-01-12 cs.LG stat.CO stat.ML
A Bayesian Approach to Sparse plus Low rank Network Identification
研究了用稀疏动态贝叶斯网络模型对多元时间序列进行建模的问题。这种结构转化为稀疏加低秩模型。在本文中，我们提出了一个高斯回归方法来识别这样的模型。
2015-09-26 math.OC stat.ML
An Adaptive Empirical Bayesian Method for Sparse Deep Learning
Purdue University（普渡大学）
我们提出了一种新的自适应经验贝叶斯方法用于稀疏深度学习，其中稀疏性通过一类自适应尖峰和板先验来确保。所提出的方法的工作原理是交替采样自适应分层后验分布使用随机梯度马尔可夫链蒙特卡罗（MCMC）和平滑优化超参数使用随机逼近（SA）。在较弱的条件下，我们进一步证明了该方法收敛于渐近正确的分布。所提出的方法的经验应用导致最先进的性能MNIST和时尚MNIST与浅卷积神经网络和最先进的压缩性能CIFAR10与残差网络。该方法还提高了对对抗性攻击的抵抗力。
2020-04-13 cs.LG stat.ME stat.ML
A Bayesian sparse factor model with adaptive posterior concentration
Inha University（仁荷大学）；The University of Notre Dame（圣母大学）；Seoul National University（首尔国立大学）
本文提出一种新的高维稀疏因子模型贝叶斯推断方法，通过引入稀疏水平与因子维数之间的依赖关系，在保持计算可处理性的同时实现自适应后验收缩，并证明其在因子维数检测和协方差矩阵估计上具有最优或近似最优的理论性质与数值优势。
2023-05-29 cs.LG stat.ME stat.ML
Pattern-Coupled Sparse Bayesian Learning for Recovery of Block-Sparse Signals
University of Electronic Science and Technology of China（电子科技大学）；Stevens Institute of Technology（史蒂文斯理工学院）；Schlumberger-Doll Research Center（斯伦贝谢多尔研究中心）
我们考虑的问题，恢复块稀疏信号的结构是未知的\emph{a priori}。块稀疏信号与非零系数发生在集群自然出现在许多实际情况。然而，在实践中，对块结构的知识通常是不可用的。在本文中，我们开发了一个新的稀疏贝叶斯学习方法恢复块稀疏信号与未知的聚类模式。具体地说，模式耦合的分层高斯先验模型被引入来表征系数之间的统计依赖性，其中一组超参数被用来控制信号系数的稀疏性。与传统的稀疏贝叶斯学习框架中每个单独的超参数独立地与每个系数相关联不同，在本文中，每个系数的先验不仅涉及其自身的超参数，而且还涉及其近邻的超参数。通过这种方式，相邻系数的稀疏模式彼此相关，并且分层模型具有鼓励结构化稀疏解决方案的潜力。超参数以及稀疏信号通过期望最大化（EM）算法最大化其后验概率来学习。数值实验结果表明，该算法与现有方法相比具有一致的优越性。
2013-11-09 cs.IT cs.LG math.IT
Approximate Message Passing with Consistent Parameter Estimation and Applications to Sparse Learning
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Polytechnic Institute of New York University（纽约大学理工学院）；University of California, Santa Cruz（加利福尼亚大学圣克鲁兹分校）
我们考虑对i.i.d.（可能是非高斯的）矢量$\xbf \in \R^n$，该矢量来自通过一般级联模型获得的测量值$\ybf \in \R^m$，该一般级联模型包括已知的线性变换，随后是概率分量（可能是非线性的）测量通道。提出了一种新的自适应广义近似消息传递（Adaptive GAMP）方法，该方法能够对先验信道和测量信道的统计信息进行联合学习，并对未知矢量$\xbf$进行估计。该算法是最近开发的EM-GAMP，使用期望最大化（EM）的迭代，在E-步骤中的后验通过近似消息传递计算的推广。该方法可应用于一大类学习问题，包括压缩感知中的稀疏先验的学习或动态系统和神经尖峰过程中的线性-非线性级联模型的识别。我们证明，对于大的i.i.d.高斯变换矩阵的自适应GAMP算法的渐近分量的行为是由一组简单的标量状态演化方程预测。此外，我们表明，当一定的最大似然估计可以在每一步中进行，自适应GAMP方法可以产生渐近一致的参数估计，这意味着该算法实现了重建质量相当于Oracle算法，知道正确的参数值。值得注意的是，这一结果适用于未知分布的基本上任意参数化，包括非线性和非高斯分布。因此，自适应GAMP方法提供了一个系统的，一般的和计算效率高的方法，适用于大范围的复杂的线性非线性模型与可证明的保证。
2012-12-01 cs.IT cs.LG math.IT
Application of Bayesian Hierarchical Prior Modeling to Sparse Channel Estimation
用于稀疏信道估计的现有方法通常提供作为最大化目标函数的解来计算的估计，该目标函数被定义为对数似然函数和与感兴趣的参数的l1范数成比例的惩罚项的和。然而，其他惩罚项已被证明具有很强的稀疏诱导属性。在这项工作中，我们设计了导频辅助信道估计OFDM无线接收机的框架内的稀疏贝叶斯学习，通过定义层次贝叶斯先验模型，导致稀疏诱导惩罚条款。估计的结果作为一个应用程序的变分的消息传递算法的因素图表示的信号模型扩展的分层先验模型。数值结果表明，我们的信道估计相比，传统的和国家的最先进的稀疏方法的优越性能。
2012-04-03 stat.ML
Fast Marginalized Block Sparse Bayesian Learning Algorithm
National University of Defense Technology（国防科技大学）；Samsung R&D Institute America - Dallas（三星美国研究院（达拉斯））
利用信号的稀疏性和相关性，可以提高稀疏信号从噪声、欠定测量中恢复的性能。一种典型的相关结构是块稀疏信号中的块内相关。为了利用这种结构，最近提出了一种称为块稀疏贝叶斯学习（BSBL）的框架。从这个框架衍生的算法表现出优越的性能，但他们不是很快，这限制了他们的应用。这项工作得出了一个有效的算法，从这个框架中，使用边缘化的似然最大化方法。与现有的BSBL算法相比，它具有接近的恢复性能，但要快得多。因此，它更适合于大规模数据集和需要实时实现的应用。
2013-09-29 cs.IT cs.LG math.IT
Fast post-process Bayesian inference with Variational Sparse Bayesian Quadrature
Department of Computer Science, University of Helsinki（赫尔辛基大学计算机科学系）；Department of Statistics, University of Edinburgh（爱丁堡大学统计系）
针对已有大量模型评估却未被传统推断利用的问题，提出后处理贝叶斯推断框架及 VSBQ，通过稀疏 GP 代理、贝叶斯求积与变分推断实现无需额外模型调用的快速高质量后验近似。
2025-07-23 cs.LG stat.CO stat.ME
EP-GIG Priors and Applications in Bayesian Sparse Learning
在本文中，我们提出了一个新的框架，稀疏诱导先验的建设。特别是，我们定义这样的先验混合指数幂分布与广义逆高斯密度（EP-GIG）。EP-GIG是广义双曲分布的一种变体，其特殊情况包括高斯尺度混合和拉普拉斯尺度混合。此外，拉普拉斯尺度的混合物可以subserve的贝叶斯框架稀疏学习与非凸惩罚。EP-GIG的密度可以明确表达。此外，相应的后验分布也遵循广义逆高斯分布。这些属性使我们的期望最大化算法贝叶斯稀疏学习。我们发现，这些算法承担一个有趣的相似之处，迭代重新加权$\ell_2$或$\ell_1$方法。此外，我们提出了两个扩展的分组变量选择和逻辑斯谛回归。
2012-04-19 stat.ML
Sparse Bayesian Unsupervised Learning
本文研究了无监督高维环境下的变量选择、聚类和估计问题。我们的方法是基于拟合约束高斯混合模型，在那里我们学习的集群数量$K$和相关变量$S$的集合使用广义贝叶斯后验与稀疏诱导先验。我们证明了一个稀疏预言不等式，表明该过程选择最佳参数$K$和$S$。该过程使用基于面向聚类的贪婪建议的梅特罗波利斯-黑斯廷斯算法来实现，这使得收敛到后验非常快。
2014-01-30 stat.ML
On Identification of Sparse Multivariable ARX Model: A Sparse Bayesian Learning Approach
University of Cambridge（剑桥大学）；Huazhong University of Science and Technology（华中科技大学）；Cardwell Investment Tech（卡德韦尔投资科技公司）；UC Berkeley（加州大学伯克利分校）
本文提出一种基于稀疏贝叶斯学习的方法，用于识别稀疏多变量ARX模型的布尔结构和节点间动态，无需先验知识，通过最大后验估计结合复杂性和组稀疏性惩罚。
2016-09-30 cs.LG cs.SY eess.SY
Enhancing Off-Grid One-Bit DOA Estimation with Learning-Based Sparse Bayesian Approach for Non-Uniform Sparse Array
本文提出一种学习型稀疏贝叶斯框架，利用展开神经网络自主学习超参数，在单快照一比特离网DOA估计中兼顾精度与效率，适用于均匀及非均匀稀疏阵列。
2024-12-14 eess.SP stat.ML
Bayesian Nonparametrics for Sparse Dynamic Networks
在本文中，我们提出了一个贝叶斯非参数方法来建模稀疏时变网络。一个正参数与网络的每个节点相关联，它模拟了该节点的社交性。社会性被认为是随着时间的推移而发展，并通过一个动态的点过程模型建模。该模型能够捕捉社会性的长期演变。此外，它产生稀疏图，其中边的数量随着节点的数量次二次增长。社会性的演变是由一个易处理的随时间变化的广义伽马过程。我们对模型提供了一些理论见解，并将其应用于三个数据集：模拟网络，Reddit上社区之间的超链接网络，以及9月11日袭击后路透社新闻文章中的词汇共现网络。
2022-04-14 stat.ML
High-Dimensional Sparse Bayesian Learning without Covariance Matrices
Harvard University（哈佛大学）；Massachusetts Institute of Technology（麻省理工学院）；Athinoula A. Martinos Center for Biomedical Imaging（阿瑟努拉·A·马蒂诺斯生物医学成像中心）；Harvard Medical School（哈佛医学院）
稀疏贝叶斯学习（SBL）是解决稀疏编码问题的一个强大框架。然而，最流行的推理算法SBL变得过于昂贵的高维设置，由于需要存储和计算一个大的协方差矩阵。我们引入了一个新的推理方案，避免了显式的协方差矩阵的建设，并行求解多个线性系统，以获得后验矩的SBL。我们的方法耦合一个鲜为人知的对角估计结果，从数值线性代数与共轭梯度算法。在几次模拟中，我们的方法在计算时间和内存方面比现有方法更好，特别是对于能够快速矩阵向量乘法的结构化字典。
2022-02-25 cs.LG eess.SP stat.CO
Simultaneous Block-Sparse Signal Recovery Using Pattern-Coupled Sparse Bayesian Learning
University of Electronic Science and Technology of China（电子科技大学）；China Academy of Engineering Physics（中国工程物理研究院）
在本文中，我们考虑块稀疏信号恢复问题的背景下，多个测量向量（MMV）与共同的行稀疏模式。我们开发了一种新的方法来恢复常见的行稀疏MMV信号，其中模式耦合的分层高斯先验模型被引入到共同的行稀疏MMV信号的系数的块稀疏性和相邻系数之间的统计依赖性的特征。与许多其他方法不同，该方法能够自动捕获未知信号的块稀疏结构。我们的方法是使用期望最大化（EM）的框架。仿真结果表明，该方法在恢复块稀疏共行稀疏模式MMV信号时具有较好的性能。
2017-11-06 cs.IT cs.LG eess.SP
Sparse Bayesian Optimization
Princeton University（普林斯顿大学）；Meta
贝叶斯优化（BO）是一个强大的方法，样本效率优化的黑箱目标函数。然而，BO在推荐系统等领域的应用通常需要考虑配置的可解释性和简单性，这是BO文献中以前没有研究过的设置。为了使BO对这种设置有用，我们提出了几种基于正则化的方法，使我们能够发现稀疏和更可解释的配置。我们提出了一种新的可微松弛同伦连续的基础上，使得它可以直接与$L_0$正则化的目标稀疏。我们确定规则化BO的故障模式，并开发了一种无超参数的方法，稀疏性探索贝叶斯优化（SEBO），旨在同时最大限度地提高目标目标和稀疏性。SEBO和固定正则化的基础上的方法进行评估合成和现实世界的问题，我们表明，我们能够有效地优化稀疏性。
2023-03-03 cs.AI cs.LG math.OC
Learning Large-Scale Bayesian Networks with the sparsebn Package
University of California Los Angeles（加州大学洛杉矶分校）
从数据中学习图形模型是一个重要的问题，具有广泛的应用，从基因组学到社会科学。如今的数据集通常有上千个--有时是数万或数十万个--变量和更少的样本。为了应对这一挑战，我们开发了一个新的R包，称为sparsebn，用于学习大型稀疏图形模型的结构，重点是贝叶斯网络。虽然有许多现有的软件包用于此任务，但此软件包侧重于从高维数据中学习大型网络的独特设置，可能需要干预。因此，所提供的方法在高维环境中重视可伸缩性和一致性。此外，在存在干预措施的情况下，这里实施的方法实现了从数据中学习因果网络的目标。此外，sparsebn软件包与现有的网络分析软件包完全兼容。
2018-03-10 cs.LG stat.CO stat.ME
Optimal sparse phase retrieval via a quasi-Bayesian approach
Norwegian Institute of Public Health（挪威公共卫生研究院）
针对需仅用变换幅度重建信号的稀疏相位恢复问题，提出新型稀疏准贝叶斯方法，以缩放Student分布为收缩先验，通过PAC-贝叶斯框架分析，实现极小极大最优收敛率，为噪声环境下的该问题提供有原则的替代方案。
2025-04-13 cs.LG math.ST stat.ME
A Fast Iterative Bayesian Inference Algorithm for Sparse Channel Estimation
本文提出了一种基于导频符号观测值的多载波贝叶斯信道估计算法。利用无线多径信道固有的稀疏性，通过建模多径分量的增益的先验分布与Bessel K概率密度函数的分层表示，然后将一种高效，快速的迭代贝叶斯推断方法应用于所提出的模型。由此产生的估计优于其他国家的最先进的贝叶斯和非贝叶斯估计，无论是通过产生较低的均方估计误差或通过达到相同的精度与改进的收敛速度，如我们的数值评估。
2013-03-06 cs.IT math.IT stat.ML
Bayesian Sparse Covariance Structure Analysis for Correlated Count Data
The University of Electro-Communications（电气通信大学）；National Police Agency Info-Communications Bureau（警察厅信息通信局）
在本文中，我们提出了一个贝叶斯图LASSO相关的可数数据，并将其应用于空间犯罪数据。在所提出的模型中，我们假设一个高斯图形模型的潜变量，占主导地位的潜在犯罪风险。为了评估所提出的模型，我们确定了更好地代表样本的最佳超参数。我们应用所提出的模型估计的稀疏逆协方差的潜在变量和评估的部分相关系数。最后，我们说明了犯罪现场数据的结果，并考虑估计的潜在变量和部分相关系数的稀疏逆协方差。
2020-06-05 cs.LG stat.ME
Nonparametric Bayesian Sparse Graph Linear Dynamical Systems
提出了一种非参数贝叶斯稀疏图线性动力系统（SGLDS），用于对序列观测的多元数据进行建模。SGLDS使用Bernoulli-Poisson链接和伽马过程来生成一个无限维稀疏随机图来模拟状态转换。根据图亲和矩阵的相应行和列的稀疏模式，SGLDS的潜在状态可以被分类为非动态状态或动态状态。一个正常的伽玛结构被用来缩小非动态状态所捕获的能量，而动态状态可以被进一步分类为活的，吸收，或噪声注入状态，其捕获的基础时间序列的不同类型的动态分量。SGLDS的国家的最先进的性能证明与合成和真实数据的实验。
2018-02-21 stat.ME stat.ML
Iterative Bayesian Reconstruction of Non-IID Block-Sparse Signals
提出了一种新的块迭代贝叶斯算法（Block-IBA），用于重构具有未知块结构的块稀疏信号。与现有的用于块稀疏信号恢复的算法不同，现有的算法假设未知信号的非零元素的簇结构是独立同分布的（i.i.d.），我们使用更现实的Bernoulli-Gaussian隐马尔可夫模型（BGHMM）来表征非独立同分布。在实践中经常遇到的块稀疏信号。块IBA迭代估计块稀疏信号的幅度和位置使用最陡上升的期望最大化（EM），并通过自适应阈值最优地选择块稀疏信号的非零元素。分析并证明了Block-IBA算法的全局收敛性，并通过数值实验和模拟仿真验证了Block-IBA算法的有效性。
2014-12-07 cs.IT math.IT stat.ML
Bayesian orthogonal component analysis for sparse representation
本文讨论了确定一个低维空间，观察到的数据可以稀疏表示的问题。这个不完全字典学习任务可以被公式化为稀疏源与未知正交混合矩阵线性混合的盲分离问题。这个问题是制定在贝叶斯框架。首先，未知稀疏源被建模为Bernoulli-Gaussian过程。为了提高稀疏性，提出了一个原子在零和高斯分布的加权混合作为未观测源的先验分布。一个无信息的先验分布定义在一个适当的Stiefel流形被选为混合矩阵。使用马尔可夫链蒙特卡罗（MCMC）方法对未知参数进行贝叶斯推断。设计了一个部分塌陷Gibbs抽样器，根据未知模型参数和超参数的联合后验分布生成渐近分布的样本。然后，这些样本被用来近似的联合最大后验估计的源和混合矩阵。模拟合成数据进行报告，以说明该方法的性能恢复稀疏表示。最后研究了欠完备字典在稀疏编码中的应用。
2010-01-04 stat.ME stat.ML
Hierarchical sparse Bayesian learning: theory and application for inferring structural damage from incomplete modal data
由于过度载荷或环境退化而造成的结构损坏通常发生在没有倒塌的局部区域。利用这种先验信息的空间稀疏的结构损伤的层次稀疏贝叶斯学习框架的目标是减少源的病态的刚度损失反演问题的损伤检测。稀疏贝叶斯学习方法自动从一组潜在的候选者中修剪掉不相关或不活动的特征，因此它们是用于产生稀疏解释子集的有效概率工具。我们以前已经提出了这样一种方法来建立局部刚度降低的概率，作为一个代理的损害，通过使用噪声不完整的模态数据之前和之后可能的损害。核心思想集中在一个特定的分层贝叶斯模型，促进空间稀疏的推断刚度减少的方式是一致的贝叶斯奥卡姆剃刀。在本文中，我们改进了我们以前提出的稀疏贝叶斯学习方法的理论，消除了近似，更重要的是，纳入了对刚度增加的约束。我们的方法有许多吸引人的功能，总结在本文的最后。我们验证的方法，将其应用到第二阶段的模拟和实验基准研究主办的IASC-ASCE工作组的结构健康监测。结果表明，该方法可以通过识别出的模态参数推断出结构的刚度损失，从而可靠地检测、定位和评估结构的损伤。有效地抑制了遗漏和错误损坏警报的发生。
2015-03-21 stat.AP stat.ME stat.ML
Posterior Impropriety of some Sparse Bayesian Learning Models
稀疏贝叶斯学习模型通常用于预测数据集的协变量数量显著大于观测值。这种模型通常采用再生核希尔伯特空间（RKHS）方法来执行预测任务，并且可以使用适当或不适当的先验来实现。在这篇文章中，我们表明，在文献中的一些稀疏贝叶斯学习模型，当使用不正确的先验，导致不正确的后验。
2021-06-19 math.ST stat.TH
Bayesian System Identification based on Hierarchical Sparse Bayesian Learning and Gibbs Sampling with Application to Structural Damage Assessment
本文的重点是贝叶斯系统识别噪声不完整的模态数据的基础上，我们可以在更新结构模型时施加空间稀疏刚度的变化。为此，基于我们以前的工作类似的层次稀疏贝叶斯学习模型，我们提出了两个吉布斯抽样算法。这两种算法处理方程误差精度参数后验不确定性的策略不同，但都是从结构刚度参数和系统模态参数的条件后验概率密度函数（PDF）中采样。吉布斯抽样的有效维数较低，因为迭代采样仅从对应于三个参数组的三个条件后验PDF中完成，同时从其中一个算法中的另一个条件后验PDF中对方程误差精度参数进行采样，其中方程误差精度参数未被整合为“滋扰”参数。从计算的角度来看，一个很好的特点是，它是没有必要解决一个结构模型的非线性特征值问题。所提出的算法的有效性和鲁棒性说明将它们应用到IASE ASCE第二阶段的模拟和实验基准研究。我们的目标是使用不完整的模态数据识别之前和之后可能的损害，以检测和评估空间稀疏的刚度降低引起的任何损害。我们过去和现在的重点是满足所产生的挑战，从贝叶斯推断的结构刚度服务，以加强基于振动的结构系统识别的能力，但我们的方法也有更广泛的适用性，在科学和技术的逆问题，系统矩阵是从噪声的部分信息推断其特征量。
2017-01-13 stat.AP stat.ME stat.ML
Bayesian sparse reconstruction: a brute-force approach to astronomical imaging and machine learning
我们提出了一个原则性的贝叶斯信号重建框架，其中信号由基函数建模，基函数的数量（和形式，如果需要的话）由数据本身确定。这种方法是基于传统的稀疏重建和正则化技术的贝叶斯解释，其中稀疏性是通过先验贝叶斯模型选择。我们证明了我们的方法的噪声1-和2维信号，包括天文图像。此外，通过使用乘积空间方法，基函数的数量和类型可以被视为整数参数，其后验分布直接采样。我们表明，数量级的增加，计算效率是可能的，从这种技术相比，分别计算贝叶斯证据，进一步的计算收益是可能的，使用它与动态嵌套抽样相结合。我们的方法也可以很容易地应用于神经网络，它允许网络架构由数据确定的原则贝叶斯的方式，通过处理节点和隐藏层的数量作为参数。
2018-11-25 astro-ph.IM stat.ME stat.ML
Nonparametric Bayesian sparse factor models with application to gene expression modeling
University of Cambridge（剑桥大学）
提出了一种非参数贝叶斯扩展因子分析（FA），其中观测数据$\mathbf{Y}$被建模为潜在无穷多个隐藏因子$\mathbf{X}$的线性叠加$\mathbf{G}$。印度自助餐过程（IBP）被用作$\mathbf{G}$的先验，以纳入稀疏性，并允许推断潜在特征的数量。该模型的效用建模基因表达数据的研究使用随机生成的数据集的基础上，一个已知的稀疏连接矩阵E。大肠杆菌，并对三个生物数据集的日益复杂。
2011-07-28 cs.AI stat.AP stat.ML
A Fast Non-Gaussian Bayesian Matching Pursuit Method for Sparse Reconstruction
提出了一种基于贝叶斯方法的快速匹配追踪稀疏信号恢复方法。该方法被称为nGpFBMP，即使当信号先验是非高斯或未知时，也执行稀疏信号的贝叶斯估计。它是不可知的信号统计，并利用先验统计的加性噪声和稀疏率的信号，这是很容易估计的数据，如果没有。nGpFBMP利用一个贪婪的方法和顺序递归更新的度量，找到最主要的稀疏支持，以确定近似的最小均方误差（MMSE）估计的稀疏信号。仿真结果表明，我们提出的估计的权力和鲁棒性。
2012-06-19 stat.OT
Sparse Functional Data Classification via Bayesian Aggregation
针对稀疏函数型数据分类难题，提出融合 FPCA、bootstrap 概率聚合与 Bayesian GLM 贝叶斯校准的方法，模拟和三项真实数据分析均验证其准确率优于传统方法。
2025-03-13 stat.CO
PAC-Bayesian Estimation and Prediction in Sparse Additive Models
本文研究稀疏性假设下高维可加模型的估计和预测问题（$p\gg n$范式）。研究了一种PAC-Bayesian策略，给出了概率上的预言不等式.通过最近的成果在高维MCMC算法的实施，我们的方法的性能进行评估模拟数据。
2013-02-01 math.ST stat.ME stat.TH
Bayesian model choice and information criteria in sparse generalized linear models
我们考虑高维广义线性模型中的贝叶斯模型选择，协变量p的数量相对于样本量n较大，但稀疏的是，与p相比，活动协变量的数量较小。将协变量视为随机变量，并采用p随n增加的渐近情景，我们表明，贝叶斯模型选择使用一定的先验模型的集合是渐近等价的选择模型使用扩展的贝叶斯信息准则。此外，我们证明了最小的真模型是由这两种方法的概率趋于1。在解决了随机协变量后，我们还能够为高维稀疏图形建模的伪似然方法给出一致性结果。真实数据的实验表明，良好的性能的扩展贝叶斯信息准则的回归和图形模型。
2011-12-23 math.ST stat.TH
Effectiveness of sparse Bayesian algorithm for MVAR coefficient estimation in MEG/EEG source-space causality analysis
Tokyo Metropolitan University（东京都立大学）；Golden Metallic Inc.（金色金属公司）；University of California, San Francisco（旧金山加利福尼亚大学）
本文通过计算机实验评估稀疏贝叶斯算法在强背景干扰下估计多元自回归系数的有效性，发现其虽对干扰不敏感但会降低真实因果关系的可检测性。
2012-11-14 cs.NA math.NA stat.AP
Unified Bayesian theory of sparse linear regression with nuisance parameters
研究了高维高斯稀疏回归中含有未知冗余参数时贝叶斯过程的频率论渐近性质。冗余参数可以是有限维、高维或无限维的。零点质量和连续分布的混合用于稀疏回归系数的先验分布，并将适当的先验分布用于冗余参数。稀疏回归系数的最佳后验收缩，阻碍了冗余参数的存在，也检查和讨论。结果表明，该过程产生强大的模型选择的一致性。稀疏回归系数的Bernstein-vonMises型定理也得到了不确定性量化通过可信集与保证频率覆盖。许多例子的渐近性质进行了研究，使用本研究中开发的理论。
2021-02-17 math.ST stat.TH
On The Sparse Bayesian Learning Of Linear Models
本文对Tipping（2001）的线性回归模型的稀疏贝叶斯学习（SBL）在高维环境下进行了重新检验。我们提出了一个硬阈值版本的SBL估计，实现，正交设计矩阵，非渐近估计误差率的$σ\sqrt{s\log p}/\sqrt{n}$，其中$n$是样本量，$p$回归变量的数量，$σ$是回归模型的标准差，和$s$的非零回归系数的数量。我们还建立了高概率的估计识别非零回归系数。在我们的模拟中，我们发现当要恢复的信号很强时，稀疏贝叶斯学习回归的性能优于套索（Tibshirani（1996））。
2015-02-11 stat.ME
Bayesian Sparse Global-Local Shrinkage Regression for Selection of Grouped Variables
惩罚线性回归的大多数估计可以被视为适当选择先验分布的后验模式。贝叶斯收缩方法，特别是马蹄估计，近年来在估计稀疏、高维线性模型的问题中引起了极大的关注。本文扩展了这些想法，并提出了一个贝叶斯分组模型与连续的全局-局部收缩先验来处理复杂的组层次结构，包括重叠和多级组结构。由于后验均值从来不是线性模型系数的稀疏估计，我们将最近提出的解耦收缩和选择（DSS）技术的问题，从后验样本中选择变量组。为了选择一个最终的，稀疏的模型，我们还适应广义信息标准的方法的DSS框架。为了确保稀疏组，其中只有少数预测是活跃的，可以有效地识别，我们提供了一个替代度的自由估计稀疏贝叶斯线性模型，考虑到收缩的影响模型系数。模拟和实际数据分析，使用我们提出的方法显示出良好的性能，在正确识别的活动和不活动的群体，预测，与贝叶斯分组板和穗的方法相比。
2017-11-03 stat.ME
Multi Snapshot Sparse Bayesian Learning for DOA Estimation
利用稀疏贝叶斯学习（SBL）方法，从多快拍传感器阵列数据中估计平面波的到达方向（DOA）。先验源振幅假设为独立的零均值复高斯分布，超参数为未知方差（即源功率）。对于超参数为未知噪声方差的复高斯似然，导出了相应的高斯后验分布。对于给定数量的DOA，通过最大化证据自动选择超参数，并促进稀疏DOA估计。讨论了SBL DOA估计方法，并与LASSO（$\ell_1$ -正则化）、常规波束形成和MUSIC方法进行了比较
2016-02-29 cs.IT math.IT math.ST
Structure-Based Bayesian Sparse Reconstruction
稀疏信号重构算法因其在各个领域的广泛应用而受到研究者的关注。在本文中，我们提出了一个简单的贝叶斯方法，利用稀疏约束和先验统计信息（高斯或其他），以获得接近最优的估计。此外，我们利用在许多信号处理应用中遇到的感测矩阵的丰富结构来开发一个快速稀疏恢复算法。该算法的计算复杂性相对较低，与广泛使用的凸松弛法以及贪婪匹配追踪技术相比，特别是在低稀疏率。
2012-07-16 math.ST stat.TH
