Optimal sparse phase retrieval via a quasi-Bayesian approach
Norwegian Institute of Public Health（挪威公共卫生研究院）
针对需仅用变换幅度重建信号的稀疏相位恢复问题，提出新型稀疏准贝叶斯方法，以缩放Student分布为收缩先验，通过PAC-贝叶斯框架分析，实现极小极大最优收敛率，为噪声环境下的该问题提供有原则的替代方案。
2025-04-13 cs.LG math.ST stat.ME
Sparse Bayesian Optimization
Princeton University（普林斯顿大学）；Meta
贝叶斯优化（BO）是一个强大的方法，样本效率优化的黑箱目标函数。然而，BO在推荐系统等领域的应用通常需要考虑配置的可解释性和简单性，这是BO文献中以前没有研究过的设置。为了使BO对这种设置有用，我们提出了几种基于正则化的方法，使我们能够发现稀疏和更可解释的配置。我们提出了一种新的可微松弛同伦连续的基础上，使得它可以直接与$L_0$正则化的目标稀疏。我们确定规则化BO的故障模式，并开发了一种无超参数的方法，稀疏性探索贝叶斯优化（SEBO），旨在同时最大限度地提高目标目标和稀疏性。SEBO和固定正则化的基础上的方法进行评估合成和现实世界的问题，我们表明，我们能够有效地优化稀疏性。
2023-03-03 cs.AI cs.LG math.OC
Learning Dynamical Systems from Multiple Sparse Datasets: A Hierarchical Bayesian Modeling Approach
SUPSI, Dalle Molle Institute for Artificial Intelligence (IDSIA USI-SUPSI), Lugano, Switzerland（瑞士南方应用科技大学，达勒莫尔人工智能研究所（IDSIA USI-SUPSI），卢加诺，瑞士）
提出层次贝叶斯框架，通过共享种群分布建模多个稀疏、含噪、不规则采样数据集，结合ODE求解器和梯度MCMC实现高效后验推断，提升预测性能。
2026-06-25 cs.LG
EigenNet: A Bayesian hybrid of generative and conditional models for sparse learning
Purdue University（普渡大学）
在高维空间中选择相关变量是一个具有挑战性的任务。为了应对这一挑战，人们开发了弹性网，并成功应用于许多应用。尽管弹性网络取得了巨大的成功，但它并没有明确地使用数据中嵌入的相关信息来选择相关变量。为了克服这一局限性，我们提出了一种新的贝叶斯混合模型，特征网，使用数据的特征结构来指导变量选择。具体来说，它集成了一个稀疏的条件分类模型与生成模型捕捉变量的相关性在一个原则性的贝叶斯框架。我们重新参数化的混合模型的特征空间，以避免过度拟合，并提高其MCMC采样器的计算效率。此外，我们从正则化的角度提供了一个替代的观点的特征网络：特征网络有一个自适应的基于特征空间的复合正则化，自然推广的$l_{1/2}$正则化所使用的弹性网络。对合成数据和真实数据的实验表明，特征网在预测精度方面明显优于套索、弹性网和贝叶斯套索，特别是当训练样本数小于变量数时。
2011-02-08 cs.LG
A Bayesian Lasso based Sparse Learning Model
University of Bergen（卑尔根大学）
贝叶斯套索是在线性回归框架下构造的，并应用吉布斯抽样来估计回归参数。本文提出了一种新的稀疏学习模型，命名为贝叶斯套索稀疏（BLS）模型，它采取了贝叶斯套索的分层模型公式。与原始贝叶斯套索的主要区别在于估计过程; BLS方法使用基于类型II极大似然过程的学习算法。与贝叶斯套索相反，BLS提供了回归参数的稀疏估计。通过引入核函数，得到了非线性监督学习问题的BLS方法。我们比较了BLS模型，众所周知的相关向量机，快速拉普拉斯方法，BLS套索，套索，模拟和真实数据。数值结果表明，该算法具有稀疏性和精确性，特别是在处理噪声和不规则数据集时。
2022-07-14 cs.LG stat.ML
Parsimony-Enhanced Sparse Bayesian Learning for Robust Discovery of Partial Differential Equations
Arizona State University（亚利桑那州立大学）
稳健物理发现在许多科学和工程领域都具有重要意义。受代表模型尽可能简单原则的启发，提出了一种兼顾模型简约性和稀疏性的模型选择准则。提出了一种用于发现非线性动力系统控制偏微分方程的简约增强稀疏贝叶斯学习（PeSBL）方法。与传统的稀疏贝叶斯学习（SBL）方法相比，PeSBL方法除了提高学习模型的稀疏性外，还提高了学习模型的简约性。在该方法中，模型项的简约性使用它们在规定的候选库中的位置来评估，首次考虑到多项式的幂和空间导数的阶增加的复杂性。随后，通过贝叶斯推断与原始数据更新模型参数。该过程旨在减少与稀疏回归之前的数据预处理和数值微分中可能的信息丢失相关的误差。数值算例的结果表明，许多规范动力系统的偏微分方程可以正确地识别使用建议的PeSBL方法从高噪声数据（高达50%，在目前的研究）。接下来，所提出的方法被扩展为随机PDE学习，其中所有参数和建模误差被认为是随机变量。层次贝叶斯推理（HBI）集成了从人口的观察随机PDE学习的建议框架。最后，所提出的PeSBL证明了系统响应预测的不确定性和异常诊断。本研究中所有示例的代码可在网站上获得：https://github.com/ymlasu。
2021-07-08 cs.LG
Fully Bayesian Autoencoders with Latent Sparse Gaussian Processes
EURECOM（欧洲通信研究院）；University of California, Irvine（加州大学欧文分校）
自动编码器及其变体是表示学习和生成建模中使用最广泛的模型之一。然而，基于自动编码器的模型通常假设学习的表示是i.i.d.。并且不能捕获数据样本之间的相关性。为了解决这个问题，我们提出了一种新的稀疏高斯过程贝叶斯自动编码器（SGPAE）模型，在该模型中，我们对贝叶斯自动编码器的潜在空间施加完全贝叶斯稀疏高斯过程先验。我们通过随机梯度Hamilton Monte Carlo对该模型进行后验估计。我们在广泛的表示学习和生成建模任务上定性和定量地评估了我们的方法，并表明我们的方法始终优于依赖于变分自编码器的多个替代方案。
2023-02-09 cs.LG stat.ML
SPP-SBL: Space-Power Prior Sparse Bayesian Learning for Block Sparse Recovery
LMIB of the Ministry of Education, School of Mathematical Sciences, Beihang University（北京航空航天大学数学科学学院教育部数学、信息与行为重点实验室）
本文提出SPP-SBL方法，通过空间功率先验和EM算法结合高阶方程求解，解决块稀疏信号结构未知的恢复问题，提升恢复精度。
2026-04-10 cs.LG math.OC
Scalable Bayesian Optimization with Sparse Gaussian Process Models
Deakin University（迪肯大学）
该研究围绕贝叶斯优化，提出结合导数信息与可扩展稀疏高斯过程，以加快收敛并处理海量数据。
2020-10-26 cs.IR cs.LG stat.ML
Sparse Signal Recovery with Temporally Correlated Source Vectors Using Sparse Bayesian Learning
University of California at San Diego（加州大学圣地亚哥分校）
当解矩阵的每个非零行中的元素在时间上相关时，我们在多个测量向量（MMV）的上下文中解决稀疏信号恢复问题。现有的算法不考虑这种时间相关性，因此它们的性能显着降低的相关性。在这项工作中，我们提出了一个块稀疏贝叶斯学习框架，模型的时间相关性。在这个框架中，我们推导出两个稀疏贝叶斯学习（SBL）算法，具有优越的恢复性能相比，现有的算法，特别是在存在高的时间相关性。此外，我们的算法更好地处理高度欠定问题，并要求更少的行稀疏的解决方案矩阵。我们还提供了其成本函数的全局和局部最小值的分析，并表明，SBL成本函数具有非常理想的性质，即全局最小值是在稀疏解的MMV问题。大量的实验也提供了一些有趣的结果，激励未来的理论研究MMV模型。
2011-08-17 cs.LG stat.ML
Bayesian Sparse Covariance Structure Analysis for Correlated Count Data
The University of Electro-Communications（电气通信大学）；National Police Agency Info-Communications Bureau（警察厅信息通信局）
在本文中，我们提出了一个贝叶斯图LASSO相关的可数数据，并将其应用于空间犯罪数据。在所提出的模型中，我们假设一个高斯图形模型的潜变量，占主导地位的潜在犯罪风险。为了评估所提出的模型，我们确定了更好地代表样本的最佳超参数。我们应用所提出的模型估计的稀疏逆协方差的潜在变量和评估的部分相关系数。最后，我们说明了犯罪现场数据的结果，并考虑估计的潜在变量和部分相关系数的稀疏逆协方差。
2020-06-05 cs.LG stat.ME
Bayesian Inference in Sparse Gaussian Graphical Models
University of Edinburgh（爱丁堡大学）；Pharmatics Ltd（Pharmatics有限公司）
科学的基本任务之一是在观察到的现象之间找到可解释的关系。这一任务的一种方法，近年来受到关注的是基于概率图形模型与稀疏约束的模型结构。在本文中，我们描述了两种新的方法来贝叶斯推断稀疏结构的高斯图模型（GGM）。一个是基于一个简单的修改的尖端块吉布斯采样器稀疏GGM，这导致显着的计算增益在高维。另一种方法是基于哈密顿蒙特卡罗采样器的一个特定的结构，这导致进一步的显着改善。我们比较了我们的完全贝叶斯方法与流行的基于规则的图形LASSO，并在相同的计算成本下证明了贝叶斯处理的显着优势。我们将这些方法应用于广泛的模拟数据集和真实的金融数据集。
2013-09-27 cs.LG stat.ML
The Annealing Sparse Bayesian Learning Algorithm
在本文中，我们提出了一个两级分层贝叶斯模型和退火时间表，重新启用噪声方差学习能力的快速边缘化稀疏贝叶斯学习算法。由于退火技术的引入，使得NMSE和F-measure等性能得到了很大的提高。该算法在中等信噪比的情况下产生最稀疏的解，并且在计算量较小的情况下性能优于大多数并发SBL算法。
2013-05-01 cs.IT cs.LG math.IT
Inducing Point Allocation for Sparse Gaussian Processes in High-Throughput Bayesian Optimisation
稀疏高斯过程是高吞吐量贝叶斯优化（BO）循环的关键组成部分，然而，我们发现，现有的方法分配其诱导点严重妨碍优化性能。通过利用确定性点过程的质量多样性分解，我们提出了第一个专门为BO设计的诱导点分配策略。与现有的方法，只寻求减少目标函数的全局不确定性，我们的方法提供了精确优化所需的有前途的区域的本地高保真度建模。更一般地说，我们证明了我们提出的框架提供了一种灵活的方式来分配稀疏模型的建模能力，因此适合广泛的下游顺序决策任务。
2023-02-23 cs.LG stat.ML
Bayesian sparse convex clustering via global-local shrinkage priors
NTT Advanced Technology Corporation（NTT先进技术公司）；The University of Electro-Communications（电气通信大学）
稀疏凸聚类是在凸聚类框架下对观测值进行聚类的同时进行变量选择。虽然加权$L_1$范数通常用于稀疏凸聚类中的正则化项，但如果样本量不足，则其使用增加了对数据的依赖性并降低了估计精度。针对这些问题，本文提出了一种基于贝叶斯套索和全局-局部收缩先验的贝叶斯稀疏凸聚类方法。我们引入吉布斯抽样算法，我们的方法使用的比例混合正态分布。仿真研究和实际数据分析表明了所提出方法的有效性。
2020-05-26 cs.LG stat.ME stat.ML
A Stochastic Variance-Reduced Coordinate Descent Algorithm for Learning Sparse Bayesian Network from Discrete High-Dimensional Data
K. N. Toosi University of Technology（K.N.托西理工大学）；Polytechnique Montréal（蒙特利尔理工学院）
研究了从高维离散数据中学习稀疏结构贝叶斯网络的问题。与连续贝叶斯网络相比，离散贝叶斯网络的学习是一个具有挑战性的问题，由于大的参数空间。虽然已经开发了许多方法来学习连续贝叶斯网络，很少有方法已经提出了离散的。在本文中，我们解决学习贝叶斯网络作为一个优化问题，并提出了一个得分函数，保证学习的结构是一个稀疏的有向无环图。此外，我们还实现了一个分块随机坐标下降算法来优化得分函数。具体来说，我们在优化算法中使用了方差减少方法，使算法有效地处理高维数据。所提出的方法适用于合成数据从著名的基准网络。所构建的网络的质量，可扩展性和鲁棒性进行测量。与一些有竞争力的方法相比，结果表明，我们的算法优于一些众所周知的方法。
2022-09-24 cs.LG stat.ML
Block Sparse Bayesian Learning: A Diversified Scheme
School of Mathematical Sciences, Beihang University（北京航空航天大学数学科学学院）
针对现有块稀疏学习方法对预定义块信息敏感的问题，提出基于多样化块稀疏先验的DivSBL方法，结合EM算法与对偶上升法估计超参数，建立最优性理论，实验证明其性能优于现有算法。
2024-10-30 cs.LG math.OC
Sparse Bayesian Correntropy Learning for Robust Muscle Activity Reconstruction from Noisy Brain Recordings
School of Computing, Tokyo Institute of Technology（东京技术大学计算机学院）
针对脑记录中非高斯噪声导致稀疏贝叶斯学习性能下降的问题，本文提出将最大相关熵准则融入稀疏贝叶斯学习，实现稳健与稀疏兼顾的肌肉活动重建，并在合成和真实数据上验证了其优越性。
2024-04-01 cs.LG eess.SP q-bio.NC
Robust Sparse Bayesian Learning Based on Minimum Error Entropy for Noisy High-Dimensional Brain Activity Decoding
Department of Computational Brain Imaging, ATR Neural Information Analysis Laboratories（计算脑成像部门，ATR神经信息分析实验室）
研究旨在构建鲁棒稀疏贝叶斯学习框架解决噪声高维脑电活动解码问题。基于最小误差熵学习准则，在广义贝叶斯范式下重构框架，所提算法在解码任务中性能更优且模式更具生理可解释性。
2026-07-07 cs.LG eess.SP
Accelerated Sparse Bayesian Learning via Screening Test and Its Applications
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
在高维环境中，稀疏结构对于存储器和计算复杂度方面的效率至关重要。对于一个线性系统，直接寻找具有过完备特征字典的稀疏解通常是NP困难的，因此应该考虑替代的近似方法。在本文中，我们选择的替代方法是稀疏贝叶斯学习，作为经验贝叶斯方法，它使用参数化的先验来鼓励解决方案中的稀疏性，而不是具有固定先验的其他方法，如LASSO。而筛选测试的目的是快速识别出一个特征子集，其系数在最优解中保证为零，然后可以安全地从完整的字典中删除，以获得更小，更容易解决的问题。接下来，我们解决较小的问题，之后可以通过用零填充较小的解决方案来恢复原始问题的解决方案。所提出的方法的性能将在各种数据集和应用程序进行检查。
2020-07-08 cs.LG stat.ML
A GAMP Based Low Complexity Sparse Bayesian Learning Algorithm
University of California, San Diego（加利福尼亚大学圣地亚哥分校）；The Ohio State University（俄亥俄州立大学）
在本文中，我们提出了一种算法的稀疏信号恢复问题，将阻尼高斯广义近似消息传递（GGAMP）的期望最大化（EM）为基础的稀疏贝叶斯学习（SBL）。特别是，GGAMP用于在SBL中实现E步，代替矩阵求逆，利用GGAMP保证以适当的阻尼收敛的事实。GGAMP-SBL算法比标准阻尼GAMP算法对任意测量矩阵$\boldsymbol{A}$具有更强的鲁棒性，同时比标准SBL算法具有更低的复杂度。然后，我们扩展的方法从单测量矢量（SMV）的情况下，时间相关的多个测量矢量（MMV）的情况下，导致GGAMP-TSBL算法。我们通过数值实验验证了所提出的算法的鲁棒性和计算优势。
2017-10-08 cs.LG stat.ML
Low Complexity Approximate Bayesian Logistic Regression for Sparse Online Learning
Google（谷歌）；Purdue University（普渡大学）
理论结果表明，贝叶斯方法可以实现在线逻辑回归的遗憾下界。然而，在实践中，这种技术可能不可行，特别是对于非常大的特征集。对于巨大的稀疏特征集，必须使用各种近似，从而减少理论上的优势。通常，他们应用随机梯度方法，超参数必须根据一些替代损失进行调整，从而击败贝叶斯方法的理论优势。替代损失，定义为近似的混合，需要的技术，如蒙特卡罗抽样，增加每个例子的计算。我们提出了低复杂度的分析近似稀疏在线逻辑和概率回归。与变分推理和其他方法不同，我们的方法使用解析闭合形式，大大降低了计算量。与密集的解决方案不同，作为高斯混合，我们的方法允许具有巨大特征集的稀疏问题，而不会增加复杂性。使用解析闭合形式，也不需要对代理损失应用随机梯度方法，也不需要调整和平衡学习和正则化超参数。经验结果顶部的性能更涉及计算的方法。像这样的方法，我们的方法仍然揭示每个功能和每个例子的不确定性措施。
2021-01-28 cs.LG stat.ML
Incremental Sparse Bayesian Ordinal Regression
University of Amsterdam（阿姆斯特丹大学）
有序回归（OR）旨在对不同数据类别之间的排序信息进行建模，这是多标签学习中的一个重要主题。一类重要的OR方法将问题建模为将特征映射到高维非线性空间的基函数的线性组合。然而，大多数基于基函数的算法是耗时的。我们提出了一种增量稀疏贝叶斯方法或任务，并介绍了一种算法，顺序学习相关的基函数在有序的情况下。我们的方法，称为增量稀疏贝叶斯有序回归（ISBOR），自动优化超参数通过类型II最大似然方法。ISBOR通过利用快速边缘似然优化，可以避免大矩阵求逆，这是将基于基函数的算法应用于大规模数据集上的OR任务的主要瓶颈。我们表明，ISBOR可以作出准确的预测与吝啬的基函数，同时提供自动估计的预测不确定性。在合成数据集和真实数据集上的大量实验证明了ISBOR与其他基于基函数的OR方法相比的效率和有效性。
2018-06-18 cs.LG stat.ML
Bayesian Reinforcement Learning via Deep, Sparse Sampling
Chalmers University of Technology（查尔姆斯理工大学）；University of Oslo（奥斯陆大学）
我们使用有效的基于模型的在线规划解决贝叶斯强化学习的问题。我们提出了一个无乐观的贝叶斯自适应算法，以诱导更深，更稀疏的探索与理论界的性能相对于贝叶斯最优策略，具有较低的计算复杂性。主要的新颖性是使用候选策略生成器，在规划树中生成长期选项（超过信念），这使我们能够创建更稀疏和更深的树。在不同环境下的实验结果表明，与现有算法相比，该算法不仅在计算效率上更高，而且在离散环境下获得了更高的回报.
2020-06-27 cs.AI cs.LG stat.ML
Bayesian Sparse Low-Rank Adaptation for Large Language Model Uncertainty Estimation
School of Artificial Intelligence, Jilin University（吉林大学人工智能学院）；Michigan State University（密歇根州立大学）
提出DALorRA，一种变分贝叶斯稀疏框架，通过随机掩码低秩适应中的秩维度实现模型容量正则化和校准，在不牺牲推理精度下提升LLM校准性能。
2026-09-01 cs.CL cs.LG
Training Bayesian Neural Networks with Sparse Subspace Variational Inference
Purdue University（普渡大学）
提出首个完全稀疏的贝叶斯神经网络框架SSVI，通过交替优化稀疏子空间基选择与参数，在训练和推断全程保持高稀疏性，大幅降低训练成本并实现10-20倍模型压缩且性能损失极小。
2024-02-16 cs.LG stat.ML
Robust Bayesian Compressed sensing
University of Electronic Science and Technology of China（电子科技大学）；Stevens Institute of Technology（斯蒂文斯理工学院）
我们考虑鲁棒压缩感知的问题，其目标是从被离群值破坏的压缩测量中恢复高维稀疏信号。提出了一种新的稀疏贝叶斯学习方法用于鲁棒压缩感知。该方法的基本思想是识别和去除稀疏信号恢复中的野值。为了自动识别离群值，我们采用了一组二进制指标超参数来指示哪些观测值是离群值。这些指标超参数被视为随机变量，并分配一个beta过程之前，使其值被限制为二进制。此外，高斯逆伽玛先验施加在稀疏信号，以促进稀疏性。基于这种分层先验模型，我们开发了一种变分贝叶斯方法来估计指示超参数以及稀疏信号。仿真结果表明，该方法实现了现有的鲁棒压缩感知技术的性能显着改善。
2016-10-21 cs.LG stat.ML
High-dimensional near-optimal experiment design for drug discovery via Bayesian sparse sampling
Chalmers University of Technology（查尔姆斯理工大学）；AstraZeneca AB（阿斯利康公司）
我们研究的问题进行自动化实验设计的药物筛选，通过贝叶斯推理和优化。特别是，我们比较和对比的线性高斯模型和高斯过程的行为，当与置信上限算法，汤普森采样，或有界水平树搜索。我们表明，非近视的复杂的探索技术，使用稀疏树搜索有一个明显的优势，如汤普森采样或置信上限在这种情况下的方法。我们证明了显着的优越性，该方法比现有的和合成的药物毒性数据集。
2021-04-23 cs.LG q-bio.QM stat.ML
Pattern-Coupled Sparse Bayesian Learning for Recovery of Block-Sparse Signals
University of Electronic Science and Technology of China（电子科技大学）；Stevens Institute of Technology（史蒂文斯理工学院）；Schlumberger-Doll Research Center（斯伦贝谢多尔研究中心）
我们考虑的问题，恢复块稀疏信号的结构是未知的\emph{a priori}。块稀疏信号与非零系数发生在集群自然出现在许多实际情况。然而，在实践中，对块结构的知识通常是不可用的。在本文中，我们开发了一个新的稀疏贝叶斯学习方法恢复块稀疏信号与未知的聚类模式。具体地说，模式耦合的分层高斯先验模型被引入来表征系数之间的统计依赖性，其中一组超参数被用来控制信号系数的稀疏性。与传统的稀疏贝叶斯学习框架中每个单独的超参数独立地与每个系数相关联不同，在本文中，每个系数的先验不仅涉及其自身的超参数，而且还涉及其近邻的超参数。通过这种方式，相邻系数的稀疏模式彼此相关，并且分层模型具有鼓励结构化稀疏解决方案的潜力。超参数以及稀疏信号通过期望最大化（EM）算法最大化其后验概率来学习。数值实验结果表明，该算法与现有方法相比具有一致的优越性。
2013-11-09 cs.IT cs.LG math.IT
Bayesian Beta-Bernoulli Process Sparse Coding with Deep Neural Networks
Columbia University（哥伦比亚大学）
对于深度离散潜变量模型，已经提出了几种近似推理方法。然而，非参数的方法，以前已成功地用于经典的稀疏编码模型在很大程度上尚未探索的背景下，深模型。我们提出了一种非参数迭代算法来学习这种深度模型中的离散潜在表示。此外，为了学习尺度不变的离散特征，我们提出了局部数据缩放变量。最后，为了鼓励我们表示的稀疏性，我们提出了一个潜在因素的Beta-Bernoulli过程。我们评估我们的备用编码模型加上不同的似然模型。我们在具有不同特征的数据集上评估我们的方法，并将我们的结果与当前的摊销近似推理方法进行比较。
2023-03-14 cs.LG stat.ML
Required sample size for learning sparse Bayesian networks with many variables
在一般情况下，学习n个随机变量的联合概率分布需要指数样本大小。在这里，我们考虑的情况下，一个时间（或因果）顺序的变量是已知的，（未知）图的因果依赖关系有界的度三角洲。则联合测度由所有（2 Delta+1）-元组的概率唯一确定。估计其概率所需的样本大小的上界可以根据相应的圆柱体集的VC维来给出。样本量的增长与n的线性关系小于。
2002-04-26 cs.LG math.PR
Sparse Gaussian Processes Revisited: Bayesian Approaches to Inducing-Variable Approximations
EURECOM（欧洲通信与网络研究院）；Aalto University（阿尔托大学）；CSIRO’s Data61（联邦科学与工业研究组织数据61部门）
基于诱导变量的变分推断技术为高斯过程（GP）模型的可伸缩后验估计提供了一个优雅的框架。除了实现可扩展性之外，它们相对于使用直接边际似然最大化的稀疏近似的主要优点之一是，它们为诱导输入（即诱导变量的位置）的点估计提供了鲁棒的替代方案。在这项工作中，我们挑战的共同智慧，优化诱导输入的变分框架产生最佳性能。我们表明，通过重新审视旧的模型近似，例如具有强大的基于采样的推理方法的完全独立的训练条件，以贝叶斯方式处理诱导位置和GP超参数可以显着提高性能。基于随机梯度哈密顿蒙特卡罗，我们开发了一种完全贝叶斯方法来构建可扩展的GP和深度GP模型，并通过几个回归和分类问题的广泛实验活动来展示其最先进的性能。
2021-02-23 cs.LG stat.ML
A Generalized Stochastic Variational Bayesian Hyperparameter Learning Framework for Sparse Spectrum Gaussian Process Regression
Interactive Digital Media Institute（互动数字媒体研究所）；National University of Singapore（新加坡国立大学）
虽然许多研究工作一直致力于基于大数据的诱导变量来扩展稀疏高斯过程（GP）模型，但很少关注利用GP内核的稀疏谱表示的其他较少探索的低秩GP近似类。本文提出了这样的努力，以推进稀疏谱GP模型的最新技术水平，以实现有竞争力的预测性能的大规模数据集。我们的广义框架的随机变分贝叶斯稀疏谱GP（sVBSSGP）模型解决了它们的缺点，采用贝叶斯处理的频谱频率，以避免过度拟合，建模这些频率联合在其变分分布，使他们的相互作用的后验，并利用本地数据提高预测性能。然而，这样的结构改进导致难以优化的变分下限。为了解决这个问题，我们利用变分参数化技巧，使它服从随机最优化。有趣的是，所得到的随机梯度具有线性可分解的结构，可以利用它来改进我们的随机最优化方法，以使每次迭代的时间恒定，同时保持其作为变分下限的精确梯度的无偏估计量的性质。对真实世界数据集的实证评估表明，sVBSSGP优于最先进的稀疏GP模型的随机实现。
2016-11-18 cs.LG stat.ML
Fast Marginalized Block Sparse Bayesian Learning Algorithm
National University of Defense Technology（国防科技大学）；Samsung R&D Institute America - Dallas（三星美国研究院（达拉斯））
利用信号的稀疏性和相关性，可以提高稀疏信号从噪声、欠定测量中恢复的性能。一种典型的相关结构是块稀疏信号中的块内相关。为了利用这种结构，最近提出了一种称为块稀疏贝叶斯学习（BSBL）的框架。从这个框架衍生的算法表现出优越的性能，但他们不是很快，这限制了他们的应用。这项工作得出了一个有效的算法，从这个框架中，使用边缘化的似然最大化方法。与现有的BSBL算法相比，它具有接近的恢复性能，但要快得多。因此，它更适合于大规模数据集和需要实时实现的应用。
2013-09-29 cs.IT cs.LG math.IT
Complexity-Optimized Sparse Bayesian Learning for Scalable Classification Tasks
University of Macau（澳门大学）
本文提出DQN-SBL方法，通过忽略大型协方差矩阵求逆将复杂度从$O(M^3)$降至$O(M)$，解决了稀疏贝叶斯学习在大规模问题中的内存溢出问题，并在保持泛化能力和模型稀疏性的同时实现了良好扩展。
2023-09-11 cs.LG stat.ML
Fast post-process Bayesian inference with Variational Sparse Bayesian Quadrature
Department of Computer Science, University of Helsinki（赫尔辛基大学计算机科学系）；Department of Statistics, University of Edinburgh（爱丁堡大学统计系）
针对已有大量模型评估却未被传统推断利用的问题，提出后处理贝叶斯推断框架及 VSBQ，通过稀疏 GP 代理、贝叶斯求积与变分推断实现无需额外模型调用的快速高质量后验近似。
2025-07-23 cs.LG stat.CO stat.ME
Multimodal Sparse Bayesian Dictionary Learning
ARM Machine Learning Research Lab（ARM机器学习研究实验室）；University of California, San Diego（加州大学圣地亚哥分校）
本文讨论了多模态数据集（即从多个数据源收集的数据集）的字典学习问题。我们提出了一种算法称为多模态稀疏贝叶斯字典学习（MSBDL）。MSBDL通过联合稀疏约束利用来自所有可用数据模态的信息。底层框架为从业者提供了相当大的灵活性，并解决了现有多模态词典学习方法的许多缺点。特别是，该过程包括超参数的自动调整，并且是独特的，因为它允许每个数据模态的字典具有不同的基数，这是数据的维度在模态之间不同的情况下的一个重要特征。MSBDL是可扩展的，可用于监督学习环境。MSBDL的收敛性的理论结果和数值结果提供了证据的MSBDL合成和真实数据集上的优越性能相比，现有的方法。
2019-05-29 cs.LG stat.ML
Scalable Bayesian Optimization via Focalized Sparse Gaussian Processes
Tsinghua University（清华大学）；Google DeepMind（谷歌DeepMind）
本文提出聚焦GP和FocalBO方法，通过稀疏高斯过程提升贝叶斯优化效率，实现对高维问题的高效优化。
2025-12-17 cs.LG stat.ML
Sparse Bayesian Dictionary Learning with a Gaussian Hierarchical Model
University of Electronic Science and Technology of China（电子科技大学）；Stevens Institute of Technology（史蒂文斯理工学院）
我们考虑一个字典学习问题，其目标是设计一个字典，使得信号在学习过的字典上具有稀疏或近似稀疏表示。这样的问题发现了各种各样的应用，如图像去噪，特征提取等，在本文中，我们提出了一种新的分层贝叶斯模型的字典学习，其中高斯逆伽玛分层先验是用来促进稀疏的表示。合适的先验也被放置在字典和噪声方差上，使得它们可以从数据中合理地推断出来。基于层次模型，提出了贝叶斯推理的变分贝叶斯方法和吉布斯抽样方法。所提出的方法的优点是，它们不需要噪声方差\emph{a priori}的知识。数值结果表明，所提出的方法是能够学习字典的准确性比现有的方法，特别是对于有一个有限数量的训练信号的情况下。
2015-03-07 cs.IT cs.LG math.IT
On Identification of Sparse Multivariable ARX Model: A Sparse Bayesian Learning Approach
University of Cambridge（剑桥大学）；Huazhong University of Science and Technology（华中科技大学）；Cardwell Investment Tech（卡德韦尔投资科技公司）；UC Berkeley（加州大学伯克利分校）
本文提出一种基于稀疏贝叶斯学习的方法，用于识别稀疏多变量ARX模型的布尔结构和节点间动态，无需先验知识，通过最大后验估计结合复杂性和组稀疏性惩罚。
2016-09-30 cs.LG cs.SY eess.SY
Bayesian inference via sparse Hamiltonian flows
University of British Columbia（不列颠哥伦比亚大学）
贝叶斯核心集是数据的一个小的加权子集，在贝叶斯推断期间替换完整的数据集，目的是降低计算成本。虽然过去的工作经验表明，经常存在一个低推理误差的核心集，有效地构建这样的核心集仍然是一个挑战。当前的方法往往速度很慢，需要在核心集构建后进行二次推理步骤，并且不提供数据边缘证据的界限。在这项工作中，我们介绍了一种新的方法-稀疏哈密顿流-解决所有这三个挑战。该方法首先对数据进行均匀子采样，然后优化由核心集权重参数化的哈密顿流，并包括周期性动量准刷新步骤。理论结果表明，该方法能够指数压缩的数据集在一个代表性的模型，和准刷新步骤减少库尔贝克-莱布勒散度的目标。真实的和合成的实验表明，稀疏哈密顿流提供准确的后验近似显着减少运行时间相比，竞争的动态系统为基础的推理方法。
2023-01-12 cs.LG stat.CO stat.ML
Simultaneous Block-Sparse Signal Recovery Using Pattern-Coupled Sparse Bayesian Learning
University of Electronic Science and Technology of China（电子科技大学）；China Academy of Engineering Physics（中国工程物理研究院）
在本文中，我们考虑块稀疏信号恢复问题的背景下，多个测量向量（MMV）与共同的行稀疏模式。我们开发了一种新的方法来恢复常见的行稀疏MMV信号，其中模式耦合的分层高斯先验模型被引入到共同的行稀疏MMV信号的系数的块稀疏性和相邻系数之间的统计依赖性的特征。与许多其他方法不同，该方法能够自动捕获未知信号的块稀疏结构。我们的方法是使用期望最大化（EM）的框架。仿真结果表明，该方法在恢复块稀疏共行稀疏模式MMV信号时具有较好的性能。
2017-11-06 cs.IT cs.LG eess.SP
Approximate Method of Variational Bayesian Matrix Factorization/Completion with Sparse Prior
Ibaraki University（茨城大学）
在假设观测矩阵是低秩稠密矩阵和稀疏矩阵的乘积的前提下，利用变分贝叶斯方法，推导出了矩阵分解/完备解的解析表达式.考虑到矩阵的稀疏性，我们假设稀疏矩阵的先验服从拉普拉斯分布。然后，我们使用几个近似推导矩阵分解/完成解决方案。通过我们的解决方案，我们还数值评估的性能稀疏矩阵重构矩阵分解，并完成缺失的矩阵元素的矩阵完成。
2018-03-14 cond-mat.dis-nn cs.IT cs.LG
An Adaptive Empirical Bayesian Method for Sparse Deep Learning
Purdue University（普渡大学）
我们提出了一种新的自适应经验贝叶斯方法用于稀疏深度学习，其中稀疏性通过一类自适应尖峰和板先验来确保。所提出的方法的工作原理是交替采样自适应分层后验分布使用随机梯度马尔可夫链蒙特卡罗（MCMC）和平滑优化超参数使用随机逼近（SA）。在较弱的条件下，我们进一步证明了该方法收敛于渐近正确的分布。所提出的方法的经验应用导致最先进的性能MNIST和时尚MNIST与浅卷积神经网络和最先进的压缩性能CIFAR10与残差网络。该方法还提高了对对抗性攻击的抵抗力。
2020-04-13 cs.LG stat.ME stat.ML
A Bayesian sparse factor model with adaptive posterior concentration
Inha University（仁荷大学）；The University of Notre Dame（圣母大学）；Seoul National University（首尔国立大学）
本文提出一种新的高维稀疏因子模型贝叶斯推断方法，通过引入稀疏水平与因子维数之间的依赖关系，在保持计算可处理性的同时实现自适应后验收缩，并证明其在因子维数检测和协方差矩阵估计上具有最优或近似最优的理论性质与数值优势。
2023-05-29 cs.LG stat.ME stat.ML
High-Dimensional Sparse Bayesian Learning without Covariance Matrices
Harvard University（哈佛大学）；Massachusetts Institute of Technology（麻省理工学院）；Athinoula A. Martinos Center for Biomedical Imaging（阿瑟努拉·A·马蒂诺斯生物医学成像中心）；Harvard Medical School（哈佛医学院）
稀疏贝叶斯学习（SBL）是解决稀疏编码问题的一个强大框架。然而，最流行的推理算法SBL变得过于昂贵的高维设置，由于需要存储和计算一个大的协方差矩阵。我们引入了一个新的推理方案，避免了显式的协方差矩阵的建设，并行求解多个线性系统，以获得后验矩的SBL。我们的方法耦合一个鲜为人知的对角估计结果，从数值线性代数与共轭梯度算法。在几次模拟中，我们的方法在计算时间和内存方面比现有方法更好，特别是对于能够快速矩阵向量乘法的结构化字典。
2022-02-25 cs.LG eess.SP stat.CO
Water Disaggregation via Shape Features based Bayesian Discriminative Sparse Coding
Google Corporation（谷歌公司）；Virginia Tech（弗吉尼亚理工学院暨州立大学）；University at Albany-SUNY（纽约州立大学奥尔巴尼分校）
随着淡水短缺问题日益严重，采取有效措施节约用水至关重要。根据先前的研究，器械水平的消耗可能导致显著的淡水保护。现有的水分解方法主要集中在学习设备的特征，但它们缺乏准确区分并行设备消耗的机制。在本文中，我们提出了一个贝叶斯判别稀疏编码模型，使用拉普拉斯先验（BDSC-LP），以广泛提高解聚性能。为了得到判别基函数，形状特征描述低采样率的用水模式。设计了一种基于Gibbs抽样的推理方法来扩展分解字典的判别能力。使用真实世界和合成数据集进行了大量的实验，以验证所提出的模型的有效性。
2018-08-26 cs.AI cs.LG stat.ML
Supervised Dictionary Learning by a Variational Bayesian Group Sparse Nonnegative Matrix Factorization
Rudjer Boskovic Institute（鲁杰尔·博什科维奇研究所）
非负矩阵分解（NMF）与组稀疏约束的概率图形模型，并制定，假设一些观察数据已产生的模型，一个可行的变分贝叶斯算法的学习模型参数。当在监督学习场景中使用时，NMF最常用作无监督特征提取器，然后在所获得的特征子空间中进行分类。在将类标签映射到更一般的组概念（其是系数的稀疏性的基础）之后，所提出的组稀疏NMF模型允许的是将类标签信息并入以找到低维标签驱动的字典，其不仅旨在忠实地表示数据，而且还适合于类判别。在面部识别和面部表情识别领域进行的实验表明，在这种标签驱动的特征子空间中进行分类比在无监督方式下获得的特征子空间中进行分类具有优势。
2014-05-27 cs.CV cs.LG stat.ML
Learning Large-Scale Bayesian Networks with the sparsebn Package
University of California Los Angeles（加州大学洛杉矶分校）
从数据中学习图形模型是一个重要的问题，具有广泛的应用，从基因组学到社会科学。如今的数据集通常有上千个--有时是数万或数十万个--变量和更少的样本。为了应对这一挑战，我们开发了一个新的R包，称为sparsebn，用于学习大型稀疏图形模型的结构，重点是贝叶斯网络。虽然有许多现有的软件包用于此任务，但此软件包侧重于从高维数据中学习大型网络的独特设置，可能需要干预。因此，所提供的方法在高维环境中重视可伸缩性和一致性。此外，在存在干预措施的情况下，这里实施的方法实现了从数据中学习因果网络的目标。此外，sparsebn软件包与现有的网络分析软件包完全兼容。
2018-03-10 cs.LG stat.CO stat.ME
Bayesian and L1 Approaches to Sparse Unsupervised Learning
University of British Columbia（不列颠哥伦比亚大学）；Massachusetts Institute of Technology（麻省理工学院）；University of Cambridge（剑桥大学）
使用L1正则化稀疏学习产生了巨大的研究兴趣，在信号采集，图像编码，基因组学和协同过滤等不同领域的成功应用。虽然现有的工作突出了L1方法的许多优点，但在本文中，我们发现，与其他方法相比，L1正则化在预测性能方面往往表现不佳。我们专注于无监督的潜变量模型，并开发L1最小化因子模型，贝叶斯变体的“L1”，贝叶斯模型具有更强的L0样稀疏诱导通过尖峰和板分布。这些尖峰和厚板贝叶斯因子模型鼓励稀疏性，同时以原则性的方式考虑不确定性，并避免非零值的不必要收缩。我们证明了一些数据集，在实践中尖峰和板坯贝叶斯方法优于L1最小化，即使在计算预算。因此，我们强调需要重新评估L1方法在稀疏依赖应用中的广泛使用，特别是当我们关心推广到以前看不见的数据时，并提供一种替代方案，在许多不同的条件下，提供改进的推广性能。
2012-08-17 cs.AI cs.LG stat.ML
Sparse Bayesian Generative Modeling for Compressive Sensing
TUM School of Computation, Information and Technology（慕尼黑工业大学计算、信息与技术学院）；Technical University of Munich（慕尼黑工业大学）
本文提出一种新型正则化生成先验解决压缩感知线性逆问题，结合稀疏贝叶斯学习与生成模型适应性，支持少样本学习、免优化求解及不确定性量化，并经理论与实验验证。
2024-11-14 cs.LG eess.IV stat.ML
