Water Disaggregation via Shape Features based Bayesian Discriminative Sparse Coding
Google Corporation（谷歌公司）；Virginia Tech（弗吉尼亚理工学院暨州立大学）；University at Albany-SUNY（纽约州立大学奥尔巴尼分校）
随着淡水短缺问题日益严重，采取有效措施节约用水至关重要。根据先前的研究，器械水平的消耗可能导致显著的淡水保护。现有的水分解方法主要集中在学习设备的特征，但它们缺乏准确区分并行设备消耗的机制。在本文中，我们提出了一个贝叶斯判别稀疏编码模型，使用拉普拉斯先验（BDSC-LP），以广泛提高解聚性能。为了得到判别基函数，形状特征描述低采样率的用水模式。设计了一种基于Gibbs抽样的推理方法来扩展分解字典的判别能力。使用真实世界和合成数据集进行了大量的实验，以验证所提出的模型的有效性。
2018-08-26 cs.AI cs.LG stat.ML
Disjunct Support Spike and Slab Priors for Variable Selection in Regression under Quasi-sparseness
回归系数向量的稀疏性通常是期望的属性，因为除了其他益处之外，稀疏性提高了可解释性。在实践中，许多真正的回归系数可能小到可以忽略，但非零，我们称之为准稀疏。如在（Chipman等人，2001）可以被调整以忽略非常小的回归系数，并且因此在预测精度和可解释性之间提供折衷。然而，完全支持的尖峰和厚板先验导致不一致的贝叶斯因子，在这个意义上，任何两个模型的贝叶斯因子是有界的概率。这显然是贝叶斯假设检验的一个不希望的属性，我们希望增加样本量会导致有利于真实模型的贝叶斯因子增加。矩匹配先验（Johnson和Rossell，2012）可以解决这个问题，但不适合准稀疏设置，因为它们完全支持精确值0之外的值。作为一种补救措施，我们建议不连续的支持尖峰和平板先验，我们证明一致的贝叶斯因子在准稀疏设置，并显示实验快速增长的贝叶斯因子有利于真正的模型。模拟和真实数据上的几个实验证实了我们提出的方法在识别具有高效应大小的模型方面的有用性，同时比硬阈值更好地控制了误报。
2019-09-29 stat.AP stat.ME
Incorporating prior information and borrowing information in high-dimensional sparse regression using the horseshoe and variational Bayes
我们介绍了一种稀疏的高维回归方法，可以将先验信息的回归参数，并可以借用一组类似的数据集的信息。先前的信息可以例如来自先前的研究或基因组数据库，以及跨一组基因或基因组网络借用的信息。该方法是基于使用马蹄铁先验的回归参数的先验建模，与依赖于外部信息的稀疏指数的先验。通过对超参数应用经验贝叶斯策略来集成多个数据集。为了提高计算效率，我们使用变分贝叶斯方法近似后验分布。该框架对于分析具有复杂依赖结构的大规模数据集是有用的。我们通过应用于基因调控网络的重建和eQTL定位来说明这一点。
2019-01-29 stat.ME
Estimating the Stillbirth Rate for 195 Countries Using A Bayesian Sparse Regression Model with Temporal Smoothing
对全球死产率的估计是复杂的，因为缺乏来自死产发生最多的国家的可靠数据。我们汇编了数据，并开发了贝叶斯分层时间稀疏回归模型，用于估计2000年至2019年所有国家的死产率。该模型将协变量与时间平滑过程相结合，以便在具有高质量数据的国家时期进行数据驱动的估计，并在数据有限或没有数据的国家时期由协变量确定。马蹄铁先验是用来鼓励稀疏。该模型调整观察与其他死产的定义和帐户的偏差，受非抽样误差的观察。样本内拟合优度和样本外验证结果表明，该模型是相当好的校准。联合国儿童死亡率估算机构间小组使用该模型来监测所有国家的死产率。
2020-10-07 stat.AP
A PAC-Bayes oracle inequality for sparse neural networks
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本文提出了一种适用于稀疏神经网络的PAC-Bayes oracle不等式，通过混合均匀先验证明了方法能自适应回归函数的正则性和层次结构，并达到最小最大收敛率。
2023-10-02 math.ST stat.ML stat.TH
Variational Bayes for high-dimensional linear regression with sparse priors
研究了稀疏高维线性回归中贝叶斯模型选择先验的均值场尖板变分贝叶斯（VB）近似。在设计矩阵的相容性条件下，导出了平均场VB近似的预言不等式，表明它以最优速率收敛到稀疏真值，并给出了响应向量的最优预测.我们的算法的实证性能进行了研究，表明它的工作原理以及其他国家的最先进的贝叶斯变量选择方法。我们还数值证明，广泛使用的坐标上升变分推断（CAVI）算法可以高度敏感的参数更新顺序，导致潜在的性能不佳。为了缓解这一问题，我们提出了一种新的优先更新方案，使用数据驱动的更新顺序，并在模拟中表现更好。变分算法在R包'sparsevb'中实现。
2020-11-19 math.ST stat.ME stat.ML
A Bayesian Approach to Sparse plus Low rank Network Identification
研究了用稀疏动态贝叶斯网络模型对多元时间序列进行建模的问题。这种结构转化为稀疏加低秩模型。在本文中，我们提出了一个高斯回归方法来识别这样的模型。
2015-09-26 math.OC stat.ML
Optimal sparse phase retrieval via a quasi-Bayesian approach
Norwegian Institute of Public Health（挪威公共卫生研究院）
针对需仅用变换幅度重建信号的稀疏相位恢复问题，提出新型稀疏准贝叶斯方法，以缩放Student分布为收缩先验，通过PAC-贝叶斯框架分析，实现极小极大最优收敛率，为噪声环境下的该问题提供有原则的替代方案。
2025-04-13 cs.LG math.ST stat.ME
A fast asynchronous MCMC sampler for sparse Bayesian inference
我们提出了一个非常快速的近似马尔可夫链蒙特卡罗（MCMC）采样框架，适用于一大类稀疏的贝叶斯推断问题，在几个模型中，每次迭代的计算成本是为了$O(ns)$，其中$n$是样本量，和$s$的基本稀疏模型。当采用随机梯度朗之万动力学时，通过数据子采样可以进一步降低该成本。该算法是Johnson等人（2013）的异步Gibbs采样器的扩展，但可以从统计学角度视为贝叶斯迭代确定独立筛选的一种形式（Fan等人（2009））。我们表明，在高维线性回归问题，所提出的算法产生的马尔可夫链承认一个不变的分布，正确地恢复主信号的概率高，在一些统计假设。此外，我们表明，它的混合时间是最多的线性回归的数量。我们用几个模型来说明该算法。
2021-08-14 math.ST stat.CO stat.ML
A Bayesian Lasso based Sparse Learning Model
University of Bergen（卑尔根大学）
贝叶斯套索是在线性回归框架下构造的，并应用吉布斯抽样来估计回归参数。本文提出了一种新的稀疏学习模型，命名为贝叶斯套索稀疏（BLS）模型，它采取了贝叶斯套索的分层模型公式。与原始贝叶斯套索的主要区别在于估计过程; BLS方法使用基于类型II极大似然过程的学习算法。与贝叶斯套索相反，BLS提供了回归参数的稀疏估计。通过引入核函数，得到了非线性监督学习问题的BLS方法。我们比较了BLS模型，众所周知的相关向量机，快速拉普拉斯方法，BLS套索，套索，模拟和真实数据。数值结果表明，该算法具有稀疏性和精确性，特别是在处理噪声和不规则数据集时。
2022-07-14 cs.LG stat.ML
Spike and slab variational Bayes for high dimensional logistic regression
Imperial College London（帝国理工学院）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
变分贝叶斯（VB）是马尔可夫链蒙特卡罗的一种流行的可扩展替代方案，用于贝叶斯推断。研究了稀疏高维逻辑斯谛回归中广泛使用的贝叶斯模型选择先验的均值场尖峰和板条VB近似。我们提供非渐近的理论保证VB后在$\ell_2$和预测损失的稀疏真理，最佳（极大极小）收敛速度。由于VB算法不依赖于未知的真相，以实现最优性，我们的结果揭示了有效的先验选择。我们证实了我们的VB算法的改进性能在数值研究中常见的稀疏VB方法。
2021-09-06 cs.LG math.ST stat.ME
A variational Bayes framework for sparse adaptive estimation
近年来，为了解决\emph{sparse}自适应信号估值和系统辨识问题，提出了一系列基于$\ell_1$范数的正则化最小二乘确定性算法.从贝叶斯的角度来看，这个任务相当于在稀疏性促进重尾先验下对感兴趣的参数进行最大后验概率估计。遵循不同的方法，本文开发了一个统一的框架稀疏\emph{variational Bayes}算法，采用重尾先验共轭层次的形式，以方便后验推理。由此产生的全自动变分方案，首先提出了一个批量迭代的形式。然后，它示出，通过适当地利用批估计任务的结构，新的稀疏自适应变分贝叶斯算法可以导出，它具有施加和跟踪稀疏性在实时处理过程中的时变环境中的能力。所提出的算法的最重要的特点是，它们完全消除了计算成本高的参数微调，稀疏自适应确定性算法的必要成分的需要。大量的仿真结果证明了新的稀疏变分贝叶斯算法对最先进的确定性技术的自适应信道估计的有效性。结果表明，所提出的算法是数值上的鲁棒性，并表现出优越的估计性能相比，他们的确定性同行。
2014-01-13 stat.ML
Application of Bayesian Hierarchical Prior Modeling to Sparse Channel Estimation
用于稀疏信道估计的现有方法通常提供作为最大化目标函数的解来计算的估计，该目标函数被定义为对数似然函数和与感兴趣的参数的l1范数成比例的惩罚项的和。然而，其他惩罚项已被证明具有很强的稀疏诱导属性。在这项工作中，我们设计了导频辅助信道估计OFDM无线接收机的框架内的稀疏贝叶斯学习，通过定义层次贝叶斯先验模型，导致稀疏诱导惩罚条款。估计的结果作为一个应用程序的变分的消息传递算法的因素图表示的信号模型扩展的分层先验模型。数值结果表明，我们的信道估计相比，传统的和国家的最先进的稀疏方法的优越性能。
2012-04-03 stat.ML
Bayesian Reinforcement Learning via Deep, Sparse Sampling
Chalmers University of Technology（查尔姆斯理工大学）；University of Oslo（奥斯陆大学）
我们使用有效的基于模型的在线规划解决贝叶斯强化学习的问题。我们提出了一个无乐观的贝叶斯自适应算法，以诱导更深，更稀疏的探索与理论界的性能相对于贝叶斯最优策略，具有较低的计算复杂性。主要的新颖性是使用候选策略生成器，在规划树中生成长期选项（超过信念），这使我们能够创建更稀疏和更深的树。在不同环境下的实验结果表明，与现有算法相比，该算法不仅在计算效率上更高，而且在离散环境下获得了更高的回报.
2020-06-27 cs.AI cs.LG stat.ML
A Fast Iterative Bayesian Inference Algorithm for Sparse Channel Estimation
本文提出了一种基于导频符号观测值的多载波贝叶斯信道估计算法。利用无线多径信道固有的稀疏性，通过建模多径分量的增益的先验分布与Bessel K概率密度函数的分层表示，然后将一种高效，快速的迭代贝叶斯推断方法应用于所提出的模型。由此产生的估计优于其他国家的最先进的贝叶斯和非贝叶斯估计，无论是通过产生较低的均方估计误差或通过达到相同的精度与改进的收敛速度，如我们的数值评估。
2013-03-06 cs.IT math.IT stat.ML
Sparse Signal Recovery with Temporally Correlated Source Vectors Using Sparse Bayesian Learning
University of California at San Diego（加州大学圣地亚哥分校）
当解矩阵的每个非零行中的元素在时间上相关时，我们在多个测量向量（MMV）的上下文中解决稀疏信号恢复问题。现有的算法不考虑这种时间相关性，因此它们的性能显着降低的相关性。在这项工作中，我们提出了一个块稀疏贝叶斯学习框架，模型的时间相关性。在这个框架中，我们推导出两个稀疏贝叶斯学习（SBL）算法，具有优越的恢复性能相比，现有的算法，特别是在存在高的时间相关性。此外，我们的算法更好地处理高度欠定问题，并要求更少的行稀疏的解决方案矩阵。我们还提供了其成本函数的全局和局部最小值的分析，并表明，SBL成本函数具有非常理想的性质，即全局最小值是在稀疏解的MMV问题。大量的实验也提供了一些有趣的结果，激励未来的理论研究MMV模型。
2011-08-17 cs.LG stat.ML
A Stochastic Variance-Reduced Coordinate Descent Algorithm for Learning Sparse Bayesian Network from Discrete High-Dimensional Data
K. N. Toosi University of Technology（K.N.托西理工大学）；Polytechnique Montréal（蒙特利尔理工学院）
研究了从高维离散数据中学习稀疏结构贝叶斯网络的问题。与连续贝叶斯网络相比，离散贝叶斯网络的学习是一个具有挑战性的问题，由于大的参数空间。虽然已经开发了许多方法来学习连续贝叶斯网络，很少有方法已经提出了离散的。在本文中，我们解决学习贝叶斯网络作为一个优化问题，并提出了一个得分函数，保证学习的结构是一个稀疏的有向无环图。此外，我们还实现了一个分块随机坐标下降算法来优化得分函数。具体来说，我们在优化算法中使用了方差减少方法，使算法有效地处理高维数据。所提出的方法适用于合成数据从著名的基准网络。所构建的网络的质量，可扩展性和鲁棒性进行测量。与一些有竞争力的方法相比，结果表明，我们的算法优于一些众所周知的方法。
2022-09-24 cs.LG stat.ML
Accelerated Sparse Bayesian Learning via Screening Test and Its Applications
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
在高维环境中，稀疏结构对于存储器和计算复杂度方面的效率至关重要。对于一个线性系统，直接寻找具有过完备特征字典的稀疏解通常是NP困难的，因此应该考虑替代的近似方法。在本文中，我们选择的替代方法是稀疏贝叶斯学习，作为经验贝叶斯方法，它使用参数化的先验来鼓励解决方案中的稀疏性，而不是具有固定先验的其他方法，如LASSO。而筛选测试的目的是快速识别出一个特征子集，其系数在最优解中保证为零，然后可以安全地从完整的字典中删除，以获得更小，更容易解决的问题。接下来，我们解决较小的问题，之后可以通过用零填充较小的解决方案来恢复原始问题的解决方案。所提出的方法的性能将在各种数据集和应用程序进行检查。
2020-07-08 cs.LG stat.ML
Bayesian orthogonal component analysis for sparse representation
本文讨论了确定一个低维空间，观察到的数据可以稀疏表示的问题。这个不完全字典学习任务可以被公式化为稀疏源与未知正交混合矩阵线性混合的盲分离问题。这个问题是制定在贝叶斯框架。首先，未知稀疏源被建模为Bernoulli-Gaussian过程。为了提高稀疏性，提出了一个原子在零和高斯分布的加权混合作为未观测源的先验分布。一个无信息的先验分布定义在一个适当的Stiefel流形被选为混合矩阵。使用马尔可夫链蒙特卡罗（MCMC）方法对未知参数进行贝叶斯推断。设计了一个部分塌陷Gibbs抽样器，根据未知模型参数和超参数的联合后验分布生成渐近分布的样本。然后，这些样本被用来近似的联合最大后验估计的源和混合矩阵。模拟合成数据进行报告，以说明该方法的性能恢复稀疏表示。最后研究了欠完备字典在稀疏编码中的应用。
2010-01-04 stat.ME stat.ML
Sparse Semi-supervised Heterogeneous Interbattery Bayesian Analysis
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）；Gregorio Marañón Health Research Institute（格雷戈里奥·马拉尼翁健康研究所）
贝叶斯特征提取方法，称为因子分析（FA），在机器学习中得到了广泛的研究，以获得数据的潜在表示。适当选择这些基本模型的概率和先验，使模型能够更好地适应数据性质（即异质性，稀疏性），获得更具代表性的潜在空间。本文的目的是提出一个通用的FA框架，能够模拟任何问题。为此，我们从贝叶斯电池间因子分析（BIBFA）模型开始，通过新功能对其进行增强，以便能够处理异构数据，包括特征选择，并处理缺失值以及半监督问题。所提出的模型，稀疏半监督异构电池间贝叶斯分析（SSHIBA）的性能已在4种不同的情况下进行了测试，以评估其每一个新颖性，不仅表现出很大的通用性和可解释性增益，而且还优于大多数最先进的算法。
2020-01-24 cs.LG stat.ML
Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm
针对现有贝叶斯变量选择方法计算量大、先验假设受限的问题，提出计算高效的PROBE算法实现稀疏高维线性回归，经模拟和癌细胞药物反应分析验证，已在R包probe中实现。
2023-10-06 stat.ME stat.ML
An Adaptive Empirical Bayesian Method for Sparse Deep Learning
Purdue University（普渡大学）
我们提出了一种新的自适应经验贝叶斯方法用于稀疏深度学习，其中稀疏性通过一类自适应尖峰和板先验来确保。所提出的方法的工作原理是交替采样自适应分层后验分布使用随机梯度马尔可夫链蒙特卡罗（MCMC）和平滑优化超参数使用随机逼近（SA）。在较弱的条件下，我们进一步证明了该方法收敛于渐近正确的分布。所提出的方法的经验应用导致最先进的性能MNIST和时尚MNIST与浅卷积神经网络和最先进的压缩性能CIFAR10与残差网络。该方法还提高了对对抗性攻击的抵抗力。
2020-04-13 cs.LG stat.ME stat.ML
Complexity-Optimized Sparse Bayesian Learning for Scalable Classification Tasks
University of Macau（澳门大学）
本文提出DQN-SBL方法，通过忽略大型协方差矩阵求逆将复杂度从$O(M^3)$降至$O(M)$，解决了稀疏贝叶斯学习在大规模问题中的内存溢出问题，并在保持泛化能力和模型稀疏性的同时实现了良好扩展。
2023-09-11 cs.LG stat.ML
Detecting Dependencies in Sparse, Multivariate Databases Using Probabilistic Programming and Non-parametric Bayes
Massachusetts Institute of Technology（麻省理工学院）
具有数百个变量和许多缺失值的数据集是常见的。在这种情况下，检测变量之间的真实预测关系以及抑制假阳性在统计和计算上都具有挑战性。本文提出了一种方法，结合概率规划，信息论，和非参数贝叶斯。它展示了如何使用贝叶斯非参数建模来（i）为所有变量构建联合概率模型的集合;（ii）有效地检测边缘独立性;以及（iii）估计变量的任意子集之间的条件互信息，受到广泛的约束。用户可以使用BayesDB访问这些功能，BayesDB是一个用于概率数据分析的概率编程平台，通过用简单的类似SQL的语言编写查询。本文实证表明，该方法可以（i）检测具有挑战性的合成问题的上下文特定（中）的依赖关系，（ii）提高敏感性和特异性，超过基线的统计和机器学习，在现实世界的数据库中的300多个稀疏观察的宏观经济发展和公共卫生指标。
2017-03-27 cs.AI cs.LG stat.ML
