Scalable Bayesian Optimization with Sparse Gaussian Process Models
Deakin University(迪肯大学)
该研究围绕贝叶斯优化,提出结合导数信息与可扩展稀疏高斯过程,以加快收敛并处理海量数据。
2020-10-26 cs.IR cs.LG stat.ML
Sparse Bayesian learning with uncertainty models and multiple dictionaries
稀疏贝叶斯学习(SBL)已经成为一种快速和有竞争力的方法来执行稀疏处理。SBL算法,这是使用贝叶斯框架开发的,近似地解决了非凸优化问题,使用固定点更新。它提供了相当的性能,并且比稀疏处理中使用的凸优化技术快得多。我们提出了一个信号模型,占字典不匹配和存在的错误,在低信噪比的权重向量。推导了一个包含失配和加权误差统计量的定点更新方程。我们还处理来自多个字典的观察结果。使用随机极大似然估计噪声方差。推导出的更新方程进行了定量研究,使用波束成形模拟应用于到达方向(DoA)。使用单频和多频观测,并在混叠的存在下,SBL的性能进行评估。SwellEx-96实验数据定性地证明了SBL的优点。
2017-06-26 cs.IT math.IT stat.AP
Enhancing Off-Grid One-Bit DOA Estimation with Learning-Based Sparse Bayesian Approach for Non-Uniform Sparse Array
本文提出一种学习型稀疏贝叶斯框架,利用展开神经网络自主学习超参数,在单快照一比特离网DOA估计中兼顾精度与效率,适用于均匀及非均匀稀疏阵列。
2024-12-14 eess.SP stat.ML
A Fast Non-Gaussian Bayesian Matching Pursuit Method for Sparse Reconstruction
提出了一种基于贝叶斯方法的快速匹配追踪稀疏信号恢复方法。该方法被称为nGpFBMP,即使当信号先验是非高斯或未知时,也执行稀疏信号的贝叶斯估计。它是不可知的信号统计,并利用先验统计的加性噪声和稀疏率的信号,这是很容易估计的数据,如果没有。nGpFBMP利用一个贪婪的方法和顺序递归更新的度量,找到最主要的稀疏支持,以确定近似的最小均方误差(MMSE)估计的稀疏信号。仿真结果表明,我们提出的估计的权力和鲁棒性。
2012-06-19 stat.OT
Bayesian sparse convex clustering via global-local shrinkage priors
NTT Advanced Technology Corporation(NTT先进技术公司);The University of Electro-Communications(电气通信大学)
稀疏凸聚类是在凸聚类框架下对观测值进行聚类的同时进行变量选择。虽然加权$L_1$范数通常用于稀疏凸聚类中的正则化项,但如果样本量不足,则其使用增加了对数据的依赖性并降低了估计精度。针对这些问题,本文提出了一种基于贝叶斯套索和全局-局部收缩先验的贝叶斯稀疏凸聚类方法。我们引入吉布斯抽样算法,我们的方法使用的比例混合正态分布。仿真研究和实际数据分析表明了所提出方法的有效性。
2020-05-26 cs.LG stat.ME stat.ML
Sparse Functional Data Classification via Bayesian Aggregation
针对稀疏函数型数据分类难题,提出融合 FPCA、bootstrap 概率聚合与 Bayesian GLM 贝叶斯校准的方法,模拟和三项真实数据分析均验证其准确率优于传统方法。
2025-03-13 stat.CO
A Fast Iterative Bayesian Inference Algorithm for Sparse Channel Estimation
本文提出了一种基于导频符号观测值的多载波贝叶斯信道估计算法。利用无线多径信道固有的稀疏性,通过建模多径分量的增益的先验分布与Bessel K概率密度函数的分层表示,然后将一种高效,快速的迭代贝叶斯推断方法应用于所提出的模型。由此产生的估计优于其他国家的最先进的贝叶斯和非贝叶斯估计,无论是通过产生较低的均方估计误差或通过达到相同的精度与改进的收敛速度,如我们的数值评估。
2013-03-06 cs.IT math.IT stat.ML
Bayesian Masking: Sparse Bayesian Estimation with Weaker Shrinkage Bias
Kyoto University(京都大学);National Institute of Informatics(国立信息学研究所)
稀疏线性回归的一个常见策略是引入正则化,通过使相应的权重为零来消除不相关的特征。然而,正则化经常缩小相关特征的估计量,这导致不正确的特征选择。出于上述问题,我们提出了贝叶斯掩蔽(BM),稀疏估计方法,不施加正则化的权重。BM的关键概念是引入随机屏蔽特征的二进制潜变量。估计掩蔽率自动确定特征的相关性。我们推导出一个变分贝叶斯推断算法,最大限度地提高了下界的因子分解信息准则(FIC),这是最近开发的渐近标准,用于评估边际对数似然。此外,我们提出了重新参数化,以加速收敛的派生算法。最后,我们表明,BM优于Lasso和自动相关性确定(ARD)的稀疏收缩权衡。
2015-10-06 cs.LG stat.ML
Bayesian System Identification based on Hierarchical Sparse Bayesian Learning and Gibbs Sampling with Application to Structural Damage Assessment
本文的重点是贝叶斯系统识别噪声不完整的模态数据的基础上,我们可以在更新结构模型时施加空间稀疏刚度的变化。为此,基于我们以前的工作类似的层次稀疏贝叶斯学习模型,我们提出了两个吉布斯抽样算法。这两种算法处理方程误差精度参数后验不确定性的策略不同,但都是从结构刚度参数和系统模态参数的条件后验概率密度函数(PDF)中采样。吉布斯抽样的有效维数较低,因为迭代采样仅从对应于三个参数组的三个条件后验PDF中完成,同时从其中一个算法中的另一个条件后验PDF中对方程误差精度参数进行采样,其中方程误差精度参数未被整合为“滋扰”参数。从计算的角度来看,一个很好的特点是,它是没有必要解决一个结构模型的非线性特征值问题。所提出的算法的有效性和鲁棒性说明将它们应用到IASE ASCE第二阶段的模拟和实验基准研究。我们的目标是使用不完整的模态数据识别之前和之后可能的损害,以检测和评估空间稀疏的刚度降低引起的任何损害。我们过去和现在的重点是满足所产生的挑战,从贝叶斯推断的结构刚度服务,以加强基于振动的结构系统识别的能力,但我们的方法也有更广泛的适用性,在科学和技术的逆问题,系统矩阵是从噪声的部分信息推断其特征量。
2017-01-13 stat.AP stat.ME stat.ML
Fully Bayesian Autoencoders with Latent Sparse Gaussian Processes
EURECOM(欧洲通信研究院);University of California, Irvine(加州大学欧文分校)
自动编码器及其变体是表示学习和生成建模中使用最广泛的模型之一。然而,基于自动编码器的模型通常假设学习的表示是i.i.d.。并且不能捕获数据样本之间的相关性。为了解决这个问题,我们提出了一种新的稀疏高斯过程贝叶斯自动编码器(SGPAE)模型,在该模型中,我们对贝叶斯自动编码器的潜在空间施加完全贝叶斯稀疏高斯过程先验。我们通过随机梯度Hamilton Monte Carlo对该模型进行后验估计。我们在广泛的表示学习和生成建模任务上定性和定量地评估了我们的方法,并表明我们的方法始终优于依赖于变分自编码器的多个替代方案。
2023-02-09 cs.LG stat.ML
PAC-Bayesian Estimation and Prediction in Sparse Additive Models
本文研究稀疏性假设下高维可加模型的估计和预测问题($p\gg n$范式)。研究了一种PAC-Bayesian策略,给出了概率上的预言不等式.通过最近的成果在高维MCMC算法的实施,我们的方法的性能进行评估模拟数据。
2013-02-01 math.ST stat.ME stat.TH
Bayesian model choice and information criteria in sparse generalized linear models
我们考虑高维广义线性模型中的贝叶斯模型选择,协变量p的数量相对于样本量n较大,但稀疏的是,与p相比,活动协变量的数量较小。将协变量视为随机变量,并采用p随n增加的渐近情景,我们表明,贝叶斯模型选择使用一定的先验模型的集合是渐近等价的选择模型使用扩展的贝叶斯信息准则。此外,我们证明了最小的真模型是由这两种方法的概率趋于1。在解决了随机协变量后,我们还能够为高维稀疏图形建模的伪似然方法给出一致性结果。真实数据的实验表明,良好的性能的扩展贝叶斯信息准则的回归和图形模型。
2011-12-23 math.ST stat.TH
Unified Bayesian theory of sparse linear regression with nuisance parameters
研究了高维高斯稀疏回归中含有未知冗余参数时贝叶斯过程的频率论渐近性质。冗余参数可以是有限维、高维或无限维的。零点质量和连续分布的混合用于稀疏回归系数的先验分布,并将适当的先验分布用于冗余参数。稀疏回归系数的最佳后验收缩,阻碍了冗余参数的存在,也检查和讨论。结果表明,该过程产生强大的模型选择的一致性。稀疏回归系数的Bernstein-vonMises型定理也得到了不确定性量化通过可信集与保证频率覆盖。许多例子的渐近性质进行了研究,使用本研究中开发的理论。
2021-02-17 math.ST stat.TH
Depth induces scale-averaging in overparameterized linear Bayesian neural networks
Harvard University(哈佛大学)
深度贝叶斯神经网络中的推理只有在无限宽度限制下才能得到充分理解,其中深度增加所提供的后验灵活性消失,后验预测崩溃为浅高斯过程。在这里,我们将有限深度线性贝叶斯神经网络解释为跨输出通道的高斯过程预测器的数据依赖尺度混合。我们利用这一观察来研究这些网络中的表示学习,使我们能够在一个统一的框架内连接以前研究中获得的有限结果。总的来说,这些结果推进了我们对深度如何影响简单贝叶斯神经网络中的推理的分析理解。
2021-11-23 cs.LG stat.ML
On The Sparse Bayesian Learning Of Linear Models
本文对Tipping(2001)的线性回归模型的稀疏贝叶斯学习(SBL)在高维环境下进行了重新检验。我们提出了一个硬阈值版本的SBL估计,实现,正交设计矩阵,非渐近估计误差率的$σ\sqrt{s\log p}/\sqrt{n}$,其中$n$是样本量,$p$回归变量的数量,$σ$是回归模型的标准差,和$s$的非零回归系数的数量。我们还建立了高概率的估计识别非零回归系数。在我们的模拟中,我们发现当要恢复的信号很强时,稀疏贝叶斯学习回归的性能优于套索(Tibshirani(1996))。
2015-02-11 stat.ME
Bayesian Sparse Global-Local Shrinkage Regression for Selection of Grouped Variables
惩罚线性回归的大多数估计可以被视为适当选择先验分布的后验模式。贝叶斯收缩方法,特别是马蹄估计,近年来在估计稀疏、高维线性模型的问题中引起了极大的关注。本文扩展了这些想法,并提出了一个贝叶斯分组模型与连续的全局-局部收缩先验来处理复杂的组层次结构,包括重叠和多级组结构。由于后验均值从来不是线性模型系数的稀疏估计,我们将最近提出的解耦收缩和选择(DSS)技术的问题,从后验样本中选择变量组。为了选择一个最终的,稀疏的模型,我们还适应广义信息标准的方法的DSS框架。为了确保稀疏组,其中只有少数预测是活跃的,可以有效地识别,我们提供了一个替代度的自由估计稀疏贝叶斯线性模型,考虑到收缩的影响模型系数。模拟和实际数据分析,使用我们提出的方法显示出良好的性能,在正确识别的活动和不活动的群体,预测,与贝叶斯分组板和穗的方法相比。
2017-11-03 stat.ME
Multi Snapshot Sparse Bayesian Learning for DOA Estimation
利用稀疏贝叶斯学习(SBL)方法,从多快拍传感器阵列数据中估计平面波的到达方向(DOA)。先验源振幅假设为独立的零均值复高斯分布,超参数为未知方差(即源功率)。对于超参数为未知噪声方差的复高斯似然,导出了相应的高斯后验分布。对于给定数量的DOA,通过最大化证据自动选择超参数,并促进稀疏DOA估计。讨论了SBL DOA估计方法,并与LASSO($\ell_1$ -正则化)、常规波束形成和MUSIC方法进行了比较
2016-02-29 cs.IT math.IT math.ST
Nonparametric Bayesian sparse factor models with application to gene expression modeling
University of Cambridge(剑桥大学)
提出了一种非参数贝叶斯扩展因子分析(FA),其中观测数据$\mathbf{Y}$被建模为潜在无穷多个隐藏因子$\mathbf{X}$的线性叠加$\mathbf{G}$。印度自助餐过程(IBP)被用作$\mathbf{G}$的先验,以纳入稀疏性,并允许推断潜在特征的数量。该模型的效用建模基因表达数据的研究使用随机生成的数据集的基础上,一个已知的稀疏连接矩阵E。大肠杆菌,并对三个生物数据集的日益复杂。
2011-07-28 cs.AI stat.AP stat.ML
Structure-Based Bayesian Sparse Reconstruction
稀疏信号重构算法因其在各个领域的广泛应用而受到研究者的关注。在本文中,我们提出了一个简单的贝叶斯方法,利用稀疏约束和先验统计信息(高斯或其他),以获得接近最优的估计。此外,我们利用在许多信号处理应用中遇到的感测矩阵的丰富结构来开发一个快速稀疏恢复算法。该算法的计算复杂性相对较低,与广泛使用的凸松弛法以及贪婪匹配追踪技术相比,特别是在低稀疏率。
2012-07-16 math.ST stat.TH
Pattern-Coupled Sparse Bayesian Learning for Recovery of Block-Sparse Signals
University of Electronic Science and Technology of China(电子科技大学);Stevens Institute of Technology(史蒂文斯理工学院);Schlumberger-Doll Research Center(斯伦贝谢多尔研究中心)
我们考虑的问题,恢复块稀疏信号的结构是未知的\emph{a priori}。块稀疏信号与非零系数发生在集群自然出现在许多实际情况。然而,在实践中,对块结构的知识通常是不可用的。在本文中,我们开发了一个新的稀疏贝叶斯学习方法恢复块稀疏信号与未知的聚类模式。具体地说,模式耦合的分层高斯先验模型被引入来表征系数之间的统计依赖性,其中一组超参数被用来控制信号系数的稀疏性。与传统的稀疏贝叶斯学习框架中每个单独的超参数独立地与每个系数相关联不同,在本文中,每个系数的先验不仅涉及其自身的超参数,而且还涉及其近邻的超参数。通过这种方式,相邻系数的稀疏模式彼此相关,并且分层模型具有鼓励结构化稀疏解决方案的潜力。超参数以及稀疏信号通过期望最大化(EM)算法最大化其后验概率来学习。数值实验结果表明,该算法与现有方法相比具有一致的优越性。
2013-11-09 cs.IT cs.LG math.IT
Iterative Bayesian Reconstruction of Non-IID Block-Sparse Signals
提出了一种新的块迭代贝叶斯算法(Block-IBA),用于重构具有未知块结构的块稀疏信号。与现有的用于块稀疏信号恢复的算法不同,现有的算法假设未知信号的非零元素的簇结构是独立同分布的(i.i.d.),我们使用更现实的Bernoulli-Gaussian隐马尔可夫模型(BGHMM)来表征非独立同分布。在实践中经常遇到的块稀疏信号。块IBA迭代估计块稀疏信号的幅度和位置使用最陡上升的期望最大化(EM),并通过自适应阈值最优地选择块稀疏信号的非零元素。分析并证明了Block-IBA算法的全局收敛性,并通过数值实验和模拟仿真验证了Block-IBA算法的有效性。
2014-12-07 cs.IT math.IT stat.ML
Approximate Bayesian Inference via Sparse grid Quadrature Evaluation for Hierarchical Models
我们结合条件技术与稀疏网格求积规则,开发一种计算效率高的方法来近似边缘,但不一定是单变量,后量,通过稀疏网格求积评估(BISQuE)分层模型产生近似贝叶斯推断。BISQuE将后验量重新表述为条件量的加权积分,例如密度和期望。稀疏网格求积规则允许计算高效的近似高维积分,这出现在具有许多超参数的分层模型中。BISQuE相对于标准的马尔可夫链蒙特卡罗方法减少了至少两个数量级的几个应用和说明性模型的计算工作量。我们还简要讨论了使用BISQuE将集成嵌套拉普拉斯近似(INLA)应用于具有比目前实际更多超参数的模型。
2019-04-15 stat.CO stat.ME
Application of Bayesian Hierarchical Prior Modeling to Sparse Channel Estimation
用于稀疏信道估计的现有方法通常提供作为最大化目标函数的解来计算的估计,该目标函数被定义为对数似然函数和与感兴趣的参数的l1范数成比例的惩罚项的和。然而,其他惩罚项已被证明具有很强的稀疏诱导属性。在这项工作中,我们设计了导频辅助信道估计OFDM无线接收机的框架内的稀疏贝叶斯学习,通过定义层次贝叶斯先验模型,导致稀疏诱导惩罚条款。估计的结果作为一个应用程序的变分的消息传递算法的因素图表示的信号模型扩展的分层先验模型。数值结果表明,我们的信道估计相比,传统的和国家的最先进的稀疏方法的优越性能。
2012-04-03 stat.ML
Sparse Signal Recovery with Temporally Correlated Source Vectors Using Sparse Bayesian Learning
University of California at San Diego(加州大学圣地亚哥分校)
当解矩阵的每个非零行中的元素在时间上相关时,我们在多个测量向量(MMV)的上下文中解决稀疏信号恢复问题。现有的算法不考虑这种时间相关性,因此它们的性能显着降低的相关性。在这项工作中,我们提出了一个块稀疏贝叶斯学习框架,模型的时间相关性。在这个框架中,我们推导出两个稀疏贝叶斯学习(SBL)算法,具有优越的恢复性能相比,现有的算法,特别是在存在高的时间相关性。此外,我们的算法更好地处理高度欠定问题,并要求更少的行稀疏的解决方案矩阵。我们还提供了其成本函数的全局和局部最小值的分析,并表明,SBL成本函数具有非常理想的性质,即全局最小值是在稀疏解的MMV问题。大量的实验也提供了一些有趣的结果,激励未来的理论研究MMV模型。
2011-08-17 cs.LG stat.ML
Bayesian Sparse Covariance Structure Analysis for Correlated Count Data
The University of Electro-Communications(电气通信大学);National Police Agency Info-Communications Bureau(警察厅信息通信局)
在本文中,我们提出了一个贝叶斯图LASSO相关的可数数据,并将其应用于空间犯罪数据。在所提出的模型中,我们假设一个高斯图形模型的潜变量,占主导地位的潜在犯罪风险。为了评估所提出的模型,我们确定了更好地代表样本的最佳超参数。我们应用所提出的模型估计的稀疏逆协方差的潜在变量和评估的部分相关系数。最后,我们说明了犯罪现场数据的结果,并考虑估计的潜在变量和部分相关系数的稀疏逆协方差。
2020-06-05 cs.LG stat.ME
Fast Marginalized Block Sparse Bayesian Learning Algorithm
National University of Defense Technology(国防科技大学);Samsung R&D Institute America - Dallas(三星美国研究院(达拉斯))
利用信号的稀疏性和相关性,可以提高稀疏信号从噪声、欠定测量中恢复的性能。一种典型的相关结构是块稀疏信号中的块内相关。为了利用这种结构,最近提出了一种称为块稀疏贝叶斯学习(BSBL)的框架。从这个框架衍生的算法表现出优越的性能,但他们不是很快,这限制了他们的应用。这项工作得出了一个有效的算法,从这个框架中,使用边缘化的似然最大化方法。与现有的BSBL算法相比,它具有接近的恢复性能,但要快得多。因此,它更适合于大规模数据集和需要实时实现的应用。
2013-09-29 cs.IT cs.LG math.IT
Sparse Bayesian vector autoregressions in huge dimensions
我们建立了一个具有多维随机波动率的贝叶斯向量自回归(VAR)模型,该模型能够处理大量的多维信息集。引入三个功能,以允许可靠的估计模型。首先,我们假设VAR中的简化形式误差具有因子随机波动率结构,允许有条件的逐方程估计。其次,我们应用最近开发的全局-局部收缩先验的VAR系数治愈灾难的维度。第三,我们利用最近的创新,有效地从高维多变量高斯分布采样。这使得基于模拟的完全贝叶斯推断可行的维数是大的,但时间序列长度是中等。我们展示了我们的方法在广泛的模拟研究的优点,并将该模型应用于美国的宏观经济数据,以评估其预测能力。
2019-12-04 econ.EM stat.AP stat.CO
Improved Depth Estimation of Bayesian Neural Networks
Lazy Dynamics(拉齐动力学);Eindhoven University of Technology(埃因霍温理工大学);GN Hearing(GN听力)
本文针对贝叶斯神经网络深度估计问题,提出基于离散截断正态分布独立学习网络深度均值与方差,并通过最小化变分自由能推断后验,有效提升了螺旋数据集测试精度并降低了深度估计方差。
2024-10-15 cs.LG stat.ML
Fast post-process Bayesian inference with Variational Sparse Bayesian Quadrature
Department of Computer Science, University of Helsinki(赫尔辛基大学计算机科学系);Department of Statistics, University of Edinburgh(爱丁堡大学统计系)
针对已有大量模型评估却未被传统推断利用的问题,提出后处理贝叶斯推断框架及 VSBQ,通过稀疏 GP 代理、贝叶斯求积与变分推断实现无需额外模型调用的快速高质量后验近似。
2025-07-23 cs.LG stat.CO stat.ME
Bayesian Inference in Sparse Gaussian Graphical Models
University of Edinburgh(爱丁堡大学);Pharmatics Ltd(Pharmatics有限公司)
科学的基本任务之一是在观察到的现象之间找到可解释的关系。这一任务的一种方法,近年来受到关注的是基于概率图形模型与稀疏约束的模型结构。在本文中,我们描述了两种新的方法来贝叶斯推断稀疏结构的高斯图模型(GGM)。一个是基于一个简单的修改的尖端块吉布斯采样器稀疏GGM,这导致显着的计算增益在高维。另一种方法是基于哈密顿蒙特卡罗采样器的一个特定的结构,这导致进一步的显着改善。我们比较了我们的完全贝叶斯方法与流行的基于规则的图形LASSO,并在相同的计算成本下证明了贝叶斯处理的显着优势。我们将这些方法应用于广泛的模拟数据集和真实的金融数据集。
2013-09-27 cs.LG stat.ML
Hierarchical Bayesian sparse image reconstruction with application to MRFM
本文提出了一种分层贝叶斯模型,当观测值由线性变换获得并被加性高斯白噪声破坏时,重建稀疏图像。我们的分层贝叶斯模型非常适合于这种自然稀疏的图像应用,因为它无缝地通过适当的贝叶斯先验解释了图像的稀疏性和积极性等属性。我们提出了一个先验,是基于一个加权的混合正指数分布和质量为零。先验具有通过分层贝叶斯模型的边缘化自动调整的超参数。为了克服后验分布的复杂性,提出了一种Gibbs抽样策略。吉布斯样本可以用于估计要恢复的图像,例如通过最大化估计的后验分布。在我们的完全贝叶斯方法中,所有参数的后验均可用。因此,我们的算法提供了更多的信息比其他以前提出的稀疏重建方法,只给一个点估计。我们的分层贝叶斯稀疏重建方法的性能说明合成和真实的数据从烟草病毒样本使用原型MRFM仪器。
2009-09-23 cs.IT math.IT physics.data-an
Inducing Point Allocation for Sparse Gaussian Processes in High-Throughput Bayesian Optimisation
稀疏高斯过程是高吞吐量贝叶斯优化(BO)循环的关键组成部分,然而,我们发现,现有的方法分配其诱导点严重妨碍优化性能。通过利用确定性点过程的质量多样性分解,我们提出了第一个专门为BO设计的诱导点分配策略。与现有的方法,只寻求减少目标函数的全局不确定性,我们的方法提供了精确优化所需的有前途的区域的本地高保真度建模。更一般地说,我们证明了我们提出的框架提供了一种灵活的方式来分配稀疏模型的建模能力,因此适合广泛的下游顺序决策任务。
2023-02-23 cs.LG stat.ML
Bayesian equation selection on sparse data for discovery of stochastic dynamical systems
通常,驱动随机动力系统的微分方程的基本系统被假设为已知的,推理以这个假设为条件。我们提出了一个贝叶斯框架,发现这个系统的微分方程的假设下,与现实生活中的场景,包括相对稀疏的数据的可用性。此外,我们讨论了对于梳理动力系统的重要细节至关重要的计算策略和算法创新,以解决在缺乏丰富数据的情况下严重的参数相互依赖性。这给出了一个完整的贝叶斯路径模型识别通过一个变量选择范例和参数估计的相应模型,只使用观察到的数据。我们提出了详细的计算和分析的Lorenz-96,Lorenz-63,和Orstein-Uhlenbeck系统使用贝叶斯框架,我们建议。
2021-01-12 stat.CO stat.ME
Bayesian Reinforcement Learning via Deep, Sparse Sampling
Chalmers University of Technology(查尔姆斯理工大学);University of Oslo(奥斯陆大学)
我们使用有效的基于模型的在线规划解决贝叶斯强化学习的问题。我们提出了一个无乐观的贝叶斯自适应算法,以诱导更深,更稀疏的探索与理论界的性能相对于贝叶斯最优策略,具有较低的计算复杂性。主要的新颖性是使用候选策略生成器,在规划树中生成长期选项(超过信念),这使我们能够创建更稀疏和更深的树。在不同环境下的实验结果表明,与现有算法相比,该算法不仅在计算效率上更高,而且在离散环境下获得了更高的回报.
2020-06-27 cs.AI cs.LG stat.ML
Simultaneous Block-Sparse Signal Recovery Using Pattern-Coupled Sparse Bayesian Learning
University of Electronic Science and Technology of China(电子科技大学);China Academy of Engineering Physics(中国工程物理研究院)
在本文中,我们考虑块稀疏信号恢复问题的背景下,多个测量向量(MMV)与共同的行稀疏模式。我们开发了一种新的方法来恢复常见的行稀疏MMV信号,其中模式耦合的分层高斯先验模型被引入到共同的行稀疏MMV信号的系数的块稀疏性和相邻系数之间的统计依赖性的特征。与许多其他方法不同,该方法能够自动捕获未知信号的块稀疏结构。我们的方法是使用期望最大化(EM)的框架。仿真结果表明,该方法在恢复块稀疏共行稀疏模式MMV信号时具有较好的性能。
2017-11-06 cs.IT cs.LG eess.SP
EP-GIG Priors and Applications in Bayesian Sparse Learning
在本文中,我们提出了一个新的框架,稀疏诱导先验的建设。特别是,我们定义这样的先验混合指数幂分布与广义逆高斯密度(EP-GIG)。EP-GIG是广义双曲分布的一种变体,其特殊情况包括高斯尺度混合和拉普拉斯尺度混合。此外,拉普拉斯尺度的混合物可以subserve的贝叶斯框架稀疏学习与非凸惩罚。EP-GIG的密度可以明确表达。此外,相应的后验分布也遵循广义逆高斯分布。这些属性使我们的期望最大化算法贝叶斯稀疏学习。我们发现,这些算法承担一个有趣的相似之处,迭代重新加权$\ell_2$或$\ell_1$方法。此外,我们提出了两个扩展的分组变量选择和逻辑斯谛回归。
2012-04-19 stat.ML
Sparse Bayesian Unsupervised Learning
本文研究了无监督高维环境下的变量选择、聚类和估计问题。我们的方法是基于拟合约束高斯混合模型,在那里我们学习的集群数量$K$和相关变量$S$的集合使用广义贝叶斯后验与稀疏诱导先验。我们证明了一个稀疏预言不等式,表明该过程选择最佳参数$K$和$S$。该过程使用基于面向聚类的贪婪建议的梅特罗波利斯-黑斯廷斯算法来实现,这使得收敛到后验非常快。
2014-01-30 stat.ML
A Stochastic Variance-Reduced Coordinate Descent Algorithm for Learning Sparse Bayesian Network from Discrete High-Dimensional Data
K. N. Toosi University of Technology(K.N.托西理工大学);Polytechnique Montréal(蒙特利尔理工学院)
研究了从高维离散数据中学习稀疏结构贝叶斯网络的问题。与连续贝叶斯网络相比,离散贝叶斯网络的学习是一个具有挑战性的问题,由于大的参数空间。虽然已经开发了许多方法来学习连续贝叶斯网络,很少有方法已经提出了离散的。在本文中,我们解决学习贝叶斯网络作为一个优化问题,并提出了一个得分函数,保证学习的结构是一个稀疏的有向无环图。此外,我们还实现了一个分块随机坐标下降算法来优化得分函数。具体来说,我们在优化算法中使用了方差减少方法,使算法有效地处理高维数据。所提出的方法适用于合成数据从著名的基准网络。所构建的网络的质量,可扩展性和鲁棒性进行测量。与一些有竞争力的方法相比,结果表明,我们的算法优于一些众所周知的方法。
2022-09-24 cs.LG stat.ML
On high-dimensional classification by sparse generalized Bayesian logistic regression
本文针对高维分类问题,提出稀疏广义贝叶斯逻辑回归方法,利用分数似然后验,推导了分数后验的集中结果及误分类超额风险界,并扩展到模型误设情形。
2024-03-19 math.ST stat.TH
High-dimensional near-optimal experiment design for drug discovery via Bayesian sparse sampling
Chalmers University of Technology(查尔姆斯理工大学);AstraZeneca AB(阿斯利康公司)
我们研究的问题进行自动化实验设计的药物筛选,通过贝叶斯推理和优化。特别是,我们比较和对比的线性高斯模型和高斯过程的行为,当与置信上限算法,汤普森采样,或有界水平树搜索。我们表明,非近视的复杂的探索技术,使用稀疏树搜索有一个明显的优势,如汤普森采样或置信上限在这种情况下的方法。我们证明了显着的优越性,该方法比现有的和合成的药物毒性数据集。
2021-04-23 cs.LG q-bio.QM stat.ML
On Identification of Sparse Multivariable ARX Model: A Sparse Bayesian Learning Approach
University of Cambridge(剑桥大学);Huazhong University of Science and Technology(华中科技大学);Cardwell Investment Tech(卡德韦尔投资科技公司);UC Berkeley(加州大学伯克利分校)
本文提出一种基于稀疏贝叶斯学习的方法,用于识别稀疏多变量ARX模型的布尔结构和节点间动态,无需先验知识,通过最大后验估计结合复杂性和组稀疏性惩罚。
2016-09-30 cs.LG cs.SY eess.SY
Optimal sparse phase retrieval via a quasi-Bayesian approach
Norwegian Institute of Public Health(挪威公共卫生研究院)
针对需仅用变换幅度重建信号的稀疏相位恢复问题,提出新型稀疏准贝叶斯方法,以缩放Student分布为收缩先验,通过PAC-贝叶斯框架分析,实现极小极大最优收敛率,为噪声环境下的该问题提供有原则的替代方案。
2025-04-13 cs.LG math.ST stat.ME
Sparse Bayesian factor analysis when the number of factors is unknown
有越来越多的研究兴趣在子字段的稀疏贝叶斯因子分析收缩先验,实现额外的稀疏性超出自然简约的因素模型。本着这种精神,我们估计的共同因素的数量,在高度实施的稀疏潜在的因素模型与尖峰和板先验的因素负载矩阵。我们的框架导致一个自然的,高效的,同时耦合的模型估计和选择,一方面和模型识别和秩估计(因子数)的另一方面。更准确地说,通过嵌入无序广义下三角负载表示过拟合稀疏因子模型,我们获得后验总结因子负载,共同的因素,以及通过后处理的因素尺寸从我们的高效和定制的马尔可夫链蒙特卡罗计划。
2023-01-16 stat.ME
Sparse Spectrum Gaussian Process for Bayesian Optimization
Deakin University(迪肯大学);Applied Artificial Intelligence Institute(应用人工智能研究所)
我们提出了一种新的稀疏谱近似高斯过程(GP)的贝叶斯优化。虽然当前的稀疏谱方法为回归问题提供了所需的近似,但据观察,这种特定形式的稀疏近似会产生过度自信的GP,即它产生比原始GP更少的认识不确定性。由于预测均值和预测方差之间的平衡是贝叶斯优化成功的关键决定因素,目前的稀疏谱方法不太适合它,我们推导出一个新的正则化边缘似然寻找最佳频率来解决这个过度自信的问题,特别是贝叶斯优化。正则化器在模型拟合的准确性与所得GP的预测方差的目标增加之间进行权衡。具体来说,我们使用来自后验GP的全局最大分布的熵作为需要最大化的正则化器。由于这种分布不能解析计算,我们首先提出了一个汤普森抽样为基础的方法,然后一个更有效的顺序蒙特卡罗为基础的方法来估计它。后来,我们还表明,预期改善采集功能可以作为一个代理的最大分布,从而使整个过程更加有效。实验结果表明,当协方差矩阵因观测量大而出现病态时,该方法的贝叶斯优化收敛速度比稀疏谱方法和全GP方法都有较大的提高.
2020-06-08 cs.LG stat.ML
Accelerated Sparse Bayesian Learning via Screening Test and Its Applications
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
在高维环境中,稀疏结构对于存储器和计算复杂度方面的效率至关重要。对于一个线性系统,直接寻找具有过完备特征字典的稀疏解通常是NP困难的,因此应该考虑替代的近似方法。在本文中,我们选择的替代方法是稀疏贝叶斯学习,作为经验贝叶斯方法,它使用参数化的先验来鼓励解决方案中的稀疏性,而不是具有固定先验的其他方法,如LASSO。而筛选测试的目的是快速识别出一个特征子集,其系数在最优解中保证为零,然后可以安全地从完整的字典中删除,以获得更小,更容易解决的问题。接下来,我们解决较小的问题,之后可以通过用零填充较小的解决方案来恢复原始问题的解决方案。所提出的方法的性能将在各种数据集和应用程序进行检查。
2020-07-08 cs.LG stat.ML
Nonparametric Bayesian Sparse Graph Linear Dynamical Systems
提出了一种非参数贝叶斯稀疏图线性动力系统(SGLDS),用于对序列观测的多元数据进行建模。SGLDS使用Bernoulli-Poisson链接和伽马过程来生成一个无限维稀疏随机图来模拟状态转换。根据图亲和矩阵的相应行和列的稀疏模式,SGLDS的潜在状态可以被分类为非动态状态或动态状态。一个正常的伽玛结构被用来缩小非动态状态所捕获的能量,而动态状态可以被进一步分类为活的,吸收,或噪声注入状态,其捕获的基础时间序列的不同类型的动态分量。SGLDS的国家的最先进的性能证明与合成和真实数据的实验。
2018-02-21 stat.ME stat.ML
High-Dimensional Bayesian Optimization with Sparse Axis-Aligned Subspaces
Facebook(脸书);Broad Institute of Harvard and MIT(哈佛大学与麻省理工学院博德研究所)
贝叶斯优化(BO)是一个强大的范例,有效优化黑箱目标函数。高维BO提出了一个特殊的挑战,部分原因是维数灾难使得难以定义合适的一类代理模型,以及对其进行推理。我们认为,高斯过程代理模型定义在稀疏轴对齐的子空间提供了一个有吸引力的灵活性和简约性之间的妥协。我们证明,我们的方法,它依赖于汉密尔顿蒙特卡罗推理,可以快速识别稀疏子空间相关的建模未知的目标函数,使样本高效的高维BO。在一系列广泛的实验中,与现有的高维BO方法相比,我们证明了我们的算法,稀疏轴对齐子空间BO(SAASBO),在几个合成和现实世界的问题上实现了出色的性能,而无需设置特定于问题的超参数。
2021-06-10 cs.LG stat.ML
Sparse Bayesian State-Space and Time-Varying Parameter Models
在这一章中,我们将回顾贝叶斯框架下单变量和多变量时间序列的时变参数(TVP)模型的方差选择。我们展示了如何连续以及离散的尖峰和板坯收缩先验可以从回归模型的变量选择转移到TVP模型的方差选择,通过使用非中心参数化。我们讨论了有效的MCMC估计,并提供了一个应用程序,美国通货膨胀建模。
2022-07-25 econ.EM stat.ME
Bayesian orthogonal component analysis for sparse representation
本文讨论了确定一个低维空间,观察到的数据可以稀疏表示的问题。这个不完全字典学习任务可以被公式化为稀疏源与未知正交混合矩阵线性混合的盲分离问题。这个问题是制定在贝叶斯框架。首先,未知稀疏源被建模为Bernoulli-Gaussian过程。为了提高稀疏性,提出了一个原子在零和高斯分布的加权混合作为未观测源的先验分布。一个无信息的先验分布定义在一个适当的Stiefel流形被选为混合矩阵。使用马尔可夫链蒙特卡罗(MCMC)方法对未知参数进行贝叶斯推断。设计了一个部分塌陷Gibbs抽样器,根据未知模型参数和超参数的联合后验分布生成渐近分布的样本。然后,这些样本被用来近似的联合最大后验估计的源和混合矩阵。模拟合成数据进行报告,以说明该方法的性能恢复稀疏表示。最后研究了欠完备字典在稀疏编码中的应用。
2010-01-04 stat.ME stat.ML
Bayesian Nonparametrics for Sparse Dynamic Networks
在本文中,我们提出了一个贝叶斯非参数方法来建模稀疏时变网络。一个正参数与网络的每个节点相关联,它模拟了该节点的社交性。社会性被认为是随着时间的推移而发展,并通过一个动态的点过程模型建模。该模型能够捕捉社会性的长期演变。此外,它产生稀疏图,其中边的数量随着节点的数量次二次增长。社会性的演变是由一个易处理的随时间变化的广义伽马过程。我们对模型提供了一些理论见解,并将其应用于三个数据集:模拟网络,Reddit上社区之间的超链接网络,以及9月11日袭击后路透社新闻文章中的词汇共现网络。
2022-04-14 stat.ML
High-Dimensional Sparse Bayesian Learning without Covariance Matrices
Harvard University(哈佛大学);Massachusetts Institute of Technology(麻省理工学院);Athinoula A. Martinos Center for Biomedical Imaging(阿瑟努拉·A·马蒂诺斯生物医学成像中心);Harvard Medical School(哈佛医学院)
稀疏贝叶斯学习(SBL)是解决稀疏编码问题的一个强大框架。然而,最流行的推理算法SBL变得过于昂贵的高维设置,由于需要存储和计算一个大的协方差矩阵。我们引入了一个新的推理方案,避免了显式的协方差矩阵的建设,并行求解多个线性系统,以获得后验矩的SBL。我们的方法耦合一个鲜为人知的对角估计结果,从数值线性代数与共轭梯度算法。在几次模拟中,我们的方法在计算时间和内存方面比现有方法更好,特别是对于能够快速矩阵向量乘法的结构化字典。
2022-02-25 cs.LG eess.SP stat.CO
Bayesian linear regression with sparse priors
我们研究了稀疏约束下高维线性回归的全贝叶斯过程。先验是零点质量和连续分布的混合。在设计矩阵的相容性条件下,证明了后验分布以最优的速率收缩,以恢复未知稀疏向量,并给出响应向量的最优预测。它还示出选择正确的稀疏模型,或至少是显着不同于零的系数。描述了后验分布的渐近形状,并将其应用于不确定性量化可信集的构造和研究。
2015-10-14 math.ST stat.ME stat.TH
Sparse Bayesian Inference with Regularized Gaussian Distributions
正则化是变分反问题中对问题参数进行假设的常用工具。其中一个假设是稀疏性,通常使用套索和类全变差正则化来提升稀疏性。虽然许多这样的正则化反问题的解决方案可以被认为是精心选择的后验分布的最大概率点,这些分布的样本通常不是稀疏的。在本文中,我们提出了一个框架,隐式地定义一个概率分布,结合了稀疏性的影响施加正则化与高斯分布。与连续分布不同,这些隐式分布可以将正概率分配给稀疏向量。我们研究这些正则化分布的各种正则化函数,包括总变差正则化和分段线性凸函数。我们将所开发的理论应用于贝叶斯线性逆问题的不确定性量化,并推导出贝叶斯分层模型的吉布斯采样器。为了说明我们的稀疏诱导框架和连续分布之间的差异,我们将我们的框架应用于小规模去模糊和计算机断层扫描的例子。
2023-02-14 math.ST stat.TH
Sparse Semi-supervised Heterogeneous Interbattery Bayesian Analysis
Universidad Carlos III de Madrid(马德里卡洛斯三世大学);Gregorio Marañón Health Research Institute(格雷戈里奥·马拉尼翁健康研究所)
贝叶斯特征提取方法,称为因子分析(FA),在机器学习中得到了广泛的研究,以获得数据的潜在表示。适当选择这些基本模型的概率和先验,使模型能够更好地适应数据性质(即异质性,稀疏性),获得更具代表性的潜在空间。本文的目的是提出一个通用的FA框架,能够模拟任何问题。为此,我们从贝叶斯电池间因子分析(BIBFA)模型开始,通过新功能对其进行增强,以便能够处理异构数据,包括特征选择,并处理缺失值以及半监督问题。所提出的模型,稀疏半监督异构电池间贝叶斯分析(SSHIBA)的性能已在4种不同的情况下进行了测试,以评估其每一个新颖性,不仅表现出很大的通用性和可解释性增益,而且还优于大多数最先进的算法。
2020-01-24 cs.LG stat.ML