Fast post-process Bayesian inference with Variational Sparse Bayesian Quadrature
Department of Computer Science, University of Helsinki(赫尔辛基大学计算机科学系);Department of Statistics, University of Edinburgh(爱丁堡大学统计系)
针对已有大量模型评估却未被传统推断利用的问题,提出后处理贝叶斯推断框架及 VSBQ,通过稀疏 GP 代理、贝叶斯求积与变分推断实现无需额外模型调用的快速高质量后验近似。
2025-07-23 cs.LG stat.CO stat.ME
Sparse Bayesian factor analysis when the number of factors is unknown
有越来越多的研究兴趣在子字段的稀疏贝叶斯因子分析收缩先验,实现额外的稀疏性超出自然简约的因素模型。本着这种精神,我们估计的共同因素的数量,在高度实施的稀疏潜在的因素模型与尖峰和板先验的因素负载矩阵。我们的框架导致一个自然的,高效的,同时耦合的模型估计和选择,一方面和模型识别和秩估计(因子数)的另一方面。更准确地说,通过嵌入无序广义下三角负载表示过拟合稀疏因子模型,我们获得后验总结因子负载,共同的因素,以及通过后处理的因素尺寸从我们的高效和定制的马尔可夫链蒙特卡罗计划。
2023-01-16 stat.ME
INLA+ -- Approximate Bayesian inference for non-sparse models using HPC
本文提出INLA+框架,利用稠密矩阵和HPC在多节点上改进INLA方法,以处理非稀疏模型,并通过模拟和西班牙癌症死亡率数据验证其有效性。
2023-11-14 stat.AP stat.CO stat.ME
Bayesian sparse convex clustering via global-local shrinkage priors
NTT Advanced Technology Corporation(NTT先进技术公司);The University of Electro-Communications(电气通信大学)
稀疏凸聚类是在凸聚类框架下对观测值进行聚类的同时进行变量选择。虽然加权$L_1$范数通常用于稀疏凸聚类中的正则化项,但如果样本量不足,则其使用增加了对数据的依赖性并降低了估计精度。针对这些问题,本文提出了一种基于贝叶斯套索和全局-局部收缩先验的贝叶斯稀疏凸聚类方法。我们引入吉布斯抽样算法,我们的方法使用的比例混合正态分布。仿真研究和实际数据分析表明了所提出方法的有效性。
2020-05-26 cs.LG stat.ME stat.ML
Tuning Free Rank-Sparse Bayesian Matrix and Tensor Completion with Global-Local Priors
矩阵和张量补全是一系列问题的框架,包括协同过滤、缺失数据和图像重建。通过利用矩阵或张量是低秩的假设来估计缺失的条目。大多数现有的贝叶斯技术鼓励秩稀疏建模因子分解矩阵和张量与正常伽玛先验。然而,马蹄事先和其他“全球本地”配方提供调谐参数的解决方案,可以更好地实现同时秩稀疏和丢失值的恢复。我们发现这些全球本地先验优于常用的替代品在模拟和协同过滤任务预测棋盘游戏评级。
2019-05-27 stat.ME
Models of random sparse eigenmatrices matrices and Bayesian analysis of multivariate structure
我们讨论由稀疏特征矩阵上的分布定义的随机协方差结构的概率模型。正交矩阵的Givens旋转分解定义了一个自然的,可解释的框架,用于定义随机特征矩阵稀疏结构的分布。我们探索理论方面和影响的条件独立结构中出现的多元高斯模型,并讨论稀疏PCA,因子分析和高斯图形模型的连接。方法学包括基于模型的探索性数据分析和通过可逆跳跃马尔可夫链蒙特卡罗的贝叶斯分析。模拟研究检查的能力,以确定稀疏的多元结构相比,基准图形建模方法。具有额外测量误差的多元正态混合模型的扩展进入了具有广泛实际意义的潜在结构分析的框架。我们探讨的影响和效用的新模式与20维乳腺癌基因组学数据集的详细应用研究的摘要。
2016-06-27 stat.ME
BayesTime: Bayesian Functional Principal Components for Sparse Longitudinal Data
对非线性时间轨迹进行建模在许多应用领域中具有根本意义,例如在纵向微生物组分析中。许多现有的方法侧重于估计平均轨迹,但它也往往是有价值的,以评估个别科目的时间模式。稀疏主成分分析(SFPCA)作为一个有用的工具,用于评估个人的变化,在非线性轨迹,但其应用到实际数据往往需要仔细的模型选择标准和诊断工具。在这里,我们提出了一种贝叶斯方法SFPCA,它允许用户使用有效的留一交叉验证(LOO)与帕累托平滑重要性抽样(PSIS)的模型选择,并利用PSIS-LOO的形状参数估计和后验预测检查的图形模型诊断。因此,这种贝叶斯实现使得SFPCA能够谨慎地应用于广泛的纵向数据应用。
2020-12-01 stat.ME
PAC-Bayesian Estimation and Prediction in Sparse Additive Models
本文研究稀疏性假设下高维可加模型的估计和预测问题($p\gg n$范式)。研究了一种PAC-Bayesian策略,给出了概率上的预言不等式.通过最近的成果在高维MCMC算法的实施,我们的方法的性能进行评估模拟数据。
2013-02-01 math.ST stat.ME stat.TH
Bayesian Sparse Covariance Structure Analysis for Correlated Count Data
The University of Electro-Communications(电气通信大学);National Police Agency Info-Communications Bureau(警察厅信息通信局)
在本文中,我们提出了一个贝叶斯图LASSO相关的可数数据,并将其应用于空间犯罪数据。在所提出的模型中,我们假设一个高斯图形模型的潜变量,占主导地位的潜在犯罪风险。为了评估所提出的模型,我们确定了更好地代表样本的最佳超参数。我们应用所提出的模型估计的稀疏逆协方差的潜在变量和评估的部分相关系数。最后,我们说明了犯罪现场数据的结果,并考虑估计的潜在变量和部分相关系数的稀疏逆协方差。
2020-06-05 cs.LG stat.ME
A Bayesian Approach to Sparse plus Low rank Network Identification
研究了用稀疏动态贝叶斯网络模型对多元时间序列进行建模的问题。这种结构转化为稀疏加低秩模型。在本文中,我们提出了一个高斯回归方法来识别这样的模型。
2015-09-26 math.OC stat.ML
Bayesian Low Rank and Sparse Covariance Matrix Decomposition
本文研究了一类特殊结构的高维协方差阵的估计问题,该结构是低秩稀疏矩阵的和。该协方差结构具有广泛的应用,包括因子分析和随机效应模型。我们提出了一种估计协方差阵的贝叶斯方法,通过将协方差模型表示为潜在因子个数未知的因子模型的形式。我们引入二元指标的因素选择和秩估计的低秩分量结合贝叶斯套索方法的稀疏分量估计。仿真结果表明,该方法可以恢复的秩以及稀疏的两个组件分别。我们进一步将我们的方法扩展到图形因子模型,其中残差的图形模型以及选择因子的数量是感兴趣的。我们采用超逆Wishart先验建模的残差可分解的图形,和贝叶斯图形套索选择方法的不受限制的图形。我们通过模拟表明,扩展模型可以恢复的潜在因素的数量和图形模型的残差成功时,样本量是足够的相对于尺寸。
2013-10-15 stat.ME
Learning Large-Scale Bayesian Networks with the sparsebn Package
University of California Los Angeles(加州大学洛杉矶分校)
从数据中学习图形模型是一个重要的问题,具有广泛的应用,从基因组学到社会科学。如今的数据集通常有上千个--有时是数万或数十万个--变量和更少的样本。为了应对这一挑战,我们开发了一个新的R包,称为sparsebn,用于学习大型稀疏图形模型的结构,重点是贝叶斯网络。虽然有许多现有的软件包用于此任务,但此软件包侧重于从高维数据中学习大型网络的独特设置,可能需要干预。因此,所提供的方法在高维环境中重视可伸缩性和一致性。此外,在存在干预措施的情况下,这里实施的方法实现了从数据中学习因果网络的目标。此外,sparsebn软件包与现有的网络分析软件包完全兼容。
2018-03-10 cs.LG stat.CO stat.ME
Sparse Bayesian vector autoregressions in huge dimensions
我们建立了一个具有多维随机波动率的贝叶斯向量自回归(VAR)模型,该模型能够处理大量的多维信息集。引入三个功能,以允许可靠的估计模型。首先,我们假设VAR中的简化形式误差具有因子随机波动率结构,允许有条件的逐方程估计。其次,我们应用最近开发的全局-局部收缩先验的VAR系数治愈灾难的维度。第三,我们利用最近的创新,有效地从高维多变量高斯分布采样。这使得基于模拟的完全贝叶斯推断可行的维数是大的,但时间序列长度是中等。我们展示了我们的方法在广泛的模拟研究的优点,并将该模型应用于美国的宏观经济数据,以评估其预测能力。
2019-12-04 econ.EM stat.AP stat.CO
Bayesian Analysis of Multivariate Matched Proportions with Sparse Response
针对多元匹配比例数据的稀疏响应导致现有非贝叶斯方法方差低估等问题,提出基于贝叶斯probit模型的三种分析方法,其中结合贝叶斯FPCA的多元分析性能更优,且在精神障碍儿童照护体系数据再分析中获得了新洞见。
2022-11-07 stat.ME
Bayesian functional linear regression with sparse step functions
The functional linear regression model is a common tool to determine the relationship between a scalar outcome and a functional predictor seen as a function of time. This paper focuses on the Bayesian estimation of the support of the coefficient function. To this aim we propose a parsimonious and adaptive decomposition of the coefficient function as a step function, and a model including a prior distribution that we name Bayesian functional Linear regression with Sparse Step functions (Bliss). The aim of the method is to recover areas of time which influences the most the outcome. A Bayes esti…
2017-01-06 stat.ME
Bayesian inference of Gaussian mixture models with noninformative priors
本文讨论混合高斯分布的贝叶斯推断。一种新的配方的混合模型,其中包括先验约束,每个高斯分量总是分配一个最小数量的数据点。这使得非信息性的不适当的先验,如Jeffreys之前被放置在组件参数上。我们证明了在指定一个标准的高斯混合模型的先验所涉及的困难,并展示了如何新的模型可以用来克服这些。MCMC方法给出了有效的采样从这个模型的后验。
2014-05-19 stat.ME
Frequentist and Bayesian inference for Gaussian-log-Gaussian wavelet trees, and statistical signal processing applications
我们引入新的估计方法的子类的高斯尺度混合模型的小波树Wainwright,Simoncelli和Willsky依赖于现代的结果,复合似然和近似贝叶斯推理。我们的方法说明在二维图像中的去噪和边缘检测问题。
2017-08-10 math.ST stat.ME stat.TH
Posterior Impropriety of some Sparse Bayesian Learning Models
稀疏贝叶斯学习模型通常用于预测数据集的协变量数量显著大于观测值。这种模型通常采用再生核希尔伯特空间(RKHS)方法来执行预测任务,并且可以使用适当或不适当的先验来实现。在这篇文章中,我们表明,在文献中的一些稀疏贝叶斯学习模型,当使用不正确的先验,导致不正确的后验。
2021-06-19 math.ST stat.TH
Variational Bayesian Sparse Negative Binomial Regression
University of Tehran(德黑兰大学);Ferdowsi University of Mashhad(马什哈德费尔多西大学)
针对高维计数数据回归难题,开发变分贝叶斯框架,用马蹄形和连续收缩先验实现稀疏负二项回归,相比MCMC方法计算量大幅减少,在过度离散和泊松数据中都有良好表现,为高维稀疏计数回归提供实用工具。
2026-07-30 stat.ME
Bayesian sparse graphical models and their mixtures using lasso selection priors
我们提出了高斯图形模型的贝叶斯方法,导致稀疏和自适应收缩的精度(逆协方差)矩阵的估计。我们的方法是基于套索型正则化先验导致简约的参数化的精度矩阵,这是必不可少的几个应用程序,涉及学习变量之间的关系。在这种情况下,我们引入了一种新类型的选择之前,开发一个稀疏结构的精度矩阵,使大多数元素正好为零,除了确保正定性-从而进行模型选择和估计同时进行。我们将这些方法扩展到有限和无限混合高斯图形模型的聚类数据使用Dirichlet过程先验。我们讨论了适当的后验模拟方案,以实现后验推理在所提出的模型,包括评估的归一化常数,这是感兴趣的参数的功能,从而导致相关矩阵的限制。我们评估我们的方法的操作特性,通过几个模拟和应用到真实的数据集。
2013-10-03 stat.ME
Nonparametric Bayesian Sparse Graph Linear Dynamical Systems
提出了一种非参数贝叶斯稀疏图线性动力系统(SGLDS),用于对序列观测的多元数据进行建模。SGLDS使用Bernoulli-Poisson链接和伽马过程来生成一个无限维稀疏随机图来模拟状态转换。根据图亲和矩阵的相应行和列的稀疏模式,SGLDS的潜在状态可以被分类为非动态状态或动态状态。一个正常的伽玛结构被用来缩小非动态状态所捕获的能量,而动态状态可以被进一步分类为活的,吸收,或噪声注入状态,其捕获的基础时间序列的不同类型的动态分量。SGLDS的国家的最先进的性能证明与合成和真实数据的实验。
2018-02-21 stat.ME stat.ML
Generalized Cumulative Shrinkage Process Priors with Applications to Sparse Bayesian Factor Analysis
本文讨论了收缩先验的参数序列中施加不断增加的收缩。我们回顾了Legramanti等人(2020)的累积收缩过程(CUSP)先验,这是一种尖峰和平板收缩先验,其中尖峰概率随机增加,并从Dirichlet过程先验的棒断裂表示构建。作为第一个贡献,这个CUSP先验扩展到任意棒断裂表示所产生的β分布。作为第二个贡献,我们证明了可交换的尖峰和板先验,这是流行和广泛使用的稀疏贝叶斯因子分析,可以表示为有限的广义CUSP先验,这是很容易从板概率的下降顺序统计量。因此,可交换钉和板收缩先验意味着增加收缩的列索引在加载矩阵中的增加,而不施加显式的顺序约束的板的概率。稀疏贝叶斯因子分析的应用程序说明了本文的研究结果的有用性。介绍了一种新的基于Cadonna等人(2020)的三重伽马先验的可交换钉板收缩先验,并证明其有助于估计模拟研究中未知数量的因素。
2023-03-01 econ.EM stat.CO stat.ME
A Nonparametric Bayesian Approach for Sparse Sequence Estimation
针对高斯随机变量稀疏序列的估计问题,提出了一种非参数贝叶斯估计方法。我们采用流行的两组前一个组件是一个点质量为零,和其他组件是高斯分布的混合。虽然高斯族已经被证明是次优的这个问题,我们发现,高斯混合,与一个适当的选择的手段和混合权重,具有所需的渐近行为,例如,相应的后验集中在具有期望的极大极小速率的球上。为了达到计算效率,我们建议使用确定性变分算法来获得后验分布。几个基准数据集的实证研究表明,所提出的算法相比,其他替代品的优越性能。
2017-05-30 stat.ME
A Bayesian Lasso based Sparse Learning Model
University of Bergen(卑尔根大学)
贝叶斯套索是在线性回归框架下构造的,并应用吉布斯抽样来估计回归参数。本文提出了一种新的稀疏学习模型,命名为贝叶斯套索稀疏(BLS)模型,它采取了贝叶斯套索的分层模型公式。与原始贝叶斯套索的主要区别在于估计过程; BLS方法使用基于类型II极大似然过程的学习算法。与贝叶斯套索相反,BLS提供了回归参数的稀疏估计。通过引入核函数,得到了非线性监督学习问题的BLS方法。我们比较了BLS模型,众所周知的相关向量机,快速拉普拉斯方法,BLS套索,套索,模拟和真实数据。数值结果表明,该算法具有稀疏性和精确性,特别是在处理噪声和不规则数据集时。
2022-07-14 cs.LG stat.ML
Sparse Bayesian State-Space and Time-Varying Parameter Models
在这一章中,我们将回顾贝叶斯框架下单变量和多变量时间序列的时变参数(TVP)模型的方差选择。我们展示了如何连续以及离散的尖峰和板坯收缩先验可以从回归模型的变量选择转移到TVP模型的方差选择,通过使用非中心参数化。我们讨论了有效的MCMC估计,并提供了一个应用程序,美国通货膨胀建模。
2022-07-25 econ.EM stat.ME
Bayesian orthogonal component analysis for sparse representation
本文讨论了确定一个低维空间,观察到的数据可以稀疏表示的问题。这个不完全字典学习任务可以被公式化为稀疏源与未知正交混合矩阵线性混合的盲分离问题。这个问题是制定在贝叶斯框架。首先,未知稀疏源被建模为Bernoulli-Gaussian过程。为了提高稀疏性,提出了一个原子在零和高斯分布的加权混合作为未观测源的先验分布。一个无信息的先验分布定义在一个适当的Stiefel流形被选为混合矩阵。使用马尔可夫链蒙特卡罗(MCMC)方法对未知参数进行贝叶斯推断。设计了一个部分塌陷Gibbs抽样器,根据未知模型参数和超参数的联合后验分布生成渐近分布的样本。然后,这些样本被用来近似的联合最大后验估计的源和混合矩阵。模拟合成数据进行报告,以说明该方法的性能恢复稀疏表示。最后研究了欠完备字典在稀疏编码中的应用。
2010-01-04 stat.ME stat.ML
Hierarchical sparse Bayesian learning: theory and application for inferring structural damage from incomplete modal data
由于过度载荷或环境退化而造成的结构损坏通常发生在没有倒塌的局部区域。利用这种先验信息的空间稀疏的结构损伤的层次稀疏贝叶斯学习框架的目标是减少源的病态的刚度损失反演问题的损伤检测。稀疏贝叶斯学习方法自动从一组潜在的候选者中修剪掉不相关或不活动的特征,因此它们是用于产生稀疏解释子集的有效概率工具。我们以前已经提出了这样一种方法来建立局部刚度降低的概率,作为一个代理的损害,通过使用噪声不完整的模态数据之前和之后可能的损害。核心思想集中在一个特定的分层贝叶斯模型,促进空间稀疏的推断刚度减少的方式是一致的贝叶斯奥卡姆剃刀。在本文中,我们改进了我们以前提出的稀疏贝叶斯学习方法的理论,消除了近似,更重要的是,纳入了对刚度增加的约束。我们的方法有许多吸引人的功能,总结在本文的最后。我们验证的方法,将其应用到第二阶段的模拟和实验基准研究主办的IASC-ASCE工作组的结构健康监测。结果表明,该方法可以通过识别出的模态参数推断出结构的刚度损失,从而可靠地检测、定位和评估结构的损伤。有效地抑制了遗漏和错误损坏警报的发生。
2015-03-21 stat.AP stat.ME stat.ML
Scalable Bayesian Optimization with Sparse Gaussian Process Models
Deakin University(迪肯大学)
该研究围绕贝叶斯优化,提出结合导数信息与可扩展稀疏高斯过程,以加快收敛并处理海量数据。
2020-10-26 cs.IR cs.LG stat.ML
Hierarchical Bayesian sparse image reconstruction with application to MRFM
本文提出了一种分层贝叶斯模型,当观测值由线性变换获得并被加性高斯白噪声破坏时,重建稀疏图像。我们的分层贝叶斯模型非常适合于这种自然稀疏的图像应用,因为它无缝地通过适当的贝叶斯先验解释了图像的稀疏性和积极性等属性。我们提出了一个先验,是基于一个加权的混合正指数分布和质量为零。先验具有通过分层贝叶斯模型的边缘化自动调整的超参数。为了克服后验分布的复杂性,提出了一种Gibbs抽样策略。吉布斯样本可以用于估计要恢复的图像,例如通过最大化估计的后验分布。在我们的完全贝叶斯方法中,所有参数的后验均可用。因此,我们的算法提供了更多的信息比其他以前提出的稀疏重建方法,只给一个点估计。我们的分层贝叶斯稀疏重建方法的性能说明合成和真实的数据从烟草病毒样本使用原型MRFM仪器。
2009-09-23 cs.IT math.IT physics.data-an
Enhancing Off-Grid One-Bit DOA Estimation with Learning-Based Sparse Bayesian Approach for Non-Uniform Sparse Array
本文提出一种学习型稀疏贝叶斯框架,利用展开神经网络自主学习超参数,在单快照一比特离网DOA估计中兼顾精度与效率,适用于均匀及非均匀稀疏阵列。
2024-12-14 eess.SP stat.ML
A Fast Non-Gaussian Bayesian Matching Pursuit Method for Sparse Reconstruction
提出了一种基于贝叶斯方法的快速匹配追踪稀疏信号恢复方法。该方法被称为nGpFBMP,即使当信号先验是非高斯或未知时,也执行稀疏信号的贝叶斯估计。它是不可知的信号统计,并利用先验统计的加性噪声和稀疏率的信号,这是很容易估计的数据,如果没有。nGpFBMP利用一个贪婪的方法和顺序递归更新的度量,找到最主要的稀疏支持,以确定近似的最小均方误差(MMSE)估计的稀疏信号。仿真结果表明,我们提出的估计的权力和鲁棒性。
2012-06-19 stat.OT
A Fast Iterative Bayesian Inference Algorithm for Sparse Channel Estimation
本文提出了一种基于导频符号观测值的多载波贝叶斯信道估计算法。利用无线多径信道固有的稀疏性,通过建模多径分量的增益的先验分布与Bessel K概率密度函数的分层表示,然后将一种高效,快速的迭代贝叶斯推断方法应用于所提出的模型。由此产生的估计优于其他国家的最先进的贝叶斯和非贝叶斯估计,无论是通过产生较低的均方估计误差或通过达到相同的精度与改进的收敛速度,如我们的数值评估。
2013-03-06 cs.IT math.IT stat.ML
Bayesian linear regression with sparse priors
我们研究了稀疏约束下高维线性回归的全贝叶斯过程。先验是零点质量和连续分布的混合。在设计矩阵的相容性条件下,证明了后验分布以最优的速率收缩,以恢复未知稀疏向量,并给出响应向量的最优预测。它还示出选择正确的稀疏模型,或至少是显着不同于零的系数。描述了后验分布的渐近形状,并将其应用于不确定性量化可信集的构造和研究。
2015-10-14 math.ST stat.ME stat.TH
Bayesian Masking: Sparse Bayesian Estimation with Weaker Shrinkage Bias
Kyoto University(京都大学);National Institute of Informatics(国立信息学研究所)
稀疏线性回归的一个常见策略是引入正则化,通过使相应的权重为零来消除不相关的特征。然而,正则化经常缩小相关特征的估计量,这导致不正确的特征选择。出于上述问题,我们提出了贝叶斯掩蔽(BM),稀疏估计方法,不施加正则化的权重。BM的关键概念是引入随机屏蔽特征的二进制潜变量。估计掩蔽率自动确定特征的相关性。我们推导出一个变分贝叶斯推断算法,最大限度地提高了下界的因子分解信息准则(FIC),这是最近开发的渐近标准,用于评估边际对数似然。此外,我们提出了重新参数化,以加速收敛的派生算法。最后,我们表明,BM优于Lasso和自动相关性确定(ARD)的稀疏收缩权衡。
2015-10-06 cs.LG stat.ML
Bayesian System Identification based on Hierarchical Sparse Bayesian Learning and Gibbs Sampling with Application to Structural Damage Assessment
本文的重点是贝叶斯系统识别噪声不完整的模态数据的基础上,我们可以在更新结构模型时施加空间稀疏刚度的变化。为此,基于我们以前的工作类似的层次稀疏贝叶斯学习模型,我们提出了两个吉布斯抽样算法。这两种算法处理方程误差精度参数后验不确定性的策略不同,但都是从结构刚度参数和系统模态参数的条件后验概率密度函数(PDF)中采样。吉布斯抽样的有效维数较低,因为迭代采样仅从对应于三个参数组的三个条件后验PDF中完成,同时从其中一个算法中的另一个条件后验PDF中对方程误差精度参数进行采样,其中方程误差精度参数未被整合为“滋扰”参数。从计算的角度来看,一个很好的特点是,它是没有必要解决一个结构模型的非线性特征值问题。所提出的算法的有效性和鲁棒性说明将它们应用到IASE ASCE第二阶段的模拟和实验基准研究。我们的目标是使用不完整的模态数据识别之前和之后可能的损害,以检测和评估空间稀疏的刚度降低引起的任何损害。我们过去和现在的重点是满足所产生的挑战,从贝叶斯推断的结构刚度服务,以加强基于振动的结构系统识别的能力,但我们的方法也有更广泛的适用性,在科学和技术的逆问题,系统矩阵是从噪声的部分信息推断其特征量。
2017-01-13 stat.AP stat.ME stat.ML
Optimal sparse phase retrieval via a quasi-Bayesian approach
Norwegian Institute of Public Health(挪威公共卫生研究院)
针对需仅用变换幅度重建信号的稀疏相位恢复问题,提出新型稀疏准贝叶斯方法,以缩放Student分布为收缩先验,通过PAC-贝叶斯框架分析,实现极小极大最优收敛率,为噪声环境下的该问题提供有原则的替代方案。
2025-04-13 cs.LG math.ST stat.ME
Fully Bayesian Autoencoders with Latent Sparse Gaussian Processes
EURECOM(欧洲通信研究院);University of California, Irvine(加州大学欧文分校)
自动编码器及其变体是表示学习和生成建模中使用最广泛的模型之一。然而,基于自动编码器的模型通常假设学习的表示是i.i.d.。并且不能捕获数据样本之间的相关性。为了解决这个问题,我们提出了一种新的稀疏高斯过程贝叶斯自动编码器(SGPAE)模型,在该模型中,我们对贝叶斯自动编码器的潜在空间施加完全贝叶斯稀疏高斯过程先验。我们通过随机梯度Hamilton Monte Carlo对该模型进行后验估计。我们在广泛的表示学习和生成建模任务上定性和定量地评估了我们的方法,并表明我们的方法始终优于依赖于变分自编码器的多个替代方案。
2023-02-09 cs.LG stat.ML
Bayesian inference via sparse Hamiltonian flows
University of British Columbia(不列颠哥伦比亚大学)
贝叶斯核心集是数据的一个小的加权子集,在贝叶斯推断期间替换完整的数据集,目的是降低计算成本。虽然过去的工作经验表明,经常存在一个低推理误差的核心集,有效地构建这样的核心集仍然是一个挑战。当前的方法往往速度很慢,需要在核心集构建后进行二次推理步骤,并且不提供数据边缘证据的界限。在这项工作中,我们介绍了一种新的方法-稀疏哈密顿流-解决所有这三个挑战。该方法首先对数据进行均匀子采样,然后优化由核心集权重参数化的哈密顿流,并包括周期性动量准刷新步骤。理论结果表明,该方法能够指数压缩的数据集在一个代表性的模型,和准刷新步骤减少库尔贝克-莱布勒散度的目标。真实的和合成的实验表明,稀疏哈密顿流提供准确的后验近似显着减少运行时间相比,竞争的动态系统为基础的推理方法。
2023-01-12 cs.LG stat.CO stat.ML
Bayesian sparse reconstruction: a brute-force approach to astronomical imaging and machine learning
我们提出了一个原则性的贝叶斯信号重建框架,其中信号由基函数建模,基函数的数量(和形式,如果需要的话)由数据本身确定。这种方法是基于传统的稀疏重建和正则化技术的贝叶斯解释,其中稀疏性是通过先验贝叶斯模型选择。我们证明了我们的方法的噪声1-和2维信号,包括天文图像。此外,通过使用乘积空间方法,基函数的数量和类型可以被视为整数参数,其后验分布直接采样。我们表明,数量级的增加,计算效率是可能的,从这种技术相比,分别计算贝叶斯证据,进一步的计算收益是可能的,使用它与动态嵌套抽样相结合。我们的方法也可以很容易地应用于神经网络,它允许网络架构由数据确定的原则贝叶斯的方式,通过处理节点和隐藏层的数量作为参数。
2018-11-25 astro-ph.IM stat.ME stat.ML
Bayesian Analysis of Censored Spatial Data Based on a Non-Gaussian Model
在本文中,我们建议使用斜高斯对数高斯模型的分析空间删失数据从贝叶斯的观点。这种方法是对偏对数高斯模型的一种扩展,既能适应偏态和重尾,也能适应删失数据。所有提到的特征都是空间数据的三个普遍特征。我们利用数据增广法和马尔可夫链蒙特卡罗(MCMC)算法进行后验计算。使用模拟数据,以及将其应用到一个真实的数据集的方法进行说明。关键词:删失数据,数据扩充,非高斯空间模型,离群点,统一偏高斯。
2018-11-27 stat.AP stat.ME
Bayesian model choice and information criteria in sparse generalized linear models
我们考虑高维广义线性模型中的贝叶斯模型选择,协变量p的数量相对于样本量n较大,但稀疏的是,与p相比,活动协变量的数量较小。将协变量视为随机变量,并采用p随n增加的渐近情景,我们表明,贝叶斯模型选择使用一定的先验模型的集合是渐近等价的选择模型使用扩展的贝叶斯信息准则。此外,我们证明了最小的真模型是由这两种方法的概率趋于1。在解决了随机协变量后,我们还能够为高维稀疏图形建模的伪似然方法给出一致性结果。真实数据的实验表明,良好的性能的扩展贝叶斯信息准则的回归和图形模型。
2011-12-23 math.ST stat.TH
High-Dimensional Sparse Bayesian Learning without Covariance Matrices
Harvard University(哈佛大学);Massachusetts Institute of Technology(麻省理工学院);Athinoula A. Martinos Center for Biomedical Imaging(阿瑟努拉·A·马蒂诺斯生物医学成像中心);Harvard Medical School(哈佛医学院)
稀疏贝叶斯学习(SBL)是解决稀疏编码问题的一个强大框架。然而,最流行的推理算法SBL变得过于昂贵的高维设置,由于需要存储和计算一个大的协方差矩阵。我们引入了一个新的推理方案,避免了显式的协方差矩阵的建设,并行求解多个线性系统,以获得后验矩的SBL。我们的方法耦合一个鲜为人知的对角估计结果,从数值线性代数与共轭梯度算法。在几次模拟中,我们的方法在计算时间和内存方面比现有方法更好,特别是对于能够快速矩阵向量乘法的结构化字典。
2022-02-25 cs.LG eess.SP stat.CO
Adaptive Gaussian process approximation for Bayesian inference with expensive likelihood functions
我们考虑计算密集型似然函数的贝叶斯推断问题。我们提出了一种基于高斯过程(GP)的方法来近似未知参数和数据的联合分布。特别是,我们写的联合密度近似为一个近似的后验密度和一个exponentiated GP代理的产品。然后,我们提供了一个自适应算法来构建这样的近似,其中使用主动学习方法来选择设计点。数值例子表明,该方法具有竞争力的性能对现有的贝叶斯计算方法。
2018-03-14 stat.CO stat.ML
Effectiveness of sparse Bayesian algorithm for MVAR coefficient estimation in MEG/EEG source-space causality analysis
Tokyo Metropolitan University(东京都立大学);Golden Metallic Inc.(金色金属公司);University of California, San Francisco(旧金山加利福尼亚大学)
本文通过计算机实验评估稀疏贝叶斯算法在强背景干扰下估计多元自回归系数的有效性,发现其虽对干扰不敏感但会降低真实因果关系的可检测性。
2012-11-14 cs.NA math.NA stat.AP
Computationally Efficient Bayesian Learning of Gaussian Process State Space Models
高斯过程允许灵活地指定状态空间模型中未知动态的先验假设。我们提出了一个有效的贝叶斯学习过程中的高斯过程状态空间模型,其中的表示是通过投影问题到一组近似的特征函数来自先验协方差结构。在这一系列模型下的学习可以使用精心制作的粒子MCMC算法进行。该方案是计算效率高,但允许一个完全贝叶斯处理的问题。与传统的系统识别工具或现有的学习方法相比,我们表现出有竞争力的性能和可靠的量化模型中的不确定性。
2016-04-15 stat.CO stat.ML
Unified Bayesian theory of sparse linear regression with nuisance parameters
研究了高维高斯稀疏回归中含有未知冗余参数时贝叶斯过程的频率论渐近性质。冗余参数可以是有限维、高维或无限维的。零点质量和连续分布的混合用于稀疏回归系数的先验分布,并将适当的先验分布用于冗余参数。稀疏回归系数的最佳后验收缩,阻碍了冗余参数的存在,也检查和讨论。结果表明,该过程产生强大的模型选择的一致性。稀疏回归系数的Bernstein-vonMises型定理也得到了不确定性量化通过可信集与保证频率覆盖。许多例子的渐近性质进行了研究,使用本研究中开发的理论。
2021-02-17 math.ST stat.TH
An Adaptive Empirical Bayesian Method for Sparse Deep Learning
Purdue University(普渡大学)
我们提出了一种新的自适应经验贝叶斯方法用于稀疏深度学习,其中稀疏性通过一类自适应尖峰和板先验来确保。所提出的方法的工作原理是交替采样自适应分层后验分布使用随机梯度马尔可夫链蒙特卡罗(MCMC)和平滑优化超参数使用随机逼近(SA)。在较弱的条件下,我们进一步证明了该方法收敛于渐近正确的分布。所提出的方法的经验应用导致最先进的性能MNIST和时尚MNIST与浅卷积神经网络和最先进的压缩性能CIFAR10与残差网络。该方法还提高了对对抗性攻击的抵抗力。
2020-04-13 cs.LG stat.ME stat.ML
A Bayesian sparse factor model with adaptive posterior concentration
Inha University(仁荷大学);The University of Notre Dame(圣母大学);Seoul National University(首尔国立大学)
本文提出一种新的高维稀疏因子模型贝叶斯推断方法,通过引入稀疏水平与因子维数之间的依赖关系,在保持计算可处理性的同时实现自适应后验收缩,并证明其在因子维数检测和协方差矩阵估计上具有最优或近似最优的理论性质与数值优势。
2023-05-29 cs.LG stat.ME stat.ML
Multi Snapshot Sparse Bayesian Learning for DOA Estimation
利用稀疏贝叶斯学习(SBL)方法,从多快拍传感器阵列数据中估计平面波的到达方向(DOA)。先验源振幅假设为独立的零均值复高斯分布,超参数为未知方差(即源功率)。对于超参数为未知噪声方差的复高斯似然,导出了相应的高斯后验分布。对于给定数量的DOA,通过最大化证据自动选择超参数,并促进稀疏DOA估计。讨论了SBL DOA估计方法,并与LASSO($\ell_1$ -正则化)、常规波束形成和MUSIC方法进行了比较
2016-02-29 cs.IT math.IT math.ST
Structure-Based Bayesian Sparse Reconstruction
稀疏信号重构算法因其在各个领域的广泛应用而受到研究者的关注。在本文中,我们提出了一个简单的贝叶斯方法,利用稀疏约束和先验统计信息(高斯或其他),以获得接近最优的估计。此外,我们利用在许多信号处理应用中遇到的感测矩阵的丰富结构来开发一个快速稀疏恢复算法。该算法的计算复杂性相对较低,与广泛使用的凸松弛法以及贪婪匹配追踪技术相比,特别是在低稀疏率。
2012-07-16 math.ST stat.TH
Pattern-Coupled Sparse Bayesian Learning for Recovery of Block-Sparse Signals
University of Electronic Science and Technology of China(电子科技大学);Stevens Institute of Technology(史蒂文斯理工学院);Schlumberger-Doll Research Center(斯伦贝谢多尔研究中心)
我们考虑的问题,恢复块稀疏信号的结构是未知的\emph{a priori}。块稀疏信号与非零系数发生在集群自然出现在许多实际情况。然而,在实践中,对块结构的知识通常是不可用的。在本文中,我们开发了一个新的稀疏贝叶斯学习方法恢复块稀疏信号与未知的聚类模式。具体地说,模式耦合的分层高斯先验模型被引入来表征系数之间的统计依赖性,其中一组超参数被用来控制信号系数的稀疏性。与传统的稀疏贝叶斯学习框架中每个单独的超参数独立地与每个系数相关联不同,在本文中,每个系数的先验不仅涉及其自身的超参数,而且还涉及其近邻的超参数。通过这种方式,相邻系数的稀疏模式彼此相关,并且分层模型具有鼓励结构化稀疏解决方案的潜力。超参数以及稀疏信号通过期望最大化(EM)算法最大化其后验概率来学习。数值实验结果表明,该算法与现有方法相比具有一致的优越性。
2013-11-09 cs.IT cs.LG math.IT
Sparse Bayesian ARX models with flexible noise distributions
研究了观测值受非标准分布随机干扰干扰时线性动态系统模型的估计问题。本文特别是由传感器的不完善的应用涉及到显着贡献的离群值或环绕的问题,导致多模态分布,如机器人应用中经常遇到的。如将要说明的,这些非标准的测量误差可以显着地损害标准估计方法的有效性,而这里开发的计算贝叶斯方法被证明是同样有效的标准方法在标准测量噪声的情况下,但显着更有效的非标准测量噪声分布的情况。
2018-07-06 eess.SP stat.AP stat.ME
Iterative Bayesian Reconstruction of Non-IID Block-Sparse Signals
提出了一种新的块迭代贝叶斯算法(Block-IBA),用于重构具有未知块结构的块稀疏信号。与现有的用于块稀疏信号恢复的算法不同,现有的算法假设未知信号的非零元素的簇结构是独立同分布的(i.i.d.),我们使用更现实的Bernoulli-Gaussian隐马尔可夫模型(BGHMM)来表征非独立同分布。在实践中经常遇到的块稀疏信号。块IBA迭代估计块稀疏信号的幅度和位置使用最陡上升的期望最大化(EM),并通过自适应阈值最优地选择块稀疏信号的非零元素。分析并证明了Block-IBA算法的全局收敛性,并通过数值实验和模拟仿真验证了Block-IBA算法的有效性。
2014-12-07 cs.IT math.IT stat.ML
Bayesian Prediction of Nitrate Concentration Using a Gaussian Log-Gaussian Spatial Model with Measurement Error in Explanatory Variables
这篇文章已被删除arXiv管理员由于伪造的作者。
2019-01-18 stat.AP