Graphical posterior predictive classifier: Bayesian model averaging with particle Gibbs
在这项研究中,我们提出了一个多类的图形贝叶斯预测分类器,将不确定性的模型选择到标准的贝叶斯形式主义。对于每个类,所观察到的功能的依赖结构表示由一组可分解的高斯图形模型。然后重点放在贝叶斯模型平均,充分考虑到类特定的模型的不确定性,平均后验图模型的概率。众所周知,对模型概率的明确评估是不可行的。为了解决这个问题,我们考虑Olsson等人的粒子Gibbs策略。(2018 b)用于可分解图形模型的后验采样,该模型利用Olsson等人的圣诞树算法。(2018 a)作为建议内核。我们还推导出一个强大的超马尔可夫定律,我们称之为超正常Wishart法,允许进行贝叶斯计算本地。所提出的预测图形分类器显示出优越的性能相比,普通的贝叶斯预测规则,不考虑模型的不确定性,以及一些开箱即用的分类器。
2018-06-06 stat.ML
On the contraction properties of some high-dimensional quasi-posterior distributions
本文研究了当样本量$n$和参数维数$d$增加时,由拟似然函数和稀疏诱导先验分布在$\rset^d$上组合得到的拟后验分布$\checkΠ_{n,d}$的收缩性质.我们得出一些一般性的结果,突出了一组充分条件下,$\checkΠ_{n,d}$把越来越高的概率稀疏子集的$\rset^d$,并合同对真实值的参数。我们将这些结果应用于高维环境中的逻辑回归模型和二元图形模型的分析。对于逻辑回归模型,我们表明,对于表现良好的设计矩阵,后验分布的合同率$O(\sqrt{s_\star\log(d)/n})$,其中$s_\star$是非零组件的参数。对于二进制图形模型,在一定的规律性条件下,我们表明,准后验模拟的邻域选择\cite{meinshausen06}合同在Frobenius范数的速度$O(\sqrt{(p+S)\log(p)/n})$,其中$p$是节点的数量,和$S$的边缘的数量的真实的图形。
2016-11-19 math.ST stat.TH
Robust Bayesian graphical modeling using $γ$-divergence
本文提出一种基于 $\gamma$-散度的稳健贝叶斯高斯图模型推断方法,通过贝叶斯图形套索实现后验稳健性,并开发了加权贝叶斯自助法高效计算算法。
2025-01-23 stat.ME
Consistency of Graphical Model-based Clustering: Robust Clustering using Bayesian Spanning Forest
University of Florida(佛罗里达大学)
本文研究了基于图模型的聚类一致性问题,通过贝叶斯生成森林方法在数据生成过程偏离假设图模型时仍能获得一致聚类结果,包括聚类数估计。
2026-05-13 math.ST stat.TH
Graphical and numerical diagnostic tools to assess multiple imputation models by posterior predictive checking
本文提出基于后验预测检验的诊断方法,用于评估多重插补模型的合理性,通过比较观测数据与生成的预测后验分布,验证模型的适应性。
2022-08-27 stat.CO
Fast Wasserstein rates for estimating probability distributions of probabilistic graphical models
National University of Singapore(新加坡国立大学);University of Tübingen(蒂宾根大学)
本文研究了利用独立同分布数据在Wasserstein距离下估计高维分布时,如何通过概率图模型的结构知识克服维度诅咒,证明了局部图结构对估计速率的影响,以及不同光滑条件下的精确速率结果。
2026-05-21 math.PR math.ST stat.TH
Concentration of a sparse Bayesian model with Horseshoe prior in estimating high-dimensional precision matrix
本文针对高维稀疏精度矩阵估计,提出基于Horseshoe先验的回火后验集中性理论,并给出模型误设下的oracle不等式,通过模拟验证了方法的有效性。
2024-09-13 math.ST stat.ML stat.TH
Posterior consistency of Dirichlet mixtures of beta densities in estimating positive false discovery rates
近年来,多重假设检验已成为统计研究的前沿,表面上与基因组学和其他一些新兴领域的应用有关。错误发现率(FDR)及其变体提供了非常重要的概念,在这种情况下,错误的经典测试问题中的错误概率的作用。准确估计阳性FDR(pFDR),FDR的一种变体,在评估和控制这一措施是必不可少的。在最近的一篇论文中,作者提出了一种基于模型的非参数贝叶斯方法来估计pFDR函数。特别地,p值的密度被建模为降低的β密度的混合物,并且适当的狄利克雷过程被认为是混合度量的先验。结果表明,所产生的程序在模拟中工作良好。在本文中,我们提供了一些理论结果来支持β混合模型的密度的p值,并表明,在适当的条件下,所得到的后验是一致的假设的数量增长到无穷大。
2008-05-15 math.ST stat.TH
A skew Gaussian decomposable graphical model
本文提出了一种新的可分解的图形模型,以适应斜高斯图形模型。我们通过一个可分解的图对多元闭斜向正态随机向量的分量之间的条件独立结构进行编码,使得精度矩阵中的零非对角元素的模式对应于给定图的缺失边。我们提出的条件,保证适当的后验分布下的标准无信息的先验均值向量和精度矩阵,和一个适当的偏度参数的先验。的参数的可识别性进行了研究,通过仿真研究。最后,我们将我们的方法应用于两个数据集。
2013-09-20 math.ST stat.ME stat.TH
The G-Wishart Weighted Proposal Algorithm: Efficient Posterior Computation for Gaussian Graphical Models
针对不可分解高斯图模型在 G-Wishart 先验下后验计算成本高的问题,提出 G-Wishart 加权提议算法(WWA),通过延迟接受 MCMC、Gibbs 更新和并行提议分布降低采样频率,显著提升了后验推断效率。
2023-04-04 stat.CO
Bayesian Inference in Nonparanormal Graphical Models
高斯图形模型已被用来研究几个变量之间的内在依赖性,但高斯假设可能在许多应用中受到限制。非超常图模型是连续变量的半参数推广,其中假设变量仅在每个变量上进行一些未知的平滑单调变换后才遵循高斯图模型。我们认为贝叶斯方法的nonparanormal图形模型,把先验的未知变换通过一个随机序列的基础上B-样条的系数有序诱导单调性。截断的正态先验导致模型中的部分共轭性,并且对于使用吉布斯抽样的后验模拟是有用的。在转换变量的基础精度矩阵上,我们考虑了尖峰和平板先验,并使用有效的后验吉布斯抽样方案。我们使用贝叶斯信息准则来选择尖峰和平板先验的超参数。我们提出了一个后验一致性结果的基础转换和精度矩阵。我们研究了所提出的方法的数值性能,通过广泛的模拟研究,最后将所提出的方法应用于一个真实的数据集。
2019-04-11 stat.ME
Bayesian Inference for High-dimensional Time Series with a Stationary Directed Acyclic Graphical Structure
University of Florida(佛罗里达大学);University of Maryland Baltimore County(马里兰大学巴尔的摩县分校);North Carolina State University(北卡罗来纳州立大学)
针对多变量时间序列的因果关系表征问题,提出一种基于有向无环图的贝叶斯建模方法,可适配平稳性并扩展至矩阵变量序列,配套高效算法与理论保证,经仿真和真实数据验证有效。
2026-09-01 math.ST stat.ME stat.TH
Bayesian inference as iterated random functions with applications to sequential inference in graphical models
本文提出了具有半群性质的迭代随机函数的一般形式,在此形式下,精确和近似的贝叶斯后验更新可以看作是具体的例子。给出了迭代随机函数的一个收敛定理。作为一般理论的应用,我们分析的收敛行为的精确和近似的消息传递算法中出现的顺序变点检测问题,制定通过一个潜在的变量有向图模型。通过仿真实例说明了顺序推理算法及其支持理论。
2013-11-01 math.ST stat.ME stat.ML
Estimating Large Precision Matrices via Modified Cholesky Decomposition
我们引入了$k$带状Cholesky先验估计的高维带状精度矩阵通过修改的Cholesky分解。对分解的Cholesky因子施加了可带性假设。在谱范数和矩阵$\ell_{\infty}$范数下得到了P-损失收敛速度和极大极小下界。由于P损失收敛速度(Lee and Lee(2017))比后验收敛速度更强,因此获得的速度也是后验收敛速度。当真精度矩阵为具有有限$k_0$的$k_0$带状矩阵时,所得的P-损失收敛速度与极小极大收敛速度一致.所建立的收敛速度略慢于极小极大下界,但这些是最快的速度为带宽精度矩阵之间的现有贝叶斯方法。仿真研究进行比较的性能,在各种情况下的其他竞争力的估计。
2017-07-04 math.ST stat.TH
Bayesian Regularization for Functional Graphical Models with Applications to Neuroimaging
图模型用于表达在不同节点上观察到的随机变量之间的条件依赖关系,广泛应用于遗传学、神经科学和社会网络分析等许多领域。虽然目前大多数用于估计图形模型的统计方法都集中在标量数据上,但当在每个节点处观察到的数据是功能性的(例如信号或图像)时,人们对估计类似的依赖结构感兴趣。在本文中,我们提出了一个完全贝叶斯正则化计划估计功能图模型。我们首先考虑乔等人提出的函数图形套索的直接贝叶斯模拟。(2019)。然后,我们提出了一个正则化策略,通过图形马蹄铁。我们通过模拟研究比较这些方法,并将我们提出的功能图形马蹄铁应用于两个激励应用程序,用于比较酒精组和对照组之间的脑激活的脑电图数据,以及在创伤性脑损伤(TBI)存在下结构连接的变化。我们的研究结果让我们深入了解了大脑在受伤后如何试图补偿断开的网络。
2022-10-21 stat.AP stat.ME stat.ML
An Order of Magnitude Time Complexity Reduction for Gaussian Graphical Model Posterior Sampling Using a Reverse Telescoping Block Decomposition
Department of Statistics, Purdue University(普渡大学统计学系)
本文提出一种反向折叠块分解的MCMC方法,将高斯图模型后验估计的时间复杂度从O(p⁴)降低到O(p³),从而在大规模数据下提升了计算效率。
2026-03-20 stat.CO stat.ME
Soft computing for the posterior of a new matrix t graphical network
本文提出一种基于矩阵变量gamma噪声先验的新型矩阵t图形网络模型,通过贝叶斯结构学习计算后验并评估网络中心性,在合成与真实股票数据上验证了其比现有模型更灵活。
2023-12-01 stat.ME
Structured variational approximations with skew normal decomposable graphical models
虽然有很多最近的工作发展灵活的变分方法贝叶斯计算,高斯近似结构协方差阵往往是首选的计算在高维设置。本文考虑复杂潜变量模型的近似推理方法,其中后验接近高斯,但后验边缘存在一定的偏斜。我们考虑斜可分解的图形模型(SDGM),这是基于封闭的斜正态分布族,作为变分逼近。这些近似能反映真实的后验条件独立性结构并捕捉后验偏度。不同的参数化探索这个变分家庭,收敛速度和质量的近似可以取决于所使用的参数化。为了增加灵活性,还开发了隐式copula SDGM近似,其中考虑了近似标准化SDGM随机向量的逐元素变换。我们的隐式Copula近似的参数化是新颖的,即使在高斯近似的特殊情况下。在一些涉及广义线性混合模型和状态空间模型的实际例子中检查的方法的性能,我们的结论是,我们的Copula方法是最准确的,但SDGM方法往往几乎一样好,具有较低的计算需求。
2023-02-07 stat.CO
From robust tests to Bayes-like posterior distributions
本文在贝叶斯范式下提出一种基于总变差、Hellinger等距离损失的新型后验分布,用于估计样本分布律,并证明了其在先验错误设定和非i.i.d.数据下的稳健性与集中性质。
2024-01-04 math.ST stat.TH
cyclinbayes: Bayesian Causal Discovery with Linear Non-Gaussian Directed Acyclic and Cyclic Graphical Models
Texas A&M University(德克萨斯农工大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
cyclinbayes通过贝叶斯方法实现线性非高斯有向无环和有环图模型的因果发现,提供全面的不确定性量化和高效的MCMC算法。
2026-02-24 stat.CO
Bayesian Learning in Undirected Graphical Models: Approximate MCMC algorithms
无向图模型中的贝叶斯学习|计算参数和预测量的后验分布是非常困难的。我们猜想,对于一般的无向模型,有没有听话的MCMC(马尔可夫链蒙特卡罗)计划给出正确的平衡分布参数。虽然这种棘手性,由于分区函数,是熟悉的那些执行参数优化,贝叶斯学习的后验分布在无向模型参数尚未探索,并提出了新的挑战。我们提出了几个近似MCMC计划和测试充分观察的二元模型(玻尔兹曼机)的一个小的冠心病数据集和较大的人工系统。虽然近似必须在模型上表现良好,但它们与抽样方案的相互作用也很重要。基于变分平均场近似的采样器通常表现不佳,使用循环传播、简短采样和随机动力学的更先进的方法导致可接受的参数后验。最后,我们展示了这些技术上的马尔可夫随机场的隐变量。
2012-07-11 cs.LG stat.ML
Concentration rate and consistency of the posterior under monotonicity constraints
在本文中,我们考虑了众所周知的问题,估计密度函数下的定性假设。更准确地说,我们估计单调非增密度在贝叶斯设置和推导出浓度率的后验分布的Dirichlet过程和有限的混合物前。我们证明了基于先验的后验分布集中在率$(n/\log(n))^{-1/3}$,这是最小最大估计率的\log(n)$因素。我们还研究了在支持密度的任何不动点处的逐点损失和sup范数的后验的行为。我们证明后是一致的损失。
2014-04-14 math.ST stat.TH
Bayesian Posterior Learning of Mixed Graphical Models
University College London(伦敦大学学院);National University of Singapore(新加坡国立大学)
本文提出Mixed Graph WWA方法,通过潜在高斯变量和两种似然设定实现混合图模型的贝叶斯结构学习,在模拟和乳腺癌数据上验证了其准确性和高效性。
2026-09-23 stat.AP stat.CO stat.ME
On the Geometry of Bayesian Graphical Models with Hidden Variables
University of Warwick(华威大学)
在本文中,我们研究的几何形状的未知参数的可能性在一类简单的贝叶斯有向图的隐变量。这使我们能够在采用任何数值算法之前,获得对此类模型中固有的不可识别性的性质的某些见解,后验密度对先验密度敏感的方式以及这些后验密度可能采取的典型几何形式。这些见解中的许多都适用于具有系统性缺失数据的更复杂的贝叶斯网络。
2013-01-30 cs.LG stat.ML
A closed-form approach to Bayesian inference in tree-structured graphical models
我们考虑在一个精确的贝叶斯框架中的无向图模型的结构的推断。更具体地说,我们的目标是实现封闭形式的后验推理,避免任何采样步骤。这个任务将是棘手的,没有任何限制所考虑的图,所以我们限制我们的探索混合生成树。我们考虑在贝叶斯框架中的无向图模型的结构的推断。为了避免收敛问题和高要求的蒙特卡罗采样,我们专注于精确的推断。更具体地说,我们的目标是实现封闭形式的后验推理,避免任何采样步骤。为了这个目的,我们限制了一组考虑图的混合物的生成树。我们调查的条件下,先验-对树结构和参数-精确的贝叶斯推断可以实现。在这些条件下,我们得到了一个快速的精确算法来计算后验概率的边缘属于{树模型}使用一个代数结果称为矩阵树定理。我们表明,我们所做的假设并不妨碍我们的方法在合成和流式细胞术数据上表现良好。
2017-05-01 stat.ML
Bayesian Analysis of Nonparanormal Graphical Models Using Rank-Likelihood
高斯图形模型,假设感兴趣的变量共同遵循具有稀疏精度矩阵的多元正态分布,已被用于研究变量之间的内在依赖性,但正态假设在许多设置中可能是限制性的。非超常图模型是高斯图模型的半参数推广,假设变量仅在某些未知的平滑单调变换后才遵循高斯图模型。我们认为贝叶斯方法的nonparanormal图形模型使用的秩似然保持不变的单调变换下,从而避免了需要把一个先验的变换函数。在转换变量的基础精度矩阵上,我们考虑了其Cholesky分解的马蹄先验,并使用有效的后验吉布斯抽样方案。我们提出了一个后验一致性结果的精度矩阵的基础上基于秩的似然。我们通过模拟研究研究所提出的方法的数值性能,并将其应用于一个真实的数据集。
2019-04-17 stat.ME
A Bayesian Approach to Joint Estimation of Multiple Graphical Models
高维数据中多个图模型的联合估计问题已经在统计学和机器学习文献中进行了研究,因为它在包括分子生物学、神经科学和社会科学在内的各个领域都很重要。这项工作开发了一种贝叶斯方法,该方法将多个图形模型中的模型参数分解为模型和边缘子集之间的共享组件以及特殊组件。此外,它利用了一种新的多变量先验分布,再加上一个伪似然,使快速计算,通过一个强大的和有效的吉布斯抽样计划。我们建立了强后验一致性的模型选择,以及估计模型参数的高维尺度下的变量的数量与样本量呈指数增长。所提出的方法的有效性说明合成和真实数据。关键词:伪似然,吉布斯抽样,后验一致性,组学数据
2019-07-02 stat.ME
Exact Bayesian inference for off-line change-point detection in tree-structured graphical models
本文研究了多变量时间序列的变点检测问题。观测值的多变量分布应该遵循一个图形模型,其图形和参数随时间的突变而变化。我们证明,它是可能的执行精确的贝叶斯推断,只要一个认为是一个简单的类的无向图称为生成树作为可能的结构。然后,我们能够整合的图形和分割空间在同一时间结合经典的动态规划与代数结果有关的生成树。特别是,我们表明,数量,如后验分布的变化点或后边缘概率随时间的推移,可以有效地获得。我们说明了我们的研究结果的合成和实验数据来自生物学和神经科学。
2016-06-16 stat.ML
Testing Un-Separated Hypotheses by Estimating a Distance
在本文中,我们提出了一个贝叶斯回答测试问题时,假设没有很好地分离。该方法的思想是研究参数与我们想要检验的模型之间的差异度量的后验分布。这被证明是等效的测试损失的修改。这种方法的一个优点是,它可以很容易地适应复杂的假设测试,这是一般难以测试。的渐近性质的测试可以从差异测量的后验分布的渐近行为,并给出了可能的校准洞察。此外,可以得到分离率的测试,这确保了我们的程序的渐近频率最优性。
2017-06-27 math.ST stat.ME stat.TH
Bayesian Regularization for Graphical Models with Unequal Shrinkage
Department of Statistics, University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校统计学系)
我们考虑一个贝叶斯框架估计高维稀疏精度矩阵,其中自适应收缩和稀疏性诱导的拉普拉斯先验的混合物。除了讨论我们的配方从贝叶斯的角度来看,我们调查的MAP(最大后验概率)估计从惩罚的可能性的角度来看,产生了一个新的非凸罚款近似的$\ell_0$罚款。最佳的误差率估计一致性的各种矩阵范数以及稀疏结构恢复的选择一致性的唯一MAP估计在温和的条件下。为了快速有效地计算,提出了一种期望最大化算法来计算精度矩阵的MAP估计和底层稀疏结构边缘上的(近似)后验概率。通过广泛的模拟研究和实际应用的呼叫中心数据,我们已经证明了我们的方法与现有的替代品相比,优良的性能。
2018-05-20 cs.LG math.ST stat.CO
Estimating Posterior Ratio for Classification: Transfer Learning from Probabilistic Perspective
Institute of Statistical Mathematics(统计数学研究所)
迁移学习假设相似任务的分类器共享某些参数结构。不幸的是,现代分类器使用复杂的特征表示与巨大的参数空间,导致昂贵的转移。在从一个分类器到另一个分类器的变化应该是“简单”的印象下,本文提出了一种只学习“差异”的有效迁移学习标准。我们训练一个\emph{posterior ratio},结果是最小化目标学习风险的上限。后验比模型完全不需要与源分类器共享相同的参数空间,因此它可以很容易地建模和有效地训练。因此,通过简单地将现有的概率分类器与学习的后验比相乘来获得所得到的分类器。
2015-10-19 cs.LG stat.ML
Bayesian precision matrix estimation for graphical Gaussian models with edge and vertex symmetries
\citet{HojLaur:2008}提出了边和顶点对称的图高斯模型,并给出了计算这类模型精度矩阵的最大似然估计的算法。在本文中,我们采取贝叶斯方法的精度矩阵的估计。我们只考虑那些模型的对称性约束施加在精度矩阵,从而形成一个自然的指数家庭的精度矩阵作为规范参数。我们首先确定了Diaconis-Ylvisaker共轭先验这些模型,并制定了一个计划,从先验和后验分布的样本。因此,我们得到的精度矩阵的后验均值的估计。其次,为了验证我们的估计的精度,我们推导出的精度矩阵的期望值的显式解析表达式时,我们的模型的图是一棵树,一个完全的图上的三个顶点和一个可分解的图上的四个顶点具有各种对称性。在这些情况下,我们将估计值与先验分布的平均值进行比较。我们还验证了我们的后验均值的估计的准确性与多达30个顶点和各种对称性的图的模拟数据。
2015-06-14 stat.ME
dynesty: A Dynamic Nested Sampling Package for Estimating Bayesian Posteriors and Evidences
我们提出dynesty,一个公共的,开源的Python包,使用动态嵌套采样来估计贝叶斯后验和证据(边际似然)。通过基于后验结构自适应地分配样本,动态嵌套采样具有马尔可夫链蒙特卡罗算法的优点,该算法只关注后验估计,同时保留嵌套采样从复杂的多模态分布中估计证据和样本的能力。我们提供了一个概述嵌套采样,其扩展到动态嵌套采样,所涉及的算法挑战,以及采取各种方法来解决这些问题。然后,我们研究dynesty的性能在各种玩具的问题,随着几个天文应用。我们发现,在特别的问题dynesty可以提供大量的改进,采样效率相比,流行的MCMC方法在天文文献。有关巢式抽样的更详细统计结果亦载于附录。
2019-04-03 astro-ph.IM stat.CO
Joint Bayesian Inference of Graphical Structure and Parameters with a Single Generative Flow Network
本文提出名为JSP-GFN的方法,用单个生成流网络联合推断贝叶斯网络的图结构与参数,该方法在模拟和真实数据上的表现优于现有方法,可准确近似联合后验分布。
2026-08-31 cs.LG stat.ML
Bayesian sparse graphical models and their mixtures using lasso selection priors
我们提出了高斯图形模型的贝叶斯方法,导致稀疏和自适应收缩的精度(逆协方差)矩阵的估计。我们的方法是基于套索型正则化先验导致简约的参数化的精度矩阵,这是必不可少的几个应用程序,涉及学习变量之间的关系。在这种情况下,我们引入了一种新类型的选择之前,开发一个稀疏结构的精度矩阵,使大多数元素正好为零,除了确保正定性-从而进行模型选择和估计同时进行。我们将这些方法扩展到有限和无限混合高斯图形模型的聚类数据使用Dirichlet过程先验。我们讨论了适当的后验模拟方案,以实现后验推理在所提出的模型,包括评估的归一化常数,这是感兴趣的参数的功能,从而导致相关矩阵的限制。我们评估我们的方法的操作特性,通过几个模拟和应用到真实的数据集。
2013-10-03 stat.ME
Estimation of partially known Gaussian graphical models with score-based structural priors
Rice University(莱斯大学);King Juan Carlos University(胡安·卡洛斯国王大学)
本文提出一种融合图上先验信息的部分已知高斯图模型支持估计算法,利用退火朗之万扩散和图神经网络估计分数函数,从后验分布采样以提升估计性能。
2024-02-23 cs.LG stat.ML
Nonparametric graphical model for counts
虽然多变量计数数据在许多应用领域都是常规收集的,但令人惊讶的是,很少有工作开发灵活的模型来表征它们的依赖结构。当兴趣集中在推断条件独立图时,这尤其如此。在这篇文章中,我们提出了一类新的两两马尔可夫随机场型模型的联合分布的多元计数向量。通过采用一种新的类型的转换,我们避免限制到非负依赖结构或通过截断诱导其他限制。采用贝叶斯方法进行推理,我们选择一个狄利克雷过程先验的随机效应的分布,以引起很大的灵活性的规格。提出了一种有效的马尔可夫链蒙特卡罗(MCMC)算法。我们证明了各种理论属性,包括后验一致性,并表明我们的COUNT非参数图形分析(CONGA)方法具有良好的性能,相对于竞争对手在模拟研究。该方法的动机是应用程序在小鼠神经元尖峰计数数据。
2020-05-15 stat.ME
Graphical Models for Multivariate Count Data
Warsaw University of Technology(华沙理工大学)
该研究在现有图形多项、负二项模型基础上补充超几何、负超几何分布,构建多元计数数据的图形建模统一参数框架,开发贝叶斯层级并结合里德伯原子数据验证其应用潜力。
2026-08-13 math.PR math.ST stat.ME
Estimating the class prior and posterior from noisy positives and unlabeled data
Indiana University(印第安纳大学)
我们开发了一种分类算法,用于估计正未标记数据的后验分布,该算法对正标记中的噪声具有鲁棒性,并且对高维数据有效。近年来,已经提出了几种算法来从正未标记数据中学习;然而,这些贡献中的许多仍然是理论上的,在通常被噪声污染的真实高维数据上表现不佳。我们建立在以前的工作,开发两个实用的分类算法,明确建模的噪声在积极的标签,并利用单变量变换建立在判别分类。我们证明,这些单变量变换保持类前,使估计在单变量空间和避免内核密度估计的高维数据。理论的发展和参数和非参数算法提出了一个重要的一步,广泛使用的积极的未标记数据的强大的分类算法。
2017-01-31 cs.LG stat.ML
An Expectation Conditional Maximization approach for Gaussian graphical models
贝叶斯图模型是理解许多变量之间依赖关系的有用工具,特别是在具有外部先验信息的情况下。在高维环境中,可能的图的空间变得巨大,使得即使是最先进的贝叶斯随机搜索在计算上也不可行。我们提出了一个确定性的替代估计高斯和高斯copula图形模型使用期望条件最大化(ECM)算法,扩展EM方法从贝叶斯变量选择图形模型估计。我们表明,ECM方法可以快速后验探索下的混合先验序列,并可以将多个信息源。
2019-02-06 stat.ML
Bayesian learning of forest and tree graphical models
University of Bristol(布里斯托大学)
在高斯图模型结构的贝叶斯学习中,通常将注意力限制在某些类别的图上,并通过使用MCMC或诸如随机鸟枪搜索(SSS)的方法重复地从一个图移动到另一个图来近似后验分布。我给两个校正版本的算法不可分解的图形和讨论随机图形分布,特别是作为先验分布。本论文的主要研究课题是贝叶斯森林结构学习。限制对这些图的关注可以使用随机图上的定理来证明。我描述了如何使用Chow $\unicode{x2013}$ Liu算法和矩阵树定理来找到树上的MAP森林和后验分布中的某些量。我给适应版本的MCMC和SSS近似的后验分布的森林和树木,和系统存储这些图,以便很容易选择移动到相邻的图形。实验表明,当真实图是树或稀疏图时,带有树的SSS表现良好。在某些情况下,树或森林的SSS比可分解图的SSS更好。图先验改进了枢纽的检测,但需要大范围的概率。森林上的MCMC不能很好地混合,树木上的MCMC比SSS慢。(For更长的摘要见论文。)
2021-08-31 cs.LG stat.ML
Optimal Bayesian Estimation for Random Dot Product Graphs
我们提出了一种贝叶斯方法,称为后验谱嵌入,用于估计随机点积图中的潜在位置,并证明了它的最优性。与经典的基于谱的邻接/Laplacian谱嵌入不同,后验谱嵌入是一种完全基于似然的图估计方法,它利用了观测到的邻接矩阵的Bernoulli似然信息。我们开发了一个极小极大下界估计的潜在位置,并表明后验谱嵌入实现这一下界,因为它既在一个极小极大最优后收缩率的结果,并产生一个点估计渐近实现极小极大风险。收敛结果随后被应用到随机块模型中的聚类,其结果加强了现有的结果关于错误聚类顶点的数量。我们还研究了基于谱的高斯谱嵌入作为自然贝叶斯类比的邻接谱嵌入,但由此产生的后验收缩率是次优的额外的对数因子。所提出的方法的实际性能说明通过广泛的合成例子和维基百科的图形数据的分析。
2019-04-26 math.ST stat.ME stat.TH
Bayesian Analysis of High-dimensional Discrete Graphical Models
这项工作介绍了一种贝叶斯方法来拟合大型离散图形模型与尖峰和板先验编码稀疏。我们考虑一个准似然方法,使节点并行计算,从而降低计算复杂度。我们引入了一个可扩展的Langevin MCMC算法的采样从准后验分布,使变量的选择和估计同时进行。我们提出了广泛的仿真结果,以证明该方法的可扩展性和准确性。我们还分析了16个人格因素(PF)数据集,以说明该方法的性能。
2019-10-17 stat.CO stat.ME
Inference of multiple high-dimensional networks with the Graphical Horseshoe prior
我们开发了一种新的全贝叶斯方法多个相关的精度矩阵,称为多个图形马蹄铁(mGHS)。所提出的方法依赖于一种新的多变量收缩先验的基础上马蹄事先借用的强度和共享稀疏模式的群体,提高后边缘选择时,精度矩阵是相似的。另一方面,当组是独立的时,没有性能损失。此外,mGHS提供了一个相似性矩阵估计,有助于理解跨组的网络相似性。我们实现了一个有效的Metropolis-within-Gibbs后验推理,具体而言,局部方差参数更新通过一种新的和有效的修改拒绝抽样算法,从三参数Γ分布的样本。该方法的规模以及相对于变量的数量,并提供了一个最快的全贝叶斯方法估计多个精度矩阵。最后,边缘选择是一种新的方法,基于模型切割。我们的经验表明,mGHS优于竞争的方法,通过模拟研究和应用程序的自行车共享数据集。
2023-02-13 stat.CO stat.ME
Estimating Functions of Distributions Defined over Spaces of Unknown Size
我们认为贝叶斯估计的信息理论量的数据,使用狄利克雷先验。承认的不确定性的事件空间大小$m$和狄利克雷先验的浓度参数$c$,我们把两者作为随机变量设置的超先验。我们发现,相关的hyperprior,$P(c, m)$,服从一个简单的“无关的未知变量”(IUV)desideratum当$P(c, m) = P(c) P(m)$。因此,需要IUV大大减少了超先验的自由度的数量。一些信息理论量可以用不同的事件空间以多种方式表示,例如,互信息。在早期的工作中使用了所有的超先验(隐式),不同的事件空间选择会导致这些信息理论量的不同后验期望值。我们表明,有没有这样的事件空间的选择上的超先验服从IUV的依赖。我们还得到了一个结果,使我们能够利用IUV大大简化计算,如后验预期互信息或后验预期多信息。我们还使用计算机实验顺利比较IUV为基础的估计熵的三种常用的替代方法。最后,我们讨论了如何看似无害的变化,估计问题的形式化可以大大影响后验期望的结果估计。
2013-11-18 math.ST physics.data-an q-bio.QM
Graphical Generative Adversarial Networks
Tsinghua University(清华大学);University of Amsterdam(阿姆斯特丹大学);Canadian Institute for Advanced Research(加拿大高等研究院)
我们提出了图形生成对抗网络(Graphical-GAN)来建模结构化数据。Graphical-GAN结合了贝叶斯网络在复杂表示随机变量之间的依赖结构方面的能力和生成对抗网络在学习表达依赖函数方面的能力。我们引入了一个结构化的识别模型来推断潜变量的后验分布的观察。我们推广的期望传播(EP)算法学习的生成模型和识别模型联合。最后,我们提出了两个重要的图形-GAN的实例,即高斯混合GAN(GM GAN)和状态空间GAN(SS GAN),它们可以成功地学习离散和时间结构的视觉数据集,分别。
2018-12-12 cs.CV cs.LG stat.ML
Estimating the Sampling Distribution of Posterior Decision Summaries in Bayesian Clinical Trials
本文提出利用后验分布大样本理论建立后验决策摘要抽样分布的参数模型,通过少量模拟场景估计参数,从而在纳入试验假设不确定性的同时显著降低贝叶斯临床试验设计的计算负担。
2024-04-28 stat.ME
Bayesian Joint Spike-and-Slab Graphical Lasso
Yale School of Public Health(耶鲁大学公共卫生学院);University of Washington(华盛顿大学);Ohio State University(俄亥俄州立大学)
在这篇文章中,我们提出了一个新的类的先验贝叶斯推断与多高斯图形模型。我们完全引入贝叶斯处理两个流行的程序,组图形套索和融合图形套索,并将其扩展到一个连续的钉和板的框架,允许自适应收缩和模型选择同时进行。我们开发了一个期望最大化算法,执行快速和动态的探索后验模式。我们的方法有效地选择稀疏模型,其偏差比其他正则化程序所引起的偏差小得多。所提出的方法的性能通过仿真和两个实际数据的例子证明。
2019-05-09 cs.LG stat.ML
Bayesian Scalable Precision Factor Analysis for Massive Sparse Gaussian Graphical Models
我们提出了一种新的方法来估计精度矩阵的多元高斯数据,依赖于分解成一个低秩和对角分量。这样的分解对于建模大的协方差阵是非常流行的,因为它们允许基于潜在因子的表示,从而允许容易的推断。然而,由于缺乏计算上方便的表示,这限制了低到中等尺寸的问题的推理精度矩阵是不正确的。我们解决这个显着的差距,在文献中建立这样的分解精度矩阵的潜变量表示。建设导致一个有效的吉布斯采样器,规模非常好的高维问题远远超出了目前最先进的限制。有效地探索完整的后空间的能力,也可以很容易地评估模型的不确定性。分解至关重要的是,还允许我们适应稀疏诱导先验,将精度矩阵的无关紧要的条目缩小到零,使该方法适用于高维小样本稀疏设置。然后,通过一种新的后验错误发现率控制过程确定编码底层条件独立图的矩阵中的精确零。在较弱的正则性假设下,我们的方法获得了估计精度矩阵的一个近似极小极大最优后验集中率。我们通过合成实验评估该方法的经验性能,并说明其在两个不同应用领域的数据集的实际效用。
2022-08-16 stat.ME
Estimating Intractable Posterior Distributions through Gaussian Process regression and Metropolis-adjusted Langevin procedure
针对昂贵且含噪/不完整数据下的贝叶斯校准难题,提出用 Gaussian Process Regression 序贯代理对数似然并结合 Metropolis-Adjusted Langevin Algorithm 高效推断后验。
2025-06-16 stat.ME
Regression-Based Bayesian Estimation and Structure Learning for Nonparanormal Graphical Models
非超常图模型是高斯图模型的半参数推广,其中假设变量仅在某些未知的平滑单调变换后才遵循高斯图模型。我们认为贝叶斯方法推理的非超自然图形模型,我们把先验的未知变换通过一个随机序列的基础上B-样条。我们使用一个回归公式来构建的可能性,通过Cholesky分解的转换变量的基础精度矩阵,并把收缩先验的回归系数。我们应用一个插件变分贝叶斯算法学习稀疏精度矩阵和性能比较后吉布斯抽样计划在模拟研究。最后,我们将所提出的方法应用到一个真实的数据集。关键词:
2021-02-20 stat.ME
Iterative Posterior Inference for Bayesian Kriging
提出了一种估计标准地质统计模型的后验分布的方法。在选择模型公式并指定先验之后,我们使用正态混合密度来近似后验分布。迭代地改进近似。讨论了正常混合密度估计中的一些困难,包括确定带宽和局部化的调谐参数。该方法适用于其他模型公式,只要所有的参数,或其变换,被定义在整个实数线,$(-\infty, \infty)$。避免了后验推理中的特殊处理,如对无界参数施加边界或离散连续参数。通过两个实例说明了该方法,一个使用数字高程数据,另一个使用历史土壤湿度数据。这些例子特别考察了迭代中近似后验分布的收敛性。
2014-09-09 stat.ME
Structure Learning in Graphical Modeling
图形模型是与节点对应于感兴趣变量的图相关联的统计模型。图的边缘反映变量之间允许的条件依赖性。图形模型承认计算方便的因式分解属性,长期以来一直是一个有价值的工具,易于处理的多元分布建模。最近,从基因表达数据重建基因调控网络等应用推动了结构学习的重大进展,即估计模型的图形。我们回顾了其中的一些进展,并讨论了方法,如无向图形模型(或马尔可夫随机场)的图形套索和邻域选择,以及PC算法和基于分数的搜索方法有向图形模型(或贝叶斯网络)。我们进一步审查扩展,考虑到潜在变量和异构数据源的影响。
2016-06-07 stat.ME stat.ML
Marginal and simultaneous predictive classification using stratified graphical models
归纳概率分类规则一般必须遵循贝叶斯预测推理的原则,使得所有观察到的和未观察到的随机量被联合建模,并且通过后验预测分布完全承认参数的不确定性。几个这样的规则最近已被认为是其渐近行为的特征在于假设所观察到的功能或用于建立一个分类器的变量是有条件的独立给定的同时标记的训练样本和那些从一个未知的来源。在这里,我们将理论结果扩展到预测分类器,通过图形模型或定义为分层图形模型的稀疏替代品来确认特征依赖关系。我们还表明,通过实验与合成和真实的数据,预测分类器的基础上分层的图形模型具有一致的最佳精度相比,预测分类器的基础上,无论是条件独立的功能或普通的图形模型。
2014-01-31 stat.ML