A Bayesian nonparametric test for conditional independence
本文介绍了一种贝叶斯非参数方法，用于量化数据集中的相对证据，以支持两个变量在第三个变量条件下的依赖或独立。该方法使用Polya树先验空间的条件概率密度，占不确定性的形式的基本分布的非参数的方式。贝叶斯观点提供了条件依赖性或独立性的固有对称概率测度，这是在因果发现中特别有利的特征，并且在这种类型的现有程序中没有采用。
2020-07-16 stat.CO stat.ME stat.ML
Structural Learning of Simple Staged Trees
IE University（IE大学）；Universitat de València（瓦伦西亚大学）
贝叶斯网络忠实地表示随机向量的分量之间存在的对称条件独立性。阶段树是贝叶斯网络的分类随机向量的扩展，其图通过顶点着色表示非对称条件独立性。然而，由于它们基于样本空间的树表示，因此随着变量数量的增加，底层图变得混乱并且难以可视化。在这里，我们介绍了第一个结构学习算法的类简单的分期树，娱乐的基础树，可以很容易地读取非对称独立的紧凑的合并。我们证明了数据学习的简单阶段树在模型拟合方面往往优于贝叶斯网络，并说明了如何使用合并图来识别非对称条件独立性。
2022-03-08 cs.LG stat.ML
Independence Testing for Bounded Degree Bayesian Network
我们研究了以下独立性检验问题：给定$P$在$\{0,1\}^n$上的分布样本，决定$P$是否是一个产品分布，或者它是否是$\varepsilon$ -远离任何产品分布的总变异距离。对于任意分布，此问题需要$\exp(n)$样本。在这项工作中，我们表明，如果$P$有一个稀疏的结构，那么实际上只需要线性许多样本。具体地说，如果$P$是马尔可夫相对于贝叶斯网络，其基础DAG的度有界的$d$，那么$\tildeΘ(2^{d/2}\cdot n/\varepsilon^2)$样本是必要的和足够的独立性测试。
2023-01-03 cs.DM cs.DS cs.IT
Combinatorial and algebraic perspectives on the marginal independence structure of Bayesian networks
本文刻画Bayes网络无条件依赖图，利用Gröbner基与二项式关系构建图空间上的MCMC搜索方法GrUES，在合成Gaussian数据上提升真实边际独立结构恢复率并给出可靠后验可信集。
2024-01-31 math.AG math.CO math.ST
Conditional Independence in Max-linear Bayesian Networks
受极值理论的启发，最近引入了最大线性贝叶斯网络，并将其作为线性结构方程模型的替代方案进行研究。然而，对于max-线性系，贝叶斯网络的经典独立性结果远未穷尽有效的条件独立性陈述。我们使用热带线性代数推导出一个紧凑的表示的条件分布的部分观察，并利用这一点，以获得一个完整的描述所有的条件独立关系。在特定于上下文的情况下，条件独立相对于条件变量的特定值进行查询，我们引入了源DAG的概念来揭示有效的条件独立关系。在上下文无关的情况下，我们通过修改分离的概念，$\ast$分离，结合热带特征值条件的条件独立性。我们还介绍了影响图的概念，它描述了极端事件如何通过网络确定性传播，我们给出了这样的影响图的完整表征。我们的分析打开了几个有趣的问题，条件独立和热带几何。
2020-09-06 math.PR math.ST stat.TH
Kernel-based Conditional Independence Test and Application in Causal Discovery
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
条件独立性检验是贝叶斯网络学习和因果发现中的一个重要问题。由于维数灾难，连续变量的条件独立性测试特别具有挑战性。本文提出了一种基于核的条件独立性检验（KCI-test），通过构造一个适当的检验统计量，并在条件独立性的零假设下推导出其渐近分布。所提出的方法是计算效率高，易于实现。实验结果表明，该方法优于其他方法，特别是当条件集很大或样本量不是很大时，在这种情况下，其他方法遇到困难。
2012-02-14 cs.LG stat.ML
Correcting Model Bias with Sparse Implicit Processes
Institute of Mathematical Sciences (ICMAT-CSIC)（数学科学研究所（ICMAT-CSIC））；Escuela Politécnica Superior, Universidad Autónoma de Madrid（马德里自治大学高等理工学院）；Institute of Corpuscular Physics, University of Valencia and CSIC（瓦伦西亚大学与西班牙国家研究委员会粒子物理研究所）
机器学习中的模型选择是贝叶斯学习过程的重要组成部分。模型选择可能会对结果预测产生强烈的偏差，这可能会阻碍贝叶斯神经网络和神经采样器等方法的性能。另一方面，新提出的贝叶斯ML方法利用了函数空间中具有隐式随机过程（高斯过程的推广）的近似推理特征。稀疏隐式过程（SIP）的方法在这方面特别成功，因为它是完全可训练的，并实现了灵活的预测。在这里，我们扩大了原来的实验表明，SIP是能够纠正模型的偏见时，数据生成机制与模型所暗示的强烈不同。我们使用合成数据集来表明，SIP能够提供预测分布，这些分布比初始但错误假设的模型的准确预测更好地反映数据。
2022-08-08 cs.LG stat.CO stat.ML
A Theory of Uncertainty Variables for State Estimation and Inference
Massachusetts Institute of Technology（麻省理工学院）
我们开发了一个新的框架的不确定性变量模型的不确定性。一个不确定性变量的特征在于一个不确定性集合，它的实现必然位于其中，而条件不确定性的特征在于一个集合映射，从一个变量的给定实现到另一个变量的一组可能实现。我们证明了贝叶斯定律和不确定性变量的全概率等价定律。我们定义了一个概念的独立性，条件独立性，成对独立的不确定性变量的集合，并表明，这种新的概念的独立性保留了独立定义的随机变量的属性。然后，我们开发了一个图形化的模型，即贝叶斯不确定性网络，贝叶斯网络等价定义的不确定性变量的集合，并表明，所有的自然条件独立性，预期的贝叶斯网络，持有贝叶斯不确定性网络。我们还定义了点估计的概念，并说明了它与最大后验估计的关系。概率论以一个分布函数（相当于一个概率测度）作为基元，并在其上建立所有其他有用的概念，如全概率定律、贝叶斯定律、独立性、图形模型、点估计等。我们的工作表明，完全可以从一个集合而不是一个分布函数开始，并保留状态估计和推理所需的所有有用的思想。
2019-12-09 cs.LG math.ST stat.ML
Empirical Bayesian Approaches for Robust Constraint-based Causal Discovery under Insufficient Data
Rensselaer Polytechnic Institute（伦斯勒理工学院）；Northeast Normal University（东北师范大学）
因果发现是在给定的观测数据中学习变量之间的因果关系，对于许多应用都很重要。现有的因果发现方法假设数据充足，这在许多现实世界的数据集中可能不是这种情况。因此，许多现有的因果发现方法可能在有限的数据下失败。本文提出了一种贝叶斯-增广频率独立性检验方法，以提高基于约束的因果发现方法在数据不足情况下的性能：1）首先引入贝叶斯方法估计互信息，并在此基础上提出了一种鲁棒的基于互信息的独立性检验方法; 2）其次，我们考虑假设似然的贝叶斯估计，并将其纳入一个定义良好的统计检验，从而产生基于稳健统计测试的独立性测试。我们提出的独立性测试的约束为基础的因果发现方法，并评估基准数据集的样本不足的性能。实验表明，显着的性能改善方面的准确性和效率SOTA方法。
2022-06-16 cs.LG stat.ME
Algebraic Statistics in Model Selection
Virginia Polytechnic Institute and State University（弗吉尼亚理工大学）
我们开发了必要的理论，在计算代数几何放置贝叶斯网络到代数统计领域。我们提出了一个代数统计字典集中在统计建模。特别是，我们链接的概念的有效维的贝叶斯网络的概念的代数维数的品种。我们还得到了独立和非独立约束的分布上的可观察变量隐含的贝叶斯网络的隐变量，通过一个生成集的理想多项式的网络。这些结果扩展了以前在这个问题上的工作。最后，这些结果的相关性模型选择进行了讨论。
2012-07-11 cs.LG stat.ML
Embedded Bayesian Network Classifiers
Microsoft Research（微软研究院）；Microsoft Corporation（微软公司）
贝叶斯网络中局部分布函数的低维概率模型包括决策树、决策图和因果独立模型。我们描述了一个新的概率模型的离散贝叶斯网络，我们称之为嵌入式贝叶斯网络分类器或EBNC。给定父节点$\bf X$的节点$Y$的模型从用于$Y$和$\bf X$的（通常不同的）贝叶斯网络获得，其中$\bf X$不需要是$Y$的父节点。我们证明了EBNC是softmax多项式回归模型的一个特例。此外，我们将展示如何识别一个EBNC的非冗余参数集，并描述了一个渐近近似学习的贝叶斯网络，包含EBNC的结构。与决策树、决策图和因果独立模型不同，我们不知道使用这些模型的语义理由。需要实验来确定本文提出的模型是否在实践中是有用的。
2019-10-22 cs.AI cs.LG stat.ML
Correcting boundary over-exploration deficiencies in Bayesian optimization with virtual derivative sign observations
贝叶斯优化（BO）是一种全局优化策略，旨在通过使用高斯过程（GP）作为目标的代理模型来找到通常定义在$\mathcal{R}^d$的紧凑子集上的昂贵黑盒函数的最小值。尽管当前可用的采集功能以不同程度的成功来解决该目标，但是通常观察到搜索空间的轮廓的过度探索效应。然而，在诸如机器学习算法配置之类的问题中，函数域保守地很大，并且全局最小值很可能不位于域的边界上。我们提出了一种方法，通过在搜索空间的边界处的\gp中添加虚拟导数观测，将这些知识纳入搜索过程。我们使用GP的属性对目标的偏导数施加条件。该方法适用于任何采集功能，它易于使用，并始终减少了优化目标所需的评估数量，而不管使用的采集。我们说明了我们的方法在广泛的实验比较的好处。
2018-09-21 stat.CO stat.ME stat.ML
Surjective Independence of Causal Influences for Local Bayesian Network Structures
University of Warwick（沃里克大学）
针对贝叶斯网络参数化中专家判断负担重、数量多及ICI假设过强的问题，本文提出放宽该假设的SICI局部结构模型，以支持更实用高效的参数化。
2025-09-29 cs.AI stat.ME
Efficient Bayesian inference for exponential random graph models by correcting the pseudo-posterior distribution
指数随机图模型是数据统计分析的重要工具。然而，这些模型的贝叶斯参数估计是极具挑战性的，因为后验分布的评估通常涉及到一个棘手的归一化常数的计算。这一障碍促使人们考虑对似然函数的易处理的近似，例如伪似然函数，它提供了一种构造这种近似的方法。我们称之为伪后验的简单实现是用伪后验分布代替后验分布中的似然函数，这可能会产生误导性的推论。我们提供了实际的指导方针，以纠正这样的伪后验分布的样本，使其近似分布的目标后验分布，并讨论了计算和统计效率，从这种方法产生的。我们通过对现实世界图表的分析来说明我们的方法。与Caimo和Friel（2011）的近似交换算法进行了比较，然后进行了总结。
2017-05-04 stat.CO
Low Rank Independence Samplers in Bayesian Inverse Problems
Clemson University（克莱姆森大学）；North Carolina State University（北卡罗来纳州立大学）；Statistical and Applied Mathematical Sciences Institute（统计与应用数学科学研究所）
本文提出一种高效采样方法，用于高维高斯分布的贝叶斯线性逆问题，利用低秩近似先验预条件Hessian进行Metropolis-Hastings独立采样，提升计算效率。
2018-03-12 cs.NA math.NA stat.CO
A Robust Bayesian Copas Selection Model for Quantifying and Correcting Publication Bias
荟萃分析结论的有效性可能受到发表偏倚的威胁。大多数现有的纠正发表偏倚的程序都假设研究特异性效应的正态性，这是研究间异质性的原因。然而，该假设可能无效，并且这些偏倚校正程序的性能对偏离正态性高度敏感。此外，有几个措施来量化的选择模型的基础上的出版物偏差的大小。在本文中，我们解决这两个问题。首先，我们探索在贝叶斯分层框架内使用重尾分布来研究特定效应。偏差信息准则（DIC）用于确定用于进行最终分析的适当分布。其次，我们开发了一个新的措施来量化的大小的基础上Hellinger距离的出版物偏差。我们的措施是很容易解释，并利用自然提供的后验分布的估计不确定性。我们通过对肺癌和抗抑郁药的模拟研究和荟萃分析来说明我们提出的方法。为了评估发表偏倚的发生率，我们将我们的方法应用于Cochrane系统评价数据库中1500项二分结局的荟萃分析。我们的方法在公开可用的R包RobustBayesianCopas中实现。
2021-02-09 stat.ME
Graphical Models and Exponential Families
Microsoft Research（微软研究院）；Technion（以色列理工学院）
我们提供了一个分类的图形模型，根据其表示为指数族的子族。无隐变量的无向图模型是线性指数族（LEF），无隐变量的有向无环图模型和链图，包括具有多个局部分布族的贝叶斯网络，是弯曲指数族（CEF），而具有隐变量的图模型是分层指数族（SEF）。SEF是满足边界条件的CEF的有限并集。此外，我们说明了如何可以自动生成的独立性和非独立性约束的分布上的可观察变量隐含的贝叶斯网络的隐变量。这些结果的模型选择的相关性进行检查。
2013-01-30 cs.LG stat.ML
A Robust Independence Test for Constraint-Based Learning of Causal Structure
Decision Systems Laboratory（决策系统实验室）；Intelligent Systems Program（智能系统项目）；University of Pittsburgh（匹兹堡大学）；School of Information Sciences（信息科学学院）
基于约束（CB）的学习是一种通过执行一系列条件独立性测试来推断结构信息来学习具有数据库D的因果网络的形式主义。本文考虑了一种新的独立性测试，它结合了贝叶斯学习，贝叶斯网络推理和经典假设检验的思想，以产生更可靠和更强大的测试。新的检验可以在与标准检验（如卡方检验）相同的渐近时间和空间中计算，但它允许指定参数的先验分布，并且可以在数据库不完整时使用。我们证明了测试是正确的，我们证明了经验，当使用CB因果发现算法与noninformative先验，它恢复结构特征更可靠，它产生的网络与较小的KL发散，特别是随着节点的数量增加或记录的数量减少。另一个好处是CB算法在搜索过程中停止的概率大大降低，为数据库较小时CB学习的恼人问题提供了补救措施。
2012-10-19 cs.AI cs.LG stat.ML
Post-hoc loss-calibration for Bayesian neural networks
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；IBM Research（IBM研究院）
贝叶斯决策理论提供了一个优雅的框架下采取最佳行动的不确定性时，易于处理的后验分布。然而，现代贝叶斯模型通常涉及难以处理的后验，这些后验是用可能是粗糙的替代品近似的。这种困难产生了损失校准技术，旨在学习有利于高效用决策的后验近似。在本文中，专注于贝叶斯神经网络，我们开发的方法来纠正近似后验预测分布，鼓励他们喜欢高效用的决定。与以前的工作相比，我们的方法是不可知的近似推理算法的选择，允许有效的测试时间决策，通过摊销，并根据经验产生更高质量的决策。我们通过跨越各种任务和数据集的对照实验证明了我们方法的有效性。
2021-06-13 cs.LG stat.ML
Staged trees and asymmetry-labeled DAGs
Universitat de València（瓦伦西亚大学）；Università degli Studi di Genova（热那亚大学）；IE University（IE大学）
贝叶斯网络是一类广泛使用的概率图模型，能够使用底层图的拓扑来表示感兴趣的变量之间的对称条件独立性。对于分类变量，它们可以被视为更一般的模型类别的特殊情况，称为阶段树，它可以表示任何类型的非对称条件独立性。在这里，我们形式化这两个模型之间的关系，并介绍了一个最小贝叶斯网络表示的阶段树，它可以用来读取条件独立性在一个直观的方式。定义了一种新的标记图--非对称标记有向无环图，它的边被标记以表示任意两个随机变量之间存在的依赖类型。我们还提出了一种新的算法来学习阶段树，它只执行非对称独立的特定子集。各种数据集被用来说明的方法，强调需要构建模型，更灵活地编码和表示非对称结构。
2022-10-05 cs.AI cs.LG stat.ML
Explaining the behavior of joint and marginal Monte Carlo estimators in latent variable models with independence assumptions
在隐变量模型中，参数估计可以基于独立性或条件独立性假设，通过使用联合或边际似然来实现。在贝叶斯框架内，关于贝叶斯边际（或综合）似然估计也出现了同样的困境，贝叶斯边际（或综合）似然估计是模型比较和平均的主要工具。在大多数情况下，贝叶斯边际似然是一个高维积分，不能解析计算和大量的方法，基于蒙特卡罗积分（MCI）用于其估计。在这项工作中，它表明，联合MCI方法巧妙地利用所采用的模型的属性，导致在有限的设置增加的错误和偏见。在这里确定的来源和组件的误差估计根据这两种方法，并提供确切的形式。此外，样本协变对蒙特卡罗估计的影响进行了检查。特别是，即使在独立性假设下，样本协方差也将接近（但不完全）零，这令人惊讶地对估计值及其变异性产生严重影响。为了解决这个问题，引入了一个指数的样本的独立性的发散作为协方差的多元扩展。这里所涉及的影响是重要的，在大多数的实际问题中出现的贝叶斯推断的多参数模型与类似的结构。
2013-11-04 stat.CO
You say Normalizing Flows I see Bayesian Networks
University of Liège（列日大学）
规范化流已经成为一个重要的深度神经网络家族，用于对复杂的概率分布进行建模。在本文中，我们将其耦合和自回归变换层作为概率图模型进行了重新审视，并表明它们可以简化为贝叶斯网络，每个节点具有预定义的拓扑结构和可学习的密度。从这个新的角度来看，我们提供了三个结果。首先，我们证明了在一个规范化流中堆叠多个变换放松了独立性假设，并使模型分布纠缠在一起。其次，我们表明，一个根本性的飞跃的能力出现时，仿射流的深度超过3个转换层。第三，我们证明了非普适性的仿射正规化流，无论其深度。
2020-06-03 cs.LG stat.ML
Likelihoods and Parameter Priors for Bayesian Networks
我们开发了构建似然性和参数先验的简单方法，以了解贝叶斯网络的参数和结构。特别是，我们引入了几个假设，允许建设的似然性和参数先验的大量贝叶斯网络结构，从一个小的评估。最值得注意的假设是似然等价，即数据不能帮助区分编码相同条件独立断言的网络结构。我们描述了从这些假设遵循的结构，并提出了一种方法，用于直接计算的边际似然的随机样本没有丢失的意见。此外，我们展示了这些假设如何导致一个一般的框架来表征参数先验的多元分布。
2021-06-29 cs.LG stat.ML
Correcting misclassification errors in crowdsourced ecological data: A Bayesian perspective
许多研究领域使用从“公民科学家”引出的数据时，一个过程的直接测量是昂贵的或不可行的。然而，参与者可能由于缺乏技能而报告不正确的估计或分类。我们演示了如何贝叶斯分层模型可以用来学习有关的潜在变量的兴趣，同时考虑到参与者的能力。该模型是在生态应用程序的背景下描述的，涉及来自澳大利亚大堡礁的地理参考珊瑚礁图像的众包分类。潜在变量是珊瑚覆盖率，这是珊瑚礁健康的一个常见指标。参与者的能力以图像上正确分类的一组点的敏感性和特异性来表示。该模型还包括一个空间组成部分，可以预测尚未调查的地点的潜在变量。我们表明，该模型优于传统的加权回归方法，用于解释公民科学数据的不确定性。我们的方法产生更准确的回归系数，并提供了一个更好的表征感兴趣的潜在过程。这种新方法是在概率编程语言Stan中实现的，可以应用于依赖于不确定的公民科学数据的大量问题。
2020-06-01 stat.AP stat.OT
Bayesian Analysis of Spiked Covariance Models: Correcting Eigenvalue Bias and Determining the Number of Spikes
本文针对尖峰协方差模型提出贝叶斯推断框架，通过逆Wishart先验推导后验分布，设计两种特征值偏差修正策略，并基于BIC型边际似然近似推断尖峰数量，在高维情形下证明后验相合性与极小极大最优性。
2025-08-19 math.ST stat.ME stat.TH
Bayesian nonparametric tests via sliced inverse modeling
我们研究了分类协变量和连续响应变量之间的独立性和条件独立性检验问题，这在遗传学中有直接的应用。我们不是在给定协变量值的情况下估计响应的条件分布，而是在给定离散化响应（又名“切片”）的情况下对协变量的条件分布进行建模。通过为每个可能的离散化方案分配先验概率，我们可以使用动态规划算法有效地计算用于独立性（或条件独立性）检验的贝叶斯因子（BF）统计量。研究了BF统计量的幂和零分布等渐近性质和有限样本性质，并进一步提出了一种基于BF统计量的逐步变量选择方法。我们比较了BF统计与一些现有的经典方法，并通过广泛的模拟研究证明其统计功效。我们将所提出的方法应用于小鼠遗传学数据集，旨在检测数量性状位点（QTL），并取得了可喜的成果。
2015-05-02 stat.ME
Bayesian Calibration of MEMS Accelerometers
University of Applied Sciences (HTWG) Konstanz（康斯坦茨应用科学大学（HTWG））；Southern Taiwan University of Science and Technology (STUST)（南台科技大学（STUST））
本研究针对MEMS加速度计校准中参数受噪声影响存在不确定性的问题，借助概率编程最新进展引入贝叶斯方法，利用其能反映参数不确定性、融入先验知识的优势，为传感器校准提供新方案。
2023-06-09 cs.LG eess.SP stat.AP
Reading Dependencies from Polytree-Like Bayesian Networks
Division of Computational Biology（计算生物学系）；Department of Physics, Chemistry and Biology（物理、化学与生物学系）
当G是一棵多叉树且p满足复合性和弱传递性时，我们给出了一个从图型p的最小有向独立映射G中读取依赖关系的图形准则。我们证明了该准则是合理的和完备的。我们认为，假设合成和弱传递性是不是太严格。
2012-06-20 cs.AI cs.LG stat.ML
Bayesian Kernelised Test of (In)dependence with Mixed-type Variables
Trinity College Dublin（都柏林圣三一学院）；Eindhoven University of Technology（埃因霍温理工大学）
AI的一个基本任务是评估混合类型变量（文本、图像、声音）之间的依赖关系。我们提出了一个贝叶斯核相关性检验（不）依赖使用Dirichlet过程模型。新的（不）依赖度量允许我们回答一些基本问题：基于数据，（混合类型）变量是独立的吗？依赖/独立的可能性有多大？两个混合型变量不仅仅是弱相关的概率有多高？我们从理论上展示的方法的属性，以及算法的快速计算与it. We经验证明所提出的方法的有效性，通过分析其性能，并通过比较它与其他频率和贝叶斯方法的范围内的数据集和任务的混合型变量。
2021-05-09 cs.LG stat.ML
Beyond Independence: on Jointly Normal Priors in Bayesian Inversion
University of Auckland（奥克兰大学）；Rocsole Limited（罗克索尔有限公司）；University of Eastern Finland（芬兰东部大学）
本文提出一种联合正态先验模型，用于贝叶斯反演中多个未知参数的联合倒置，通过保留边际分布并允许空间变化的交叉相关性，提升参数间相关性的建模能力。
2026-05-01 cs.NA math.NA stat.ME
A Bayesian Selection Model for Correcting Outcome Reporting Bias With Application to a Meta-analysis on Heart Failure Interventions
多变量荟萃分析（MMA）是联合评价多个结局的处理效应的有力工具。然而，MMA结果的有效性可能会受到结果报告偏倚（ORB）或研究选择性报告结果的趋势的影响。直到最近，ORB才被充分研究。由于ORB可能导致有偏倚的结论，因此在ORB存在的情况下，纠正效应量的估计并量化其不确定性至关重要。有了这个目标，我们开发了一个贝叶斯选择模型来调整ORB在MMA。我们进一步提出了一个量化ORB对MMA结果影响的措施。我们通过对来自Cochrane系统评价数据库的748项双变量荟萃分析进行荟萃评价来评估我们的方法。我们的模型的动机和应用到一个荟萃分析的干预措施，再入院和生活质量的心力衰竭患者。在我们的分析中，调整ORB后，干预组再入院的相对风险（RR）从显著降低（RR：0.931，95%置信区间[CI]：0.862-0.993）变为统计学上无显著影响（RR：0.955，95% CI：0.876-1.051）。本研究表明，未能考虑ORB可能导致荟萃分析得出不同的结论。
2021-10-17 stat.AP
Probability Based Independence Sampler for Bayesian Quantitative Learning in Graphical Log-Linear Marginal Models
贝叶斯方法的图形对数线性边际模型还没有发展到与传统的频率论方法相同的程度。在这项工作中，我们引入了一种新的贝叶斯方法，用于此类模型的定量学习。这些模型属于弯曲指数族，从贝叶斯的角度来看很难处理。此外，可能性不能解析地表示为边际对数线性相互作用的函数，而只能用细胞计数或概率表示。后验分布不能直接得到，需要MCMC方法。最后，一个定义良好的模型需要参数值，导致兼容的边际概率。因此，任何MCMC都应该考虑到这一重要限制。我们构建了一个全自动和高效的MCMC策略，用于处理这些问题的图形对数线性边际模型的定量学习。虽然先验表示的边际对数线性相互作用，我们建立了一个MCMC算法，采用概率参数空间的建议。通过参数变换，得到了关于边际对数线性相互作用的相应建议。通过这种策略，我们实现了在期望的目标空间内移动。在每一步中，我们直接使用定义良好的概率分布。此外，我们可以利用条件共轭设置来建立关于概率参数的有效建议。所提出的方法说明了模拟研究和真实的数据集。
2018-07-03 stat.ME
Bayesian Dynamic Gamma Models for Route-Level Travel Time Reliability
George Mason University（乔治梅森大学）；George Washington University（乔治华盛顿大学）
本文提出了一种贝叶斯动态伽马模型，通过共用随机环境和马尔可夫链实现路级旅行时间可靠性的高效建模，提升了预测精度并保持了计算效率。
2026-02-06 stat.AP
Quantifying and correcting geolocation error in spaceborne LiDAR forest canopy observations using high spatial accuracy ALS: A Bayesian model approach
针对星载采样LiDAR森林观测的地理定位误差影响数据集成的问题，提出基于高空间精度ALS的贝叶斯模型，结合G-LiHT与GEDI数据量化校正误差，明确了系统性误差与误差分布概率，助力星载LiDAR数据集成。
2023-08-23 stat.AP
Bayesian Networks for Max-linear Models
我们研究了基于Gissibl和Klüppelberg [16]中介绍的最大线性结构方程的贝叶斯网络，并总结了它们的独立性。特别是，我们强调，这种网络的分布通常不忠实于由其相关的有向无环图确定的独立模型。此外，我们考虑估计的一些基本问题，并讨论系数的广义极大似然估计，使用Kiefer和Wolfowitz [21]引入的非支配族的广义似然比的概念。最后，我们认为最小网络的结构可以从观测数据中完全渐进地确定。
2019-01-13 stat.ME
Markov chain random fields, spatial Bayesian networks, and optimal neighborhoods for simulation of categorical fields
马尔可夫链随机场（MCRF）模型/理论提供了用于模拟分类空间变量的在邻域最近数据水平上的非线性空间贝叶斯更新解决方案。在MCRF解决方案中，最近的数据和中心随机变量之间的空间依赖关系是一个概率有向无环图，符合基于邻域的贝叶斯网络的空间数据。通过选择不同的邻域大小和结构，将空间条件独立性假设应用于最近的邻域，或者结合辅助信息，可以基于MCRF通用解构建特定的MCRF模型以用于各种应用目的。简化的MCRF模型基于假设最近数据的空间条件独立性，仅涉及空间转移概率，并且可以在顺序模拟中容易地实现它们。在本文中，我们证明了MCRF的空间贝叶斯网络特性，并测试了空间条件独立性假设下的最佳邻域。测试结果表明，象限（即，每个象限一个最近的数据）邻域通常是简化MCRF解的最佳选择，在仿真精度和模式合理性方面比其它扇区化邻域和非扇区化邻域表现得更好。
2018-11-08 stat.ME
Algebraic geometry of Gaussian Bayesian networks
高斯情形下的条件独立模型是正定协方差阵锥上的代数簇。我们研究这些品种的情况下，贝叶斯网络，以期推广递归因式分解定理的情况下，隐藏变量。在底层图是树的情况下，我们证明了模型的消失理想是由图所隐含的条件独立语句所生成的。我们还表明，理想的任何贝叶斯网络是均匀的，相对于一个多级诱导的上游随机变量的集合。这对隐变量模型有许多重要的影响。最后，我们将贝叶斯网络的理想与代数几何中的一些经典结构联系起来，包括格拉斯曼曲面退化、矩阵舒伯特簇和割线簇。
2007-05-22 math.AG math.ST stat.TH
Efficient Sampling and Structure Learning of Bayesian Networks
ETH Zurich（苏黎世联邦理工学院）；University College London（伦敦大学学院）；University of Basel（巴塞尔大学）
贝叶斯网络是一种概率图模型，被广泛用于理解高维数据中的依赖关系，甚至促进因果发现。学习被编码为有向无环图（DAG）的底层网络结构是非常具有挑战性的，主要是由于大量的可能网络与无环性约束相结合。努力集中在两个方面：基于约束的方法，执行条件独立性测试，以排除边缘和分数和搜索方法，探索DAG空间与贪婪或MCMC计划。在这里，我们合成这两个领域在一个新的混合方法，降低了复杂性的MCMC方法的约束为基础的方法。MCMC方案中的各个步骤只需要简单的查表，以便可以有效地获得非常长的链。此外，该计划包括一个迭代过程，以纠正错误的条件独立性测试。该算法提供了明显优于替代方案的性能，特别是因为DAG也可以从后验分布中采样，从而能够对更大的贝叶斯网络进行完整的贝叶斯模型平均。
2021-11-09 cs.LG stat.CO stat.ME
Dynamic Bayesian Multinets
University of Washington（华盛顿大学）
在这项工作中，引入动态贝叶斯multitudes马尔可夫链状态在时间t确定条件独立的随机变量之间的模式躺在一个本地时间窗口周围的t。它示出了如何信息理论的标准函数可以用来诱导稀疏，歧视，类条件网络结构，产生最佳近似的类后验概率，因此是有用的分类任务。使用一个新的结构学习启发式，由此产生的模型进行测试的中等词汇孤立词语音识别任务。它表明，这些歧视性结构的动态贝叶斯multitons，在最大似然设置使用EM训练时，可以优于HALTH和其他动态贝叶斯网络具有类似数量的参数。
2013-01-16 cs.AI cs.LG stat.ML
Pair-copula Bayesian networks
配对Copula贝叶斯网络（PCBN）是一类新的多元统计模型，它结合了配对Copula结构（PCC）的分布灵活性和有向无环图（DAG）的条件独立模型的简约性.我们是第一个提供通用算法的随机抽样和似然推断任意PCBN以及选择排序的父母的顶点在底层图形。DAG的模型选择使用一个版本的众所周知的PC算法，这是基于一个新的测试条件独立的随机变量定制的PCC框架。仿真研究表明，PC算法的高智能非高斯PCBN的结构估计。所提出的方法，最后应用于金融回报数据建模。
2012-11-23 stat.ME
Variational Bayesian Bow tie Neural Networks with Shrinkage
School of Mathematics and Maxwell Institute for Mathematical Sciences, University of Edinburgh（数学学院和麦克斯韦数学科学研究所，爱丁堡大学）
针对深度模型预测过度自信、易受攻击及现有贝叶斯推理依赖假设、对架构敏感等问题，提出带收缩的变分贝叶斯蝴蝶结神经网络，结合稀疏先验与Polya-Gamma数据增强推导快速推理算法，增强架构鲁棒性并兼顾可扩展性与多模态。
2025-06-17 cs.LG math.ST stat.ME
Large-Sample Learning of Bayesian Networks is NP-Hard
Microsoft Research（微软研究院）
在本文中，我们提供了新的复杂性结果的算法，从数据中学习离散变量贝叶斯网络。只要学习算法使用有利于能够准确表示生成分布的最简单模型的评分标准，我们的结果就适用。因此，只要学习算法使用一致的评分标准并应用于足够大的数据集，我们的结果就成立。我们发现，即使我们得到一个独立的预言机，推理预言机，和/或信息预言机，识别高分结构是困难的。我们的否定结果也适用于离散变量贝叶斯网络的学习，其中每个节点最多有k个父母，对于所有k > 3。
2012-10-19 cs.AI cs.LG stat.ML
A Bayesian Functional Accelerated Failure-Time Model with Varying Effects Correcting for Measurement Error
提出贝叶斯函数加速失效时间模型，通过高斯过程单指标结构建模功能系数随时间和标量协变量的变化，并利用工具变量处理功能协变量的测量误差，以分析可穿戴设备数据中步数活动与缺血性卒中死亡时间的关系。
2026-06-16 stat.ME
Marginal Likelihood Integrals for Mixtures of Independence Models
贝叶斯统计中的推断涉及边缘似然积分的评估。我们提出了代数算法计算这样的积分正是离散数据的小样本量。我们的方法适用于均匀先验和狄利克雷先验。基本的统计模型是独立分布的混合，或者用几何语言来说，是Segre-Veronese变量的割线变量。
2009-02-13 stat.CO
Stratified Graphical Models - Context-Specific Independence in Graphical Models
图模型理论已经成熟了三十多年，为用于疾病遗传图谱、信用风险评估、可靠性和计算机安全等无数应用的几类模型提供了主干。尽管它们具有普遍的适用性和广泛的采用性，由无向图形模型和贝叶斯网络施加的约束也被认为在某些情况下是不必要的严格。这一观察结果导致了几个概括的建议，旨在更宽松的约束，模型可以施加本地或特定于上下文的依赖结构。在这里，我们考虑另一类这样的模型，称为分层图形模型。我们开发了一种贝叶斯学习这些模型的方法，推导出一个分析表达式的边际可能性的数据下的一个特定子类的可分解分层模型。一个不可逆的马尔可夫链蒙特卡罗方法被进一步用于识别高度支持的模型的后验分布在模型空间。我们的方法进行了说明，并通过应用到几个真实的和合成的数据集与普通的图形模型进行比较。
2013-11-14 stat.ML
Comparing Bayesian Network Classifiers
University of Alberta（阿尔伯塔大学）
在本文中，我们经验评估算法学习四种类型的贝叶斯网络（BN）分类-朴素贝叶斯，树增强朴素贝叶斯，BN增强朴素贝叶斯和一般的BN，其中后两个学习使用两个变量的条件独立（CI）的BN-学习算法。实验结果表明，所获得的分类器，学习使用CI为基础的算法，是有竞争力的（或优于）最知名的分类器，基于贝叶斯网络和其他形式主义，学习和使用这些分类器的计算时间是相对较小的。此外，这些结果还提出了一种学习更有效分类器的方法;我们根据经验证明，这种新算法确实如预期那样工作。总的来说，这些结果表明BN分类器在机器学习和数据采掘社区中值得更多的关注。
2013-01-23 cs.AI cs.LG stat.ML
A Conditional Independence Test in the Presence of Discretization
Cranberry-Lemon University（蔓越莓柠檬大学）；University of the Witwatersrand（金山大学）
针对仅能观测潜在连续变量离散化版本导致传统条件独立性检验失效的问题，提出基于桥接方程恢复潜变量统计参数并推导渐近分布的新检验方法。
2025-03-18 cs.AI cs.LG stat.ML
Learning Bayesian Networks with Restricted Causal Interactions
Monash University（莫纳什大学）
贝叶斯网络（BN）学习的一个主要问题是条件概率表所需参数的指数数量。最近的研究通过在概率表中建模局部结构来降低这种复杂性。我们研究使用对数线性局部模型。虽然对数线性模型在这种情况下并不新鲜（Whittaker，1990; Buntine，1991; Neal，1992; Heckerman and Meek，1997），但对于结构学习，它们通常被归入朴素贝叶斯模型。我们描述了另一种解释，并使用最小消息长度（MML）（华莱士，1987年）度量的结构学习的网络表现出因果关系的独立性，我们称之为一阶网络（FONs）。我们还调查了本地模型选择上的逐节点的基础上。
2013-01-23 cs.AI cs.LG stat.ML
Correcting Model Misspecification via Generative Adversarial Networks
Birla Institute of Technology and Science（贝拉理工学院）；MLSquare
本文提出ABC-GAN框架，结合GANs与ABC纠正模型似然误设，通过skipGAN学习校正项，在低数据及高噪声条件下提升预测鲁棒性并兼具两者优势。
2023-04-07 cs.LG
Fast Bayesian inference in large Gaussian graphical models
尽管主要的方法的发展，贝叶斯推断高斯图形模型仍然具有挑战性的高维由于巨大的规模的模型空间。本文提出了一种通过假设的多重检验来推断变量间的边际和条件独立结构的方法。具体而言，我们在高斯共轭模型下引入封闭形式的贝叶斯因子来评估变量之间的边际和条件独立性的零假设。它们对所有变量对的计算都非常有效，从而使我们能够解决具有数千个节点的大型问题。此外，我们从贝叶斯因子的零分布中推导出精确的尾概率。这些允许使用任何多重性校正程序来控制错误边缘包含的错误率。我们证明了所提出的方法，图形模型选择各种模拟的例子，以及从癌症基因组图谱的大型基因表达数据集。
2018-04-06 stat.ME
A Bayesian nonparametric approach to testing for dependence between random variables
随机变量之间统计相关性的非参数和非线性度量是现代数据分析中的重要工具。特别是，大数据集的出现现在可以支持放松传统关联分数（如相关性）中隐含的线性假设。在这里，我们描述了一个贝叶斯非参数过程，导致一个听话的，明确的和分析量化的相对证据的依赖与独立。我们的方法使用Polya树先验空间的概率测度，然后可以嵌入到一个决策理论测试的依赖性。Polya树先验可以适应潜在抽样分布形式的已知不确定性，并提供相关性和独立性的显式后验概率测度。具有明确的概率测度的众所周知的优点包括：容易比较不同研究中的证据;编码先验信息;量化不同实验条件下的依赖性变化;以及在正式决策分析中整合结果。
2016-05-12 stat.ME
Exploring complex dependence structures using Bayesian bi-clustering and log-linear graphical modelling
University of St Andrews（圣安德鲁斯大学）
该研究结合贝叶斯双聚类与对数线性图模型，通过理论推导与模拟、真实数据验证，揭示变量依赖结构，阐明混合建模与图对数线性建模的关系，助力高效探索庞大的模型空间。
2026-11-10 stat.ME
Bayesian Graphical Models for Multivariate Functional Data
图形模型表达变量之间的条件独立关系。虽然矢量值数据的方法已经很成熟，但函数数据图形模型仍然不发达。我们引入了随机函数之间的条件独立性的概念，并构建了一个框架，贝叶斯推断的无向，可分解的图在多元函数数据的背景下。这个框架是基于扩展马尔可夫分布和超马尔可夫定律从随机变量随机过程，提供了一个原则性的替代天真的应用程序的多元方法离散化的功能数据。马尔可夫性便于根据图的分解来组合似然和先验。我们的重点是使用正交基展开的高斯过程图形模型。我们提出了基展开的无穷系数序列的协方差核的超逆Wishart-process先验，证明了其存在性、唯一性、强超马尔可夫性和共轭性.随机搜索马尔可夫链蒙特卡罗算法的后验推理，通过模拟评估，并应用于大脑活动和酗酒的研究。
2016-01-05 stat.ME
Conditional independences and causal relations implied by sets of equations
University of Amsterdam（阿姆斯特丹大学）；Radboud University Nijmegen（拉德堡德大学）
现实世界中的复杂系统往往是由一组具有内生和外生变量的方程来建模的。对于出现在这些方程中的变量的因果和概率方面，我们能说些什么呢？我们利用Simon的因果排序算法（Simon，1953）构造了一个因果排序图，并证明了在某些唯一的可解性假设下，它表示了软的和完美的干预对方程的影响。我们进一步构建了一个马尔可夫排序图，并证明了它编码的条件独立的分布所隐含的方程与独立的随机外生变量，在一个类似的唯一的可解性假设。我们讨论了这种方法如何揭示和解决现有因果建模框架的一些局限性，如因果贝叶斯网络和结构因果模型。
2021-01-31 cs.AI stat.ML
