Causal Learner: A Toolbox for Causal Structure and Markov Blanket Learning
School of Computer Science and Technology, Anhui University(安徽大学计算机科学与技术学院);School of Computer and Information, Hefei University of Technology(合肥工业大学计算机与信息学院);UniSA STEM, University of South Australia(南澳大学UniSA STEM)
因果学习器是一个开源工具箱,集成了数据生成、全局和局部因果结构学习、马尔可夫毯学习及评估功能,支持新算法的开发与评估。
2025-02-23 cs.AI cs.LG
Stein Variational Message Passing for Continuous Graphical Models
Department of Computer Science, The University of Texas at Austin(德克萨斯大学奥斯汀分校计算机科学系);School of Mathematical Sciences, Zhejiang University(浙江大学数学科学学院)
我们提出了一种新的分布式推理算法的连续图形模型,通过扩展Stein变分梯度下降(SVGD),利用马尔可夫依赖结构的兴趣分布。我们的方法结合了SVGD与一组结构化的本地核函数定义在每个节点的马尔可夫毯,这消除了高维度的诅咒,同时产生一个分布式算法的分散推理任务。我们证明我们的方法与理论分析,并表明,使用本地内核可以被视为一种新型的本地化近似,匹配的目标分布上的条件分布的每个节点在其马尔可夫毯。我们的实证结果表明,我们的方法优于各种基线,包括标准MCMC和粒子消息传递方法。
2018-06-07 cs.LG stat.ML
Design, Cups, and Blankets. A Free-Energy-Principle-Based Approach to Product Design
University of Twente(特温特大学)
本文提出基于自由能原理的产品设计新方法,通过要求引导的界面类型推断,将设计视为推断而非优化,并利用动态马尔可夫毯检测算法实现计算可行性。
2026-05-02 stat.ME stat.ML
Learning Minimalistic Tsetlin Machine Clauses with Markov Boundary-Guided Pruning
University of Agder(阿格德大学);NORCE(挪威研究中心NORCE);PwC Switzerland(普华永道瑞士);Sørlandet Hospital(南挪威医院)
本文提出一种新的 Tsetlin Machine 反馈方案,通过引入上下文特定独立性自动机在训练中剪枝马尔可夫边界外的特征,从而学习极简子句,并从理论和实验上验证了其有效性,将贝叶斯网络与 TM 相联系。
2023-09-12 cs.AI cs.LG
Model-Augmented Estimation of Conditional Mutual Information for Feature Selection
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
马尔可夫毯特征选择虽然在理论上是最优的,但通常难以实现。这是由于现有的条件独立性(CI)测试方法的缺点,往往斗争的维数灾难或计算复杂性。我们提出了一种新的两步方法,有利于马尔可夫毯特征选择在高维。首先,使用神经网络将特征映射到低维表示。在第二步中,通过将$k$条件互信息估计器应用于学习的特征图来执行CI测试。映射的目的是确保映射的样本都保存信息和共享类似的信息,当且仅当它们是接近的欧几里得距离的目标变量。我们表明,这些属性提高性能的$k$ -NN估计在第二步。所提出的方法的性能进行评估合成和真实数据。
2020-06-19 cs.LG stat.ML
Causal Structure Learning by Using Intersection of Markov Blankets
School of Mathematical Sciences(数学科学学院);Zhejiang University(浙江大学)
本文提出结合Bayesian网络和SCM特性的新型因果结构学习算法EEMBI,并扩展出集成PC算法最后一步的EEMBI-PC版本。
2023-07-01 cs.LG stat.ML
Markov Blanket Discovery using Minimum Message Length
The Australian National University(澳大利亚国立大学);Monash University(莫纳什大学)
因果发现可以自动从数据中学习因果贝叶斯网络,从一开始就引起了人们的积极兴趣。随着从互联网上获取大型数据集,对扩展到非常大的数据集的兴趣已经增长。对此的一种方法是使用马尔可夫毯(MB)发现作为第一步来并行化搜索,随后是在全局因果模型中组合MB的过程。我们开发和探索三种新的MB发现方法,使用最小消息长度(MML),并将它们与现有的最佳方法进行经验比较,无论是专门作为MB发现还是作为特征选择。我们最好的MML方法始终具有竞争力,并具有一些有利的功能。
2021-07-16 cs.LG stat.ML
Fast Gradient-Based Inference with Continuous Latent Variable Models in Auxiliary Form
Universiteit van Amsterdam(阿姆斯特丹大学)
我们提出了一种技术,用于提高贝叶斯网络中基于梯度的推理和学习的效率与多层连续潜在变量。我们表明,在许多情况下,这是可能的,以辅助形式表示这样的模型,连续的潜变量是有条件的确定性给定他们的父母和一组独立的辅助变量。这种辅助形式的模型变量具有更大的马尔可夫毯,导致基于梯度的推理显着加速,例如快速混合混合蒙特卡罗和高效的基于梯度的优化。实验证实了该方法的相对有效性。
2013-06-04 cs.LG stat.ML
A Fixed-Parameter Tractable Algorithm for Counting Markov Equivalence Classes with the same Skeleton
Tata Institute of Fundamental Research(塔塔基础研究院)
本文针对计数具有给定骨架的马尔可夫等价类问题,提出了以树宽和最大度为参数的固定参数可解算法,核心贡献是引入shadow构造来局部描述长程约束。
2024-07-03 cs.AI cs.DS cs.LG
PPFS: Predictive Permutation Feature Selection
Indian Institute of Technology Kharagpur(印度理工学院卡拉格普尔分校);King Abdulaziz University(阿卜杜勒阿齐兹国王大学)
提出预测排列特征选择(PPFS),一种基于马尔可夫毯的新型包装器方法,利用预测排列独立性测试和监督算法,在分类和回归任务上优于现有方法。
2021-10-20 cs.LG
Polynomial-Time Algorithms for Counting and Sampling Markov Equivalent DAGs
从马尔可夫等价类中对有向无环图进行计数和均匀采样是图因果分析的基本任务。在本文中,我们表明,这些任务可以在多项式时间内完成,解决了这一领域长期存在的开放问题。我们的算法是有效的,易于实现。实验结果表明,该算法显着优于国家的最先进的方法。
2020-12-17 cs.AI cs.LG stat.ML
Polynomial-Time Algorithms for Counting and Sampling Markov Equivalent DAGs with Applications
University of Lübeck(吕贝克大学);European Space Agency(欧洲空间局)
本文提出可在多项式时间内完成马尔可夫等价类中有向无环图的计数与采样的算法,解决了领域长期公开问题,算法高效易实现,推动相关因果学习与识别策略落地应用。
2023-08-21 cs.AI cs.LG stat.ML
LazyIter: A Fast Algorithm for Counting Markov Equivalent DAGs and Designing Experiments
Sharif University of Technology(谢里夫理工大学)
一组随机变量之间的因果关系通常由有向无环图(DAG)表示,其中如果$X$是$Y$的直接原因,则存在从变量$X$到变量$Y$的有向边。从纯粹的观测数据,真正的因果图可以识别到马尔可夫等价类(MEC),这是一组DAG与变量之间的相同的条件独立性。MEC的大小是通过执行干预来恢复真实因果图的复杂性的度量。我们提出了一种有效的迭代方法,在可能的MEC干预结果。我们利用所提出的方法计算MEC的大小和实验设计在主动和被动的学习设置。相比以前的工作计算MEC的大小,我们提出的算法减少了时间复杂度的一个因素,$O(n)$稀疏图,其中$n$是系统中的变量的数量。此外,结合动态规划,我们设计了一个被动实验设计的优化算法。实验结果表明,我们提出的算法计算MEC的大小和实验设计优于最先进的。
2020-06-17 cs.AI cs.LG stat.ML
From dependency to causality: a machine learning approach
Université Libre de Bruxelles(布鲁塞尔自由大学);Interuniversity Institute of Bioinformatics in Brussels(布鲁塞尔大学生物信息学研究所)
统计依赖性和因果关系之间的关系是所有因果推断的统计方法的核心。ChaLearn因果对挑战的最新结果表明,由于数据驱动的方法,因果方向性也可以在马尔可夫不可区分的配置中以良好的准确性推断出来。本文提出了一种有监督的机器学习方法来推断存在的有向因果关系的两个变量之间的多元设置与$n>2$变量。该方法依赖于两个变量因果连接的马尔可夫毯成员之间的一些条件(不)依赖关系的不对称性。我们的研究结果表明,监督学习方法可以成功地用于提取因果信息的基础上的非对称统计描述符也为$n>2$变量分布。
2014-12-19 cs.AI cs.LG stat.ML
Counting and Sampling from Markov Equivalent DAGs Using Clique Trees
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Sharif University of Technology(谢里夫理工大学);Georgia Institute of Technology(佐治亚理工学院);Carnegie Mellon University(卡内基梅隆大学)
有向无环图(DAG)是表示一组变量之间因果关系的最常见的图形模型。当仅限于使用观测数据时,基于变量之间的条件独立关系,地面实况DAG的结构仅在马尔可夫等价时是可识别的。因此,等同于真实DAG的DAG数量是底层结构因果复杂性的指标--粗略地说,它显示了需要多少干预或多少额外信息来恢复底层DAG。在本文中,我们提出了一种新的技术,用于计数的DAG在马尔可夫等价类的数量。我们的方法是基于弦图的团树表示。我们表明,在有界度图的情况下,所提出的算法是多项式时间。我们进一步证明,这种技术可以用于均匀采样的马尔可夫等价类,它提供了一种随机的方式来枚举DAG的等价类,并可能需要找到最好的DAG或因果推理的等价类作为输入。我们还扩展了我们的计数和采样方法的情况下,先验知识的基础DAG是可用的,并提出了应用这种扩展在因果实验设计和估计因果效应的联合干预。
2018-09-11 cs.AI cs.DS cs.LG
Formulas for Counting the Sizes of Markov Equivalence Classes of Directed Acyclic Graphs
有向无环图的马尔可夫等价类的大小在度量因果学习的不确定性和复杂性方面起着重要的作用。一个马尔可夫等价类可以用一个本质图来表示,它的无向子图决定了这个类的大小。在本文中,我们发展了一种方法,推导出计算公式的马尔可夫等价类的大小。本文首先引入了核图的概念。所关注的马尔可夫等价类的大小是给定其核心图的顶点数的多项式。然后,我们讨论了多项式的递归和显式公式,并提供了一个算法,通过符号计算得到的大小公式,对于任何给定的核心图。所提出的大小公式推导揭示了马尔可夫等价类的大小与其表示图之间的关系,并使大小计数有效,即使当基本图包含非稀疏无向子图。
2016-10-23 cs.DM stat.ML
Tree-structured Markov random fields with Poisson marginal distributions
École d’actuariat, Université Laval(拉瓦尔大学精算学院)
该研究提出一类边缘为同均值泊松分布且与依赖结构解耦的树结构马尔可夫随机场,具备高效采样与解析计算优势,并分析了其变量和的分布、单变量贡献及随机序特性。
2025-01-17 cs.LG math.PR stat.ME