First-Order Context-Specific Likelihood Weighting in Hybrid Probabilistic Logic Programs
KU Leuven(荷语鲁汶大学);Czech Technical University in Prague(布拉格捷克理工大学)
到目前为止,统计关系AI和概率逻辑编程主要集中在离散概率模型上。这样做的原因是,需要提供结构来简洁地建模这种模型中的独立性,并提供有效的推理。三种类型的独立性是很重要的表示和利用混合模型中的可扩展推理:条件独立性优雅地建模在贝叶斯网络中,上下文特定的独立性自然表示的逻辑规则,和独立性之间的相关对象的属性在关系模型简洁地表示组合规则。本文介绍了一种结合贝叶斯逻辑程序中分布子句的语法和语义原理的混合概率逻辑程序设计语言DC #。它定性地代表了三种独立性。更重要的是,我们还介绍了DC #的可扩展推理算法FO-CS-LW。FO-CS-LW是上下文特定似然加权算法(CS-LW)的一阶扩展,CS-LW是一种利用地面模型中的条件独立性和上下文特定独立性的新型采样方法。FO-CS-LW算法将具有统一和组合规则的CS-LW算法提升到一阶情况。
2023-01-08 cs.AI cs.LO
An Algorithm for Deciding if a Set of Observed Independencies Has a Causal Explanation
Northrop Corporation(诺斯洛普公司);University of California(加利福尼亚大学)
在以前的论文[Pearl和Verma,1991]中,我们提出了一种从独立性信息中提取因果影响的算法,其中因果影响被定义为与数据一致的所有最小因果模型中存在有向弧。在本文中,我们解决的问题,决定是否存在一个因果模型,解释所有观察到的依赖性和独立性。形式上,给定条件独立语句的列表M,需要判定是否存在与M完全一致的有向无环图(dag)D,即M中的每个语句,而不是其他语句,都通过D中的dseparation反映出来。我们提出并分析了一个有效的算法,测试存在这样的一天,并产生一个,如果它存在。
2013-03-13 cs.AI
A finite axiomatization of conditional independence and inclusion dependencies
University of Helsinki(赫尔辛基大学)
我们提出了一个完整的有限公理化的无限制蕴涵问题的包含和条件独立原子的依赖逻辑的上下文中。对于数据库,我们的结果意味着一个有限的公理化的包含,功能和嵌入式多值依赖关系的情况下的无限制蕴涵问题。
2013-09-20 cs.AI cs.DB cs.LO
On the Independencies Hidden in the Structure of a Probabilistic Logic Program
Ludwig-Maximilians-Universität München(慕尼黑路德维希-马克西米利安大学)
本文推广 d-分离至非基概率逻辑程序,提出程序结构抽象与元解释器,实现条件独立性高效判定,实验显示其显著快于 ProbLog 2 精确推理。
2023-08-30 cs.AI cs.LO cs.PL
Unsupervised Risk Estimation Using Only Conditional Independence Structure
Stanford University(斯坦福大学)
我们展示了如何估计模型的测试误差从未标记的数据,分布非常不同的训练分布,而假设只有一定的条件独立性之间保留训练和测试。我们不需要假设最优预测器在训练和测试之间是相同的,或者真实分布位于任何参数族中。我们还可以有效地区分误差估计,以执行无监督的判别学习。我们的技术工具是矩量法,它允许我们在没有完全指定的模型的情况下利用条件独立性。我们的框架包括一个大家庭的损失,包括日志和指数损失,并扩展到结构化的输出设置,如隐马尔可夫模型。
2016-06-16 cs.AI cs.LG stat.ML
Hybrid Probabilistic Logic Programming: Inference and Learning
本文主要研究概率逻辑程序设计(PLP),它结合了不确定性的概率理论和关系的逻辑程序设计。本文旨在扩展PLP以支持离散和连续随机变量,这对于数值数据的应用是必要的。第一个贡献是引入上下文特定的似然加权(CS-LW),一种新的采样算法,利用上下文特定的独立性的计算增益。然后,提出了一种新的混合PLP(DC#),它将分布子句的语法与贝叶斯逻辑程序相结合,并表示了三种类型的独立性:i)贝叶斯网络中的条件独立性(CI); ii)逻辑规则表示的上下文相关独立性(CSI); iii)组合规则表示的关系模型中相关对象属性之间的独立性。提出了DC#的可扩展推理算法FO-CS-LW。最后,本文通过引入DiceML来学习混合PLP的结构和参数,并解决关系自动完成问题,从而解决了缺乏从具有缺失值和(概率)背景知识的关系数据中学习混合PLP的方法的问题。最后讨论了混合PLP的未来发展方向和面临的挑战。
2023-02-10 cs.AI cs.LO
Testing Causal Models with Hidden Variables in Polynomial Delay via Conditional Independencies
Purdue University(普渡大学);Columbia University(哥伦比亚大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
针对含隐变量因果模型测试中条件独立性(CIs)列举耗时呈指数级的问题,本文提出c-分量局部马尔可夫性质(C-LMP),并开发了首个能在含隐变量因果图中以多项式延迟列举CIs的算法,实验验证了其实用性。
2025-06-26 cs.AI cs.LG stat.ME
Context-Specific Independence in Bayesian Networks
University of British Columbia(不列颠哥伦比亚大学);Stanford University(斯坦福大学);SRI International(斯坦福国际研究院)
贝叶斯网络提供了一种定性表示分布的条件独立性的语言。这允许分布的自然和紧凑的表示,简化了知识获取,并支持有效的推理算法。然而,众所周知,在贝叶斯网络结构中,我们无法定性地捕获某些独立性:仅在某些上下文中成立的独立性,即,给特定的变量赋值。在本文中,我们提出了一个正式的概念,上下文特定的独立性(CSI)的基础上,在一个节点的条件概率表(CPTs)的重复。我们提出了一种技术,类似于(并基于)d-分离,用于确定何时在给定的网络中保持这种独立性。然后,我们专注于一个特定的定性表示方案-树结构的CPTs -捕捉CSI。我们建议的方式,这种表示可以用来支持有效的推理算法。特别是,我们提出了一个结构分解的网络,可以提高聚类算法的性能,和一个替代算法的基础上割集条件。
2013-02-13 cs.AI
Factorization of Dempster-Shafer Belief Functions Based on Data
Institute of Computer Science, Polish Academy of Sciences(波兰科学院计算机科学研究所)
应用Dempster-Shafer理论(DST)的一个重要障碍是它与频率的关系。特别是,存在着严重的困难,从数据中发现的信念函数的因式分解。在概率论中,因子分解通常与(条件)独立性的概念有关,并相应地测试它们的可能性。然而,在DST中,条件信念分布被证明是非正确的信念函数(即与负“频率”相关的信念函数)。这使得潜在的条件独立性的统计测试实际上是不可能的,因为到目前为止还没有找到负置信函数值的连贯解释。在本文中,一个新的尝试,以克服这一困难。在该提案中,没有计算条件信念,而是在DST的框架内引入了一个新的测量F,与条件独立性密切相关,允许应用传统的统计测试来检测依赖性/独立性。
2018-12-14 cs.AI
Causal Modeling with Probabilistic Simulation Models
Stanford University(斯坦福大学)
最近的作者提出了分析条件推理通过干预的概念在模拟程序,并发现了一个健全的和完整的公理化的逻辑条件在这种情况下。在这里,我们将此设置扩展到概率仿真模型的情况。我们给出了一个自然的定义的概率公式的条件语言,允许表达的反事实,并证明了这个定义的基本结果。我们还发现了一个公理化推理的线性不等式涉及概率在这种情况下。我们证明了这个逻辑的可满足性问题的可靠性,完备性和NP-完备性。
2018-07-30 cs.AI cs.LO
A Framework for Decision-Theoretic Planning I: Combining the Situation Calculus, Conditional Plans, Probability and Utility
University of British Columbia(不列颠哥伦比亚大学)
本文展示了我们如何将行动的逻辑表示和决策理论以一种对两者来说都很自然的方式结合起来。特别是,我们假设一个公理化的域的情况演算,使用什么基本上是赖特的解决方案的框架问题,在完成的公理定义的状态变化。不确定性是根据独立选择逻辑来处理的,独立选择逻辑允许独立的选择和给出选择结果的逻辑程序。作为结果的一部分,是(最终)状态效用的规范。机器人采用机器人计划,类似于GOOGLE程序设计语言。在这个逻辑中,我们可以根据行动、不确定性和效用的公理化来定义条件计划的预期效用。什么?规划问题就是要找到期望效用最高的方案。这与POMDPs最近的结构化表示有关;在这里,我们使用随机情景演算规则来指定状态转移函数和奖励/价值函数。最后,我们表明,与随机框架公理,行动表示在概率BCPPS是指数大于使用这里提出的表示。
2013-02-13 cs.AI
On Open-Universe Causal Reasoning
Stanford University(斯坦福大学)
我们将结构方程模型和模拟模型这两类因果模型推广到无穷变量空间。这使得语义的条件成立于演算的干预,和公理化的因果推理丰富,表达生成模型-包括那些因果表示只存在隐式-在一个开放的宇宙设置。此外,我们表明,在适当的限制下,这两种模型是等价的,也许令人惊讶的是,它们的公理化在一般情况下有很大的不同。我们给出了一系列完整的公理化,其中开放宇宙的设置性质被认为是必不可少的。
2021-06-02 cs.AI cs.LO
Parallel Belief Revision
Northrop Research and Technology Center(诺斯罗普研究与技术中心)
本文介绍了一个正式的系统,由沃尔夫冈Spohn开发的信念修订,并表明,该系统有一个并行的实现,可以从一个影响图的方式类似于贝叶斯网络派生。证明依赖于条件独立的概念公理化的完整性结果,与Spohn系统被用作条件独立的关系的语义。
2013-03-27 cs.AI
On the Conditional Logic of Simulation Models
Stanford University(斯坦福大学)
我们建议分析条件推理呼吁干预的概念,在模拟程序,形式化和归纳的一些方法,条件思维在最近的人工智能文献。我们的主要成果包括一系列的公理化,允许这个框架和现有的框架(正常序模型,因果结构方程模型)之间的比较,和一个复杂的结果,建立NP-完全的可满足性问题。也许令人惊讶的是,一些基本的逻辑原则共同的所有现有的方法是无效的,在我们的因果模拟方法。我们认为,这种额外的灵活性是很重要的建模一些直观的例子。
2018-05-08 cs.AI cs.LO
Exploiting Causal Independence in Bayesian Network Inference
提出了一种利用因果独立性进行精确贝叶斯网络推理的新方法。贝叶斯网络可以被看作是将联合概率分解为一组条件概率的乘积。我们提出了一个因果独立的概念,使人们能够进一步因式分解的条件概率的组合,甚至更小的因素,从而获得更细粒度的联合概率因式分解。因果独立的新公式让我们指定一个变量的条件概率给定其父母在一个结合和交换运算符,如“或”,“和”或“最大”,对每个父母的贡献。我们从一个简单的算法VE贝叶斯网络推理,给定证据和查询变量,使用因式分解找到查询的后验分布。我们展示了如何将该算法扩展到利用因果独立性。基于CPCS网络的医学诊断的实证研究表明,该方法比以前的方法更有效,并且允许在比以前的算法更大的网络中进行推理。
1996-12-01 cs.AI
From Qualitative to Quantitative Proofs of Security Properties Using First-Order Conditional Logic
Cornell University(康奈尔大学)
考虑一阶条件逻辑,其语义由ε-语义的一个变体给出,其中p -> q表示Pr(q| p)超多项式地接近1--比任何逆多项式都快。这种类型的收敛是推理安全协议所必需的。一个完整的公理化提供了这种语义,它示出了如何定性证明的安全协议的正确性可以自动转换为定量证明适合推理有关具体的安全。
2008-04-14 cs.AI cs.CR cs.LO
Graphical Models for Preference and Utility
NEC Research Institute(NEC研究院);University of Waterloo(滑铁卢大学)
概率独立性可以极大地简化在大型域中使用概率进行引出、表示和计算的任务。实现这些好处的一个关键技术是图形建模的思想。我们调查现有的概念独立的效用函数在多属性空间,并建议这些可以用来实现类似的优势。我们的新结果关注条件的添加剂的独立性,我们总是有一个完美的表示为分离的无向图(马尔可夫网络)。条件可加独立性需要一个特定的功能的效用函数,类似于一个产品的概率函数分解,并赋予类似的好处。这种函数形式已经在贝叶斯网络和影响图文献中使用,但通常没有独立性方面的解释。函数形式产生效用函数的分解,可以大大加快预期效用计算,特别是当效用图具有与所使用的概率网络相似的拓扑结构时。
2013-02-20 cs.AI
Local Markov Equivalence for PC-style Local Causal Discovery and Identification of Controlled Direct Effects
Sorbonne Université, INSERM, Institut Pierre Louis d’Epidémiologie et de Santé Publique(索邦大学,法国国家健康与医学研究院,皮埃尔·路易流行病学与公共卫生研究所)
本文提出LocPC和LocPC-CDE算法,通过局部条件独立性测试高效识别受控直接效应,相比全局方法,其计算效率更高且假设更弱。
2026-04-08 cs.AI
Automated Construction of Sparse Bayesian Networks from Unstructured Probabilistic Models and Domain Information
Rockwell Science Center(罗克韦尔科学中心);University of California(加利福尼亚大学)
给出了一个非结构化的概率模型和因果领域的专家信息的稀疏贝叶斯网络的自动构建算法已经开发和实现。我们的目标是获得一个网络,显式地揭示尽可能多的信息,有关条件独立性。网络是逐步建立的,每次添加一个节点。专家的信息和贪婪的启发式,试图保持在每一步添加到最小的弧的数量被用来指导搜索下一个节点添加。概率模型是一个谓词,可以回答有关域中的独立性查询。在实践中,该模型可以以各种方式实现。例如,模型可以是对经验数据进行的统计独立性测试,或者是对关于域的一组独立性陈述进行的演绎证明。
2013-03-27 cs.AI
An Ordinal View of Independence with Application to Plausible Reasoning
Institut de Recherche en Informatique de Toulouse(图卢兹计算机科学研究所);C.N.R.S.(法国国家科学研究中心);Universite Paul Sabatier(保尔·萨巴蒂埃大学)
在可能性理论的框架下研究了独立性的序观。我们研究了三种可能的定义的依赖,增加的力量。其中之一是对应于概率论中的乘法定律,另外两个是基于条件可能性的概念。这两种可能性理论都有足够的表达能力来支持整个可能性理论,并为最强的一种可能性理论提供了一个完整的公理化。此外,我们表明,弱独立性是非常适合的问题的信念变化和合理的推理,特别是解决问题的阻塞的财产继承异常容忍分类推理。
2013-02-27 cs.AI
Probabilistic Reasoning across the Causal Hierarchy
Stanford University(斯坦福大学)
我们提出了一个形式化的三层因果层次的关联,干预和反事实作为一系列的概率逻辑语言。我们的语言是严格增加的表现力,第一个能够表达定量概率推理-包括条件独立性和贝叶斯推理-第二个编码做演算推理的因果关系,第三个捕获一个完全表达做演算任意反事实查询。我们给出了相应的一系列有限公理化完成的结构因果模型和概率程序,并证明了满足性和有效性的每种语言是在多项式空间中可判定的。
2021-06-02 cs.AI cs.LO
Causal discovery of linear acyclic models with arbitrary distributions
Carnegie Mellon University(卡内基梅隆大学);University of Helsinki(赫尔辛基大学);Osaka University(大阪大学)
数据分析的一个重要任务是发现观测变量之间的因果关系。对于连续值数据,线性非循环因果模型通常用于建模数据生成过程,并且此类模型的推断是一个研究得很好的问题。然而,现有的方法具有显著的局限性。基于条件独立性的方法(Spirtes et al. 1993; Pearl 2000)无法区分独立性等效模型,而纯粹基于独立成分分析的方法(Shimizu et al. 2006)不适用于部分高斯数据。在本文中,我们概括并结合了这两种方法,以产生一种能够在许多情况下学习模型结构的方法,对于这些情况,以前的方法提供的答案要么是不正确的,要么不是尽可能的信息。当两个不同的模型代表同一个分布家族时,我们给出了精确的图形条件,并通过全面的模拟实证证明了我们方法的强大功能。
2012-06-13 cs.AI cs.LG stat.ML
Detecting Dependencies in Sparse, Multivariate Databases Using Probabilistic Programming and Non-parametric Bayes
Massachusetts Institute of Technology(麻省理工学院)
具有数百个变量和许多缺失值的数据集是常见的。在这种情况下,检测变量之间的真实预测关系以及抑制假阳性在统计和计算上都具有挑战性。本文提出了一种方法,结合概率规划,信息论,和非参数贝叶斯。它展示了如何使用贝叶斯非参数建模来(i)为所有变量构建联合概率模型的集合;(ii)有效地检测边缘独立性;以及(iii)估计变量的任意子集之间的条件互信息,受到广泛的约束。用户可以使用BayesDB访问这些功能,BayesDB是一个用于概率数据分析的概率编程平台,通过用简单的类似SQL的语言编写查询。本文实证表明,该方法可以(i)检测具有挑战性的合成问题的上下文特定(中)的依赖关系,(ii)提高敏感性和特异性,超过基线的统计和机器学习,在现实世界的数据库中的300多个稀疏观察的宏观经济发展和公共卫生指标。
2017-03-27 cs.AI cs.LG stat.ML