Answering Hindsight Queries with Lifted Dynamic Junction Trees
University of Lübeck(吕贝克大学)
提升的动态连接树算法(LDJT)有效地回答过滤和预测查询的概率关系时态模型,通过建立,然后重用一个一阶聚类表示的知识库的多个查询和时间步长。我们扩展LDJT(i)解决平滑推理问题,以回答后见之明的查询,通过引入一个有效的向后通过和(ii)讨论不同的选项,以实例化一阶聚类表示在向后通过。此外,我们的关系向前向后算法使事后查询的一开始就可行。LDJT比展开模型上的静态提升连接树算法更快地回答多个时态查询,该算法在消息传递期间执行平滑。
2018-07-02 cs.AI
Lifted Forward Planning in Relational Factored Markov Decision Processes with Concurrent Actions
University of Hamburg(汉堡大学);University of Münster(穆尔斯特大学)
本文提出Foreplan,一种高效的关联前向规划器,通过一阶表示方法解决大规模对象下的策略计算问题,并提供近似版本以保证误差可控。
2026-02-23 cs.AI
Extended Lifted Inference with Joint Formulas
Ben-Gurion University of The Negev(内盖夫本-古里安大学)
一阶变量消除(FOVE)算法允许将精确推理直接应用于概率关系模型,并且已被证明大大优于在接地命题模型上应用标准推理方法。尽管如此,FOVE算子可以在限制条件下应用,通常迫使人们诉诸命题推理。本文旨在通过提供两个新的模型转换算子来扩展FOVE的适用性:第一个和主要的是联合公式转换和第二个是不同的计数转换。这些新的操作允许有效的推理方法被直接应用于关系模型,其中迄今为止没有现有的有效方法可以应用。此外,这些功能的帮助下,我们展示了如何适应FOVE提供精确的解决方案,最大预期效用(MEU)查询关系模型的不确定性下的决定。实验评估表明,我们的算法,以提供显着的加速比的替代品。
2012-02-14 cs.AI
Lifted Representation of Relational Causal Models Revisited: Implications for Reasoning and Structure Learning
Artificial Intelligence Research Laboratory(人工智能研究实验室);College of Information Sciences and Technology(信息科学与技术学院);Pennsylvania State University(宾夕法尼亚州立大学)
Maier等人(2010)介绍了关系因果模型(RCM),用于表示和推断关系数据中的因果关系。抽象地图(AGG)是一种提升表示,在RCM的推理和学习中起着核心作用。Maier等人(2013 a)提出的从数据中学习RCM的算法的正确性依赖于AGG对于关系d-分离的可靠性和完整性,以将RCM的学习减少到AGG的学习。我们重新审视了AGG的定义,并表明Maier等人(2013 b)定义的AGG并没有正确地抽象所有的基础图。我们修改了AGG的定义,以确保它正确地抽象所有的地面图。我们进一步证明了AGG表示对于关系d-分离是不完全的,也就是说,在一个RCM中可以存在不被AGG蕴涵的条件独立关系。仔细检查之间的关系D-分离和忠诚条件的AGG的完整性的缺乏之间的关系表明,较弱的概念的完整性,即邻接忠诚度和方向的忠诚度之间的RCM和它的AGG,可以用来学习的RCM数据。
2015-08-17 cs.AI cs.LG
Lifted Probabilistic Inference for Asymmetric Graphical Models
KU Leuven(鲁汶大学);University of Washington, Seattle(西雅图华盛顿大学)
提升概率推理算法已经成功地应用于大量的对称图模型。不幸的是,大多数真实世界的图形模型是不对称的。当给出证据时,关系表示也是如此。因此,社区中最近的工作转向使模型对称,然后应用现有的提升推理算法。然而,这种方法有两个缺点。首先,所有现有的过对称近似都需要一个关系表示,如马尔可夫逻辑网络。其次,诱导的对称性通常会显著改变分布,使计算的概率高度偏差。我们提出了一个框架,概率抽样为基础的推理,只使用诱导的近似对称性,提出步骤的大都会黑斯廷斯风格的马尔可夫链。因此,该框架导致改进的概率估计,同时保持无偏。实验表明,该方法优于现有的MCMC算法。
2014-12-01 cs.AI
Non-Parametric Learning of Lifted Restricted Boltzmann Machines
The University of Texas at Dallas(得克萨斯大学达拉斯分校)
我们考虑在关系数据的存在下,有区别地学习受限玻尔兹曼机的问题。与以前的方法,采用规则学习器(结构学习)和权重学习器(参数学习)顺序,我们开发了一个梯度提升的方法,同时执行。我们的方法学习一组弱关系回归树,其从根到叶的路径是合取子句并表示结构,其叶值表示参数。当学习的关系回归树被转换为提升的RBM时,其隐藏节点正是从关系回归树导出的合取子句。这导致了一个更可解释和解释的模型。我们的实证评估清楚地证明了这一点,同时显示学习模型的有效性没有损失。
2020-01-09 cs.AI cs.LG
Stacked Structure Learning for Lifted Relational Neural Networks
Faculty of Electrical Engineering, CTU in Prague(布拉格捷克理工大学电气工程学院);School of Computer Science, Cardiff University(卡迪夫大学计算机科学学院)
提升关系神经网络(LRNN)使用加权一阶规则来描述关系域,这些规则用作构建前馈神经网络的模板。虽然以前的工作已经表明,使用LRNN可以在各种ILP任务中产生最先进的结果,但这些结果依赖于手工制作的规则。在本文中,我们用结构学习扩展了LRNN的框架,从而实现了完全自动化的学习过程。类似于许多ILP方法,我们的结构学习算法进行迭代的方式,通过自上而下的搜索,通过假设空间的所有可能的霍恩条款,考虑到谓词中出现的训练样本,以及发明的软概念所涉及的最佳加权规则迄今为止。在实验中,我们展示了自动诱导有用的分层软概念的能力,从而产生具有竞争力预测能力的深度LRNN。
2017-10-05 cs.AI cs.LG stat.ML
Lifted Relational Algebra with Recursion and Connections to Modal Logic
我们提出了一种新的形式主义,用于指定和推理的问题,涉及异构的“信息块”-大型数据集,任何类型的决策程序和复杂性和它们之间的连接。我们的建议的本质是解除Codd的关系代数从关系表上的操作到结构类上的操作(递归),并添加一个方向的信息传播。我们观察到存在的信息传播在几个形式主义有效的推理,并用它来表达一元否定和操作中使用的图形数据库。我们仔细分析了几个推理任务,并建立了一个精确的广义查询评估和时态逻辑模型检验之间的联系。我们的发展使我们能够揭示经典和模态逻辑之间的一般对应关系,并可能揭示一个新的光模态逻辑和相关形式的良好的计算性能。
2016-12-29 cs.AI cs.DB cs.LO
Beyond Graph Neural Networks with Lifted Relational Neural Networks
Czech Technical University in Prague(布拉格捷克理工大学)
我们展示了一个声明式可微编程框架的语言的提升关系神经网络,其中小的参数化逻辑程序被用来编码关系学习的情况下。当呈现诸如各种形式的图形的关系数据时,程序解释器动态地展开可微计算图形以通过标准手段用于程序参数优化。从使用的声明式数据库抽象,这导致到紧凑和优雅的学习程序,与现有的程序方法直接操作的计算图的水平。我们说明了这个想法如何用于现有各种先进神经架构的有效编码,特别关注图神经网络(GNN)。此外,我们还展示了当代GNN模型如何轻松扩展到更高的关系表达能力。在实验中,我们通过与专门的GNN深度学习框架进行比较来证明正确性和计算效率,同时对现有GNN模型的学习性能进行了一些说明。
2020-07-13 cs.AI cs.LG cs.LO
Lifted Relax, Compensate and then Recover: From Approximate to Exact Lifted Probabilistic Inference
KU Leuven(鲁汶大学);University of California, Los Angeles(加州大学洛杉矶分校)
我们提出了一种方法来提升近似推理的一阶概率模型,如马尔可夫逻辑网络。它是基于在一个简化的一阶模型,这是通过放松一阶约束,然后补偿放松执行精确的提升推理。这些简化的模型可以通过仔细恢复已经放松的约束来逐步改进,也是在一阶水平上。这导致了一系列近似,一端是提升的信念传播,另一端是精确的提升推理。我们讨论了如何放松,补偿和恢复可以执行,所有在第一级,并显示经验表明,我们的方法大大提高了两个命题求解器和解除信念传播的近似。
2012-10-16 cs.AI
Dissociation and Propagation for Approximate Lifted Inference with Standard Relational Database Management Systems
Carnegie Mellon University(卡内基梅隆大学);University of Washington(华盛顿大学)
大数据集上的概率推理是一个具有挑战性的数据管理问题,因为精确推理通常是P-困难的,并且目前最常用基于采样的方法近似解决。本文提出了一种替代方法的近似评估的合取查询与标准的关系数据库:在我们的方法中,每个查询完全在数据库引擎评估一个固定数量的查询计划,每个提供一个上限的真实概率,然后采取他们的最小值。我们提供了一个算法,考虑到重要的模式信息,枚举所有可能的计划中只有最小的必要计划。重要的是,该算法是所有已知的PTIME自连接自由合取查询的严格推广:当且仅当我们的算法返回一个单一的计划时,查询在PTIME中。此外,我们的方法是一个家庭的有效的排名方法从图超图的推广。我们还采用了三种关系型查询优化技术来快速评估所有必要的计划。我们给我们的方法进行了详细的实验评估,并在这个过程中,提供了一种新的思路的概率方法的非概率方法的查询答案排名的价值。我们还注意到,本文中开发的技术立即适用于解除推理统计关系模型,因为解除推理对应于PTIME计划的概率数据库。
2016-06-14 cs.AI cs.DB
Generating and Sampling Orbits for Lifted Probabilistic Inference
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
概率推理算法设计中的一个关键目标是识别和利用使推理易于处理的分布特性。提升推理算法将对称性识别为能够实现有效推理的属性,并寻求随概率模型的对称程度而缩放。现有的精确提升推理技术的局限性在于它们不适用于像因子图这样的非关系表示。在这项工作中,我们提供了第一个例子的任意离散因子图的精确提升推理算法。此外,我们描述了一个提升马尔可夫链蒙特卡罗算法,可证明混合迅速的对称程度的分布。
2019-06-30 cs.AI
Constraint Processing in Lifted Probabilistic Inference
一阶概率模型将一阶逻辑的表示能力与图形模型相结合。目前正在努力设计一阶概率模型的提升推理算法。我们从约束处理的角度分析提升推理,并通过这个观点,我们分析和比较现有的方法,并揭示其优点和局限性。我们的理论结果表明,错误的约束处理方法的选择会导致计算复杂性的指数增长。我们的实证检验证实了限制加工在提升推理中的重要性。这是第一次对提升推理中的限制加工进行理论和实证研究。
2012-05-09 cs.AI
Bisimulation-based Approximate Lifted Inference
Univ. of Maryland, College Park(马里兰大学学院公园分校)
最近,人们对执行提升推理的方法很感兴趣;然而,大多数工作都假设一阶模型作为系统的输入。在这里,我们描述了提升的推理算法,确定对称性和自动提升的概率模型,以加速推理。特别是,我们描述了近似提升推理技术,允许用户通过使用少数可调参数来权衡推理精度和计算效率,同时保持误差有界。我们的算法是密切相关的图论概念的互模拟。我们报告的合成和真实数据的实验表明,在对称性的存在下,推理的运行时间可以显着改善,与近似解除推理提供数量级的地面推理加速。
2012-05-09 cs.AI
Lifted Message Passing for the Generalized Belief Propagation
Ben Gurion University of The Negev(本古里安大学)
我们介绍了提升广义置信传播(GBP)消息传递算法,用于概率关系模型(如马尔可夫逻辑网络)中的和积查询的计算。该算法形成了一个紧凑的区域图,并建立了一个修改版本的消息传递,它模仿了相应的地面模型中的GBP行为。紧凑的图是通过利用图形表示的集群,这减少了集群的对称性检测同构测试小的局部图。因此,该框架能够处理复杂的模型,同时保持域大小独立。
2016-10-05 cs.AI
Stochastic Planning and Lifted Inference
Tufts University(塔夫茨大学);University of Toronto(多伦多大学)
提升概率推理(Poole,2003)和提升随机规划的符号动态规划(Boutilier et al,2001)是在随机系统中使用抽象的算法努力的同时引入的。多年来,这些想法演变成两个不同的研究路线,每一个都有丰富的文献支持。提升概率推理侧重于在有限域假设下对基于模板的图形模型进行有效的算术运算,而符号动态规划侧重于在丰富的量化逻辑动作模型和开放域推理中支持顺序决策。鉴于它们的共同动机,但不同的重点,这两条研究路线产生了高度互补的创新。在本章中,我们的目标是通过从概率推理的角度概述提升的随机规划来帮助缩小这两个研究领域之间的差距,并显示出与本书其他章节的密切联系。这也使我们能够将广义提升推理定义为一种范式,它统一了这些领域,并阐明了未来研究的开放问题,这些问题可以使提升推理和随机规划受益。
2017-01-04 cs.AI
Lifted Variable Elimination: Decoupling the Operators from the Constraint Language
KU Leuven(鲁汶大学)
提升概率推理算法利用图形模型结构中的随机性来更有效地执行推理。更具体地说,它们识别可互换的变量组,并对每组执行一次推理,而不是对每个变量执行一次。分组是通过约束来定义的,因此分组的灵活性取决于约束语言的表达能力。现有的精确提升推理方法使用特定的语言(在)等式约束,这通常具有有限的表达能力。在本文中,我们将提升推理与约束语言解耦。我们定义的操作符提升推理的关系代数运算符,使他们的操作语义层面上(的约束扩展),而不是在语法层面上,使他们的语言独立。因此,可以使用更强大的约束语言来执行提升推理,这为提升提供了更多的机会。我们的经验表明,这可以提高推理效率的数量级,允许精确的推理,直到现在只有近似推理是可行的。
2014-02-04 cs.AI
Lifted Graphical Models: A Survey
University of Maryland College Park(马里兰大学帕克分校)
本文介绍了一个调查工作的提升图形模型。我们回顾了一个一般形式的解除图形模型,一个参数因子图,并显示了一些现有的统计关系表示映射到这种形式主义。我们讨论的推理算法,包括提升推理算法,有效地计算概率查询的答案。我们还回顾了从数据中学习提升图形模型的工作。我们相信,对统计关系模型的需求(无论它是用这个名字还是另一个名字)将在未来几十年内增长,因为我们被结构化和非结构化的数据所淹没,从文本中以嘈杂的方式提取实体和关系,并且需要有效地推理这些数据。我们希望,来自许多不同研究小组的想法的综合将为这个不断扩大的领域的新研究人员提供一个可访问的起点。
2011-08-26 cs.AI cs.LG
Towards Completely Lifted Search-based Probabilistic Inference
提升概率推理的承诺是在关系概率模型中进行概率推理,而不需要通过将未区分的个体视为一个块来单独推理每个个体(接地表示)。在某些情况下,当前的精确方法仍然需要进行扩展,这通常是因为在提升操作下,中间结果的表示不是封闭的。我们开始回答这样一个问题,即是否有一些根本原因,为什么提升的算法需要淘汰未分化的个体。我们有两个主要结果:(1)我们完整地刻画了在种群规模为多项式的情况下,我们如何在种群规模为对数的时间多项式中进行提升推理。(2)对于无参数和单参数化随机变量的情况下,接地不是多项式的人口规模,我们提出了解除推断,这是多项式的人口规模,而接地是指数。这两种情况都不需要对没有明确提到的个人单独进行推理。
2011-07-21 cs.AI
Preventing Unnecessary Groundings in the Lifted Dynamic Junction Tree Algorithm
Universität zu Lübeck(吕贝克大学)
提升的动态连接树算法(LDJT)有效地回答过滤和预测查询的概率关系时态模型,通过建立,然后重用一个一阶聚类表示的知识库的多个查询和时间步长。不幸的是,一个非理想的淘汰顺序可能会导致接地,即使一个模型的提升运行是可能的。我们扩展LDJT(i),以确定不必要的接地,同时进行的时间和(ii),以防止接地延迟消除通过时间的一阶聚类表示的变化。LDJT的扩展版本回答多个时间查询的数量级比原来的版本更快。
2018-07-02 cs.AI
Domain Recursion for Lifted Inference with Existential Quantifiers
University of British Columbia(不列颠哥伦比亚大学);KU Leuven(鲁汶大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
在最近的工作中,我们证明了域递归推理规则使域提升推理在几个关系概率模型(RPM)上成为可能,其中最著名的时间复杂度曾经是指数的。我们还确定了两类RPM的推理成为域提升时,使用域递归。这两个类是以前已知的最大的提升类。在本文中,我们表明,域递归也可以应用于存在量词的模型。目前,所有的提升推理算法都假设存在量词已经在Skolemization的预处理中被删除。我们发现,除了引入潜在的不方便的负权重,Skolemization可能会增加推理的时间复杂度。我们给出了两个例子模型,域递归可以取代Skolemization,避免了处理负数的需要,并降低了推理的时间复杂度。这两个例子可能是有趣的从三个理论方面:1-他们提供了一个更好的和更深入的理解域递归,一般来说,(提升)推理,2-他们可以作为证据,有更大的类的模型,域递归可以令人满意地取代Skolemization,和3-他们可以作为证据,更好的Skolemization技术存在。
2017-07-27 cs.AI
Taming Reasoning in Temporal Probabilistic Relational Models
Institute of Information Systems, University of Lübeck(吕贝克大学信息系统研究所)
证据经常支持随时间变化的时间概率关系模型,这使得推理不可行。为了抵消接地随着时间的推移,并保持推理多项式通过恢复提升表示,我们提出了时间近似合并(TAMe),它包括(i)聚类分组子模型以及(ii)统计显著性检查,以测试聚类结果的适应性。为了换取更快的运行时,TAMe引入了一个有界的错误,随着时间的推移,这个错误变得可以忽略不计。实验结果表明,TAMe显着提高了推理的运行时性能,同时保持错误很小。
2019-11-16 cs.AI
Lower Complexity Bounds for Lifted Inference
Aalborg University(奥尔堡大学)
在概率关系(或概率逻辑)建模和学习框架的发展中,最大的挑战之一是设计推理技术,这些推理技术在抽象模型表示语言的层面上操作,而不是在模型的基础、命题实例的层面上操作。已经提出了用于这种“提升推理”技术的许多方法。虽然已经证明,这些技术将导致显着更有效的推理在一些特定的模型,只有最近的,仍然相当有限的结果,表明提升推理的可行性,在某些语法定义类的模型。较低的复杂性界限意味着对更具表达力的模型类的提升推理的可行性的一些限制,这是在早期建立的(Jaeger 2000)。然而,这些结果并不立即适用于目前受到最多关注的建模语言类型,即,加权的无量词公式。在本文中,我们扩展了这些早期的结果,并表明,在假设NETIME =/= ETIME,有没有多项式提升推理算法的知识库的加权,量词和功能的自由公式。进一步加强早期的结果,这也被证明是举行近似推理,知识库不包含的平等谓词。
2013-05-02 cs.AI
On the Complexity and Approximation of Binary Evidence in Lifted Inference
University of California, Los Angeles(加州大学洛杉矶分校)
提升推理算法利用概率模型中的对称性来加速推理。它们在计算关系模型中的无条件概率时表现出令人印象深刻的性能,但在计算条件概率时经常采用非提升推理。原因是,对证据的条件化破坏了模型的许多对称性,这可能会抢占标准提升技术。最近的理论结果表明,例如,条件的证据,对应于二元关系是P-硬,这表明没有提升是预期在最坏的情况下。在本文中,我们平衡这个负面的结果,通过确定布尔等级的证据作为一个关键参数,用于表征的复杂性条件提升推理。特别是,我们表明,条件与有界布尔秩的二元证据是有效的。这开辟了一个低秩布尔矩阵分解,我们从理论和经验上研究近似证据的可能性。
2013-11-26 cs.AI
Why is Compiling Lifted Inference into a Low-Level Language so Effective?
The University of British Columbia(不列颠哥伦比亚大学)
一阶知识编译技术已被证明是有效的提升推理。他们将一个关系概率模型编译成一个目标电路,在这个目标电路上可以有效地回答许多推理查询。早期的方法使用数据结构作为其目标电路。在我们的KR-2016论文中,我们展示了编译到低级程序而不是数据结构提供了数量级的加速,从而产生了最先进的提升推理技术。在本文中,我们进行实验来解决关于我们的KR-2016结果的两个问题:1-加速来自更有效的编译还是更有效的目标电路推理?以及2-为什么低级程序比数据结构对目标电路更有效?
2016-06-14 cs.AI
A Sound and Complete Algorithm for Learning Causal Models from Relational Data
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
PC算法学习最大定向因果贝叶斯网络。然而,没有等价的完整算法来学习关系模型的结构,这是贝叶斯网络的一个更有表现力的概括。关系模型的理论和表示的最新发展支持关于条件独立性的提升推理。这使得一个强大的约束定向二元依赖关系,并形成了一个新的算法学习结构的基础。我们提出了学习因果关系模型的关系因果发现(RCD)算法。我们证明了RCD是健全和完整的,我们提出的实证结果表明,有效性。
2013-09-26 cs.AI
Lifted Marginal MAP Inference
IIT Delhi(德里印度理工学院);UT Dallas(德克萨斯大学达拉斯分校)
提升推理通过识别相互对称的常数(或原子)组来降低关系概率模型中推理的复杂性。在文献中已经提出了许多技术,用于提升边际以及MAP推理。我们提出的第一个应用程序的边缘MAP(MMAP),一个重要的推理问题的模型具有潜在的(随机)变量的提升规则。我们的主要贡献是两个方面:(1)我们定义了一个新的等价类(逻辑)变量,称为单次出现的最大值(SOM),并表明解决方案在于极端的SOM变量,即,(2)我们定义了一个子类{ \em}(SOMReduce),并利用极值赋值的性质来证明可以通过将SOM-R变量的域减少到单个常数来执行MMAP推理。结合现有的规则,如分解器和二项式,这导致了一个强大的框架提升MMAP。在三个基准域上的实验表明,与地面推理以及不使用SOM-R的提升方法相比,在时间和内存方面都有显着的增益。
2018-07-08 cs.AI
First-Order Decomposition Trees
KU Leuven(鲁汶大学)
提升试图通过利用模型中的对称性来加速概率推理。精确提升的推理方法,就像它们的命题对应物一样,通过递归地分解模型和问题来工作。在命题的情况下,存在形式结构,如分解树(dtree),表示这样的分解,并允许我们确定推理的复杂性先验。然而,目前没有等效的结构,也没有类似的复杂性结果提升推理。在本文中,我们引入了FO-dtree,它将命题dtree提升到一阶水平。我们展示了这些树可以描述一个概率逻辑模型的提升推理解决方案(在提升操作序列方面),并对提升推理的复杂性进行了理论分析,提出了树的提升宽度的新概念。
2013-06-04 cs.AI
Colour Passing Revisited: Lifted Model Construction with Commutative Factors
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心 (DFKI))
针对现有colour passing算法依赖特定推理算法、忽略因子交换性的问题,提出改进算法,用逻辑变量构建独立于推理算法的提升表示并在离线步骤利用因子交换性,能检测更多对称性、提升压缩率并加快在线查询速度。
2023-12-15 cs.AI
Lifted Region-Based Belief Propagation
The University of Texas at Dallas(德克萨斯大学达拉斯分校);Indian Institute of Technology, Delhi(印度理工学院德里分校)
由于精确提升推理的难处理性,最近的研究集中在发现统计关系模型(SRM)中的精确且有效的近似推理算法,例如提升一阶置信传播。FOBP通过识别和提升冗余的消息计算来模拟命题因子图的信念传播,而无需构建基础因子图。在这项工作中,我们提出了一个广义的FOBP称为提升广义信念传播,其中区域结构和消息结构都可以解除。这种方法允许更多的推断在区域内执行(在BP的精确推断步骤中),从而允许在具有更大区域范围和更少边缘的图结构上模拟传播,同时仍然保持易处理性。我们证明了所得到的算法收敛在更少的迭代次数更准确的结果在各种SRM。
2016-06-30 cs.AI
On the Completeness and Complexity of the Lifted Dynamic Junction Tree Algorithm
University of Hamburg(汉堡大学)
本文首次对时序提升推理算法LDJT进行了完备性与复杂度分析,证明其时间推进中的消元顺序限制会影响域可提升性,并发现其提升宽度在更多情况下小于静态推理的树宽。
2024-05-31 cs.AI
Automorphism Groups of Graphical Models and Lifted Variational Inference
Nuance Communications(纽昂斯通讯公司);SRI International(斯坦福国际研究院);University College London(伦敦大学学院)
利用群作用理论,我们首先引入了指数族或图模型的自同构群的概念,从而形式化了概率模型的对称性的一般概念。这个自同构群为一般指数族中的提升推理提供了一个精确的数学框架。它的群作用将随机变量和特征函数的集合划分为具有相同边缘和期望的等价类(称为轨道)。然后,推理问题被有效地简化为计算每个类的边际或期望,从而避免了处理每个单独变量或特征的需要。我们证明了这个一般框架的有用性,在提升两类变分近似的最大后验(MAP)推理:局部线性规划(LP)松弛和局部LP松弛与循环约束;后者产生的第一个提升变分推理算法,操作上的约束比局部约束更紧。
2013-09-26 cs.AI
Fusing First-order Knowledge Compilation and the Lifted Junction Tree Algorithm
University of Lübeck(吕贝克大学)
一阶结构的概率形式化推理的标准方法包括单次查询的提升变量消除(LVE)以及基于加权模型计数的一阶知识编译(FOKC)。为了有效地处理多个查询,提升连接树算法(LJT)使用模型的一阶聚类表示和LVE作为其计算中的子例程。对于某些输入,LVE的实现,以及因此LJT接地模型的FOKC具有提升运行的部分。本文的目的是准备LJT作为提升推理的骨干,并使用任何精确的推理算法作为子程序。在LJT中使用FOKC可以让我们在某些输入下比LJT、LVE和FOKC更快地计算答案。
2018-07-02 cs.AI
Lifted Variable Elimination: A Novel Operator and Completeness Results
KU Leuven(鲁汶大学)
人们已经提出了各种提升概率推理的方法,但与它们的命题对应物相比,我们对这些方法及其之间关系的理解仍然有限。提升的唯一现有的理论表征是加权一阶模型计数(WFOMC),这被证明是完整的域提升类的2-logvar模型。本文对提升变量消去法(LVE)做了两个贡献。首先,我们引入了一种新的推理算子,称为群反演。其次,我们证明了LVE增广与此操作是完全的WFOMC在相同的意义。
2012-08-24 cs.AI
Inference in Probabilistic Logic Programs using Lifted Explanations
Stony Brook University(石溪大学)
在本文中,我们考虑的问题,提升推理的背景下,棱镜一样的概率逻辑程序设计语言。在这种语言中,传统的推理涉及为查询构造解释图并计算该图上的概率。当对具有大量随机变量实例的概率逻辑程序的查询进行评估时,传统方法单独对待每个实例。对于许多程序和查询,我们观察到,解释可以总结成更紧凑的结构,我们称之为解除解释图。在本文中,我们定义了提升解释图及其上的操作。与现有的提升推理技术相比,我们的方法,用于构建提升的解释自然地概括了现有的方法,用于构建解释图。为了计算查询答案的概率,我们解决了从提升图生成的递归。我们展示的例子中,我们的技术的使用降低了推理的渐近复杂性。
2016-08-20 cs.AI cs.LO
Lifted Filtering via Exchangeable Decomposition
Institute of Computer Science, University of Rostock(罗斯托克大学计算机科学研究所);Computer Science Department and Centre for Cognitive Science, TU Darmstadt(达姆施塔特工业大学计算机科学系与认知科学中心)
提出了一种基于提升多集状态的精确递归贝叶斯滤波模型。与基于列表的接地状态表示相比,将多集与提升相结合可以同时利用多种策略来降低推理复杂度。其核心思想是借用最大并行多集重写系统的概念,并通过Rao-Blackwellization和Lifted Inference的概念对其进行增强,给出一种能够实现有效推理的状态分布表示。在定义系统状态的随机变量是可交换的世界中,实体的身份并不重要,它自动使用一种从排序中抽象出来的表示(实现复杂性的指数级降低),当观测或系统动力学通过破坏对称性破坏交换性时,它会自动适应。
2018-05-07 cs.AI
Sequential Lifted Bayesian Filtering in Multiset Rewriting Systems
Mobile Multimedia Information Systems Group, Institute of Computer Science(计算机科学研究所移动多媒体信息系统组);University of Rostock(罗斯托克大学)
用于计划和活动识别的贝叶斯过滤对于包含许多观测等效实体(即产生相同观测的实体)的场景具有挑战性。这是由于需要跟踪的假设数量的组合爆炸。然而,这类问题表现出一定的对称性,可以利用状态空间表示和推理。我们分析了当前最先进的方法,发现它们都不完全符合这个问题类中出现的要求。我们勾画了一个新的推理算法,提供了一个解决方案,结合提升推理算法,概率多集重写系统,计算状态空间模型的概念。两个实验证实,这种新的算法有可能对这类问题进行有效的概率推理。
2017-08-14 cs.AI
Lifted Causal Inference
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心)
提出参数化因果因子图(PCFG)和提升因果推断(LCI)算法,在关系域中高效计算因果效应,显著加速推理。
2026-06-29 cs.AI cs.LG
Probabilities of the Third Type: Statistical Relational Learning and Reasoning with Relative Frequencies
Ludwig-Maximilians-Universität München(慕尼黑大学)
本文提出函数式提升贝叶斯网络,将相对频率的连续依赖纳入统计关系AI,并给出渐近概率分布表示,支持跨规模参数估计,且收敛在参数上一致。
2024-08-20 cs.AI cs.LG cs.LO
Lifted Convex Quadratic Programming
TU Dortmund University(多特蒙德工业大学)
对称性是提升推理的基本要素,最近已经证明了在高度连接但对称的概率模型中执行非常有效的推理的可能性。这就提出了一个问题,这是否适用于一般的优化问题。在这里,我们表明,对于一大类优化方法,这实际上是这种情况。更确切地说,我们引入了凸二次规划(QP)的分数对称性的概念,这是许多机器学习方法的核心,并利用它来提升,即,来压缩QP。这些提升的QP然后可以用通常的优化工具箱(现成的求解器、切割平面算法、随机梯度等)来处理。如果原始QP表现出对称性,则提升的QP通常将更紧凑,因此它们的优化可能更有效。
2016-06-14 cs.AI
Lifted Tree-Reweighted Variational Inference
Nuance Communications(Nuance通信公司);John von Neumann Institute(冯·诺依曼研究所);Vietnam National University(越南国家大学);Courant Institute of Mathematical Sciences(库朗数学科学研究所);New York University(纽约大学)
我们分析高度对称的图形模型,如一阶概率模型所产生的变分推理。我们首先表明,对于这些图形模型,树重新加权变分目标本身的一个紧凑的解除制定,可以更有效地解决比标准的TRW制定地面图形模型。与早期关于提升置信传播的工作相比,我们的公式导致了提升边缘推理的凸优化问题,并提供了分区函数的上界。我们提供了两种方法来提高解除TRW上限。第一个是一种方法,用于有效地计算最大生成树的高度对称图,它可以用来优化TRW边的出现概率。第二个是一种方法,用于收紧放松的边缘多面体使用提升循环不等式和新的可交换的集群一致性约束。
2014-06-19 cs.AI stat.ML
Lifted Inference in 2-Variable Markov Logic Networks with Function and Cardinality Constraints Using Discrete Fourier Transform
Czech Technical University in Prague(布拉格捷克技术大学)
在本文中,我们证明了在2-变量马尔可夫逻辑网络(MLNs)的基数和功能的约束下的推理是域提升的。为了获得这一结果,我们使用现有的域提升算法进行加权一阶模型计数(Van den Broeck等人,KR 2014),并对与MLN相关的某些分布进行离散傅立叶变换。
2020-07-16 cs.AI cs.LO
Lifted Weight Learning of Markov Logic Networks Revisited
Czech Technical University in Prague(布拉格捷克理工大学);KU Leuven(鲁汶大学)
研究了马尔可夫逻辑网络的提升权学习问题。我们表明,有一个算法的最大似然学习的2变量马尔可夫逻辑网络运行在时间多项式的域大小。我们的研究结果是基于现有的提升推理算法和最近的算法结果计算最大熵分布。
2019-03-07 cs.AI
Lifted Variable Elimination for Probabilistic Logic Programming
Università di Ferrara(费拉拉大学);Universidade do Porto(波尔图大学)
提升推理已经被提出用于各种概率逻辑框架,以便计算在取决于随机变量的域的大小而不是实例的数量的时间内的查询的概率。尽管许多作者都强调了它对概率逻辑编程(PLP)的重要性,但到目前为止,提升推理只应用于逻辑编程之外的关系语言。本文将广义计数一阶变量消去法(GC-FOVE)应用于分布语义下概率逻辑程序的查询概率计算问题。特别是,我们扩展的Prolog因子语言(PFL),包括两种新类型的因素,需要代表ProbLog程序。这些因素考虑到现有的因果独立关系的随机变量之间的关系,并管理的扩展,以消除变量提出的张和Poole处理收敛变量和异质因素。GC-FOVE中添加了两个新的运算符来处理异质因素。由此产生的算法,称为LP $^2$的提升概率逻辑编程,已实现通过修改GC-FOVE的PFL实现和测试的三个基准提升推理。与PITA和ProbLog 2的比较显示了该方法的潜力。
2014-10-10 cs.AI
Template Based Inference in Symmetric Relational Markov Random Fields
关系马尔可夫随机场是一个通用的和灵活的框架推理的联合分布的属性的大量相互作用的实体。学习这种模型的主要计算困难是推理。即使在处理完整的数据时,人们可以通过足够的统计数据来总结一个大的域,学习也需要在给定不同参数选择的情况下计算足够的统计数据的期望值。这个问题的典型解决方案是诉诸近似推理过程,如循环置信传播。尽管这些过程非常有效,但它们仍然需要与模型中的交互(或特征)数量相当的计算。当学习复杂领域上的大型关系模型时,即使是这样的近似也需要不切实际的运行时间。在本文中,我们表明,对于一个特定的类的关系MRFs,它具有固有的对称性,我们可以使用模板级的信念传播进行学习过程所需的推理。此过程的运行时间与关系模型的大小成正比,而不是与域的大小成正比。此外,我们表明,这种计算过程是等价的symptoopy信念传播。这使得推理和学习时间大大加快。我们使用这个过程来学习关系MRF,以捕获大型蛋白质-蛋白质相互作用网络的联合分布。
2012-06-20 cs.AI
Approximate Lifted Model Construction
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);Institute for Humanities-Centered Artificial Intelligence, University of Hamburg(汉堡大学人文中心人工智能研究所)
本文提出ε-ACP算法,通过允许势函数存在受超参数ε控制的偏差,高效发现并利用非精确的不可区分性,从而将提升推理扩展到从数据中学习且存在偏差的实际场景,并证明其近似误差严格有界。
2025-08-27 cs.AI cs.DS cs.LG
Polynomial-Time Relational Probabilistic Inference in Open Universes
Washington University in St. Louis(华盛顿大学圣路易斯分校)
本文提出一种一阶关系概率推理方法,将期望的平方和逻辑扩展到关系设置,证明在有界度片段中可在多项式时间内完成提升推理,并建立了固定次数下平方和反驳的完备性。
2025-05-07 cs.AI
Probabilistic Relational Planning with First Order Decision Diagrams
Oregon State University(俄勒冈州立大学);Tufts University(塔夫茨大学)
动态规划算法已成功地应用于命题随机规划问题,通过使用紧凑的表示,特别是代数决策图,捕捉域动态和价值函数。符号动态规划的工作提升了这些想法,一阶逻辑使用几种表示方案。最近的工作介绍了一阶变量的决策图(FODD),并开发了一个值迭代算法,这种表示。本文开发了几个改进的FODD算法,使该方法的实用。这些包括,新的减少运营商,减少的大小表示,几个加速技术,和技术的值近似。在此基础上,提出了一个求解相关随机规划问题的规划系统FODD-Planner。该系统在几个领域进行了评估,包括最近的国际规划竞赛的问题,并显示出与顶级系统的竞争力。这是第一次证明这种方法的可行性,它表明,通过紧凑的表示抽象是一个很有前途的方法随机规划。
2014-01-16 cs.AI
New Liftable Classes for First-Order Probabilistic Inference
The University of British Columbia(不列颠哥伦比亚大学);KU Leuven(鲁汶大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
统计关系模型为关系域中的概率依赖性提供了紧凑的编码,但导致高度棘手的图形模型。提升推理的目标是进行概率推理,而不需要分别对每个个体进行推理,而是将可交换的、不可区分的对象作为一个整体来处理。在本文中,我们研究域递归推理规则,尽管它的核心作用,在早期的理论结果域提升推理,后来被认为是多余的。我们发现,这条规则比预期的更强大,实际上显着扩展了模型的范围,其中解除推理在时间多项式中运行的个人在域中的数量。这包括一个名为S4的开放问题,对称传递性模型和生日悖论的一阶逻辑编码。我们进一步确定了新的类S2FO2和S2RU的域提升理论,分别subsidering FO2和递归一元理论,最大的类域提升理论迄今为止,并表明,使用域递归可以实现指数加速,即使在理论,不能完全解除与现有的推理规则集。
2016-10-26 cs.AI stat.ML
RockIt: Exploiting Parallelism and Symmetry for MAP Inference in Statistical Relational Models
University of Mannheim(曼海姆大学);University of Washington(华盛顿大学)
RockIt是一个用于统计关系模型的最大后验(MAP)查询引擎。图模型中的MAP推理是一个可编译为整数线性规划(ILP)的优化问题。我们描述了几个进展,在翻译MAP查询ILP实例,并提出了新的元算法切割平面聚合(CPA)。CPA利用了局部上下文特定的对称性,并捆绑了一组线性约束。由此产生的计数约束导致更紧凑的ILP,并使地面模型的对称性更明确的国家的最先进的ILP求解器。此外,RockIt利用无处不在的共享内存多核架构,并行化了MAP推理流水线的大部分。我们报告了大量的实验与马尔可夫逻辑网络(MLN)的基准表明,RockIt优于国家的最先进的系统炼金术,马尔可夫TheBeast,和Tuffy无论是在效率和质量的结果。
2013-04-30 cs.AI
Understanding the Complexity of Lifted Inference and Asymmetric Weighted Model Counting
University of Washington(华盛顿大学);KU Leuven(鲁汶大学);UCLA(加州大学洛杉矶分校)
在本文中,我们研究了提升推理的加权一阶模型计数问题(WFOMC),它计数的分配,满足一阶逻辑(FOL)中给定的句子,它在统计关系学习(SRL)和概率数据库(PDB)的应用。我们提出了几个结果。首先,我们描述了一个提升的推理算法,概括了以前的方法在SRL和PDB。其次,我们提供了一个新的二分法的结果为非平凡片段的FO CNF句子,表明对于每个句子的WFOMC问题是在PTIME或#P-硬的输入域的大小,我们证明,在第一种情况下,我们的算法解决了WFOMC问题的PTIME,在第二种情况下,它失败了。第三,我们提出了几个性质的算法。最后,我们讨论了对称概率数据库的提升推理的局限性(其中地面文字的权重仅取决于关系名称,而不是域的常数),并证明了整个语言FOL的概率推理的复杂性的二分法结果的不可能性。
2014-07-29 cs.AI cs.DB cs.LO
Probabilistic Theorem Proving
University of Washington(华盛顿大学)
近年来,结合一阶逻辑和概率的表示方案被提出。在统一逻辑推理和概率推理方面的进展比较缓慢。现有的方法主要是提升变量消除和信念传播的变体,这两种方法都没有考虑逻辑结构。我们提出了第一种方法,具有充分的权力,图形模型推理和一阶定理证明(在有限域Herbrand解释)。我们首先定义概率定理证明,他们的推广,作为问题的概率计算的逻辑公式给定的概率或权重的一组公式。然后,我们将展示如何将其简化为提升加权模型计数的问题,并为后者开发一个有效的算法。我们证明了该算法的正确性,调查其性质,并显示它是如何推广以前的方法。实验表明,在逻辑结构存在的情况下,该算法大大优于提升变量消去法。最后,我们提出了一个近似概率定理证明的算法,并表明它可以大大优于提升的信念传播。
2012-02-14 cs.AI
Automorphism Groups of Graphical Models and Lifted Variational Inference
Artificial Intelligence Center(人工智能中心);SRI International(SRI国际公司);University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校)
利用群作用理论,我们首先引入了指数族或图模型的自同构群的概念,从而形式化了概率模型的对称性的一般概念。这个自同构群为一般指数族中的提升推理提供了一个精确的数学框架。它的群作用将随机变量和特征函数的集合划分为具有相同边缘和期望的等价类(称为轨道)。然后,推理问题被有效地简化为计算每个类的边际或期望,从而避免了处理每个单独变量或特征的需要。我们证明了这个一般框架的有用性,在提升两类变分近似MAP推理:局部LP松弛和局部LP松弛与循环约束;后者产生的第一个提升推理,操作上的约束比局部约束更紧。初步的实验结果表明,提升MAP推理与循环约束实现了最先进的性能,获得更好的目标函数值比局部近似,同时保持相对有效。
2012-07-19 cs.AI cs.LG math.CO
Inference, Learning, and Population Size: Projectivity for SRL Models
Aalborg University(奥尔堡大学);Simon Fraser University(西蒙弗雷泽大学)
命题数据和关系数据之间的一个细微差别是,在许多关系模型中,边际概率取决于总体或域大小。本文将对人口规模的依赖性与统计理论中的经典概念投射性联系起来:投射性意味着关系预测对于域大小的变化是鲁棒的。我们讨论了一些常见的SRL系统的投影,并确定保证产生投影模型的语法片段。句法条件的限制,这表明投射是很难实现的SRL,和照顾时,必须采取不同的域大小。
2018-07-02 cs.AI