On the Completeness and Complexity of the Lifted Dynamic Junction Tree Algorithm
University of Hamburg（汉堡大学）
本文首次对时序提升推理算法LDJT进行了完备性与复杂度分析，证明其时间推进中的消元顺序限制会影响域可提升性，并发现其提升宽度在更多情况下小于静态推理的树宽。
2024-05-31 cs.AI
Fusing First-order Knowledge Compilation and the Lifted Junction Tree Algorithm
University of Lübeck（吕贝克大学）
一阶结构的概率形式化推理的标准方法包括单次查询的提升变量消除（LVE）以及基于加权模型计数的一阶知识编译（FOKC）。为了有效地处理多个查询，提升连接树算法（LJT）使用模型的一阶聚类表示和LVE作为其计算中的子例程。对于某些输入，LVE的实现，以及因此LJT接地模型的FOKC具有提升运行的部分。本文的目的是准备LJT作为提升推理的骨干，并使用任何精确的推理算法作为子程序。在LJT中使用FOKC可以让我们在某些输入下比LJT、LVE和FOKC更快地计算答案。
2018-07-02 cs.AI
A Sufficiently Fast Algorithm for Finding Close to Optimal Junction Trees
Technion（以色列理工学院）
给出了一个求给定图G的近最优连接树的算法。该算法的最坏情况复杂度为O（c^k n^a），其中a和c是常数，n是顶点数，k是G的联合树中最大团的大小，其中最大团的大小被最小化。该算法保证所产生的联合树中最重团的状态空间大小的对数小于最优值的常数因子。当k = O（log n）时，我们的算法给出了贝叶斯网络的多项式推理算法.
2013-02-13 cs.AI cs.DS
Belief Propagation by Message Passing in Junction Trees: Computing Each Message Faster Using GPU Parallelization
Carnegie Mellon University（卡内基梅隆大学）；University of California, Berkeley（加州大学伯克利分校）
将贝叶斯网络（BN）编译为连接树并在其上执行置信传播是计算BN中后验的最突出方法之一。然而，连接树上的信念传播是已知的，在一般情况下是计算密集型的。它的复杂性可能会显着增加贝叶斯网络节点的连通性和状态空间基数。在本文中，我们使用GPU并行化来解决这个计算挑战。我们开发的数据结构和算法，扩展现有的连接树技术，并专门开发一种新的方法来计算每个信念传播消息并行。我们实现了我们的方法上的NVIDIA GPU和测试它使用BN从几个应用程序。在实验中，我们研究了连接树参数如何影响并行化的机会，因此我们的算法的性能。我们实现了从0.68到9.18的BN研究的加速比。
2012-02-14 cs.AI cs.DC
Lazy Propagation in Junction Trees
Aalborg University（奥尔堡大学）
贝叶斯网络中利用二级结构进行概率推理的算法可以通过利用证据诱导的独立关系和原网络中链接的方向来提高效率。在本文中，我们提出了一种算法，在线利用独立关系诱导的证据和方向的链接在原始网络中，以减少时间和空间成本。而不是乘的条件概率分布的各种集团，我们在线确定哪些潜力倍增时，一个消息是要产生的。该算法的性能改进强调通过经验评估涉及大型现实世界的贝叶斯网络，我们比较的方法与HUGIN和Shafer-Shenoy推理算法。
2013-01-30 cs.AI
A Time and Space Efficient Junction Tree Architecture
University College London（伦敦大学学院）
联合树算法是一种计算布尔多变量概率分布的边际的方法，它对随机变量集进行因子分解。联合树算法首先构造一棵树，称为联合树，其顶点是随机变量的集合。然后，该算法执行一个广义版本的联合树上的信念传播。Shafer-Shenoy和Hugin架构是执行这种信念传播的两种方式，以不同的方式权衡时间和空间复杂度：Hugin传播至少与Shafer-Shenoy传播一样快，并且在我们具有高度数的大顶点的情况下明显更快。然而，这种速度的增加是以增加的空间复杂度为代价的。本文首先介绍了一个简单的新颖的架构，STK-1，它具有两全其美：Hugin传播的速度和Shafer-Shenoy传播的低空间需求。一个更复杂的新的架构，n-2，然后介绍了，只有线性的任何顶点的最大基数的一个因素，时间和空间复杂度性至少一样好的n-1，在我们有大的顶点的情况下，高程度的显着快于n-1。
2014-12-23 cs.AI cs.LG
Clustering Without (Thinking About) Triangulation
University of Washington（华盛顿大学）
用于评估信念网络的无向技术[Jensen等人，1990年，Lauritzen和Spiegelhalter，1988年]要求将网络中的节点聚类到连接树中。在传统观点中，联合树是从道德化和三角化的信念网络的派系中构建的：三角化被视为原始概念，是任何聚类算法（例如节点消除）的目标。在本文中，我们提出了另一种概念的集群，其中集群和连接树属性扮演的角色的原语：给定一个图（不是树）的集群服从（修改版本）的连接树属性，我们转换这个图，直到我们得到一棵树。这种方法有几个优点：它更清晰，更容易理解，这对构建信念网络的人来说很重要;它允许更广泛的分类，这可能会实现更有效或更好的聚类算法;它作为增量聚类方案的自然基础，我们描述。
2013-02-20 cs.AI
Variational Approximations between Mean Field Theory and the Junction Tree Algorithm
RWCP, Theoretical Foundation SNN, University of Nijmegen（RWCP、SNN 理论基础、奈梅亨大学）
近年来，变分近似，如平均场近似受到了极大的关注。我们扩展了标准的平均场方法，通过使用一个近似的分布，分解成集群潜力。这包括无向图，有向无环图和连接树。我们推导了优化团簇势的广义平均场方程。我们表明，该方法的桥梁之间的差距标准的平均场近似和精确的连接树算法。此外，我们解决的问题，如何选择的图形结构的近似分布。从广义平均场方程，我们推导出规则，以简化结构的近似分布在不影响质量的近似。我们还展示了该方法如何适合于目前流行的其他一些变分近似。
2013-01-16 cs.AI cs.LG stat.ML
Myopic Value of Information in Influence Diagrams
DINA Skejby（DINA 斯基比）；The Danish Agricultural Advisory Centre（丹麦农业咨询中心）
我们提出了一种基于强连接树框架（Jensen，Jensen & Dittmer，1994）计算影响图（Howard & Matheson，1981）中信息近视值的方法。影响图中实例化顺序的差异通过机会节点被边缘化的顺序反映在相应的连接树中。这种边缘化的顺序可以通过表扩展来改变，并且实际上，具有扩展表的相同连接树可以用于计算具有不同实例化顺序的场景的预期效用。我们还比较了我们的方法在同一影响图中不同的实例化顺序建模的经典方法。
2013-02-06 cs.AI
A Junction Tree Framework for Undirected Graphical Model Selection
Rice University（莱斯大学）；University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
无向图模型是在无向图G* 上定义的联合概率分布，其中图中的顶点索引了随机变量的集合，而边对随机变量之间的条件独立关系进行编码。无向图模型选择（UGMS）问题是在给定无向图模型的观测值的情况下，对图G* 进行估计。本文提出了一个框架，用于将UGMS问题分解为多个子问题的集群和子集的分离器在一个联合树。使用包含G* 中的边的超集的图来构造连接树。我们强调了UGMS使用连接树的三个主要特性。首先，可以使用不同的正则化参数或不同的UGMS算法来学习图的不同部分。这是可能的，因为我们识别的子问题可以相互独立地解决。第二，在一定条件下，基于联合树的UGMS算法可以产生一致的结果与较少的观察比现有算法的通常要求。第三，我们的理论和实验结果都表明，连接树框架在寻找图中的最弱边方面比现有方法做得更好。该性质是第一和第二性质两者的结果。最后，我们注意到，我们的框架是独立的UGMS算法的选择，可以用作包装周围的标准UGMS算法更准确的图估计。
2013-12-02 cs.AI cs.IT math.IT
Exploring Localization in Bayesian Networks for Large Expert Systems
Simon Fraser University（西蒙菲莎大学）；University of British Columbia（不列颠哥伦比亚大学）
目前的贝叶斯网络表示不考虑域中的结构，并包括同构网络中的所有变量。在任何时候，在一个大的域中的人类推理者可以将他的注意力仅引导到多个自然子域中的一个，即，有吗查询和证据的本地化。在这种情况下，通过同构网络传播证据是低效的，因为每次都必须更新整个网络。本文提出了多节贝叶斯网络，使（本地化保持）表示的自然子域单独的贝叶斯网络。这些树被转换成一组永久的连接树，使得证据推理一次只在其中一个树上进行。得到的概率是相同的那些将从同质网络。我们讨论了注意力转移到一个不同的连接树和传播以前获得的证据。虽然整个系统可能很大，但计算需求仅由一个连接树的大小决定。
2013-03-13 cs.AI
Learning is planning: near Bayes-optimal reinforcement learning via Monte-Carlo tree search
Rutgers University（罗格斯大学）
贝叶斯最优行为虽然定义明确，但往往难以实现。蒙特卡罗树搜索（MCTS）的最新进展表明，它是可能的行动接近最佳的马尔可夫决策过程（MDP）非常大或无限的状态空间。未知MDP中的贝叶斯最优行为等同于已知置信空间MDP中的最优行为，尽管该置信空间MDP的大小随着所保留的历史量呈指数增长，并且可能是无限的。我们展示了一个代理如何使用一个特定的MCTS算法，前向搜索稀疏采样（FSSS），在一个有效的方式采取行动几乎贝叶斯最优的所有步骤，但多项式数量，假设FSSS可以用来有效地采取行动，在任何可能的底层MDP。
2012-02-14 cs.AI
Optimal Decision Tree Policies for Markov Decision Processes
Delft University of Technology（代尔夫特理工大学）
针对强化学习策略可解释性难题，提出基于混合整数线性规划的OMDT方法，直接为MDP优化尺寸受限决策树以最大化期望折扣回报，发现其性能接近最优且优于模仿学习。
2024-02-14 cs.AI cs.LG
Robust Optimal Classification Trees Against Adversarial Examples
Delft University of Technology（代尔夫特理工大学）
决策树是一种流行的可解释模型，但就像神经网络一样，它们也会受到对抗性例子的影响。现有的算法拟合决策树对抗性强的例子是贪婪的竞争力和缺乏近似保证。在本文中，我们提出了ROCT，训练决策树的方法集合，最佳的鲁棒性对用户指定的攻击模型。我们表明，对抗学习中出现的最小-最大优化问题可以使用单个最小化公式来解决损失为0-1的决策树。我们提出了这样的配方在混合线性规划和最大可满足性，广泛可用的求解器可以优化。我们还提出了一种方法，该方法可以确定任何使用二分匹配的模型的对抗精度的上限。我们的实验结果表明，现有的算法达到接近最优的分数，而ROCT达到国家的最先进的分数。
2021-09-08 cs.AI cs.LG
Bayes-optimal Hierarchical Classification over Asymmetric Tree-Distance Loss
Indian Institute of Technology Kanpur（坎普尔印度理工学院）；Microsoft Research（微软研究院）
层次分类是一种有监督的多类分类问题，它是在按层次结构组织的类标签集合上进行的。在这份报告中，我们研究的工作Ramaswamy等。在对称树距离损失上的分层分类。我们扩展了非对称树距离损失的层次分类算法的一致性。我们设计了一个$\mathcal{O}(nk\log{}n)$算法来寻找贝叶斯最优分类的k元树作为一个层次。我们表明，在合理的假设下，非对称损失函数，贝叶斯最优分类在这种非对称损失可以找到$\mathcal{O}(k\log{}n)$。我们利用这一洞察力，并试图扩展Ova级联算法\citet{ramaswamy2015convex}的分层分类的不对称损失。
2018-02-17 cs.AI cs.LG
On the optimality of tree-reweighted max-product message-passing
Microsoft Research（微软研究院）；UC Berkeley（加州大学伯克利分校）
树重加权最大乘积（TRW）消息传递是普通最大乘积算法的一种改进形式，用于寻找具有圈的马尔可夫随机场中的最小能量配置。对于TRW不动点满足强树协议条件，该算法输出的配置是可证明的最佳。在本文中，我们专注于二元变量与成对耦合的情况下，建立TRW不动点的更强的性质，只满足弱树协议（WTA）的温和条件。首先，我们展示了如何识别最优解的一部分|也就是说，节点子集的可证明最优解|而不知道一个完整的解决方案。其次，我们证明了对于次模函数，WTA不动点总是产生全局最优解。我们建立，对于二元变量，任何WTA不动点总是达到TRW方法的线性规划松弛的全局最大值。
2012-07-04 cs.AI cs.DS
MAPTree: Beating "Optimal" Decision Trees with Bayesian Decision Trees
Stanford University（斯坦福大学）
本文提出MAPTree算法，通过贝叶斯最大后验推断和AND/OR搜索构建决策树，在16个真实数据集上优于或媲美基线且树更小，在合成数据上更鲁棒，并能提供最优性证书。
2023-12-20 cs.AI cs.LG
Optimal Classification Trees for Continuous Feature Data Using Dynamic Programming with Branch-and-Bound
University of Amsterdam（阿姆斯特丹大学）；Delft University of Technology（代尔夫特理工大学）
针对连续特征下最优分类树计算难、扩展性差的问题，提出带分支定界的动态规划算法及新剪枝技术、深度2树高效子程序，大幅提升运行速度与测试准确率。
2025-01-14 cs.AI cs.DS cs.LG
Optimal Decision Trees for Nonlinear Metrics
Delft University of Technology（代尔夫特理工大学）；Monash University（莫纳什大学）；Data61
非线性度量，如F1分数，马修斯相关系数和Fowlkes-Malows指数，通常用于评估机器学习模型的性能，特别是当面对不平衡的数据集时，其中包含的一个类比另一个类更多的样本。最近的最优决策树算法在产生相对于线性标准（例如准确性）最优的树方面已经显示出显著的进步，但不幸的是非线性度量仍然是一个挑战。为了解决这一差距，我们提出了一种新的算法的基础上双目标优化，它把每个二进制类的错误分类作为一个单独的目标。我们表明，对于一大类度量，最优树位于帕累托边界。因此，我们通过使用我们的方法生成所有非支配树的集合来获得最优树。据我们所知，这是第一个方法来计算可证明的最佳决策树的非线性度量。与优化线性度量相比，我们的方法导致了一个权衡：根据给定的非线性度量，以更高的运行时间为代价，得到的树可能更理想。尽管如此，实验表明，运行时是合理的大多数测试数据集。
2021-10-15 cs.AI cs.DS cs.LG
MurTree: Optimal Classification Trees via Dynamic Programming and Search
Delft University of Technology（代尔夫特理工大学）；LAAS CNRS（法国国家科学研究中心LAAS实验室）；RMIT University（皇家墨尔本理工大学）；University of Melbourne（墨尔本大学）；Monash University（莫纳什大学）；DATA61（DATA61研究所）
决策树学习是机器学习中广泛使用的方法，在需要简洁和可解释模型的应用中受到青睐。传统上使用探试法来快速产生具有相当高精度的模型。然而，一个普遍的批评点是，所得到的树可能不一定是数据在准确性和大小方面的最佳表示。近年来，这激发了最优分类树算法的发展，该算法与执行一系列局部最优决策的探试法相比，全局优化决策树。我们遵循这条工作路线，并提供了一种新的算法学习最佳分类树的基础上动态规划和搜索。我们的算法支持树的深度和节点数的约束。我们的方法的成功归功于一系列专门的技术，利用独特的分类树的属性。而最佳分类树的算法传统上受到高运行时间和有限的可扩展性的困扰，我们在一个详细的实验研究表明，我们的方法只使用了一小部分的时间所需的最先进的，可以处理数据集与成千上万的实例，提供了几个数量级的改进，特别是对实际实现的最佳决策树的贡献。
2022-06-28 cs.AI cs.DS cs.LG
