Towards Representation Learning with Tractable Probabilistic Models
University of Bari（巴里大学）
作为密度估计器学习的概率模型可以在表示学习中被利用，除了作为仅用于回答推理查询的工具箱之外。然而，如何提取有用的表示高度依赖于所涉及的特定模型。我们认为，易处理的推理，即推理，可以在多项式时间计算，可以使一般计划，从黑盒模型中提取功能。我们计划研究如何利用可处理的概率模型（TPM）生成嵌入随机查询评估。我们设计了两个实验设计，以评估和比较不同的TPM的特征提取器在无监督的表示学习框架。我们通过将这种方法应用于和积网络和混合树作为生成嵌入的易处理模型，在标准图像数据集上展示了一些实验结果。
2016-08-08 cs.AI cs.LG stat.ML
A Quantum Information Theoretic Approach to Tractable Probabilistic Models
Örebro University（厄勒布鲁大学）
本文提出正单位电路（PUnCs），利用量子信息论将概率电路推广到正半定矩阵求值，从而严格扩展概率电路及PSD电路。
2025-07-05 cs.AI quant-ph
A Compositional Atlas of Tractable Circuit Operations: From Simple Transformations to Complex Information-Theoretic Queries
University of California, Los Angeles（加州大学洛杉矶分校）；University of Trento（特伦托大学）
电路表示法正在成为表达和推理易处理的生成和判别模型的通用语言。在本文中，我们展示了这些模型的复杂推理场景通常出现在机器学习中-从计算决策树集合的期望到深度混合模型的信息理论分歧-可以用电路上易于处理的模块化运算来表示。具体而言，我们的特点的易处理性的词汇的简单的变换-总和，产品，concentents，权力，concentrations，和指数-在足够的结构约束的电路，他们的操作，并提出了新的硬度结果的情况下，这些属性不满意。建立在这些操作，我们推导出一个统一的框架，推理听话的模型，概括了文献中的几个结果，并开辟了新的听话的推理方案。
2021-02-11 cs.AI cs.DS cs.LG
Compositional Probabilistic and Causal Inference using Tractable Circuit Models
University of Oxford（牛津大学）
本文提出基于 md-vtrees 的概率电路结构，为组合概率操作和因果推断查询提供可处理性条件与首个多项式时间算法，并设计 MDNets 架构验证其在因果推断中的有效性。
2023-04-17 cs.AI stat.ML
Tractable Representation Learning with Probabilistic Circuits
Technische Universität Darmstadt（达姆施塔特工业大学）；University of Texas, Dallas（德克萨斯大学达拉斯分校）；University of Edinburgh（爱丁堡大学）；Universität Bremen（不来梅大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
提出自动编码概率电路 APCs，通过联合建模数据与概率嵌入实现端到端表示学习，在重建、嵌入质量及缺失数据鲁棒性上优于现有方法。
2025-07-26 cs.AI cs.LG
Tractable Boolean and Arithmetic Circuits
Computer Science Department, University of California, Los Angeles（加州大学洛杉矶分校计算机科学系）
易处理的布尔和算术电路在人工智能中已经被广泛研究了二十多年。这些电路最初被提议为“编译对象”，旨在促进逻辑和概率推理，因为它们允许以线性时间和前馈方式（如神经网络）执行各种类型的推理。近年来，易处理电路的作用显著扩大，因为它们成为一些旨在整合知识，推理和学习的方法的计算和语义骨干。在这篇文章中，我们回顾了易处理电路的基础和一些相关的里程碑，同时关注它们的核心属性和技术，使它们对神经符号AI的广泛目标特别有用。
2022-02-07 cs.AI cs.CC cs.LG
Continuous Mixtures of Tractable Probabilistic Models
Eindhoven University of Technology（埃因霍温理工大学）；Graz University of Technology（格拉茨技术大学）
本文提出将连续潜空间模型与可处理概率模型混合，利用数值积分将连续混合编译为概率电路，在密度估计基准上达到新的最先进水平。
2023-03-24 cs.AI cs.LG stat.ML
Gradient-based Counterfactual Explanations using Tractable Probabilistic Models
TU Darmstadt（达姆施塔特工业大学）
反事实示例是机器学习模型的一类有吸引力的事后解释。给定类$y_1$的输入$x$，其反事实是另一个类$y_0$的对比示例$x^\prime$。目前的方法主要是通过复杂的优化来解决这个任务：基于具有硬约束或软约束的反事实结果$y_0$的损失来定义目标函数，然后将该函数作为黑盒来优化。然而，这种“深度学习“方法相当缓慢，有时很棘手，并且可能导致不切实际的反事实示例。在这项工作中，我们提出了一种新的方法来处理这些问题，只使用两个梯度计算的基础上听话的概率模型。首先，我们计算一个无约束的反事实$x$的$u$，以诱导反事实结果$y_0$。然后，我们调整$u$到更高的密度区域，从而产生$x^{\prime}$。经验证据证明了我们的方法的优势。
2022-05-16 cs.AI cs.LG
Understanding the Distillation Process from Deep Generative Models to Tractable Probabilistic Circuits
Tsinghua University（清华大学）；University of California, Los Angeles（加州大学洛杉矶分校）；Peking University（北京大学）；Beijing Institute for General Artificial Intelligence（北京通用人工智能研究院）
概率电路（ProbabilityCircuits，PC）是用于支持各种推理任务（例如，计算边际概率）。为了在复杂的现实世界任务中实现这种推理能力，Liu等人（2022）提出从不太容易处理但更具表达力的深度生成模型中提取知识（通过潜在变量分配）。然而，目前还不清楚是什么因素使这种蒸馏工作良好。在本文中，我们从理论和实证上发现，PC的性能可以超过它的教师模型。因此，我们不是从最具表现力的深度生成模型执行蒸馏，而是研究教师模型和PC应该具有哪些属性，以实现良好的蒸馏性能。这导致了一个通用的算法改进，以及其他数据类型的特定于现有的潜在变量蒸馏管道。从经验上讲，我们在具有挑战性的图像建模基准测试中的表现远远优于SoTA TPM。特别地，在ImageNet 32上，PC实现了每维4.06比特，这仅落后于变分扩散模型0.34比特（Kingma等人，2021年）。
2023-02-16 cs.AI cs.LG
Pruning-Based Extraction of Descriptions from Probabilistic Circuits
KU Leuven（鲁汶大学）；Tunify
提出PUTPUT算法，通过剪枝低密度区域将probabilistic circuit转换为基于逻辑的判别模型，在音乐播放列表生成等任务上优于竞争对手。
2024-06-05 cs.AI
On Constraint Definability in Tractable Probabilistic Models
University of Edinburgh（爱丁堡大学）；Alan Turing Institute（艾伦图灵研究所）；University of Edinburgh & Alan Turing Institute（爱丁堡大学和艾伦图灵研究所（此处为合并表述，按原文提取））
在概率机器学习中，约束条件的确定是一个主要的问题。各种各样的问题需要将预测与约束推理相结合，从在地图上建模路线到批准贷款预测。在前者中，我们可能要求预测模型尊重地图上节点之间的物理路径的存在，而在后者中，我们可能要求预测模型尊重公平性约束，以确保结果不会受到偏见的影响。一般来说，约束可能是概率性的、逻辑性的或因果性的，但首要的挑战是确定是否以及如何学习一个处理所有声明约束的模型。据我们所知，这在很大程度上是一个悬而未决的问题。在本文中，我们考虑了一个数学探究如何学习的易处理的概率模型，如和积网络，同时纳入约束。
2020-01-29 cs.AI cs.LG stat.ML
Tractable Probabilistic Graph Representation Learning with Graph-Induced Sum-Product Networks
NEC Laboratories Europe（欧洲NEC实验室）；University of Stuttgart（斯图加特大学）
提出图诱导和积网络（GSPNs），通过构建层次化SPNs实现可处理概率查询的图表示学习，在稀缺监督与缺失数据场景下展现出竞争力。
2024-02-16 cs.AI cs.LG
Probabilistic Graph Circuits: Deep Generative Models for Tractable Probabilistic Inference over Graphs
Artificial Intelligence Center, Czech Technical University（捷克技术大学人工智能中心）
本文提出概率图电路 PGC，以在图上实现精确高效的概率推理，并比较不同置换不变性策略在异常检测与分子图生成中的效果。
2025-03-15 cs.AI cs.LG
Handling Epistemic and Aleatory Uncertainties in Probabilistic Circuits
Università degli Studi di Brescia（布雷西亚大学）；Cardiff University（卡迪夫大学）；CCDC Army Research Laboratory（CCDC陆军研究实验室）；KU Leuven（鲁汶大学）；Blue Prism AI Labs（蓝棱镜人工智能实验室）；Ozyegin University（奥兹耶金大学）
当与人工智能系统合作时，我们需要评估何时信任其建议。如果我们错误地相信它在可能出错的区域，灾难性的故障可能会发生，因此需要贝叶斯方法进行概率推理，以便根据训练数据确定概率的置信度（或认识不确定性）。我们提出了一种方法，以克服大多数处理一个大类的概率推理，包括贝叶斯网络以及概率逻辑的几个实例的方法背后的独立性假设。我们提供了一个算法，贝叶斯学习稀疏，虽然完整的，观察，并推导推断和他们的信心保持跟踪变量之间的依赖关系时，他们被操纵在统一的计算形式主义提供的概率电路。这种回路的每一片叶子都被标记为一个β分布的随机变量，这为我们提供了一个优雅的框架来表示不确定的概率。我们实现了比最先进的方法，包括高度工程化的方法，更好地估计认知不确定性，同时能够处理一般电路，并且与使用点概率相比，计算工作量只增加了一点。
2021-02-22 cs.AI
Probabilistic Generating Circuits
University of California Los Angeles（加州大学洛杉矶分校）；Washington University in St. Louis（圣路易斯华盛顿大学）
生成函数广泛应用于组合学和概率论中，它将函数值编码为多项式的系数。在本文中，我们探讨了它们作为一个易于处理的概率模型的使用，并提出了概率生成电路（PGC）的有效表示。PGC比许多现有的易处理的概率模型，包括决定点过程（DPP），概率电路（PC），如和-积网络，和易处理的图形模型更严格的表达效率。我们认为，PGCs不仅是一个理论框架，统一了截然不同的现有模型，但也显示出巨大的潜力，在现实数据建模。我们展示了一个简单的类的PGC，不平凡的PC和DPP的简单组合，并获得竞争力的性能上的一套密度估计基准。我们还强调PGCs的连接到强瑞利分布的理论。
2021-06-11 cs.AI cs.LG
On Probabilistic Inference Through Parametric Tensor Decomposition in Base Tensor Networks
University of Münster（明斯特大学）
针对高树宽图模型中概率推断困难的问题，提出通过基张量网络表示并利用参数化张量分解控制推断可处理性的框架，刻画了可高效收缩的基张量类别。
2026-09-22 cs.AI
Learning Tractable Probabilistic Models for Moral Responsibility and Blame
University of Oxford（牛津大学）；University of Edinburgh（爱丁堡大学）；Alan Turing Institute（艾伦·图灵研究所）
道德责任是自主系统中的一个主要问题，其应用范围从自动驾驶汽车到肾脏交换。虽然最近有尝试正式的责任和指责，在类似的概念，在这些形式主义的学习问题一直没有得到解决。从这种系统的观点来看，迫切的问题是：（a）如何从数据中自动提取和学习道德场景和责任模型？(b)在某些系统面临瞬间决策点的情况下，如何有效地计算判断？通过建立在受约束的易处理的概率学习，我们提出并实现了一个混合（数据驱动和基于规则的方法之间）的学习框架，用于自动从数据中归纳出这些场景的模型，并从中进行推理。我们报告的实验，比较我们的系统与人类的判断，在三个说明性的领域：肺癌分期，团队合作管理，手推车的问题。
2021-01-30 cs.AI cs.LG cs.LO
An Evaluation of Structural Parameters for Probabilistic Reasoning: Results on Benchmark Circuits
University of California（加利福尼亚大学）；Rockwell Science Center（罗克韦尔科学中心）
许多处理概率网络的算法依赖于问题结构的拓扑性质。这样的算法（例如，聚类、调节）仅在问题具有由诸如树宽度和循环割集大小之类的参数捕获的稀疏图时才有效。在本文中，我们发起了一项研究，以确定潜在的基于结构的算法在现实生活中的应用。我们从经验上分析了来自电路诊断领域的问题的结构特性。具体来说，我们定位这些属性，捕捉聚类和调节的有效性，以及一个家庭的调节+聚类算法，旨在逐步交易空间的时间。我们对测试界广泛使用的11个基准电路进行了分析。我们还报告的效果，排序算法对树聚类，并表明，在我们的基准，著名的最大基数排序是大大低于一个排序称为最小度。
2013-02-13 cs.AI
Causal Inference Using Tractable Circuits
University of California, Los Angeles（加州大学洛杉矶分校）
本文的目的是讨论最近的一个结果表明，概率推理（未知）的因果机制的存在下，传统上被视为棘手的模型可以是易处理的。这一结果最近被报道，以促进基于模型的监督学习，但它可以解释在因果关系的上下文中如下。人们可以将非参数因果图编译成算术电路，该算术电路支持在电路大小中时间线性的推断。该电路也是非参数的，因此它可以用于从数据中估计参数，并进一步推理（在线性时间内）由这些估计参数化的因果图。此外，电路的大小有时可以是有界的，甚至当因果图的树宽不是，导致在模型上的易处理的推理，以前被认为是棘手的。这已经通过一种新技术实现，该技术可以在计算上利用因果机制，但不需要知道它们的身份（因果推理中的经典设置）。我们的目标是提供一个以因果关系为导向的暴露这些新的结果，并推测它们如何可能有助于更可扩展和通用的因果推理。
2022-02-07 cs.AI cs.CC cs.LG
Tractable Sharpness-Aware Learning of Probabilistic Circuits
针对概率电路（PC）易过拟合的问题，提出基于Hessian迹的锐度感知正则化方法，可高效计算并适配PC训练，有效引导模型收敛至更平坦极小值，提升泛化能力。
2025-08-07 cs.AI cs.LG
Sum-Product-Set Networks: Deep Tractable Models for Tree-Structured Graphs
Artificial Intelligence Center, Czech Technical University（捷克技术大学人工智能中心）
针对现有生成式概率模型在树结构图上推断不可处理的问题，提出将概率电路扩展到树结构图数据的和积集网络，通过随机有限集实现高效精确推断，性能与多种神经网络类不可处理模型相当。
2024-08-18 cs.AI cs.LG
A Tractable Inference Algorithm for Diagnosing Multiple Diseases
我们研究了一个诊断多种疾病的概率模型。在该模型中，疾病和发现被表示为二元变量。此外，疾病是边缘独立的，特征在给定疾病实例的情况下是有条件独立的，并且疾病通过嘈杂的OR门相互作用以产生发现。一种算法，用于计算后验概率的每种疾病，给出了一组观察到的结果，称为quickscore。该算法的时间复杂度为O（nm-2 m+），其中n为疾病数，m+为阳性发现数，m-为阴性发现数。虽然quickscore i 5的时间复杂度与阳性发现的数量成指数关系，但该算法在实践中是有用的，因为观察到的阳性发现的数量通常远小于所考虑的疾病的数量。快速评分应用于快速医疗参考（QMR）的概率版本的性能结果。
2022-12-05 cs.AI
Robustness Guarantees for Credal Bayesian Networks via Constraint Relaxation over Probabilistic Circuits
University of Oxford（牛津大学）
在许多领域，最坏情况下的性能保证（例如，预测精度）的决策函数服从分布的变化和环境的不确定性是至关重要的。在这项工作中，我们开发了一种方法来量化的鲁棒性的决策功能的信用贝叶斯网络，正式的参数模型的环境中的不确定性表示通过信用集的参数。特别是，我们解决的最大边际概率（MARmax）的问题，也就是说，确定事件（如误分类）的最大概率可获得的参数在credal集。我们开发了一种方法，忠实地将问题转化为概率电路上的约束优化问题。通过执行一个简单的约束松弛，我们展示了如何获得一个保证的上限MARmax在线性时间的电路的大小。我们进一步从理论上描述了这种约束松弛的原始贝叶斯网络结构，这产生了洞察的约束的紧密性。我们实现的方法，并提供实验证据表明，上限往往是近紧，并展示了改进的可扩展性相比，其他方法。
2022-05-11 cs.AI
The Limits of Tractable Marginalization
Department of Computer Science, University of California, Los Angeles, United States（计算机科学系，加州大学洛杉矶分校，美国）
本文探讨了易处理边缘化的界限，证明在 FP≠#P 假设下，存在具有易处理边缘化但无法由已知算术电路模型高效表示的函数，并给出了相关的复杂度类层次结构与完备性结果。
2025-07-14 cs.AI cs.CC
On the Relationship Between Monotone and Squared Probabilistic Circuits
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文证明单调电路与平方概率电路在表达能力上不可比较，并提出Inception PCs统一两者，采用复数参数，在表格和图像数据集上优于二者。
2025-02-24 cs.AI cs.LG
Solving Marginal MAP Exactly by Probabilistic Circuit Transformations
UCLA（加州大学洛杉矶分校）
概率回路（Probabilistic Circuit，PC）是一类易于处理的概率模型，它允许对诸如边缘和最可能解释（Most Probable Explanation，MPE）之类的查询进行高效的、通常是线性时间的推理。然而，边际地图，这是许多决策问题的核心，仍然是一个很难查询的PC，除非他们满足高度限制性的结构约束。在本文中，我们开发了一个修剪算法，删除部分PC无关的边际MAP查询，缩小PC，同时保持正确的解决方案。这种修剪技术是如此有效，我们能够建立一个边缘MAP求解器的基础上，完全迭代变换电路-没有搜索是必需的。我们实证证明了我们的方法在现实世界的数据集上的有效性。
2022-03-04 cs.AI cs.LG
SLASH: Embracing Probabilistic Circuits into Neural Answer Set Programming
TU Darmstadt（达姆施塔特工业大学）；Hessian Center for AI (hessian.AI)（黑森人工智能中心 (hessian.AI)）
结合神经网络的鲁棒性和符号方法的表达性的目标重新点燃了对神经符号AI的兴趣。神经符号人工智能的最新进展通常考虑由不相交的神经和符号组件组成的专门定制的架构，因此没有表现出通过将它们集成到统一框架中可以实现的期望收益。我们介绍SLASH --一种新的深度概率程序设计语言（DPPL）。在其核心，SLASH由神经概率谓词（NPP）和逻辑程序组成，这些程序通过答案集编程联合起来。由NPP产生的概率估计充当逻辑程序和原始输入数据之间的绑定元素，从而允许SLASH回答任务相关的逻辑查询。这使得SLASH能够在一个统一的框架中优雅地整合符号和神经组件。我们评估SLASH的基准数据MNIST除了以及DPPL的新任务，如缺失数据预测和集合预测与国家的最先进的性能，从而显示我们的方法的有效性和通用性。
2021-11-23 cs.AI
Hybrid Probabilistic Inference with Logical Constraints: Tractability and Message Passing
University of California, LA（加利福尼亚大学洛杉矶分校）；AMSS（数学与系统科学研究院）；Chinese Academy of Sciences（中国科学院）；DISI（信息工程与计算机科学系）；University of Trento（特伦托大学）
加权模型集成（Weighted Model Integration，简称WMM）是一个非常吸引人的概率推理框架：它允许通过可满足性模理论（Satisfiability Modulo Theories，简称SMT）的语言来表达真实世界混合场景的复杂依赖关系，其中变量在本质上是异构的（包括连续和离散）;以及计算具有任意复杂逻辑约束的概率查询。最近的工作表明，在某些假设下，可简化的模型集成（MI）问题，从而有效地允许混合概率推理的体积计算。在本文中，我们介绍了一种新的制定MI通过消息传递计划，允许有效地计算的边际密度和统计矩的所有变量在线性时间。因此，当任意丰富的MI查询符合问题结构时，我们能够摊销推理，这里表示为与SMT公式相关联的原始图。此外，我们从理论上跟踪的易处理边界的确切MI。事实上，我们证明，在原始图的结构要求，使我们的MI算法易于处理-边界的直径和树宽-边界不仅是足够的，但通过MI易于推理的必要条件。
2019-09-30 cs.AI
On the Relationship Between Probabilistic Circuits and Determinantal Point Processes
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
将概率模型扩展到大型现实问题和数据集是机器学习中的一个关键挑战。这项工作的核心是开发易处理的概率模型（TPM）：模型的结构保证有效的概率推理算法。目前的贸易和预防机制是分散的：存在各种各样的贸易和预防机制，它们有不同的长处和短处。两个最突出的TPM类是决定点过程（DPP）和概率电路（PC）。本文首次系统地研究了它们之间的关系。我们提出了一个统一的分析和共享的语言来讨论DPP和PC。然后，我们建立了理论上的障碍，这两个家庭的统一，并证明，有情况下，DPPs没有紧凑的表示为一类PC。我们关闭统一这些听话的模型的中心问题的观点。
2020-06-26 cs.AI cs.LG
Causal Unit Selection using Tractable Arithmetic Circuits
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
针对因果单元选择中传统VE算法受元模型约束树宽限制、计算成本高的问题，提出将元模型编译为可处理算术电路的方法，实现线性时间求解，实验验证其带来数量级速度提升。
2024-04-10 cs.AI cs.LG stat.ME
To Neuro-Symbolic Classification and Beyond by Compiling Description Logic Ontologies to Probabilistic Circuits
University of Pisa（比萨大学）；University of Bologna（博洛尼亚大学）；University of Edinburgh（爱丁堡大学）
通过将描述逻辑本体编译为概率电路，实现神经符号分类与知识表示的深度融合，提升演绎推理效率和预测一致性。
2026-01-21 cs.AI
Understanding and Improving Adversarial Robustness of Neural Probabilistic Circuits
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文分析神经概率电路的对抗鲁棒性仅取决于属性识别模型，并提出首个鲁棒版本RNPC，通过类级集成推理提升对抗鲁棒性，同时保持高准确率。
2025-09-24 cs.AI cs.LG
Tractable Computation of Expected Kernels
Tsinghua University（清华大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
计算核函数的期望值是机器学习中普遍存在的任务，从经典的支持向量机到利用概率建模、统计推断、因果发现和深度学习中的分布的核嵌入都有应用。在所有这些情况下，我们倾向于采用蒙特卡罗估计，因为对内核的期望通常是难以处理的。在这项工作中，我们的特点的条件下，我们可以准确和有效地计算预期的内核，利用概率电路表示的最新进展。我们首先构造一个电路表示内核，并提出了一种方法，这样的易处理的计算。然后，我们展示了可能的进步，内核嵌入框架，利用易处理的预期内核，以获得新的算法，两个具有挑战性的情况下：1）推理下丢失的数据与内核支持向量回归; 2）设计一个崩溃的黑盒重要性采样计划。最后，我们实证评估这两种算法，并表明它们在各种数据集上的表现优于标准基线。
2021-07-22 cs.AI cs.LG
Credibility-Aware Multi-Modal Fusion Using Probabilistic Circuits
Erik Jonsson School of Engineering & Computer Science, The University of Texas at Dallas（德克萨斯大学达拉斯分校埃里克·琼森工程与计算机科学学院）；Air Force Research Laboratory（空军研究实验室）；TU Darmstadt（达姆施塔特工业大学）
本文提出一种基于概率电路的可信度感知多模态融合方法，通过推理查询评估各模态可靠性，在保持性能的同时实现可信度推断。
2024-07-17 cs.AI cs.LG
SymCircuit: Bayesian Structure Inference for Tractable Probabilistic Circuits via Entropy-Regularized Reinforcement Learning
Department of Mechanical and Aerospace Engineering（机械与航空航天工程系）
SymCircuit通过熵正则化强化学习替代贪心算法，实现概率电路结构学习，采用语法约束的自回归Transformer生成有效电路，并在NLTCS数据集上显著提升样本效率。
2026-03-20 cs.AI cs.LG stat.ML
Probabilistic Neural Circuits
Örebro University（厄勒布鲁大学）
针对概率电路（PCs）表达能力弱于神经网络的问题，提出概率神经电路（PNCs），在可处理性与表达力间取得平衡，理论上可解释为贝叶斯网络的深度混合，实验证明其是强大的函数逼近器。
2024-03-10 cs.AI cs.LG cs.NE
Probabilistic Circuits with Constraints via Convex Optimization
University of Technology of Compiègne（贡比涅技术大学）
提出一种通过凸优化将概率命题逻辑约束整合到概率电路（PC）中的方法，无需重训模型即可输出满足约束的新PC，在数据稀缺时提升性能并保障机器学习公平性。
2024-03-19 cs.AI cs.LG
On Relaxing Determinism in Arithmetic Circuits
University of California, Los Angeles（加州大学洛杉矶分校）
在过去的十年里，人们对学习易处理的概率表示产生了极大的兴趣。算术电路（AC）是最早提出的易处理表示之一，随后的一些表示是具有较弱或较强属性的AC的实例。在本文中，我们提供了一个正式的基础上，AC的变种可以进行比较，其各种属性的精确角色和语义可以更加透明。这使我们能够把一些最近的发展在AC在一个更清晰的角度来看，也得到新的结果AC。这包括具有和不具有确定性的AC之间的指数分离;完整性和不完整性结果;以及在计算最可能的解释（MPE）时的易处理性结果（或缺乏易处理性结果）。
2017-08-22 cs.AI cs.LG
Tractable Inference in Credal Sentential Decision Diagrams
Istituto Dalle Molle di Studi per l’Intelligenza Artificiale（达勒·莫勒人工智能研究所）；Institute of Mathematics and Statistics, University of São Paulo（圣保罗大学数学与统计研究所）
概率决策图是逻辑电路，其中选通门的输入由概率值注释。它们允许在布尔变量集上定义的联合概率质量函数的紧凑表示，这也与电路定义的逻辑约束一致。这种模型中的概率通常是从一组观察中学习的。当数据稀缺、不可靠或相互冲突时，这会导致过度自信和先验依赖的推断。在这项工作中，我们开发的credal的概率决策图，其概率对应的概括，允许取代本地概率（所谓的credal）集的质量函数。这些模型在布尔变量集上引入了一个联合信用集，该联合信用集将概率零急剧分配给与逻辑约束不一致的状态。三个推理算法推导出这些模型，这些允许计算：（i）下和上概率的观察任意数量的变量，（ii）下和上的条件概率的状态的一个单一的变量的观察给定的;（三）是否所有与信用规范兼容的概率决策图都具有相同的最可能解释给定一组变量，给定对其他变量的观察。这些推论是易于处理的，因为所有三个算法，基于自底向上遍历与局部线性规划任务的析取门，可以解决在多项式时间相对于电路的大小。对于第一个经验验证，我们考虑一个简单的应用程序的基础上嘈杂的七段显示器图像。观察到的credal模型，以正确区分容易和难以检测的实例，并优于其他生成模型不能应付逻辑约束。
2020-08-19 cs.AI
Structural Learning of Probabilistic Sentential Decision Diagrams under Partial Closed-World Assumption
Istituto Dalle Molle di Studi per l’Intelligenza Artificiale (IDSIA)（达莱莫勒人工智能研究所（IDSIA））
概率决策图是一类结构化可分解的概率电路，特别设计用于嵌入逻辑约束。为了适应经典的LearnSPN方案来学习这些模型的结构，我们提出了一个新的方案，基于部分封闭世界的假设：数据隐式地提供电路的逻辑基础。因此，通过递归地聚类初始数据库中的批次来学习求和节点，而变量的划分遵循给定的输入vtree。初步实验表明，所提出的方法可以适当地适应训练数据，并推广到测试数据，只要这些保持一致的底层逻辑基础，这是一个放松的训练数据基地。
2021-07-26 cs.AI
Scaling Continuous Latent Variable Models as Probabilistic Integral Circuits
Eindhoven University of Technology（埃因霍温理工大学）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
本文针对概率积分电路仅支持树形结构且数值求积训练内存开销大的问题，提出基于任意变量分解的DAG构建流程、张量化训练方法及神经功能共享技术，实验证明QPC优于传统概率电路。
2025-02-05 cs.AI cs.LG
Probabilistic Circuits for Cumulative Distribution Functions
University of California Los Angeles（加州大学洛杉矶分校）；Aalto University（阿尔托大学）
本文研究概率电路在计算累积分布函数（CDF）与概率质量/密度函数（PMF/PDF）之间的表示等价性，证明在二元、有限离散及连续变量情形下均可通过多项式时间或仅修改叶子节点实现高效转换。
2024-08-08 cs.AI cs.LG
A Unified Framework for Human-Allied Learning of Probabilistic Circuits
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
针对概率电路在数据稀缺领域忽视知识密集型学习的问题，提出一种统一框架，将领域知识系统整合到参数学习中，实验证明其性能优于纯数据驱动方法。
2024-12-18 cs.AI cs.LG
Tractable Uncertainty for Structure Learning
University of Oxford（牛津大学）
贝叶斯结构学习允许人们捕获负责生成给定数据的因果有向无环图（DAG）上的不确定性。在这项工作中，我们提出了结构学习（TRUST）的可处理不确定性，这是一个近似后验推理的框架，它依赖于概率电路作为我们后验信念的表示。与基于样本的后验近似相比，我们的表示可以捕获更丰富的DAG空间，同时还能够通过一系列有用的推理查询来追溯不确定性。我们的经验表明，概率电路可以被用作结构学习方法的增强表示，从而提高推断结构的质量和后验不确定性。条件查询应答的实验结果进一步证明了TRUST的表示能力的实际效用。
2022-07-01 cs.AI cs.LG stat.ML
Exchangeability-Aware Sum-Product Networks
University of Mannheim（曼海姆大学）
和积网络（SPN）是表达概率模型，提供精确，易于处理的推理。他们通过利用当地的独立性来实现这种效率。另一方面，可交换变量混合模型（MEVM）是一类易处理的概率模型，它利用离散随机变量的可交换性来使推理变得易处理。可交换性，这自然出现在关系领域，尚未被认为是有效的表示和推理的SPN。本文的贡献是一种新的概率模型，我们称之为交换性感知和积网络（XSPN）。它包含SPN和MEVM作为特殊情况，并将SPN有效学习深度概率模型的能力与MEVM有效处理可交换随机变量的能力相结合。我们介绍了一个结构学习算法XSPN和经验表明，他们可以更准确地比传统的SPN时，数据包含重复的，可互换的部分。
2022-04-28 cs.AI cs.LG stat.ML
Geometry-Aware Probabilistic Circuits via Voronoi Tessellations
University of California, Berkeley（加州大学伯克利分校）
针对概率电路因数据无关混合权重而无法捕捉数据流形局部几何结构的问题，提出通过Voronoi剖分将几何结构直接融入求和节点，并开发近似推理框架和精确推理条件，最后引入可微松弛实现梯度学习，在密度估计任务上验证了有效性。
2026-05-30 cs.AI cs.LG
Probabilistic Circuits That Know What They Don't Know
TU Darmstadt（达姆施塔特工业大学）；Hessian Center for AI (hessian.AI)（黑森人工智能中心）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；Centre for Cognitive Science TU Darmstadt（达姆施塔特工业大学认知科学中心）
该研究发现概率电路（PCs）对分布外数据并不鲁棒，提出易处理的丢弃推理（TDI）方法，通过单次前向传播实现无采样的不确定性估计，提升了PCs的分布偏移与OOD鲁棒性。
2023-06-12 cs.AI cs.LG
Tractable Querying and Learning in Hybrid Domains via Sum-Product Networks
University of Edinburgh（爱丁堡大学）；Alan Turing Institute（艾伦·图灵研究所）
概率表示，如贝叶斯和马尔可夫网络，是统计机器学习的基础。因此，直接从数据中学习概率表示是一个很大的挑战，主要的计算瓶颈是难以处理的推理。易处理学习是一种强大的新范式，它试图学习支持高效概率查询的分布。通过利用局部结构，诸如和积网络（SPN）之类的表示可以捕获具有许多隐藏层的高树宽模型，本质上是一个深层架构，同时仍然允许一系列概率查询在网络大小的时间多项式中可计算。SPN中的叶节点是易于处理的单变量分布，因此文献集中在伯努利和高斯随机变量上。这显然是处理混合离散-连续数据的限制，特别是如果连续特征是从非参数和非高斯分布族生成的。在这项工作中，我们提出了一个框架，系统地集成SPN结构学习与加权模型集成，最近推出的计算抽象的混合域中进行推理，通过分段多项式逼近的任意形状的密度函数。我们的框架实例化利用命题抽象的概念，从而最小限度地干扰SPN结构学习模块，并支持一个强大的查询接口的条件区间约束。我们的实证结果表明，我们的方法是有效的，并允许学习模型的粒度和其预测能力之间的权衡研究。
2018-09-19 cs.AI cs.LG stat.ML
Causal Neural Probabilistic Circuits
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
提出因果神经概率电路（CNPC），通过结合神经属性预测器和从因果图编译的因果概率电路，支持遵循因果依赖的精确干预推理，从而提升概念瓶颈模型在干预下的分类准确率。
2026-06-02 cs.AI cs.LG
Scaling Up Probabilistic Circuits by Latent Variable Distillation
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
针对概率电路（PCs）参数增多后性能易达平台期、现有优化器难以发挥其表达能力的问题，提出潜变量蒸馏方法，从Transformer生成模型提取信息指导PCs优化，在多个基准上提升了大型PCs性能，甚至媲美主流深度生成模型。
2024-12-11 cs.AI cs.LG
Bayesian Structure Scores for Probabilistic Circuits
Eindhoven University of Technology（埃因霍温理工大学）；KU Leuven（鲁汶大学）；Graz University of Technology（格拉茨理工大学）
概率回路（PC）是概率分布的一种重要表示，具有易处理的推理。虽然PC中的参数学习被严格研究，但结构学习往往更多地基于数学而不是原则性目标。在本文中，我们开发了贝叶斯结构分数的确定性PC，即，边缘化参数的结构似然，这是众所周知的严格的目标，结构学习的概率图模型。当在贪婪割集算法中使用时，我们的分数有效地防止过拟合，并产生快速且几乎无超参数的结构学习器，将其与以前的方法区分开来。在实验中，我们在训练时间和模型拟合之间取得了良好的权衡。此外，贝叶斯分数的原则性解锁PC的适应框架，如结构预期最大化。
2023-02-23 cs.AI cs.LG stat.ML
Bayesian Decision Trees via Tractable Priors and Probabilistic Context-Free Grammars
Stanford University（斯坦福大学）
决策树是当今最流行的机器学习模型之一，因为它们具有开箱即用的性能和可解释性。通常，决策树模型是通过启发式搜索标准（如基尼不纯或熵）以自上而下的方式构建的。然而，以这种方式构建的树对训练数据中的微小波动敏感，并且易于过拟合。相比之下，贝叶斯方法树建设制定的选择过程作为一个后验推理问题，这种方法更稳定，并提供更大的理论保证。然而，生成贝叶斯决策树通常需要从复杂的多模态后验分布中采样。目前基于马尔可夫链蒙特卡罗的贝叶斯决策树抽样方法容易出现模式坍塌和混合时间过长的问题，这使得它们不切实际。本文提出了一种新的贝叶斯决策树训练准则。我们的标准产生BCART-PCFG，它可以有效地采样决策树的后验分布的树木给定的数据，并找到最大后验（MAP）树。学习后验和训练采样器可以在数据集大小的多项式时间内完成。一旦学习了后验，就可以有效地对树进行采样（在节点数量上呈线性）。在我们的方法的核心是一个减少后采样采样的概率上下文无关文法的推导。我们发现，通过BCART-PCFG采样树执行类似或更好的贪婪构造的决策树在几个数据集上的分类精度。此外，通过BCART-PCFG采样的树要小得多-有时高达20倍。
2023-02-15 cs.AI cs.LG
Soft Learning Probabilistic Circuits
University of Technology of Compiègne（贡比涅技术大学）
本文提出名为SoftLearn的新学习过程，通过软聚类替代LearnSPN的硬聚类方法来诱导Probabilistic Circuits，实验证明其在多数情况下能获得更优似然和样本。
2024-03-21 cs.AI cs.LG
HyperSPNs: Compact and Expressive Probabilistic Circuits
Stanford University（斯坦福大学）
概率电路（ProbabilityCircuit，PC）是一类生成模型，它允许计算其概率分布的精确似然和边缘。PC既有表现力又易于处理，是离散密度估计任务的热门选择。然而，大型PC容易受到过拟合的影响，并且只有少数正则化策略（例如，dropout，weight-decay）已经被探索。我们提出了HyperSPN：一个新的范例产生的混合权重的大型PC使用一个小规模的神经网络。我们的框架可以被看作是一个软的权重共享策略，它结合了大型模型的更大的表现力与更好的泛化和小模型的内存占用属性。我们展示了我们的正则化策略在最近文献中介绍的两个最先进的PC系列-RAT-SPN和EiNET-上的优点，并在离散和连续域中的一套密度估计基准上证明了两种模型的泛化改进。
2021-12-02 cs.AI cs.LG
