Multiple Causal Inference with Latent Confounding
New York University(纽约大学);Columbia University(哥伦比亚大学)
从观察数据中进行因果推断需要假设。这些假设的范围从测量混杂因素到识别工具。传统上,因果推断假设集中于估计单一治疗的效果。在这项工作中,我们构建技术,估计与多个治疗存在未观察到的混杂。我们开发了两个假设的基础上共享的混杂因素之间的治疗和治疗的独立性的混杂因素。总之,这些假设导致一个混杂估计正则化的互信息。对于这个估计,我们开发了一个易于处理的下界。为了恢复处理效应,我们在处理中使用独立于混杂因素的剩余信息。我们验证模拟和一个例子,从临床医学。
2019-03-01 cs.LG stat.ML
Constrained Identifiability of Causal Effects
本文提出约束可识别性概念,并利用算术电路构建测试框架,证明其至少与do-演算一样完备,且能使原本不可识别的因果效应在约束下变得可识别。
2025-10-13 cs.AI stat.ME
Tractable Boolean and Arithmetic Circuits
Computer Science Department, University of California, Los Angeles(加州大学洛杉矶分校计算机科学系)
易处理的布尔和算术电路在人工智能中已经被广泛研究了二十多年。这些电路最初被提议为“编译对象”,旨在促进逻辑和概率推理,因为它们允许以线性时间和前馈方式(如神经网络)执行各种类型的推理。近年来,易处理电路的作用显著扩大,因为它们成为一些旨在整合知识,推理和学习的方法的计算和语义骨干。在这篇文章中,我们回顾了易处理电路的基础和一些相关的里程碑,同时关注它们的核心属性和技术,使它们对神经符号AI的广泛目标特别有用。
2022-02-07 cs.AI cs.CC cs.LG
Scalable Causal Domain Adaptation
Purdue University(普渡大学);Kalinga Institute of Industrial Technology(卡林加工业技术学院);University of South Carolina(南卡罗来纳大学)
迁移学习中最关键的问题之一是领域自适应的任务,其目标是将在一个或多个源域中训练的算法应用于不同(但相关)的目标域。本文研究了当跨域不变性存在时,存在协变量偏移的领域自适应问题。现有的因果推理方法解决这个问题的主要限制之一是可扩展性。为了克服这一困难,我们提出了SCTL,一种算法,避免了穷举搜索,并确定不变的因果特征跨源和目标域的基础上马尔可夫毯发现。SCTL不需要事先了解因果结构、干预类型或干预目标。存在与SCTL相关联的内在局部性,这使得它实际上是可扩展的和鲁棒的,因为局部因果发现增加了计算独立性测试的能力,并且使得领域自适应的任务在计算上易于处理。我们展示了SCTL的可扩展性和鲁棒性的领域自适应使用合成和真实的数据集在低维和高维设置。
2021-12-07 cs.AI cs.LG stat.ML
RECLAIM: Cyclic Causal Discovery Amid Measurement Noise
School of Electrical and Computer Engineering, Georgia Institute of Technology(佐治亚理工学院电气与计算机工程学院)
RECLAIM通过最大似然估计和残差归一化流处理循环因果和测量噪声,理论保证一致性和实验证明有效性。
2026-03-21 cs.LG stat.ML
A unifying framework for relaxations of the causal assumptions in Bell's theorem
贝尔定理表明,量子力学相关性可以违反某些实验的因果结构对任何经典解释的约束。因此,很自然地要问,因果假设(例如局部性或测量独立性)必须放宽到什么程度,才能对这种实验进行经典描述。在这里,我们开发了一个概念和计算框架来处理这个问题。我们采用贝叶斯网络的语言,系统地构建替代因果结构,并使用源于因果关系的数学理论的定量测量约束松弛的程度。主要的技术见解是,由此产生的问题往往可以表示为计算上易处理的线性规划。我们证明了框架的多功能性,通过将其应用到各种场景,从放松的测量独立性,局部性和双局部性假设,到一个新的因果解释CHSH不平等侵犯。
2014-11-17 quant-ph stat.ML
A Compositional Atlas of Tractable Circuit Operations: From Simple Transformations to Complex Information-Theoretic Queries
University of California, Los Angeles(加州大学洛杉矶分校);University of Trento(特伦托大学)
电路表示法正在成为表达和推理易处理的生成和判别模型的通用语言。在本文中,我们展示了这些模型的复杂推理场景通常出现在机器学习中-从计算决策树集合的期望到深度混合模型的信息理论分歧-可以用电路上易于处理的模块化运算来表示。具体而言,我们的特点的易处理性的词汇的简单的变换-总和,产品,concentents,权力,concentrations,和指数-在足够的结构约束的电路,他们的操作,并提出了新的硬度结果的情况下,这些属性不满意。建立在这些操作,我们推导出一个统一的框架,推理听话的模型,概括了文献中的几个结果,并开辟了新的听话的推理方案。
2021-02-11 cs.AI cs.DS cs.LG
Tractable Epistemic Reasoning with Functional Fluents, Static Causal Laws and Postdiction
我们提出了一个易处理的认知推理的h-近似(HPX)理论的扩展的认知行动理论。与现有的易于处理的方法相比,该理论支持静态因果律的功能流畅性和事后推理。我们认为,这种组合是特别协同,因为它允许一个不仅执行直接postdiction的条件下的行动,但也间接postdiction的条件下的静态因果律。我们发现,尽管更丰富的表达,时间投影问题仍然易于处理(多项式),因此规划问题仍然是NP。我们提出了我们的理论的操作语义,以及它的制定答案集编程。
2020-11-25 cs.AI
Restructuring Tractable Probabilistic Circuits
University of California, Los Angeles(加州大学洛杉矶分校)
本文研究重构结构化概率电路以符合目标vtree,提出通用方法导出不同vtree电路相乘的多项式时间算法及保结构化可分解性的深度削减算法,为可处理推理开辟新途径。
2025-04-30 cs.AI cs.LG
Causal Unit Selection using Tractable Arithmetic Circuits
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
针对因果单元选择中传统VE算法受元模型约束树宽限制、计算成本高的问题,提出将元模型编译为可处理算术电路的方法,实现线性时间求解,实验验证其带来数量级速度提升。
2024-04-10 cs.AI cs.LG stat.ME
Polynomial Semantics of Tractable Probabilistic Circuits
University of California Los Angeles(加州大学洛杉矶分校)
本文证明二元变量上多种概率电路多项式语义可在多项式规模内相互转换,从而具有相同的边缘推断可处理性,并证明其向类别变量的扩展会使推断变为 #P-hard。
2024-08-08 cs.AI
A Quantum Information Theoretic Approach to Tractable Probabilistic Models
Örebro University(厄勒布鲁大学)
本文提出正单位电路(PUnCs),利用量子信息论将概率电路推广到正半定矩阵求值,从而严格扩展概率电路及PSD电路。
2025-07-05 cs.AI quant-ph
Understanding the Distillation Process from Deep Generative Models to Tractable Probabilistic Circuits
Tsinghua University(清华大学);University of California, Los Angeles(加州大学洛杉矶分校);Peking University(北京大学);Beijing Institute for General Artificial Intelligence(北京通用人工智能研究院)
概率电路(ProbabilityCircuits,PC)是用于支持各种推理任务(例如,计算边际概率)。为了在复杂的现实世界任务中实现这种推理能力,Liu等人(2022)提出从不太容易处理但更具表达力的深度生成模型中提取知识(通过潜在变量分配)。然而,目前还不清楚是什么因素使这种蒸馏工作良好。在本文中,我们从理论和实证上发现,PC的性能可以超过它的教师模型。因此,我们不是从最具表现力的深度生成模型执行蒸馏,而是研究教师模型和PC应该具有哪些属性,以实现良好的蒸馏性能。这导致了一个通用的算法改进,以及其他数据类型的特定于现有的潜在变量蒸馏管道。从经验上讲,我们在具有挑战性的图像建模基准测试中的表现远远优于SoTA TPM。特别地,在ImageNet 32上,PC实现了每维4.06比特,这仅落后于变分扩散模型0.34比特(Kingma等人,2021年)。
2023-02-16 cs.AI cs.LG
Tractable Representation Learning with Probabilistic Circuits
Technische Universität Darmstadt(达姆施塔特工业大学);University of Texas, Dallas(德克萨斯大学达拉斯分校);University of Edinburgh(爱丁堡大学);Universität Bremen(不来梅大学);University of Texas at Dallas(德克萨斯大学达拉斯分校)
提出自动编码概率电路 APCs,通过联合建模数据与概率嵌入实现端到端表示学习,在重建、嵌入质量及缺失数据鲁棒性上优于现有方法。
2025-07-26 cs.AI cs.LG
Tractable Sharpness-Aware Learning of Probabilistic Circuits
针对概率电路(PC)易过拟合的问题,提出基于Hessian迹的锐度感知正则化方法,可高效计算并适配PC训练,有效引导模型收敛至更平坦极小值,提升泛化能力。
2025-08-07 cs.AI cs.LG
Interventions and Counterfactuals in Tractable Probabilistic Models: Limitations of Contemporary Transformations
University of Edinburgh(爱丁堡大学);Alan Turing Institute(艾伦·图灵研究所)
近年来,人们对机器学习模型,特别是生成模型中与能力相关的性质的研究越来越感兴趣。虽然这是很好的动机,但它继承了概率推理的基本计算难度,使精确推理变得棘手。最近还出现了概率易处理模型,它保证条件边缘可以在时间上与模型大小呈线性关系计算,其中模型通常是从数据中学习的。虽然最初仅限于低树宽模型,但最近的易处理模型,如和积网络(SPN)和概率概率决策图(PSDD),利用了有效的函数表示,也捕获了高树宽模型。在本文中,我们提出了以下技术问题:我们是否可以使用这些模型表示或学习的分布来执行因果查询,例如关于干预和反事实的推理?通过呼吁一些现有的想法,将这些模型转换为贝叶斯网络,我们的答案大多是否定的。我们表明,当转换SPN的因果图干预推理减少到计算边际分布,换句话说,只有平凡的因果推理是可能的。对于PSDD,情况只是稍微好一点。首先,我们提供了一个算法,用于构建一个因果图从PSDD,它引入了增广变量。干预原始变量,再一次,减少到边际分布,但当干预的增广变量,一个确定性的,但尽管如此,cabinet语义可以提供PSDD。
2020-01-29 cs.AI
Probabilistic Generating Circuits
University of California Los Angeles(加州大学洛杉矶分校);Washington University in St. Louis(圣路易斯华盛顿大学)
生成函数广泛应用于组合学和概率论中,它将函数值编码为多项式的系数。在本文中,我们探讨了它们作为一个易于处理的概率模型的使用,并提出了概率生成电路(PGC)的有效表示。PGC比许多现有的易处理的概率模型,包括决定点过程(DPP),概率电路(PC),如和-积网络,和易处理的图形模型更严格的表达效率。我们认为,PGCs不仅是一个理论框架,统一了截然不同的现有模型,但也显示出巨大的潜力,在现实数据建模。我们展示了一个简单的类的PGC,不平凡的PC和DPP的简单组合,并获得竞争力的性能上的一套密度估计基准。我们还强调PGCs的连接到强瑞利分布的理论。
2021-06-11 cs.AI cs.LG
Causal Neural Probabilistic Circuits
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
提出因果神经概率电路(CNPC),通过结合神经属性预测器和从因果图编译的因果概率电路,支持遵循因果依赖的精确干预推理,从而提升概念瓶颈模型在干预下的分类准确率。
2026-06-02 cs.AI cs.LG
The Limits of Tractable Marginalization
Department of Computer Science, University of California, Los Angeles, United States(计算机科学系,加州大学洛杉矶分校,美国)
本文探讨了易处理边缘化的界限,证明在 FP≠#P 假设下,存在具有易处理边缘化但无法由已知算术电路模型高效表示的函数,并给出了相关的复杂度类层次结构与完备性结果。
2025-07-14 cs.AI cs.CC
SymCircuit: Bayesian Structure Inference for Tractable Probabilistic Circuits via Entropy-Regularized Reinforcement Learning
Department of Mechanical and Aerospace Engineering(机械与航空航天工程系)
SymCircuit通过熵正则化强化学习替代贪心算法,实现概率电路结构学习,采用语法约束的自回归Transformer生成有效电路,并在NLTCS数据集上显著提升样本效率。
2026-03-20 cs.AI cs.LG stat.ML
Probabilistic Graph Circuits: Deep Generative Models for Tractable Probabilistic Inference over Graphs
Artificial Intelligence Center, Czech Technical University(捷克技术大学人工智能中心)
本文提出概率图电路 PGC,以在图上实现精确高效的概率推理,并比较不同置换不变性策略在异常检测与分子图生成中的效果。
2025-03-15 cs.AI cs.LG
Sparse Feature Circuits: Discovering and Editing Interpretable Causal Graphs in Language Models
Northeastern University(东北大学);MIT(麻省理工学院);Technion – IIT(以色列理工学院)
本文提出稀疏特征电路方法,通过细粒度可解释特征构建因果子网络,并引入SHIFT提升分类器泛化,实现无监督可扩展的模型行为解释。
2025-03-27 cs.AI cs.CL cs.LG
Sum of Squares Circuits
University of Edinburgh(爱丁堡大学);Univ. Artois, CNRS, Centre de Recherche en Informatique de Lens (CRIL)(阿尔图瓦大学,法国国家科学研究中心,朗斯计算机科学研究中心)
本文提出平方和电路,一种比平方和单调概率电路更具表现力的新模型,并构建表现力层级以统一区分多种可处理模型,实验验证其在分布估计中的有效性。
2025-05-24 cs.AI cs.CC cs.LG
How Many Counterfactuals Does It Take? Probing VLM Hallucinations Through Circuits and Causal Effects
University of California, Berkeley(加州大学伯克利分校);DeepMind(深度思维)
本文通过定义基于对数概率差异的因果影响度量,并利用电路发现技术,研究视觉语言模型幻觉输出的反事实鲁棒性,推导出检测不稳定所需的最小反事实样本数。
2026-06-07 cs.AI cs.LG
Tractable Uncertainty for Structure Learning
University of Oxford(牛津大学)
贝叶斯结构学习允许人们捕获负责生成给定数据的因果有向无环图(DAG)上的不确定性。在这项工作中,我们提出了结构学习(TRUST)的可处理不确定性,这是一个近似后验推理的框架,它依赖于概率电路作为我们后验信念的表示。与基于样本的后验近似相比,我们的表示可以捕获更丰富的DAG空间,同时还能够通过一系列有用的推理查询来追溯不确定性。我们的经验表明,概率电路可以被用作结构学习方法的增强表示,从而提高推断结构的质量和后验不确定性。条件查询应答的实验结果进一步证明了TRUST的表示能力的实际效用。
2022-07-01 cs.AI cs.LG stat.ML
Planning over Chain Causal Graphs for Variables with Domains of Size 5 Is NP-Hard
Universitat Pompeu Fabra(庞培法布拉大学)
最近,相当多的焦点已被给予的问题,确定之间的边界的听话和棘手的规划问题。本文研究了规划问题类C_n中规划问题的复杂性,其特征是一元算子和有向路径因果图。虽然这是一个规划问题的因果图的最简单的形式之一,我们表明,规划是棘手的C_n(除非P = NP),即使状态变量的域有界的大小。特别地,我们证明了C_n^k的计划存在性是NP-困难的,其中k>=5。这里,k表示状态变量域的大小的上限。我们的结果将类C_n^k的复杂度差距缩小到k=3和k=4的情况,因为已知C_n^2是易处理的。
2014-01-15 cs.AI cs.CC
On Relaxing Determinism in Arithmetic Circuits
University of California, Los Angeles(加州大学洛杉矶分校)
在过去的十年里,人们对学习易处理的概率表示产生了极大的兴趣。算术电路(AC)是最早提出的易处理表示之一,随后的一些表示是具有较弱或较强属性的AC的实例。在本文中,我们提供了一个正式的基础上,AC的变种可以进行比较,其各种属性的精确角色和语义可以更加透明。这使我们能够把一些最近的发展在AC在一个更清晰的角度来看,也得到新的结果AC。这包括具有和不具有确定性的AC之间的指数分离;完整性和不完整性结果;以及在计算最可能的解释(MPE)时的易处理性结果(或缺乏易处理性结果)。
2017-08-22 cs.AI cs.LG
Findings of the BlackboxNLP 2025 Shared Task: Localizing Circuits and Causal Variables in Language Models
Technion – IIT(技术学院-理工学院);Rice University(里士满大学);Boston University(波士顿大学);Tilburg University(蒂尔堡大学);University of Groningen(格罗宁根大学);University of Zagreb(扎格雷布大学);Harvard University(哈佛大学)
黑箱NLP 2025共享任务评估了语言模型中电路和因果变量的本地化方法,通过集成和正则化策略提升了电路本地化性能,通过低维投影提升了因果变量本地化效果。
2025-11-23 cs.AI cs.CL
Causal AI For AMS Circuit Design: Interpretable Parameter Effects Analysis
University of Florida(佛罗里达大学)
本文提出基于因果推理的框架,通过SPICE仿真数据构建DAG并估算ATE,实现参数影响的可解释性分析,验证了因果AI在AMS设计中的高精度和可解释性。
2026-03-24 cs.AI cs.AR cs.LG
Geometry-Aware Probabilistic Circuits via Voronoi Tessellations
University of California, Berkeley(加州大学伯克利分校)
针对概率电路因数据无关混合权重而无法捕捉数据流形局部几何结构的问题,提出通过Voronoi剖分将几何结构直接融入求和节点,并开发近似推理框架和精确推理条件,最后引入可微松弛实现梯度学习,在密度估计任务上验证了有效性。
2026-05-30 cs.AI cs.LG
On the Relationship Between Probabilistic Circuits and Determinantal Point Processes
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
将概率模型扩展到大型现实问题和数据集是机器学习中的一个关键挑战。这项工作的核心是开发易处理的概率模型(TPM):模型的结构保证有效的概率推理算法。目前的贸易和预防机制是分散的:存在各种各样的贸易和预防机制,它们有不同的长处和短处。两个最突出的TPM类是决定点过程(DPP)和概率电路(PC)。本文首次系统地研究了它们之间的关系。我们提出了一个统一的分析和共享的语言来讨论DPP和PC。然后,我们建立了理论上的障碍,这两个家庭的统一,并证明,有情况下,DPPs没有紧凑的表示为一类PC。我们关闭统一这些听话的模型的中心问题的观点。
2020-06-26 cs.AI cs.LG
On the Hardness of Approximating Distributions with Tractable Probabilistic Models
School of Computing and Augmented Intelligence(计算与增强智能学院);Arizona State University(亚利桑那州立大学)
本文研究用可处理概率模型近似分布的难度,证明在有界f-散度下近似任意分布是NP难的,并揭示可分解PC与可分解确定性PC之间存在指数级规模差距。
2025-10-24 cs.AI
A Circuit, Not The Circuit: Non-Unique Causal Localisation of the Mamba-2 State Sink
Independent Researcher(独立研究者)
本文发现 Mamba-2 中的状态汇(state sink)可分解为两类功能头集,单桶探针仅能恢复执行层而遗漏检测层,表明表征相似性不等于功能等价。
2026-08-26 cs.AI cs.CL cs.LG
From Circuit Evidence to Mechanistic Theory: An Inductive Logic Approach
Department of Computer Science, University of Manchester(曼彻斯特大学计算机科学系);Idiap Research Institute(Idiap研究机构);CRUK National Biomarker Centre, University of Manchester(曼彻斯特大学癌症研究联盟国家生物标志物中心)
本文提出了一种基于归纳逻辑的方法,通过将电路解释视为归纳理论构建,为累积的机制科学提供形式化基础设施。该方法通过因果功能签名和建筑签名,明确机制主张,并在不同模型规模之间实现可移植性。
2026-05-20 cs.AI cs.LG cs.LO
Pattern Selectivity is Not Task-Causal Structure: A Cross-Architecture Mechanistic Study of Composed-Task Circuits in 1B-Class Language Models
B-Class Language Models(1B类语言模型);Cross-Architecture Mechanistic Study(跨架构机理研究)
通过统一协议测试三个1B类语言模型在四个组合任务上的注意力头电路,发现不同模型对同一任务使用不同的注意力模式,并引入五类筛选结果分类法,提出MoE模型基于前一个token位置基板构建组合任务电路的可证伪假设。
2026-06-03 cs.AI cs.LG
Belief or Circuitry? Causal Evidence for In-Context Graph Learning
Department of Computer Science, Tufts University, Medford, United States(计算机科学系,塔夫茨大学,梅德福,美国)
本文通过玩具图随机游走任务探讨LLM上下文学习机制,发现单一模式匹配或局部结构推断无法解释结果,提出双机制模型更符合数据。
2026-05-08 cs.AI cs.LG
Probabilistic Circuits That Know What They Don't Know
TU Darmstadt(达姆施塔特工业大学);Hessian Center for AI (hessian.AI)(黑森人工智能中心);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);Centre for Cognitive Science TU Darmstadt(达姆施塔特工业大学认知科学中心)
该研究发现概率电路(PCs)对分布外数据并不鲁棒,提出易处理的丢弃推理(TDI)方法,通过单次前向传播实现无采样的不确定性估计,提升了PCs的分布偏移与OOD鲁棒性。
2023-06-12 cs.AI cs.LG
A Taxonomy for Inference in Causal Model Families
TU Darmstadt(达姆施塔特工业大学);Hessian Center for AI (hessian.AI)(黑森人工智能中心);DFKI(德国人工智能研究中心)
Pearlian因果关系概念中的神经参数化结构因果模型(简称NCM)最近被引入,作为迈向下一代学习系统的一步。然而,NCM只关注因果推理的学习方面,但完全忽略了架构方面。也就是说,NCM中的实际因果推理是难以处理的,因为NCM不会在多项式时间内返回查询的答案。这种见解如下的推论更一般的声明上的棘手的任意SCM参数化,我们证明在这项工作中通过经典的3-SAT减少。由于未来的学习算法将需要处理高维数据和高度复杂的机制,管理数据,我们最终相信工作的因果关系是决定性的。我们还表明,并不是所有的“cathode”模型都是平等的。更具体地说,存在能够回答非SCM的因果查询的模型,我们将其称为\emph{partially causal models}(PCM)。我们提供了一个表格分类法的所有不同的模型家族,即基于相关性,PCM和SCM的易处理性属性。为了结束我们的工作,我们还提供了一些初步的想法,如何克服部分的难以处理的因果推理与SCM的SPN模块的参数化SCM至少可以允许听话的机制,通过显示一个例子。我们希望我们的不可能性结果以及因果模型中的易处理性分类可以提高人们对这一新研究方向的认识,因为在现实世界的下游任务中实现因果关系的成功不仅取决于学习正确的模型,因为我们还需要具有获得模型推理的实际能力。
2022-12-23 cs.AI cs.LG
Scaling Up Probabilistic Circuits by Latent Variable Distillation
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
针对概率电路(PCs)参数增多后性能易达平台期、现有优化器难以发挥其表达能力的问题,提出潜变量蒸馏方法,从Transformer生成模型提取信息指导PCs优化,在多个基准上提升了大型PCs性能,甚至媲美主流深度生成模型。
2024-12-11 cs.AI cs.LG
A Fixed-Parameter Tractable Algorithm for Counting Markov Equivalence Classes with the same Skeleton
Tata Institute of Fundamental Research(塔塔基础研究院)
本文针对计数具有给定骨架的马尔可夫等价类问题,提出了以树宽和最大度为参数的固定参数可解算法,核心贡献是引入shadow构造来局部描述长程约束。
2024-07-03 cs.AI cs.DS cs.LG
Sparse Probabilistic Circuits via Pruning and Growing
UCLA(加州大学洛杉矶分校)
概率电路(PC)是一种易于处理的概率分布表示,允许精确和有效地计算似然和边缘。最近在提高PC的规模和表现力方面取得了重大进展。然而,PC训练性能随着模型大小的增加而趋于稳定。我们发现,在现有的大型PC结构的大部分容量是浪费:全连接的参数层,只有稀疏使用。我们提出了两个操作:修剪和增长,利用PC结构的稀疏性。具体地,修剪操作移除PC的不重要的子网络用于模型压缩,并且具有理论保证。增长操作通过增加潜在空间的大小来增加模型容量。通过交替应用修剪和增长,我们增加了有意义地使用的容量,使我们能够显着扩展PC学习。从经验上讲,与其他PC学习器和不太容易处理的深度生成模型(如基于流的模型和变分自编码器(VAE))相比,我们的学习器在MNIST系列图像数据集和Penn Tree Bank语言数据上实现了最先进的可能性。
2022-11-22 cs.AI cs.LG
Interventional Causal Circuits for Safe Robot Action Testing and Failure Recovery
研究机器人动作安全测试及故障恢复问题,提出耦合联合概率树与因果电路并无需重新训练或额外数据收集的闭环框架,经实验验证该框架能减少失败尝试,且被拒计划可生成因果报告支持监督与恢复。
2026-07-17 cs.AI cs.RO
Causal Independence for Knowledge Acquisition and Inference
Microsoft Research(微软研究院);UCLA(加州大学洛杉矶分校)
我介绍了一个时间的信念网络表示的因果关系的独立性,知识工程师可以用来引出概率模型。与当前因果独立性的非时态信念网络表示法一样,新的表示法使知识获取变得容易处理。然而,与时间表示不同的是,时间表示可以简化推理,并且不需要使用不可观察的变量。该表示不如非时态表示通用,但似乎对许多实际应用很有用。
2015-05-16 cs.AI
Soft Learning Probabilistic Circuits
University of Technology of Compiègne(贡比涅技术大学)
本文提出名为SoftLearn的新学习过程,通过软聚类替代LearnSPN的硬聚类方法来诱导Probabilistic Circuits,实验证明其在多数情况下能获得更优似然和样本。
2024-03-21 cs.AI cs.LG
Scaling Continuous Latent Variable Models as Probabilistic Integral Circuits
Eindhoven University of Technology(埃因霍温理工大学);School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
本文针对概率积分电路仅支持树形结构且数值求积训练内存开销大的问题,提出基于任意变量分解的DAG构建流程、张量化训练方法及神经功能共享技术,实验证明QPC优于传统概率电路。
2025-02-05 cs.AI cs.LG
Attention Gathers, MLPs Compose: A Causal Analysis of an Action-Outcome Circuit in VideoViT
Sai V R Chereddy
本文通过因果分析揭示视频ViT中动作-结果回路的机理,发现注意力头负责收集证据,MLP块负责生成成功信号,展示了模型处理人类动作结果的核心计算模式。
2026-03-11 cs.AI cs.CV cs.LG
Multi-Granular Node Pruning for Causal Circuit Discovery
Department of Computer Science, University of Kentucky, USA(美国肯塔基大学计算机科学系);Department of Computer Science, Dalhousie University, Canada(加拿大达尔豪斯大学计算机科学系)
提出一种节点级剪枝框架,通过可学习掩码和多粒度稀疏惩罚,在单次微调中从大语言模型中高效发现最小因果电路,节点更少且性能相当,内存占用降低5-10倍。
2026-08-11 cs.AI
Adapting, Fast and Slow: On Few-Shot Transportability of Compositions
Causal Artificial Intelligence Lab(因果人工智能实验室)
研究在少样本场景下,通过因果传输性理论将源域学习到的因果机制组合成目标域预测器,并区分模块传输性和电路传输性,提出基于梯度松弛的电路搜索方法以实现快速或慢速适应。
2026-05-26 cs.AI cs.LG
Causal Interventions on Causal Paths: Mapping GPT-2's Reasoning From Syntax to Semantics
University of Southern California(南加州大学)
本研究针对大语言模型自然语言推理难以通过电路解析的问题,以GPT-2 small为对象开展因果句干预实验,发现因果句法定位在前2-3层、深层特定头关注语义关系,为表征LLM因果推理提供了初步依据。
2024-10-28 cs.AI cs.CL
A Refined View of Causal Graphs and Component Sizes: SP-Closed Graph Classes and Beyond
规划实例的因果图是规划实践和理论的重要工具。因果图的理论研究已经在很大程度上分析了规划实例的计算复杂性,其中因果图具有一定的结构,通常与其他参数(如变量的域大小)相结合。Chen和Gimand#233;nez甚至忽略了结构,只考虑了弱连通分量的大小。他们证明了,如果组件由一个常数限制,则规划是易处理的,否则就很难处理。然而,他们的棘手结果是由参数化复杂性理论的假设所决定的,该假设与标准复杂性类没有已知的有用关系。我们从标准复杂性类的角度来处理同样的问题,并证明了规划是NP-困难的类无界组件下的一个额外的限制,我们称为SP-封闭。然后,我们认为,大多数NP-硬度定理的因果图是很难应用,因此,证明了一个更一般的结果,即使组件的大小增长缓慢,类是不是密集的图形,规划仍然无法处理,除非多项式层次崩溃。这两个结果仍然成立时,限制类的无环因果图。最后,我们给出了NP-难和NP-中间类之间的边界的部分特征,进一步深入了解这个问题。
2014-02-04 cs.AI cs.DS
The Complexity of Planning Problems With Simple Causal Graphs
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
我们提出了三个新的复杂性结果的规划问题的简单因果图类。首先,我们描述了一个多项式时间的算法,使用宏生成计划的规划问题与二进制状态变量和非循环因果图的类3S。这意味着,即使规划问题有一个指数长的最小解,规划生成可能是易处理的。我们还证明了多值变量和链式因果图规划问题的计划存在性问题是NP-困难的。最后,我们证明了二元状态变量和多树因果图规划问题的计划存在性是NP-完全的。
2011-10-31 cs.AI
Sparse Probabilistic Graph Circuits
Artificial Intelligence Center, Czech Technical University, Prague, Czech Republic(人工智能中心、捷克技术大学、布拉格、捷克共和国)
为解决概率图电路在稠密图上$\mathcal{O}(n^2)$的复杂度问题,提出稀疏概率图电路(Sparse PGCs),直接在稀疏图表示上运行将复杂度降至$\mathcal{O}(n + m)$,在保留精确推理能力的同时提升了效率并在药物设计指标上匹配了不可解模型。
2025-08-11 cs.AI cs.LG
How to Marginalize in Causal Structure Learning?
针对因果结构学习中动态规划边缘化限制节点父节点集的问题,提出基于易处理概率回路的边缘化方法,通过双目标训练回路实现快速精确边缘化,提升贝叶斯结构学习器性能。
2025-11-18 cs.AI cs.LG
Sum-Product-Set Networks: Deep Tractable Models for Tree-Structured Graphs
Artificial Intelligence Center, Czech Technical University(捷克技术大学人工智能中心)
针对现有生成式概率模型在树结构图上推断不可处理的问题,提出将概率电路扩展到树结构图数据的和积集网络,通过随机有限集实现高效精确推断,性能与多种神经网络类不可处理模型相当。
2024-08-18 cs.AI cs.LG