Independence of Causal Influence and Clique Tree Propagation
Hong Kong University of Science & Technology(香港科技大学)
研究了因果影响独立性在贝叶斯网络推理中的作用。ICI允许将条件概率表分解成更小的块。我们描述了一种利用团树传播(CTP)中的因子分解的方法-贝叶斯网络的最先进的精确推理算法。我们还提出了实证结果表明,所得到的算法是显着更有效的CTP和以前的技术相结合,利用ICI。
2013-02-06 cs.AI
Loopy Belief Propagation for Approximate Inference: An Empirical Study
最近,研究者们证明了在具有纠错码循环的贝叶斯网络中使用Pearls多叉树算法的循环信念传播,其中最引人注目的例子是Turbo码的性能接近Shannon极限,其译码算法等价于链结构贝叶斯网络中的循环信念传播.在本文中,我们要问:纠错码上下文中是否有什么特殊之处,或者循环传播在更一般的设置中是否作为一种近似推理方案工作?我们比较了在四种贝叶斯网络结构中使用循环传播计算的边缘值和精确的边缘值,包括两个真实世界的网络:ALARM和QMR.我们发现循环信念经常收敛,并且当它们收敛时,它们给出了正确边缘值的一个很好的近似.然而,在QMR网络上,循环信念振荡,并且与正确的后验没有明显的关系.我们对这些振荡的原因进行了初步的研究,并指出一些防止它们的简单方法会导致错误的结果。
2013-01-23 cs.AI cs.LG
Efficient Enumeration of Instantiations in Bayesian Networks
Microsoft Corporation(微软公司);Recom Technologies(Recom技术公司);NASA Ames Research Center(NASA艾姆斯研究中心)
在过去的几年中,贝叶斯网络已经被应用于各种各样的问题。应用贝叶斯网络的一个中心问题是找到一个或多个最可能的网络实例。在本文中,我们开发了一个有效的算法,递增枚举的实例贝叶斯网络的概率降序。这种枚举算法可应用于从医学专家系统到基于模型的诊断的各种应用中。从根本上说,我们的算法只是对网络的所有实例化的排序列表执行惰性枚举。这种见解导致了一个非常简洁的算法语句,既容易理解和实现。我们表明,对于单连接的网络,我们的算法生成的下一个实例化的时间多项式的网络的大小。该算法扩展到任意贝叶斯网络使用标准的条件技术。我们经验评估的枚举算法,并证明其实用性。
2013-02-13 cs.AI
SLIM: Semi-Lazy Inference Mechanism for Plan Recognition
Ben-Gurion University of the Negev(内盖夫本-古里安大学)
计划识别算法需要识别一个完整的层次结构,解释代理的行动和目标。虽然这种算法的输出是信息的识别器,其计算的成本是高的运行时间,空间和完整性。此外,在线执行计划识别需要观察代理对尚未看到的未来行动进行推理,并维护一组假设来支持所有可能的选项。本文提出了一种新的有效的在线计划识别算法SLIM(半惰性推理机制)。它结合了自下而上和自上而下的解析过程,允许它只实时提交最少的必要操作,但仍然提供完整的假设事后。我们从理论上和经验表明,虽然这个过程的计算成本仍然是指数级的,有一个显着的改善,在运行时间相比,最先进的计划识别算法。
2017-03-02 cs.AI
Rethinking Propagation for Unsupervised Graph Domain Adaptation
Zhejiang University(浙江大学);National University of Singapore(新加坡国立大学);Tsinghua University(清华大学)
针对无监督图域适应,本文重新审视 GNN 的传播过程,通过理论分析证明移除源图传播层、堆叠目标图传播层可收紧风险界,并据此提出简单有效的 A2GNN 方法,实验验证其有效性。
2024-02-08 cs.AI cs.LG
Wide Neural Networks Forget Less Catastrophically
Washington State University(华盛顿州立大学);DeepMind(深度思维)
持续学习研究的一个主要焦点领域是通过设计对分布偏移更鲁棒的新算法来减轻神经网络中的“灾难性遗忘“问题。虽然最近在持续学习文献方面的进展令人鼓舞,但我们对神经网络的哪些属性导致灾难性遗忘的理解仍然有限。为了解决这个问题,而不是专注于持续学习算法,在这项工作中,我们专注于模型本身,研究神经网络架构的“宽度”对灾难性遗忘的影响,并表明宽度对遗忘有着惊人的显著影响。为了解释这种效应,我们从各种角度研究了网络的学习动态,例如梯度正交性,稀疏性和懒惰训练机制。我们提供了潜在的解释,是一致的经验结果,在不同的架构和持续学习基准。
2022-07-14 cs.AI cs.CV cs.LG
Cellular Network Radio Propagation Modeling with Deep Convolutional Neural Networks
Futurewei Technologies, Inc.(未来wei技术有限公司);Huawei Technologies, Co., Ltd.(华为技术有限公司)
无线传播建模和预测是现代蜂窝网络规划和优化的基础。传统的无线电传播模型分为两类。基于粗略统计的经验模型简单且计算效率高,但由于过度简化而不准确。确定性模型,如基于波传播物理定律的光线追踪,更准确,更具有场地特异性。但它们具有较高的计算复杂性,并且不灵活地利用传统全球信息系统(GIS)地图以外的站点信息。在这篇文章中,我们提出了一种新的方法来模拟无线电传播使用深卷积神经网络和报告显着提高性能相比,传统的模型。我们还为无线电传播的数据驱动建模奠定了框架,并使未来的研究能够利用丰富的非常规信息,例如卫星照片,以提供更准确和灵活的模型。
2021-10-05 cs.AI cs.IT cs.LG
Global Difference Constraint Propagation for Constraint Programming
研究如何构建全局差异约束传播器,核心方法是将差异约束同时处理,主要贡献是能显著改进标准传播方法,还展示了如何在惰性子句生成求解器中使用并解释该传播器。
2026-07-23 cs.AI
LOFA: Online Influence Maximization under Full-Bandit Feedback using Lazy Forward Selection
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
LOFA通过利用次模性质和懒惰前向选择,在全伯德反馈下实现更低的实证后悔,优于现有算法。
2026-01-02 cs.AI cs.LG cs.SI
How connectivity structure shapes rich and lazy learning in neural circuits
University of Washington(华盛顿大学);Allen Institute for Brain Science(艾伦脑科学研究所);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);Samsung - SAIT AI Lab(三星-SAIT人工智能实验室);McGill University(麦吉尔大学);Université de Montréal(蒙特利尔大学)
本文研究初始权重有效秩如何影响神经网络学习机制,发现高秩初始化通常导致更惰性的学习,低秩初始化偏向更丰富的学习,但低秩初始化若与任务数据统计对齐也可产生惰性学习。
2024-02-19 cs.AI cs.NE q-bio.NC
Lazy Parameter Tuning and Control: Choosing All Parameters Randomly From a Power-Law Distribution
ITMO University(伊蒂莫大学);CNRS(法国国家科学研究中心);École Polytechnique(巴黎综合理工学院);Institut Polytechnique de Paris(巴黎理工学院)
针对进化算法参数调优与动态控制难题,提出从缩放幂律分布随机选参数的惰性方案,经理论与实验验证,该方案在多类问题上性能媲美甚至优于最优静态参数设置。
2023-03-10 cs.AI cs.NE
Empirical Evaluation of Approximation Algorithms for Probabilistic Decoding
University of California, Irvine(加州大学尔湾分校)
最近表明,通过噪声信道传输的解码消息的问题可以用公式表示为概率网络上的信念更新任务[McEliece]。此外,据观察,迭代应用(线性时间)珍珠的信念传播算法设计的多边形树优于最先进的解码算法,即使相应的网络可能有许多周期。本文证明了经验的近似算法approx-mpe解决最可能的解释(MPE)问题,最近提出的小桶消除框架内[Dechter 96],优于迭代置信传播类的编码网络,有界的诱导宽度。我们的实验表明,近似MPE解码器可以很好的竞争对手的近似信念更新解码器。
2013-01-30 cs.AI
Belief Propagation for Structured Decision Making
University of California, Irvine(加州大学尔湾分校)
变分推理算法(如置信传播)对我们学习和使用图形模型的能力产生了巨大的影响,并为开发或理解精确和近似推理提供了许多见解。然而,变分方法还没有被广泛采用的决策图形模型,往往制定通过影响图,包括集中和分散(或多代理)的决定。在这项工作中,我们提出了一个通用的变分框架解决结构化合作决策问题,使用它来提出几个信念传播类算法,并分析他们的理论和经验。
2012-10-16 cs.AI
Join-Graph Propagation Algorithms
Microsoft Research(微软研究院);University of California Irvine(加利福尼亚大学欧文分校);University of Washington(华盛顿大学)
本文研究了参数化的近似消息传递方案,是基于有界推理和珍珠的信念传播算法(BP)的启发。我们从有界推理的小型聚类算法开始,然后转移到称为迭代连接图传播(IJGP)的迭代方案,它结合了迭代和有界推理。算法IJGP属于广义置信传播算法类,这是一个允许与统计物理近似算法连接的框架,并且经验证明它超越了小型聚类和置信传播的性能,以及其他一些最先进的算法在几类网络上的性能。我们还提供了深入了解的准确性,迭代BP和IJGP相关的这些算法,众所周知的类的约束传播计划。
2014-01-15 cs.AI
Iterative Join-Graph Propagation
University of California, Irvine(加州大学尔湾分校)
本文提出了一种迭代的连接树聚类算法,将连接树聚类算法的消息传递应用于连接图,而不是连接树,迭代。它一方面受到Pearl的置信传播算法作为迭代近似方案的成功的启发,另一方面受到最近引入的一种小型聚类算法的启发。另一方面,成功作为一种随时近似的方法。建议的迭代连接图传播IJGP属于类的广义的信念传播方法,最近提出的统计物理学中的算法使用类比。这种方法对一些问题类的实证评估表明,即使是最省时的变体几乎总是优于IBP和MC i,有时更准确的几个数量级。
2012-12-12 cs.AI
Efficient and accurate group testing via Belief Propagation: an empirical study
Goethe University(歌德大学)
组测试问题要求有效的汇集方案和算法,允许筛选适度大量的样本罕见的感染。目标是在进行尽可能少的测试的同时准确识别受感染的样本。探索使用的技术集中在信念传播消息传递算法,我们提出了一个新的测试设计,显着提高了结果的准确性。新的设计带有置信传播作为一种有效的推理算法。针对实际而不是渐近问题大小的结果,我们进行了实验研究。
2021-05-13 cs.AI cs.DM cs.IT
Uncertainty Propagation in XAI: A Comparison of Analytical and Empirical Estimators
Berliner Hochschule für Technik(柏林应用技术大学);Einstein Center Digital Future(爱因斯坦数字未来中心)
本文提出统一框架量化XAI中的不确定性传播,通过解析与经验估计器比较,识别出无法可靠捕获和传播不确定性的XAI方法,为高风险应用中的不确定性感知解释提供新见解。
2025-04-01 cs.AI cs.CV cs.LG
Explore the Potential of LLMs in Misinformation Detection: An Empirical Study
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院)
本文通过在8个数据集上的实证研究,全面评估了LLMs在虚假信息检测中的表现,发现其在文本检测上性能相当但在传播结构理解上受限,并证实其能增强现有模型。
2024-12-25 cs.AI cs.CL cs.CY
Divergence of Empirical Neural Tangent Kernel in Classification Problems
Noah’s Ark Lab, Huawei Technologies Ltd.(华为技术有限公司诺亚实验室);Department of Mathematical Sciences, Tsinghua University(清华大学数学科学系);Department of Statistics and Data Science, Tsinghua University(清华大学统计与数据科学系)
本文证明在分类问题中,使用交叉熵损失的全连接和残差神经网络在过训练时经验神经正切核(NTK)发散,无法被基于NTK的核逻辑回归近似,揭示了NTK理论在分类任务中的局限性。
2025-07-12 cs.AI cs.LG stat.ML
Accuracy Bounds for Belief Propagation
Toyota Technological Institute, Chicago(丰田理工学院芝加哥分校)
置信传播(BP)算法被广泛应用于对任意图形模型进行近似推理,部分原因是其出色的经验性质和性能。然而,理论上很少知道这个算法何时会表现良好。利用最近的BP算法的收敛性和稳定性分析以及二进制系统近似的新结果,我们推导出BP算法对离散值随机变量的两两马尔可夫随机场的估计误差的界。我们的边界是相对简单的计算,并与以前的方法相比,毫不逊色的边界BP的准确性。
2012-06-20 cs.AI cs.LG stat.ML
Expectation Particle Belief Propagation
University of Oxford(牛津大学)
我们提出了一个原始的基于粒子的实现的循环信念传播(LPB)算法的两两马尔可夫随机场(MRF)的连续状态空间。该算法构造自适应有效的建议分布近似的局部信念在每个音符的MRF。这是通过考虑指数族中的建议分布来实现的,其参数在期望传播(EP)框架中迭代更新。所提出的粒子方案提供一致的估计的LBP边缘的粒子数的增加。我们证明,它提供了更准确的结果比粒子信念传播(PBP)算法的Ihler和McAllester(2009)在一小部分的计算成本,另外更强大的经验。我们的算法在每次迭代的计算复杂度是粒子数的平方。我们还提出了一个加速实现与次二次计算复杂性,仍然提供相合估计的循环BP边缘分布,并执行几乎以及原始程序。
2015-06-19 cs.AI stat.CO stat.ML
Bayesian inference and neural estimation of acoustic wave propagation
University of Cambridge(剑桥大学);University of Oxford(牛津大学)
本文提出一种融合物理与机器学习的新框架分析声学信号,通过贝叶斯推断、神经-物理模型和非线性最小二乘法推断传播系数,进而获得房间脉冲响应并实现带不确定性的重新定位,并在模拟数据上验证了其简洁性与高效性。
2023-05-28 cs.AI cs.SD eess.AS
Relaxed Scheduling for Scalable Belief Propagation
ITMO University(圣彼得堡国立信息技术机械与光学大学);IST Austria(奥地利科学技术研究所)
利用大规模硬件并行性的能力是机器学习最近加速进展的关键推动因素之一。因此,已经投入了相当大的努力来开发经典机器学习算法的高效并行变体。然而,尽管并行化的知识丰富,一些经典的机器学习算法往往难以并行化的同时保持收敛。在本文中,我们专注于高效的并行算法的关键机器学习任务的推理图形模型,特别是在基本的信念传播算法。我们解决的挑战,有效地并行化这一经典的范例,显示如何利用可扩展的放松的并行程序在这种情况下。我们提出了一个广泛的实证研究,表明我们的方法优于以前的并行信念传播实现的可扩展性和挂钟收敛时间方面,在一系列的实际应用。
2021-01-18 cs.AI cs.DC cs.LG