Scaling Online Complex Event Detection with Synthetic Supervision and Mamba-Based Neural Algorithmic Reasoning
University of California, Los Angeles（加州大学洛杉矶分校）；University of Brescia（布雷西亚大学）；Hong Kong University of Science and Technology（香港科学与技术大学）；US Army DEVCOM Army Research Laboratory（美国陆军 DEVCOM 军事研究实验室）；Amazon（亚马逊）
针对在线复杂事件检测的规则学习瓶颈，提出NAROCE框架，利用合成轨迹预训练Mamba推理器并适配传感器数据，在压力测试中优于基线且大幅降低标注与计算需求。
2026-09-14 cs.AI cs.LG
Towards Neural Network-based Reasoning
The Chinese University of Hong Kong（香港中文大学）；Noah’s Ark Lab, Huawei Technologies（华为技术有限公司诺亚方舟实验室）
我们提出了神经推理机，一个基于神经网络的自然语言句子推理框架。给定一个问题，神经推理器可以推断多个支持事实，并以特定形式找到问题的答案。Neural Reasoner具有1）特定的交互池机制，允许它检查多个事实，以及2）深度架构，允许它在推理任务中建模复杂的逻辑关系。假设问题和事实中不存在特定的结构，神经推理器能够适应不同类型的推理和不同形式的语言表达。尽管模型很复杂，但神经推理器仍然可以以端到端的方式进行有效的训练。我们的实证研究表明，神经推理可以优于现有的神经推理系统，在[8]中提出的两个困难的人工任务（位置推理和路径查找）上具有显着的优势。例如，它将路径查找（10K）的准确率从33.4%提高到98%以上。
2015-08-22 cs.AI cs.CL cs.LG
Minding Language Models' (Lack of) Theory of Mind: A Plug-and-Play Multi-Character Belief Tracker
Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）；Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
本文提出即插即用的 SymbolicToM，在解码阶段以符号图形追踪多角色及高阶信念，在零样本和分布外场景下显著提升现成语言模型的心智理论推理能力。
2023-06-01 cs.AI cs.CL cs.LG
Variational Neural Belief Parameterizations for Robust Dexterous Grasping under Multimodal Uncertainty
Department of Electrical & Computer Engineering and Institute for Systems Research, University of Maryland, College Park, MD, USA（电气与计算机工程系和系统研究所，马里兰大学，College Park, MD, USA）；Maryland Applied Graduate Engineering, A. James Clark School of Engineering, University of Maryland, College Park, MD, USA（马里兰应用研究生工程学院，A. James Clark工程学院，马里兰大学，College Park, MD, USA）
本文提出变分推理方法，通过可微高斯混合模型表示信念，利用Gumbel-Softmax和位置-尺度重参数化实现平滑采样，提升抓取鲁棒性并减少规划时间。
2026-07-28 cs.LG cs.RO cs.SY
Project Auto-World: Towards Automated Benchmarking of Neural Relational Reasoners
Cardiff University（卡迪夫大学）；University of Pennsylvania（宾夕法尼亚大学）
利用大语言模型自动化生成基准测试实例，通过进化搜索和自主代理搜索发现困难样本，提升Edge Transformer的泛化能力，并应用于新世界以推动神经关系推理的自主研究。
2026-06-25 cs.AI cs.LG
Bayesian Attention Belief Networks
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Xidian University（西安电子科技大学）
基于注意力的神经网络已经在广泛的任务上取得了最先进的成果。大多数此类模型使用确定性注意，而随机注意由于优化困难或复杂的模型设计而较少探索。本文介绍了贝叶斯注意力信念网络，它构造了一个解码器网络建模未规范化的注意力权重与伽玛分布的层次，和一个编码器网络堆叠Weibull分布与确定性向上随机向下的结构，以近似后验。由此产生的自动编码网络可以以具有变分下界的可微方式进行优化。将任何具有确定性注意力的模型（包括预先训练的模型）转换为所提出的贝叶斯注意力信念网络是很简单的。在各种语言理解任务中，我们证明了我们的方法在准确性、不确定性估计、跨域泛化和对对抗攻击的鲁棒性方面优于确定性注意和最先进的随机注意。我们进一步证明了我们的方法在神经机器翻译和视觉问答上的普遍适用性，显示出将我们的方法纳入各种注意力相关任务的巨大潜力。
2021-06-09 cs.CL cs.LG stat.ML
BeliefPPG: Uncertainty-aware Heart Rate Estimation from PPG signals via Belief Propagation
ETH Zürich（苏黎世联邦理工学院）
本研究提出BeliefPPG方法，结合神经网络与置信传播处理PPG信号，实现了具备校准不确定性的心率估计，在八个公开数据集的交叉验证中展现出鲁棒性与当前最优性能。
2023-06-14 cs.CV cs.LG eess.SP
Epistemic Deep Learning
Demspter-Shafer证据理论中提出的不确定性量化的信度函数方法是建立在集值观测的一般数学模型（称为随机集）上的。集值预测是机器学习中最自然的不确定性表示。在本文中，我们引入了一个称为认知深度学习的概念，该概念基于对信念函数的随机集解释来建模深度神经网络中的认知学习。我们提出了一种新的随机集卷积神经网络的分类，通过学习集值地面真值表示产生的类集的分数。我们评估不同配方的熵和距离措施的信念功能作为可行的损失函数，这些随机集网络。我们还讨论了评估认知预测的质量和认知随机集神经网络的性能的方法。我们通过实验证明，与传统的估计不确定性的方法相比，认知方法产生更好的性能结果。
2022-06-15 cs.LG cs.NE stat.ML
The Deep Equilibrium Algorithmic Reasoner
University of Cambridge（剑桥大学）；MediaTek Research（联发科研究院）
针对神经算法推理依赖循环架构、需逐步对齐算法迭代的问题，本文提出直接求解均衡点来训练 GNN，并通过实验验证了该方法的有效性。
2024-04-09 cs.LG
A Smooth Representation of Belief over SO(3) for Deep Rotation Learning with Uncertainty
University of Toronto（多伦多大学）；Massachusetts Institute of Technology（麻省理工学院）
准确的旋转估计是机器人感知任务的核心，例如视觉里程计和物体姿态估计。深度神经网络为执行这些任务提供了一种新的方法，旋转表示的选择是网络设计的重要组成部分。在这项工作中，我们提出了一种新的3D旋转群SO（3）的对称矩阵表示，具有两个重要的性质，使其特别适合于学习模型：（1）它满足在回归大的旋转目标时改进收敛和泛化的平滑特性，以及（2）它在单位四元数空间上编码对称Bingham信念，允许训练不确定性感知模型。我们通过在两种数据模式上训练深度神经旋转回归器来实证验证我们的公式的好处。首先，我们使用合成的点云数据表明，我们的表示导致优越的预测精度比现有的表示任意旋转目标。其次，我们使用的图像数据收集机载地面和空中车辆证明，我们的代表是服从一个有效的分布（OOD）拒绝技术，显着提高了旋转估计的鲁棒性看不见的环境影响和损坏的输入图像，而不需要使用显式的似然损失，随机采样，或辅助分类。这种能力对于安全关键型应用至关重要，在这些应用中，检测新的输入可以防止学习模型的灾难性故障。
2021-01-17 cs.CV cs.LG
Anatomy of a Sound Neural Reasoner: One-Shot Amortization, First-Pass Poisoning, and Search Inertness in Clue-Rich Completion
Neapolis University, Pafos（帕福斯新帕福斯大学）
研究富含线索填数问题中神经推理器的表现，发现LDT存在首次通过中毒等问题，添加CoLT可减少无效推导，还给出两种干预措施提升准确率，指出类似LDT系统是一次性摊销预测器，搜索主要消除计算浪费。
2026-07-23 cs.AI cs.LG
Neural Algorithmic Reasoners are Implicit Planners
Mila – Québec AI Institute（米拉-魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）；DeepMind（深度思维公司）；Faculty of Mathematics（数学学院）；University of Belgrade（贝尔格莱德大学）；HEC Montréal（蒙特利尔高等商学院）
隐式规划已经成为一种优雅的技术，用于将世界的学习模型与端到端的无模型强化学习相结合。我们研究类隐式规划启发值迭代，算法，保证产生完美的政策，在完全指定的表格环境。我们发现，以前的方法要么假设环境是以这样一种表格形式提供的-这是高度限制性的-或推断“局部邻域”的状态运行值迭代-为此，我们发现了一个算法瓶颈效应。这种影响是由于在每个状态下基于标量预测显式地运行规划算法而引起的，如果不正确地预测这些标量，则这可能对数据效率有害。我们提出了执行潜在值迭代网络（XLVIN），缓解了上述限制。我们的方法在高维潜在空间中执行所有规划计算，打破了算法瓶颈。它通过仔细利用神经图算法推理和对比自监督学习来保持与价值迭代的一致。在八个低数据设置中-包括经典控制，导航和Atari -XLVIN相对于基于值迭代的隐式规划器以及相关的无模型基线，显著提高了数据效率。最后，我们通过经验验证了XLVIN可以与价值迭代紧密结合。
2021-10-11 cs.AI cs.LG stat.ML
Latent Space Representations of Neural Algorithmic Reasoners
University of Cambridge（剑桥大学）；Google DeepMind（谷歌DeepMind）
本文分析了GNN执行算法时潜空间的两种失败模式，提出使用softmax聚合器解决分辨率丢失并衰减潜空间处理范围外值，在CLRS-30基准上取得性能提升。
2024-04-29 cs.LG stat.ML
Recurrent Aggregators in Neural Algorithmic Reasoning
University of Cambridge（剑桥大学）；Google DeepMind（谷歌DeepMind）
本文针对神经算法推理中 GNN 的等变聚合设计，提出以循环神经网络替代聚合器的 RNAR，并在 CLRS-30 的 Heapsort 与 Quickselect 上取得最先进结果。
2024-12-01 cs.AI cs.LG
Deep Learning for Ontology Reasoning
University of Oxford（牛津大学）
在这项工作中，我们提出了一种新的方法，本体推理是基于深度学习，而不是基于逻辑的形式化推理。为此，我们引入了一个新的模型，建立在深度递归神经网络的统计关系学习，并给出实验证据，它可以很容易地竞争，甚至优于，现有的基于逻辑的推理机的本体推理的任务。更确切地说，我们比较了我们实现的系统与目前最好的基于逻辑的本体推理机之一，RDFox，在一些大型标准基准数据集，发现我们的系统获得了高推理质量，同时高达两个数量级的速度。
2017-05-29 cs.AI cs.LG
Neural Recursive Belief States in Multi-Agent Reinforcement Learning
DeepMind（深度思维）
在多智能体强化学习中，学习行动的问题特别困难，因为合作者的策略可能严重依赖于仅由他们观察到的信息。另一方面，人类很容易形成关于同伴所拥有的知识的信念，并利用信念来为决策提供信息。这种能力是个人在各种马尔可夫博弈中成功的基础，从扑克牌中的虚张声势到囚徒困境中的有条件合作，再到桥牌中的惯例建立。经典方法通常不适用于复杂的领域，由于层次信念（即其他代理人的信念）的棘手性质。我们提出了一种可扩展的方法，使用递归深度生成模型来近似这些信念结构，并使用信念模型来获得对复杂任务有用的表示。我们用信念模型训练的代理优于无模型基线，具有相同的代表能力，使用常见的训练范式。我们还表明，高阶信念模型优于代理与低阶模型。
2021-02-03 cs.AI cs.LG cs.MA
Crystal: Introspective Reasoners Reinforced with Self-Feedback
Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）；FAIR, Meta（Meta 基础人工智能研究院）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
提出内省式常识推理器 Crystal，通过强化学习调优知识内省与基于知识的推理模式，利用模型自反馈作为奖励，显著提升了推理性能与透明度。
2023-10-18 cs.AI cs.CL cs.LG
Explainable Deep Belief Network based Auto encoder using novel Extended Garson Algorithm
Institute for Development and Research in Banking Technology（银行业技术发展与研究所）；University of Hyderabad（海得拉巴大学）
机器学习中最困难的任务是解释训练好的浅层神经网络。深度神经网络（DNN）在大量任务上提供了令人印象深刻的结果，但通常仍不清楚这种经过训练的深度神经网络如何做出决策。提供特征重要性是在浅层和深层神经网络中使用的最重要和最流行的解释技术。在本文中，我们开发了一种算法，扩展了Garson算法的思想来解释基于深度信念网络的自动编码器（DBNA）。它用于确定DBN中每个输入特征的贡献。它可以用于任何类型的神经网络与许多隐藏层。该方法的有效性进行了测试的分类和回归数据集取自文献。通过这种方法确定的重要功能进行比较，对Wald卡方（\c{hi} 2）。对于4个分类数据集中的2个和5个回归数据集中的2个，我们提出的方法导致识别出质量更好的特征，从而导致与Wald \c{hi} 2相比统计上更显著的结果。
2022-07-18 cs.AI cs.LG
Fully Statistical Neural Belief Tracking
PolyAI；Language Technology Lab, University of Cambridge（剑桥大学语言技术实验室）
本文提出了一种改进现有的数据驱动的神经信念跟踪（NBT）框架的对话状态跟踪（DST）。现有的NBT模型使用手工制作的信念状态更新机制，每当模型被部署到新的对话域时，该机制涉及昂贵的手动重新调整步骤。我们表明，这种更新机制可以与NBT模型的语义解码和上下文建模部分联合学习，消除了DST框架中最后一个基于规则的模块。我们提出了两种不同的统计更新机制，并表明对话动态可以建模与一个非常小的额外的模型参数。在我们对三种语言的DST评估中，我们表明该模型具有竞争力的性能，并为构建资源轻的DST模型提供了一个强大的框架。
2018-05-29 cs.AI cs.CL cs.LG
Equilibrium Reasoners: Learning Attractors Enables Scalable Reasoning
CMU（卡内基梅隆大学）
本文提出平衡推理器（EqR），通过学习任务条件的吸引子来实现可扩展推理，该方法在测试时无需外部验证器或任务特定先验，通过增加深度和广度实现推理能力的提升，从而在Sudoku-Extreme上将准确率从2.6%提升至超过99%。
2026-05-20 cs.LG
Neural Belief Tracker: Data-Driven Dialogue State Tracking
University of Cambridge（剑桥大学）；Apple Inc.（苹果公司）
现代口语对话系统的核心组件之一是信念跟踪器，它估计用户在对话的每一步的目标。然而，目前大多数方法难以扩展到更大、更复杂的对话领域。这是由于它们依赖于：a）需要大量带注释的训练数据的口语语言理解模型;或者b）用于捕获用户语言中的一些语言变化的手工制作的词典。我们提出了一个新的神经信念跟踪（NBT）框架，克服了这些问题的最新进展，表示学习。NBT模型对预先训练的词向量进行推理，学习将它们组合成用户话语和对话上下文的分布式表示。我们对两个数据集的评估表明，这种方法超越了过去的局限性，与依赖手工制作的语义词典的最新模型的性能相匹配，并且在不提供此类词典时表现优于它们。
2017-04-21 cs.AI cs.CL cs.LG
Neural Enhanced Belief Propagation on Factor Graphs
University of Amsterdam（阿姆斯特丹大学）；UvA-Bosch Delta Lab（阿姆斯特丹大学博世三角洲实验室）
图模型是局部相关随机变量的结构化表示。对这些随机变量进行推理的传统方法是使用置信传播进行推理。当提供真实的数据生成过程时，置信传播可以推断树结构因子图中的最优后验概率估计。然而，在许多情况下，我们可能只能获得数据生成过程的差近似，或者我们可能会面临因子图中的循环，导致次优估计。在这项工作中，我们首先扩展图神经网络的因子图（FG-GNN）。然后，我们提出了一个新的混合模型，结合运行的FG-GNN与信念传播。FG-GNN在每次推理迭代时接收来自置信传播的输入消息，并输出它们的校正版本。因此，我们得到一个更准确的算法，结合了信念传播和图神经网络的好处。我们将我们的想法纠错解码任务，我们表明，我们的算法可以优于信念传播LDPC码在突发信道。
2021-03-16 cs.LG stat.ML
Neural Predictive Belief Representations
DeepMind（深度思维）
无监督表示学习在许多应用中取得了很好的效果。它是一个特别强大的工具，可以学习具有部分或噪声观测的环境的良好表示。在部分可观察域中，重要的是表示编码一个信念状态，这是迄今为止观察到的足够的统计数据。在本文中，我们研究是否有可能使用现代神经架构来学习这样的信念表示。具体来说，我们专注于一步帧预测和对比预测编码（CPC）的两个变体作为学习表示的目标函数。为了评估这些学习到的表示，我们测试它们在多大程度上可以预测关于环境的底层状态的各种信息，例如，代理在3D迷宫中的位置。我们表明，所有这三种方法都能够学习环境的信念表示，它们不仅编码状态信息，而且还编码其不确定性，这是信念状态的一个重要方面。我们还发现，对于CPC，多步预测和动作调节对于在视觉复杂环境中准确的信念表示是至关重要的。神经表征捕获信念信息的能力有可能刺激部分可观察领域的学习和规划的新进展，其中利用不确定性对于最佳决策至关重要。
2019-08-19 cs.LG stat.ML
Conversational Multi-Hop Reasoning with Neural Commonsense Knowledge and Symbolic Logic Rules
Facebook（脸书）；EPFL（洛桑联邦理工学院）；University of Washington（华盛顿大学）；Carnegie Mellon University（卡内基梅隆大学）
会话代理所面临的挑战之一是他们无法识别用户命令的未陈述假设，这对于人类来说是一项微不足道的任务，因为他们的常识。在本文中，我们提出了一个用于会话代理的零射击（zero-shot）常识推理系统，试图实现这一目标。我们的推理器揭示了用户命令中未声明的假设，这些用户命令满足一个通用模板，即if-（state），then-（action），because-（goal）。我们的推理机使用一个国家的最先进的基于转换器的生成常识知识库（KB）作为其背景知识的来源进行推理。我们提出了一种新的和迭代的知识查询机制，提取多跳推理链的神经知识库，使用符号逻辑规则，显着减少搜索空间。与迄今为止收集的任何知识库类似，我们的常识知识库容易丢失知识。因此，我们提出了对话式引出人类用户与我们的新的动态问题生成策略，生成和呈现上下文查询人类用户的缺失的知识。我们通过对人类用户的用户研究来评估该模型，与SOTA相比，该模型的成功率高出35%。
2021-09-17 cs.AI cs.CL cs.LG
Belief Propagation Neural Networks
Stanford University（斯坦福大学）；Shanghai Jiao Tong University（上海交通大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
学习神经求解器已成功地用于解决组合优化和决策问题。然而，这些问题的更一般的计数变体在很大程度上仍然通过手工制作的求解器来解决。为了弥补这一差距，我们引入了信念传播神经网络（BPNNs），一类参数化的运营商，操作因子图和广义的信念传播（BP）。在其最严格的形式中，BPNN层（BPNN-D）是一个学习的迭代算子，可证明对于任何参数的选择都保持了BP的许多理想属性。从经验上讲，我们表明，通过训练BPNN-D学习比原始BP更好地执行任务：它在Ising模型上的收敛速度快1.7倍，同时提供更严格的边界。在具有挑战性的模型计数问题上，BPNN计算估计值的速度比最先进的手工方法快100倍，同时返回具有可比质量的估计值。
2020-07-01 cs.LG stat.ML
Neural Enhanced Belief Propagation for Data Association in Multiobject Tracking
University of California San Diego（加州大学圣地亚哥分校）
由多目标跟踪（MOT）方法实现的态势感知技术将在自主导航和应用海洋科学等领域创造新的服务和应用。置信传播（BP）是贝叶斯MOT的一种最先进的方法，但完全依赖于统计模型和预处理的传感器测量。在本文中，我们建立了一个混合的方法，基于模型和数据驱动的MOT。所提出的神经增强置信传播（NEBP）方法通过从原始传感器数据中学习到的信息来补充BP，其目标是改善数据关联并拒绝虚警测量。我们在nuScenes自动驾驶数据集上评估了我们的NEBP方法用于MOT的性能，并证明它可以优于最先进的参考方法。
2022-06-16 cs.CV cs.LG eess.SP
Permissive Safety Through Trusted Inference: Verifiable Belief-Space Neural Safety Filters for Assured Interactive Robotics
Department of Computer Science, Johns Hopkins University, USA（约翰霍普金斯大学计算机科学系）
针对交互式机器人中人类不确定性带来的安全问题，提出一种基于共形预测的信念空间安全滤波器验证方法，在考虑推理可靠性的前提下保证高概率安全，并减少保守性。
2026-06-01 cs.AI cs.LG cs.RO
Neural Enhanced Belief Propagation for Cooperative Localization
University of California, San Diego（加州大学圣地亚哥分校）
位置感知网络将为现代便利、应用海洋科学和公共安全引入创新服务和应用。在本文中，我们建立了一个混合的方法，基于模型和数据驱动的推理。我们考虑一个合作定位（CL）的情况下，在无线网络中的移动代理的目的是本地化自己与其他代理进行成对的观察和交换位置信息。分布式CL在大型代理网络的传统方法是信念传播（BP），这是完全基于模型的，是已知的遭受提供不一致（过度自信）的估计。所提出的方法解决了这些限制，通过补充BP与图神经网络（GNN）提供的学习信息。数值实验表明，该方法可以提高估计精度，避免过度自信的信念，而其计算复杂性仍然与BP算法相当。值得注意的是，通过不明确解决用于GNN训练的损失函数中的过度自信来获得更一致的信念。
2021-05-27 cs.LG cs.MA cs.RO
Large Language Models Are Not Strong Abstract Reasoners
University of Auckland（奥克兰大学）
本文针对大型语言模型在抽象推理任务上的能力进行评估，引入了一个新基准，发现即使应用改进技术，LLMs性能仍有限，并提出引导其遵循因果路径以提升泛化与推理能力。
2024-01-02 cs.CL cs.LG
Feed-forward Uncertainty Propagation in Belief and Neural Networks
Czech Technical University in Prague（布拉格捷克理工大学）
我们提出了一种适用于信念和神经网络的前馈推理方法。在信度网络中，该方法估计给定输入的所有隐藏单元的近似因式分解后验。在神经网络中，该方法通过所有层传播输入的不确定性。在具有注入噪声的神经网络中，该方法分析地考虑了由该噪声引起的不确定性。这种前馈分析传播在参数上是可微的，并且可以端到端地训练。与标准NN相比，它可以被视为只传播均值，我们传播均值和方差。该方法可以在需要神经元统计知识的所有场景中使用，例如，当处理不确定输入时，将S形激活视为伯努利单位的概率，训练通过注入噪声（dropout）正则化的模型或估计数据集上的激活统计（如归一化方法所需）。在实验中，我们展示了在所有这些任务中的方法的可能效用以及它目前的局限性。
2018-11-01 cs.CV cs.LG cs.NE
Neural Variational Inference and Learning in Belief Networks
Google DeepMind（谷歌DeepMind）
高表达性的有向潜变量模型，如S形信念网络，很难在大型数据集上进行训练，因为在它们中的精确推理是棘手的，并且已经应用于它们的近似推理方法都没有很好的扩展性。我们提出了一种快速的非迭代近似推理方法，使用前馈网络实现有效的精确采样变分后验。该模型和推理网络通过最大化对数似然的变分下界来联合训练。虽然朴素估计的推理模型梯度是太高的方差是有用的，我们通过应用几个简单的模型无关的方差减少技术，使其实用。将我们的方法应用于训练sigmoid信念网络和深度自回归网络，我们证明了它在MNIST上的性能优于唤醒-睡眠算法，并在Reuters RCV 1文档数据集上获得了最先进的结果。
2014-06-04 cs.LG stat.ML
Robust Deep Learning from Crowds with Belief Propagation
Pohang University of Science and Technology（浦项科技大学）
众包系统使我们能够收集大规模的数据集，但固有地遭受低收入工人的嘈杂标签。我们使用这样一个有噪声的众包数据集来解决推理和学习问题。由于众包的稀疏性，在实际应用中，需要同时利用概率模型和神经网络来获取工作者的先验信息和任务特征，以克服错误的先验信息和过拟合特征带来的风险。因此，我们建立了一个神经驱动的贝叶斯框架，从中我们设计了deepMF和deepBP，分别选择了不同的变分近似方法，平均场（MF）和置信传播（BP）。这提供了现有方法的统一视图，这些方法是具有不同先验的deepMF的特殊情况。此外，我们的实证研究表明，deepBP是一种新的方法，由于BP比MF更复杂，因此它对错误的先验，特征过拟合和极端工人更强大。
2022-02-24 cs.AI cs.LG stat.ML
Neural Interpretable Reasoning
IBM Research（IBM研究院）；KU Leuven（鲁汶大学）；Politecnico di Torino（都灵理工大学）；University of Cambridge（剑桥大学）；Scuola Normale Superiore（高等师范学院）；Università della Svizzera italiana（瑞士意大利语区大学）
本文提出一种基于推理等变性的新型建模框架，通过将可解释性视为马尔可夫性质并采用神经重参数化技术缓解指数级验证复杂性，提出神经生成与可解释执行范式，实现可扩展验证并设计出兼具表达力与透明性的神经可解释推理器。
2025-03-04 cs.AI cs.LG cs.NE
Neuralizing Efficient Higher-order Belief Propagation
School of Computing（计算机学院）；National University of Singapore（新加坡国立大学）
图神经网络模型已被广泛用于在端到端设置中学习图结构化数据的节点表示。这些模型通常依赖于谱图卷积的局部一阶近似，因此无法捕获节点之间的高阶关系信息。概率图模型形成了另一类模型，其在合并此类关系信息时提供了丰富的灵活性，但受限于高阶的低效近似推理算法。在本文中，我们建议结合这些方法来学习更好的节点和图形表示。首先，我们推导出一个有效的近似和积循环信念传播推理算法高阶PGM。然后，我们将消息传递更新嵌入到神经网络中，以在端到端学习中提供推理算法的归纳偏差。这为我们提供了一个足够灵活的模型，可以容纳领域知识，同时保持计算优势。我们进一步提出了用于构建高阶因子的方法，这些因子以节点和边缘特征为条件，并在必要时共享参数。我们的实验评估表明，我们的模型确实捕捉到了高阶信息，在分子数据集中的表现大大优于最先进的$k$阶图神经网络。
2020-10-19 cs.LG stat.ML
Improving Massive MIMO Belief Propagation Detector with Deep Neural Network
Southeast University（东南大学）；Tel-Aviv University（特拉维夫大学）
针对大规模多输入多输出（MIMO）系统，利用深度神经网络（DNN）改进置信传播（BP）检测。首先通过对BP算法的展开，提出了一种适合于检测任务的神经网络结构。DNN MIMO检测器，然后提出了基于两个修改的BP检测器，阻尼BP和最大和BP。这些算法中的校正因子通过深度学习技术进行优化，旨在提高检测性能。数值结果表明DNN检测器的性能相比，各种BP修改。该神经网络只训练一次，可用于多次在线检测。结果表明，与其他最先进的检测器相比，DNN检测器可以实现更低的误比特率（BER），在相同的复杂度水平下，对各种天线配置和信道条件具有更好的鲁棒性。
2018-04-05 cs.IT cs.LG eess.SP
Generalization Bounds for Neural Belief Propagation Decoders
University of Arizona（亚利桑那大学）
本文研究了神经置信传播（NBP）译码器的泛化能力，推导出泛化差距与码参数、译码迭代次数及训练数据集大小的理论界限，并提供了实验验证。
2024-04-20 cs.IT cs.LG math.IT
Pruning Neural Belief Propagation Decoders
Chalmers University of Technology（查尔姆斯理工大学）；Duke University（杜克大学）；Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）
我们认为近最大似然（ML）解码的短线性分组码的神经信念传播（BP）解码最近介绍的Nachmani等人。虽然该方法显著优于传统的BP解码，但是底层的奇偶校验矩阵仍然可能限制整体性能。在本文中，我们介绍了一种方法来定制一个过完备的奇偶校验矩阵（神经）BP解码使用机器学习。我们认为在Tanner图的权重作为一个指示的重要性的连接的检查节点（CN）的解码和使用它们来修剪不重要的CN。由于修剪不依赖于迭代，因此最终解码器在每次迭代中使用不同的奇偶校验矩阵。对于Reed-Muller和短低密度奇偶校验码，我们实现了ML性能的0.27 dB和1.5 dB内的性能，同时降低了解码器的复杂度。
2020-10-22 cs.IT cs.LG math.IT
Parallel Algorithms Align with Neural Execution
University of Augsburg（奥格斯堡大学）；University of Cambridge（剑桥大学）；Google DeepMind（谷歌DeepMind）
本文指出神经算法推理器的并行特性，提出通过教授并行算法以减少冗余计算和所需层数，在CLRS框架上验证了该方法能大幅缩短训练时间并提升预测性能。
2024-01-03 cs.LG
Auto-encoding a Knowledge Graph Using a Deep Belief Network: A Random Fields Perspective
我们从一个知识图谱的连接实体和描述这些实体的属性，从其中，层次表示的知识图谱的派生。使用一个图形化的，基于能量的神经网络，我们能够表明，层次结构可以内部捕获的神经网络，这使得有效的输出的基础平衡分布的数据被提取。
2019-12-26 cs.LG cs.NE math.PR
Recursive Inference Machines for Neural Reasoning
Department of Computer Science, Technical University of Darmstadt（德累斯顿技术大学计算机科学系）；Department of Computer Science, The University of Texas at Dallas（德克萨斯大学达拉斯分校计算机科学系）；Hessian Center for Artificial Intelligence (hessian.ai)（黑森人工智能中心）；German Research Center for AI (DFKI)（德国人工智能研究中心）
递归推断机通过结合递归推断机制提升神经推理性能，优于现有方法在多个基准测试中表现更佳。
2026-03-05 cs.AI cs.LG
Classification-Aided Robust Multiple Target Tracking Using Neural Enhanced Message Passing
Northwestern Polytechnical University（西北工业大学）；Research & Development Institute of Northwestern Polytechnical University in Shenzhen（西北工业大学深圳研究院）
针对强杂波下雷达多目标跟踪难题，提出分类辅助的神经增强消息传递算法，融合因子图与神经网络置信度以增强杂波抑制与数据关联，显著提升跟踪性能。
2023-10-19 cs.AI cs.LG cs.SY
Equivariant Neural Belief Propagation
Department of Computer Science, University of Oxford（计算机科学系，牛津大学）；FLock.io
提出等变神经信念传播（ENBP），通过等变高斯混合消息和秩2精度矩阵合成，实现SE(3)对称性下的高效概率推理，在分子构象和机器人推理任务中显著超越基线。
2026-06-04 cs.LG cs.SC
GradINN: Gradient Informed Neural Network
Politecnico di Torino（都灵理工大学）；Dumarey Automotive Italia S.p.A.（杜马雷汽车意大利股份公司）
本文提出GradINN方法，利用辅助网络表达梯度先验并通过定制损失函数约束目标网络，在控制方程未知的低数据场景下高效逼近物理系统，实验验证其在多类问题上的优越性。
2024-09-03 cs.AI cs.LG
Neural Enhanced Belief Propagation for Multiobject Tracking
University of California San Diego（加州大学圣地亚哥分校）；Scripps Institution of Oceanography（斯克里普斯海洋研究所）
多目标跟踪（MOT）的解决方案是自主导航和应用海洋科学应用的关键推动因素。最先进的MOT方法完全依赖于统计模型，并且通常使用预处理的传感器数据作为测量值。特别地，测量值由检测器产生，该检测器从针对离散时间步长收集的原始传感器数据中提取潜在对象位置。该预备处理步骤减少了数据流和计算复杂性，但是可能导致信息的丢失。基于置信传播（BP）的最新贝叶斯MOT方法系统地利用统计模型的图结构来降低计算复杂性并提高可扩展性。然而，作为一种完全基于模型的方法，BP只能在统计模型和真实数据生成过程之间存在不匹配时提供次优估计。现有的基于BP的MOT方法只能进一步利用预处理的测量。在本文中，我们介绍了BP的一个变体，它将基于模型的MOT与数据驱动的MOT相结合。建议的神经增强的信念传播（NEBP）方法补充BP的统计模型从原始传感器数据的信息。该方法表明，学习的信息可以减少模型失配，从而提高数据关联和虚警抑制。与基于模型的方法相比，我们的NEBP方法提高了跟踪性能。同时，它继承了基于BP的MOT的优点，即，它在对象的数量上仅以二次方式缩放，因此它可以生成并保持大量的对象轨迹。我们在nuScenes自动驾驶数据集上评估了我们的NEBP方法用于MOT的性能，并证明它具有最先进的性能。
2022-12-16 cs.AI cs.CV cs.LG
Convolutional Neural Network-aided Bit-flipping for Belief Propagation Decoding of Polar Codes
极化码以其容量实现能力而闻名，已被选为5G通信的控制信道编码方案。为了满足高吞吐量和低延迟的要求，选择置信传播（BP）作为解码算法。然而，在一般情况下，BP的错误性能比增强型连续相消（SC）。最近，临界集比特翻转（CS-BF）被应用于BP解码以降低错误率。然而，它的试错过程导致更长的延迟。在这项工作中，我们提出了一种卷积神经网络辅助比特翻转（CNN-BF）机制，以进一步增强极化码的BP解码。通过精心设计的输入数据和模型架构，我们提出的CNN-BF可以实现比CS-BF更高的预测精度和更好的纠错能力，但只有一半的延迟。它还实现了比SC列表（CA-SCL）更低的误块率（BLER）。
2020-02-05 cs.IT cs.LG eess.SP
Recurrent networks, hidden states and beliefs in partially observable environments
University of Liège（列日大学）；Institut Polytechnique de Paris（巴黎理工学院）
强化学习的目标是从与动态未知的环境的交互中学习最优策略。许多方法依赖于一个价值函数的近似值来获得接近最优的策略。在部分可观测的环境中，这些函数依赖于观测和过去行为的完整序列，称为历史。在这项工作中，我们经验性地表明，经过训练以近似这种价值函数的递归神经网络在内部过滤了给定历史的当前状态的后验概率分布，称为信念。更确切地说，我们表明，作为一个循环神经网络学习的Q函数，其隐藏状态变得越来越相关的信念的状态变量是相关的最优控制。这种相关性通过它们的互信息来测量。此外，我们表明，预期收益的代理增加的能力，其经常性的架构，以达到高互信息之间的隐藏状态和信念。最后，我们表明，通过学习过程中的隐藏状态和信念的变量是无关的最优控制之间的互信息减少。总之，这项工作表明，在其隐藏状态下，近似部分可观察环境的Q函数的递归神经网络从历史中再现了与采取最佳行动的信念的相关部分相关的足够的统计数据。
2022-08-06 cs.LG stat.ML
Relational Neural Machines
University of Florence（佛罗伦萨大学）；University of Siena（锡耶纳大学）
深度学习已被证明在有大量训练数据可用的几个任务中取得了令人印象深刻的结果。然而，深度学习只关注预测的准确性，忽略了导致决策的推理过程，这是生命关键应用中的一个主要问题。概率逻辑推理允许利用统计知识和特定领域的专业知识在不确定性下进行推理，但其可扩展性和与处理传感数据的层的脆弱集成极大地限制了其应用。出于这些原因，将深度架构和概率逻辑推理相结合是开发在复杂环境中运行的智能代理的基本目标。本文介绍了关系神经机，一种新的框架，允许联合训练的参数的学习者和一阶逻辑为基础的推理。关系神经机能够在纯子符号学习的情况下从监督数据恢复经典学习，并且在纯符号推理的情况下恢复马尔可夫逻辑网络，同时允许联合训练并在混合学习任务中执行推理。设计适当的算法解决方案，使学习和推理在大规模问题中易于处理。实验结果表明，在不同的关系任务有希望的结果。
2020-02-06 cs.AI cs.LG
Active Neural Localization
Carnegie Mellon University（卡内基梅隆大学）
定位是从环境的观察和地图估计自主智能体的位置的问题。传统的定位方法，过滤的信念的基础上的观察，是次优的步骤所需的数量，因为它们不决定采取的行动的代理。我们提出了"主动神经定位器"，一个完全可微的神经网络，学习准确和有效地定位。该模型结合了传统的基于过滤的定位方法的思想，通过使用一个结构化的信念的状态与乘法的相互作用来传播信念，并将其与一个政策模型相结合，以准确定位，同时最大限度地减少定位所需的步骤。主动神经定位器通过强化学习进行端到端训练。我们使用各种模拟环境，我们的实验，其中包括随机的2D迷宫，随机迷宫的毁灭战士游戏引擎和虚幻游戏引擎中的照片般逼真的环境。在2D环境中的结果显示了在理想化设置中学习策略的有效性，而在3D环境中的结果显示了模型从基于原始像素的RGB观测中联合学习策略和感知模型的能力。我们还表明，在Doom环境中对随机纹理进行训练的模型可以很好地推广到虚幻引擎中的照片般逼真的办公空间环境。
2018-01-24 cs.AI cs.LG cs.RO
Predicting distributions with Linearizing Belief Networks
Facebook AI Research（脸书人工智能研究院）
条件信度网络在神经网络中引入随机二进制变量。与经典神经网络相反，在给定输入$X$的情况下，信念网络可以预测比输出$Y$的期望值更多的值。它可以预测输出$Y$的分布，这在输入可以允许其平均值不一定是有效答案的多个输出时是有用的。这样的网络与逆问题特别相关，例如用于去噪的图像预测或文本到语音。然而，传统的sigmoid信念网络训练困难，不适合连续问题。这项工作引入了一个新的网络家族，称为线性信念网或LBN。LBN分解为深度线性网络，其中每个线性单元可以由非确定性二进制潜在单元打开或关闭。它是实值条件分布的通用近似器，可以使用梯度下降进行训练。此外，线性路径有效地传播连续信息，并且它们充当乘法跳跃连接，通过消除梯度扩散来帮助优化。这产生了一个模型，该模型可以有效地训练并改进Toronto人脸数据集的图像去噪和面部表情生成。
2016-05-02 cs.CV cs.LG
Neural Assistant: Joint Action Prediction, Response Generation, and Latent Knowledge Reasoning
Google（谷歌）；Salesforce（赛富时）；Montreal Institute for Learning Algorithms（蒙特利尔学习算法研究所）；UC Santa Barbara（加州大学圣巴巴拉分校）
面向任务的对话提出了一个困难的挑战，包括多轮语言理解和生成，知识检索和推理，行动预测等多个问题。现代对话系统通常通过使用监督学习将对话历史转换为称为信念状态的符号对象来开始。然后，信念状态被用于推理外部知识源，其结果与会话历史一起独立地用于动作预测和响应生成任务。这种单独优化组件的管道不仅使开发过程变得繁琐，而且还使利用会话级用户强化信号变得不容易。在本文中，我们开发了神经助理：一个单一的神经网络模型，以会话历史和外部知识源作为输入，并共同产生文本响应和系统采取的行动作为输出。该模型利用来自文本生成和动作预测任务的弱监督信号学习对所提供的知识源进行推理，从而消除了对信念状态注释的需要。在MultiWOZ数据集中，我们研究了远程监督的效果，以及知识库的大小对模型性能的影响。我们发现，与Transformer相比，没有信念状态的神经助手能够结合外部知识信息，实现更高的事实准确性得分。在与报告的基线系统相当的设置中，当提供oracle信念状态时，神经助手显著提高了语言生成性能。
2019-10-31 cs.CL cs.LG stat.ML
Multi-domain Dialog State Tracking using Recurrent Neural Networks
University of Cambridge（剑桥大学）；VocalIQ Ltd.（VocalIQ有限公司）
对话状态跟踪是许多现代对话系统的关键组件，其中大多数对话系统都是针对单个定义良好的域而设计的。本文表明，从不同的对话域的对话数据可以用来训练一般的信念跟踪模型，可以在所有这些领域，表现出优越的性能，每个特定领域的模型。我们提出了一个训练过程，使用域外数据初始化的信念跟踪模型，为全新的领域。该过程导致信念跟踪性能的改善，而不管可用于训练模型的域内数据的量。
2015-06-23 cs.CL cs.LG
Belief Flows of Robust Online Learning
University of Pennsylvania（宾夕法尼亚大学）；The Technion（以色列理工学院）
本文介绍了一种新的在线学习的概率模型，它动态地将信息从随机梯度的任意损失函数。与概率滤波类似，该模型在最佳权重参数上保持高斯置信度。与传统的贝叶斯更新不同，该模型在使用汤普森采样选择的位置处包含少量梯度评估，使其在计算上易于处理。然后通过线性流场转换的信念，最佳更新的信念分布，使用来自信息论原则的规则。几个版本的算法使用不同的约束流场和传统的在线学习算法相比。结果给出了几个分类任务，包括逻辑斯谛回归和多层神经网络。
2015-05-26 cs.LG stat.ML
Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems
Graz University of Technology（格拉茨技术大学）；Czech Technical University in Prague（布拉格捷克技术大学）
许多研究人员提出，将深度神经网络与图形模型相结合，可以创建更高效、更好的正则化复合模型。在实践中实现这一点的主要困难是与合适的学习目标的差异，以及与推理的近似的必要性。在这项工作中，我们采用最简单的推理方法之一，截断的最大乘积置信传播，并添加必要的内容，使其成为深度学习模型的适当组件：我们将其连接到边缘损失的学习公式，并计算反向传播操作。该BP层可以用作卷积神经网络（CNN）中的最终或中间块，允许我们设计一个由BP推理和不同尺度的CNN组成的分层模型。该模型适用于一系列密集的预测问题，是很好的训练，并提供立体，光流和语义分割的参数有效和强大的解决方案。
2020-03-13 cs.CV cs.LG
Amortising Inference and Meta-Learning Priors in Neural Networks
Helmholtz AI（海德堡人工智能研究所）；Munich Center for Machine Learning（慕尼黑机器学习中心）；Technical University of Munich（慕尼黑技术大学）；University of Technology Nuremberg（纽伦堡技术大学）
本文提出了一种在神经网络中通过amortized变分推断学习权重先验的方法，用于贝叶斯深度学习和概率元学习，实现了灵活的生成模型和新的元学习能力。
2026-02-09 cs.LG stat.ML
