Reward Maximisation through Discrete Active Inference
Imperial College London（帝国理工学院）；University College London（伦敦大学学院）；Laureate Institute for Brain Research（劳雷亚德脑研究所）
主动推理是一种概率框架，用于模拟生物和人工代理的行为，它源于最小化自由能的原则。近年来，这一框架已成功地应用于各种情况下，目标是最大限度地提高回报，提供可比的，有时更优越的性能，以替代方法。在本文中，我们阐明了奖励最大化和积极推理之间的联系，通过演示如何以及何时主动推理代理执行最佳奖励的行动。准确地说，我们展示了主动推理产生贝尔曼方程最佳解的条件--该公式是几种基于基于模型的强化学习和控制方法的基础。部分观察马尔可夫决策过程，标准的主动推理方案可以产生贝尔曼最优行动的规划视野1，但不超过。相比之下，最近开发的递归主动推理计划（复杂的推理）可以产生贝尔曼最优行动的任何有限的时间范围内。我们在分析的基础上讨论了主动推理和强化学习之间更广泛的关系。
2022-07-11 cs.AI math.OC q-bio.NC
Active inference: demystified and compared
Wellcome Centre for Human Neuroimaging, UCL Queen Square Institute of Neurology（伦敦大学学院皇后广场神经病学研究所惠康人类神经影像中心）；University of Oxford（牛津大学）
主动推理是自主智能体如何在动态、非平稳环境中工作的第一原理。这个问题也被认为是在强化学习（RL），但有限的工作存在比较这两种方法在相同的离散状态环境。在本文中，我们提供：1）主动推理的离散状态公式的可访问概述，突出显示通常在RL中设计的主动推理中的自然行为; 2）在OpenAI健身房基线上主动推理和RL之间的显式离散状态比较。首先，我们提供了一个浓缩的主动推理文献的概述，特别是通过RL的镜头查看主动推理代理的各种自然行为。我们表明，通过在一个纯粹的基于信念的设置，主动推理代理可以进行认知探索，并占不确定性的贝叶斯最优的方式对他们的环境。此外，我们表明，在RL中对显式奖励信号的依赖在主动推理中被去除，其中奖励可以简单地被视为另一种观察;即使在完全没有奖励的情况下，代理行为也可以通过偏好学习来学习。我们通过展示两种场景来明确这些属性，在这两种场景中，主动推理代理可以推断出无奖励环境中的行为，与Q学习和基于贝叶斯模型的RL代理相比;通过将零先验偏好置于奖励之上，并通过学习与奖励相对应的观察结果的先验偏好。最后，我们注意到，这种形式主义可以适用于更复杂的设置，如果适当的生成模型可以制定。简而言之，我们的目标是通过提供一个可访问的离散状态空间和时间公式来揭开主动推理代理的行为，并在OpenAI健身房环境中与RL代理一起演示这些行为。
2020-10-30 cs.AI q-bio.QM
Online reinforcement learning with sparse rewards through an active inference capsule
Delft University of Technology（代尔夫特理工大学）；MRC Brain Network Dynamics Unit（医学研究委员会脑网络动力学组）；University of Oxford（牛津大学）
智能代理必须在复杂的环境中追求他们的目标，部分信息和有限的计算能力。强化学习方法已经通过创建优化工程奖励函数的代理而取得了巨大的成功，但是这些代理通常难以在稀疏奖励环境中学习，通常需要许多环境交互才能良好地执行，并且通常在计算上非常昂贵。主动推理是一种基于模型的方法，它指导代理探索不确定的状态，同时坚持其目标行为的先验模型。本文介绍了一种主动推理代理，它使预期未来的新自由能最小化。我们的模型是能够解决稀疏回报问题，由于其目标函数，鼓励直接探索不确定的状态，具有非常高的样本效率。此外，我们的模型在计算上非常轻，可以以完全在线的方式操作，同时实现与离线RL方法相当的性能。我们通过解决山地车问题展示了我们模型的能力，在那里我们展示了其优越的探索特性和对观测噪声的鲁棒性，这实际上提高了性能。我们还介绍了一种新的方法近似先验模型的奖励函数，简化了复杂的目标的表达，并提高了性能比以前的主动推理方法。
2021-06-04 cs.AI cs.LG stat.ML
pymdp: A Python library for active inference in discrete state spaces
Max Planck Institute of Animal Behavior（马克斯·普朗克动物行为研究所）；Centre for the Advanced Study of Collective Behaviour（集体行为高级研究中心）；University of Konstanz（康斯坦茨大学）；VERSES Research Lab（VERSES研究实验室）；University of Oxford（牛津大学）；Imperial College London（帝国理工学院）；Northeastern University（东北大学）；University College London（伦敦大学学院）；University of Sussex（萨塞克斯大学）
主动推理是对复杂系统中认知和行为的一种解释，它将行动、感知和学习结合在贝叶斯推理的理论框架下。主动推理在学术研究中的应用越来越多，特别是在试图模拟人类或动物行为的领域。虽然近年来，从主动推理文献中产生的一些代码已经用Python和Julia等开放源语言编写，但迄今为止，用于模拟主动推理代理的最流行的软件是SPM的DEM工具箱，这是一个最初为神经成像数据的统计分析和建模而开发的MATLAB库。对主动推理的兴趣日益增加，表现在数量上以及跨科学学科的应用多样化，因此需要通用的，广泛可用的和用户友好的代码，用于在开源科学计算语言（如Python）中模拟主动推理。我们在这里介绍的Python包pymdp（参见https：//github.com/infer-actively/pymdp）代表了这个方向上的重要一步：即，我们提供了第一个开源包，用于使用部分可观察马尔可夫决策过程（POMDP）模拟主动推理。我们回顾了该软件包的结构，并解释了它的优势，如模块化设计和可定制性，同时提供了文本代码块，以演示如何使用它来轻松构建和运行主动推理过程。我们开发pymdp是为了增加主动推理框架的可访问性和曝光度，让具有不同学科背景的研究人员、工程师和开发人员使用。本着开源软件的精神，我们也希望它能在不断增长的活跃推理社区中激发新的创新、开发和协作。
2022-05-04 cs.AI cs.MS q-bio.NC
Scaling active inference
University of Sussex（萨塞克斯大学）；RIKEN Centre for Brain Science（理化学研究所脑科学中心）；Canadian Institute for Advanced Research（加拿大高等研究院）
在强化学习（RL）中，智能体通常在部分可观察和不确定的环境中运行。基于模型的强化学习表明，这是通过学习和利用世界的概率模型来实现的。“主动推理”是认知和计算神经科学中一个新兴的规范性框架，它提供了一个统一的解释生物制剂如何实现这一点。在这个框架下，推理、学习和行动都来自于一个单一的命令，即最大限度地利用贝叶斯证据来构建一个利基世界模型。然而，该过程的实现迄今为止仅限于低维和理想化的情况。在这里，我们提出了一个适用于高维任务的主动推理的工作实现，其原理证明结果表明，在强无模型基线上，有效的探索和样本效率的数量级增加。我们的研究结果证明了大规模应用主动推理的可行性，并突出了主动推理和当前基于模型的RL方法之间的操作同源性。
2019-11-24 cs.AI cs.IT cs.LG
Demonstrating the Continual Learning Capabilities and Practical Application of Discrete-Time Active Inference
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
本文提出基于主动推理的离散时间持续学习框架，推导变分与期望自由能公式并构建自学习智能体，实验证明其能在变化环境中高效更新模型，适用于金融、医疗等复杂领域。
2024-09-30 cs.AI cs.LG
Reinforcement Learning through Active Inference
Sackler Centre for Consciousness Science（萨克勒意识科学中心）；Evolutionary & Adaptive Systems Research Group（进化与自适应系统研究组）；University of Sussex（萨塞克斯大学）；University of Edinburgh（爱丁堡大学）；Canadian Institute for Advanced Research（加拿大高级研究所）
强化学习（RL）的核心原则是智能体寻求最大化累积奖励之和。相比之下，主动推理，认知和计算神经科学中的一个新兴框架，提出代理人采取行动，以最大限度地提高有偏见的生成模型的证据。在这里，我们说明了来自主动推理的想法如何通过（i）提供探索和利用的内在平衡，以及（ii）提供更灵活的奖励概念来增强传统的RL方法。受主动推理的启发，我们开发并实现了一个新的决策目标，我们称之为预期未来的自由能。我们证明了所得到的算法成功地平衡了探索和利用，同时在几个具有挑战性的RL基准测试中实现了稳健的性能，具有稀疏，形状良好，没有奖励。
2020-02-28 cs.AI cs.IT cs.LG
Object-Centric Scene Representations using Active Inference
IDLab（IDLab实验室）；Ghent University（根特大学）
从原始传感数据中表示场景及其组成对象是使机器人能够与其环境交互的核心能力。在本文中，我们提出了一种新的方法场景理解，利用分层对象为中心的生成模型，使代理推断对象类别和姿态在allocentric参考框架使用主动推理，神经启发的框架动作和感知。为了评估主动视觉代理的行为，我们还提出了一个新的基准，给定一个特定对象的目标视点，代理需要找到最佳匹配的视点，给定一个工作空间，在3D中随机定位的对象。我们证明了我们的主动推理代理能够平衡认知觅食和目标驱动的行为，并大大优于监督和强化学习基线。
2023-02-07 cs.AI cs.RO
Expanding the Active Inference Landscape: More Intrinsic Motivations in the Perception-Action Loop
Araya Inc.（Araya公司）；Computational Creativity Group, Department of Computing, Goldsmiths, University of London（Goldsmiths大学计算创意小组）；Game Innovation Lab, Department of Computer Science and Engineering, New York University（纽约大学游戏创新实验室）；Sepia Lab, Adaptive Systems Research Group, Department of Computer Science, University of Hertfordshire（赫特福德大学计算机科学系Sepia实验室）；Institute of Perception, Action and Behaviour, School of Informatics, The University of Edinburgh（爱丁堡大学信息学院感知、行为与行为研究所）
本文探讨主动推断中是否可利用其他内在动机替代原有动机，同时保持核心机制，并通过形式化方法连接通用强化学习。
2018-06-21 cs.AI cs.SY eess.SY
Learning Generative Models for Active Inference using Tensor Networks
Ghent University（根特大学）；imec（比利时微电子研究中心）；University of Vienna（维也纳大学）
主动推理为自主智能体的行为和学习提供了一个通用的框架。它指出，一个代理将试图最小化其变分自由能，定义在观察，内部状态和政策的信念。传统上，离散主动推理模型的每个方面都必须手动指定，即通过手动定义隐藏状态空间结构以及所需的分布，如似然和转移概率。最近，已经努力使用深度神经网络从观察自动学习状态空间表示。在本文中，我们提出了一种新的方法学习状态空间使用量子物理启发张量网络。张量网络表示量子态的概率性质以及减少大状态空间的能力使张量网络成为主动推理的自然候选者。我们展示了张量网络如何用作序列数据的生成模型。此外，我们展示了如何从这样的生成模型中获得信念，以及如何使用主动推理代理来计算预期的自由能。最后，我们证明了我们的方法在经典的T-迷宫环境。
2022-09-08 cs.AI cs.LG
Bayesian policy selection using active inference
Ghent University - imec（根特大学-imec）
学习根据观察采取行动是人工智能体能够成功和强大地完成任务的核心要求。强化学习（RL）是用于学习此类策略的众所周知的技术。然而，目前的强化学习算法通常必须处理奖励塑造，难以推广到其他环境，并且通常样本效率低下。在本文中，我们探讨了主动推理和自由能原理，这是一种来自神经科学的规范理论，它解释了自组织生物系统如何通过维护世界模型和将动作选择作为推理问题来运行。我们将这个概念应用到RL社区已知的一个典型问题，山地车问题，并展示了主动推理如何包括RL和示教学习。
2019-04-25 cs.AI cs.LG cs.NE
Value of Information and Reward Specification in Active Inference and POMDPs
VERSES Research Lab（VERSES研究实验室）
该研究将期望自由能（EFE）置于信念MDP框架下，借助强化学习理论工具证明EFE通过信息价值近似贝叶斯最优RL策略，揭示了主动推理与奖励驱动RL的关联及对主动推理目标设定的启示。
2024-08-13 cs.AI cs.LG
Goal-Directed Planning by Reinforcement Learning and Active Inference
Okinawa Institute of Science and Technology（冲绳科学技术大学院大学）
目标导向的行为和习惯性行为有什么区别？我们提出了一个新的计算框架的决策与贝叶斯推理，其中一切都集成为一个完整的神经网络模型。该模型通过自我探索和通过采样随机内部状态${z}$产生运动动作来学习预测环境状态转换。通过强化学习，从${z}$的先验分布中获得习惯行为。目标导向的行为是通过规划从后验分布的${z}$，使用主动推理，优化过去，当前和未来的${z}$，通过最小化的变化自由能所需的未来观测约束所观察到的感觉序列。我们通过实验证明了所提出的框架的有效性，在感觉运动导航任务与相机的观察和连续的电机动作。
2021-06-22 cs.AI cs.LG cs.RO
Hierarchical Active Inference using Successor Representations
Paul G. Allen Center for Computer Science and Engineering, University of Washington（保罗·G·阿伦计算机科学与工程中心，华盛顿大学）
本文提出基于分层主动推断的行动规划模型，结合环境层次模型与成功表示实现高效规划，展示了如何通过低层表示学习高层抽象状态，并在多个规划和强化学习任务中验证了方法有效性。
2026-04-17 cs.AI cs.CV cs.LG
Dynamic planning in hierarchical active inference
Institute of Cognitive Sciences and Technologies（认知科学与技术研究所）；National Research Council of Italy（意大利国家研究委员会）；Sapienza University of Rome（罗马大学）
本文探讨主动推断中的动态规划，提出基于可供性利用和分层交互的分层混合表示方法，为复杂任务（如工具使用）建模提供了新方向。
2024-11-12 cs.AI cs.LG cs.RO
Perceptual Motor Learning with Active Inference Framework for Robust Lateral Control
University of Michigan-Dearborn（密歇根大学迪尔伯恩分校）；Ford Motor Company（福特汽车公司）
针对自动驾驶横向控制的适应性与效率问题，提出融合主动推理的知觉运动学习框架，使车辆以少量数据实现车道保持，并在CARLA中验证其低开销且性能可比。
2025-03-05 cs.AI cs.LG cs.NE
Active Inference as Context Acquisition for AI Agents
University of California, Davis（加利福尼亚大学戴维斯分校）；Technical University of Munich（慕尼黑工业大学）
该研究将AI智能体的上下文获取权衡形式化为主动推理，在最优提问框架中验证其有效性，为智能体上下文获取层提供模型无关的设计原则。
2026-08-21 cs.AI cs.CL cs.LG
Sophisticated Inference
The Wellcome Centre for Human Neuroimaging（韦康比人类神经影像中心）；UCL Queen Square Institute of Neurology（伦敦大学学院皇后广场神经学研究所）；Imperial College London（伦敦帝国理工学院）；University of Toronto（多伦多大学）；Google Research（谷歌研究院）；University of Amsterdam（阿姆斯特丹大学）
主动推理提供了感知行为的第一原则，从中可以得出特殊和重要的情况，例如，强化学习、主动学习、贝叶斯最优推理、贝叶斯最优设计等。主动推理通过将信息增益置于与奖励或价值相同的基础上，解决了与先前偏好相关的开发-探索困境。简而言之，主动推理以预期（变分）自由能的形式用（贝叶斯）信念的泛函取代价值函数。在本文中，我们考虑一种复杂的主动推理，使用递归形式的预期自由能。复杂性描述了一个智能体对信念的信念的程度。我们认为代理人的信念的反事实后果的行动的事态和信念的潜在状态。换句话说，我们从简单地考虑“如果我这样做会发生什么”的信念，转变为“如果我这样做会发生什么，我会相信什么”。自由能泛函的递归形式有效地实现了对未来动作和结果的深度树搜索。至关重要的是，这种搜索是在信念状态序列上进行的，而不是在状态本身上进行的。我们说明了这个计划的能力，使用数值模拟深决策问题。
2020-06-07 cs.AI q-bio.NC
Towards Human-Like Driving: Active Inference in Autonomous Vehicle Control
本文将主动推理与深度学习结合用于自动驾驶汽车横向控制，在CARLA中以有限数据实现车道跟随，并在适应性与计算效率上优于传统方法。
2024-09-16 cs.AI cs.LG cs.NE
Bayesian Active Inference for Intelligent UAV Anti-Jamming and Adaptive Trajectory Planning
University of Genoa（热那亚大学）；Italian National Inter-University Consortium for Telecommunications (CNIT)（意大利国家大学电信联合体（CNIT））
本文提出基于贝叶斯主动推断的无人机抗干扰与自适应轨迹规划方法，通过结合专家示范与概率生成模型，实现高层规划与底层策略的协同，有效减少干扰并提升任务效率。
2025-12-05 cs.AI cs.RO cs.SY
Subspace Inference Enables Efficient Active Reward Learning from Preferences
University of Southern California（南加州大学）
本文提出PreferenceEKF方法，通过低维子空间的扩展卡尔曼滤波实现高效序贯贝叶斯推理，在D4RL等基准上较其他贝叶斯深度学习方法更优，助力RLHF的高效奖励学习。
2026-09-04 cs.AI cs.LG cs.RO
Active Inference Tree Search in Large POMDPs
Institute of Cognitive Sciences and Technologies, National Research Council（国家研究委员会认知科学与技术研究所）；Institute for High Performance Computing and Networking, National Research Council（国家研究委员会高性能计算与网络研究所）；University College London（伦敦大学学院）；VERSES AI Research Lab（VERSES人工智能研究实验室）
本文提出主动推断树搜索方法，结合神经科学与人工智能的规划理论，实现大规模POMDP问题的高效解决。
2024-12-10 cs.AI math.PR q-bio.NC
Active sampling: A machine-learning-assisted framework for finite population inference with optimal subsamples
本文提出一种结合主动学习与自适应重要性采样的主动采样策略，通过机器学习预测指导最优子样本迭代采集，用于有限总体推断，并在驾驶辅助系统安全评估中显著优于传统采样方法。
2024-07-04 stat.AP stat.CO stat.ME
Learning Perception and Planning with Deep Active Inference
Ghent University - imec（根特大学-imec）
主动推理是大脑的一种过程理论，它指出所有生物体都推断行动，以最大限度地减少其（预期）自由能。然而，目前的实验仅限于预定义的，往往是离散的，状态空间。在本文中，我们使用深度学习的最新进展来学习状态空间并近似必要的概率分布以进行主动推理。
2020-02-24 cs.AI cs.LG stat.ML
Geometry of Friston's active inference
Araya Inc.（荒谷公司）
我们重建了卡尔弗里斯顿的积极推理，并给出了它的几何解释。
2018-11-20 cs.AI cs.LG
Actively learning to learn causal relationships
University of Edinburgh（爱丁堡大学）
人们如何主动学习？也就是说，人们如何以及何时选择促进长期学习的行动，以及选择更具信息性的未来行动？我们在主动因果学习领域探索这些问题。我们提出了一个层次贝叶斯模型，超越了过去的模型预测，人们追求的信息，不仅是手头的因果关系，但也对因果overhypotheses $\unicode{x2014}$抽象信念的因果关系，跨越多种情况下，并限制我们如何学习的细节，在每种情况下。在两个积极的“blicket检测器”实验与14个受试者之间的操作，我们的模型都支持参与者的行为和基于个体差异的模型比较的定性趋势。我们的研究结果表明，当主动因果学习问题之间存在抽象的相似性时，人们很容易学习和转移关于这些相似性的过度假设。此外，人们利用这些过度假设来促进长期的主动学习。
2022-06-20 cs.AI cs.LG
Mapping Husserlian phenomenology onto active inference
VERSES Research Lab（VERSES研究实验室）；Université du Québec à Montréal（魁北克大学蒙特利尔分校）；University of Oxford（牛津大学）；University College London（伦敦大学学院）；University of California, Merced（加利福尼亚大学默塞德分校）
现象学是对意识经验的严格描述性研究。最近试图形式化胡塞尔现象学为我们提供了一个数学模型的知觉作为先验知识和期望的函数。在本文中，我们通过主动推理的镜头重新审视胡塞尔现象学的要素。在这样做的过程中，我们的目标是推进计算现象学的项目，最近由积极推理的支持者概述。我们建议，胡塞尔的描述意识的关键方面可以映射到与积极推理方法相关的生成模型的方面。我们首先简要回顾一下主动推理。然后，我们讨论胡塞尔的现象学，重点是时间意识。最后，我们提出了我们的映射从胡塞尔现象学的积极推理。
2022-10-28 cs.AI q-bio.NC
Active Inference Meeting Energy-Efficient Control of Parallel and Identical Machines
Politecnico di Milano（米兰理工学院）；Rutgers University（罗格斯大学）
本研究将主动推理应用于制造系统节能控制，通过深度主动推理智能体控制并行同型机器，引入多步转移和混合视野方法应对随机性与延迟，实验验证了其有效性。
2024-11-13 cs.AI cs.LG
Compressed Active Subspaces for Scalable Bayesian Inference
Brookhaven National Laboratory（布鲁克海文国家实验室）；Texas A&M University（德克萨斯A&M大学）；Argonne National Laboratory（阿贡国家实验室）
针对活性子空间方法在大模型中存储梯度内存过大的问题，提出压缩活性子空间（CAS），通过结构化等距嵌入降维后构建子空间，大幅降低内存需求，实现大规模神经网络的贝叶斯推断并保持性能与不确定性估计。
2026-09-18 cs.AI cs.LG stat.ME
Points-of-Interest Relationship Inference with Spatial-enriched Graph Neural Networks
Nanyang Technological University（南洋理工大学）；RMIT University（皇家墨尔本理工大学）；Meituan（美团）
作为基于位置的服务中的一个基本组成部分，推断兴趣点（POI）之间的关系对于服务提供商向企业主和客户提供良好的用户体验非常关键。现有的大多数关系推理方法都不是针对兴趣点的，因此无法捕获对兴趣点关系有巨大影响的独特空间特征。在这项工作中，我们提出PRIM来解决POI关系推理的多种关系类型。PRIM具有四个新的组件，包括加权关系图神经网络，类别分类集成，自我关注的空间上下文提取器，和距离特定的评分功能。在两个真实数据集上的大量实验表明，与最先进的基线相比，PRIM实现了最佳结果，并且对数据稀疏具有鲁棒性，适用于实际中看不见的情况。
2022-02-28 cs.AI
Active inference, Bayesian optimal design, and expected utility
Wellcome Centre for Human Neuroimaging, University College London（伦敦大学学院威康人类神经影像中心）；Department of Mathematics, Imperial College London（伦敦帝国理工学院数学系）
主动推理是自由能原理的一个推论，是描述具有感知外观的某些随机动力系统行为的一种形式化方法。在这一章中，我们描述了主动推理如何结合贝叶斯决策理论和最优贝叶斯设计原则，在一个单一的命令，以最大限度地减少预期的自由能。正是主动推理的这一方面使得信息寻求行为自然出现。当从期望自由能中去除先前结果偏好时，主动推理简化为最优贝叶斯设计，即，信息增益最大化相反，在没有歧义和相对风险的情况下，主动推理简化为贝叶斯决策理论，即，期望效用最大化使用这些限制的情况下，我们说明了如何不同的行为时，代理选择的行动，优化预期的效用，预期的信息增益，和预期的自由能。我们的T型迷宫模拟表明，优化预期的自由能产生目标导向的信息寻求行为，而优化预期的效用诱导纯粹的剥削行为和最大限度地提高信息增益产生内在动机的行为。
2021-09-21 cs.AI cs.IT cs.LG
Active Inference in Discrete State Spaces from First Principles
Centre de recherche informatique de Montréal（蒙特利尔信息研究中心）
本文提出了一种在离散状态空间中实现主动推断的方法，通过将优化问题转化为受约束的散度最小化问题，并区分了感知与行动建模中的不同准则。
2026-01-18 cs.AI
A Minimal Active Inference Agent
University of Sussex（萨塞克斯大学）
认知神经科学中所谓的“自由能原理”（FEP）的研究正变得越来越引人注目。到目前为止，对这个理论的介绍已经证明对许多读者来说很难理解，但它主要依赖于两个相对简单的想法：首先，规范或目的论的值可以表示为概率分布（主动推理），其次，近似贝叶斯推理可以通过模型参数的梯度下降有效地执行（自由能原理）。主动推理的概念对于包括认知科学和人工智能以及认知神经科学在内的许多学科都具有极大的兴趣，并且值得更广泛地了解。本文试图为来自不同科学背景的读者提供一个对主动推理和信息自由能的可访问的介绍。在这项工作中，介绍了一个基于代理的模型与代理试图预测其位置在一个一维的离散世界使用的方法从FEP。
2015-03-13 cs.AI
Deep Active Inference for Autonomous Robot Navigation
IDLab, Department of Information Technology（信息技术系IDLab）
主动推理是一种支持生物主体在现实世界中感知和行动的理论。主动推理的核心是基于大脑是一个近似贝叶斯推理引擎的原则，建立一个内部生成模型，以驱动代理实现最小的惊喜。虽然这一理论已经在认知神经科学的基础上显示出有趣的结果，但它的应用仍然局限于小的、预定义的传感器和状态空间的模拟。在本文中，我们利用深度学习的最新进展来构建更复杂的生成模型，这些模型可以在没有预定义状态空间的情况下工作。状态表示是从真实世界的高维感知数据（如摄像机帧）中端到端学习的。我们还表明，这些生成模型可以用来从事积极的推理。据我们所知，这是深度主动推理在现实世界机器人导航任务中的首次应用。
2020-03-06 cs.AI cs.LG
Branching Time Active Inference: the theory and its generality
University of Kent（肯特大学）；Imperial College London（帝国理工学院）；Wellcome Centre for Human Neuroimaging, University College London（伦敦大学学院惠康人类神经影像中心）；University of Birmingham（伯明翰大学）
在过去的10到15年里，主动推理有助于解释各种大脑机制，从习惯形成到多巴胺能放电，甚至模拟好奇心。然而，目前的实现遭受指数（空间和时间）的复杂性类时，计算所有可能的政策的时间范围内的先验。Fountas等人（2020）使用蒙特卡罗树搜索来解决这个问题，在两个不同的任务中得到了令人印象深刻的结果。在本文中，我们提出了一个替代框架，旨在统一树搜索和主动推理铸造规划作为一个结构学习问题。然后提出了两个树搜索算法。第一个在时间上向前传播预期的自由能（即，朝向叶），而第二个将其向后传播（即，向根）。然后，我们证明了前向和后向传播分别与主动推理和复杂推理有关，从而澄清了这两种规划策略之间的差异。
2022-04-11 cs.AI
Modeling Sustainable Resource Management using Active Inference
Université du Québec à Montréal（魁北克大学蒙特利尔分校）；Macquarie University（麦考瑞大学）；IULM University（IULM大学）；University of Sussex（萨塞克斯大学）
本文提出基于主动推理的计算模型，研究代理在静态和动态环境中学习可持续资源管理策略，通过优化先验偏好表示的幸福感来平衡即时需求与长期资源可用性，展示主动推理催生可持续和韧性行为的潜力。
2024-06-11 cs.AI
Predictive Minds: LLMs As Atypical Active Inference Agents
Charles University（查理大学）；Gaia Consortium（盖亚联盟）
本文用主动推理理论重新概念化大语言模型，指出其缺乏行动-感知反馈回路，但预测该回路可能闭合，带来自我意识增强和通过改变世界减少预测误差的后果。
2023-11-16 cs.AI cs.CL
Integrating cognitive map learning and active inference for planning in ambiguous environments
Ghent University（根特大学）；imec（比利时微电子研究中心）；VERSES Research Lab（VERSES研究实验室）；National Research Council（国家研究委员会）
本文将克隆结构认知图（CSCG）模型与主动推理智能体结合，用于不确定性空间导航；三类场景实验表明，该方法在位置观测模糊时比朴素克隆图智能体规划更有效。
2023-08-16 cs.AI
Deep Active Inference for Pixel-Based Discrete Control: Evaluation on the Car Racing Problem
Radboud University（拉德堡德大学）
尽管基于视觉的控制具有主动推理的潜力，但在与环境交互的同时学习模型和偏好（先验）是具有挑战性的。在这里，我们研究了深度主动推理（dAIF）代理在OpenAI的赛车基准测试中的性能，其中无法访问汽车的状态。智能体通过无监督的表示学习从高维输入中学习编码世界的状态。状态推断和控制通过优化预期的自由能来端到端地学习。结果表明，我们的模型实现了与深度Q学习相当的性能。然而，与其他世界模型方法相比，普通dAIF没有达到最先进的性能。因此，我们讨论了当前模型实现的局限性和潜在的架构，以克服它们。
2021-09-09 cs.AI cs.NE
Adaptation through prediction: multisensory active inference torque control
Delft University of Technology（代尔夫特理工大学）；Radboud University（拉德堡德大学）
对于不确定环境中的机器人系统来说，适应外部和内部变化是主要的。在这里，我们提出了一种新的多传感器主动推理扭矩控制器的工业武器，显示如何预测可以用来解决适应。我们的控制器受到预测大脑假设的启发，通过结合低维和高维传感器输入的学习和多模态集成（例如，原始图像），同时简化架构。我们在7DoF Franka Panda机器人手臂上对我们的模型进行了系统的评估，将其行为与以前的主动推理基线和经典控制器进行比较，定性和定量地分析自适应能力和控制精度。结果表明，改进的控制精度在目标导向达到高噪声抑制由于多模态滤波，和适应性的动态惯性变化，弹性约束和人为干扰，而不需要重新学习的模型，也没有参数重新调整。
2021-12-13 cs.AI cs.RO
What Type of Inference is Active Inference?
Department of Electrical Engineering（电气工程系）；Eindhoven University of Technology（埃因霍温理工大学）；Eindhoven, the Netherlands（荷兰埃因霍温）；Lazy Dynamics；Utrecht, the Netherlands（荷兰乌得勒支）
本文通过变分自由能框架将主动推理中的期望自由能最小化分解为熵校正项和规划校正项，揭示了其推理本质，并在网格世界实验中验证了不同校正项的作用。
2026-07-08 cs.AI
A Hardware-oriented Approach for Efficient Active Inference Computation and Deployment
VERSES；Computer Science Center, University of Montenegro（蒙特内格罗大学计算机科学中心）；Fain Tech（Fain科技）
本文提出一种面向硬件的高效主动推理部署方法，通过结合 pymdp 与统一稀疏计算图，将延迟降低超过 2 倍、内存降低最多 35%，推动 AIF 智能体在实时和嵌入式场景中的应用。
2025-08-12 cs.AI
Active Inference in String Diagrams: A Categorical Account of Predictive Processing and Free Energy
Quantinuum（昆蒂努姆）；Association for Mathematical Consciousness Science（数学意识科学协会）；Ludwig Maximilian University of Munich（慕尼黑路德维希-马克西米利安大学）；University of Bamberg（班贝格大学）；Topos Institute（托波斯研究所）；VERSES Research（VERSES研究院）
本文用字符串图与幺半范畴理论形式化预测处理与主动推断框架，图示推导了基于自由能最小化的主动推断公式，并证明自由能的组合性属性，为该领域提供了图形语言与简洁介绍。
2023-08-01 cs.AI cs.LO math.CT
Message passing-based inference in an autoregressive active inference agent
Eindhoven University of Technology（埃因霍温理工大学）；Lazy Dynamics B.V.（Lazy Dynamics公司）
本文提出一种基于消息传递的自回归主动推断代理，通过在因子图上进行推理，在机器人导航任务中展示了在连续观测空间中实现探索与利用的能力，并在动态建模方面优于传统控制器。
2026-01-19 cs.AI cs.LG cs.RO
Structured Active Inference (Extended Abstract)
VERSES Research Lab（VERSES研究实验室）
本文提出结构化主动推理框架，用范畴系统理论将生成模型、Markov blanket 接口、智能体与策略形式化，以支持可验证、可组合的多智能体和元智能体控制。
2024-06-07 cs.AI math.CT
Multimodal VAE Active Inference Controller
Delft University of Technology（代尔夫特理工大学）；Radboud University（拉德堡德大学）；Donders Institute for Brain, Cognition and Behavior（唐德斯脑、认知与行为研究所）
主动推理是一种受大脑处理启发的理论结构，是控制人工智能体的一种很有前途的选择。然而，目前的方法还没有扩展到连续控制中的高维输入。在这里，我们提出了一种新的主动推理扭矩控制器的工业武器，保持了以前的本体感受方法的自适应特性，但也使大规模的多模态集成（例如，原始图像）。我们扩展了我们以前的数学公式，包括多模态状态表示学习使用线性耦合的多模态变分自编码器。我们在模拟的7DOF Franka Panda机器人手臂上评估了我们的模型，并将其行为与之前的主动推理基线和Panda内置优化控制器进行了比较。结果表明，改进的跟踪和控制，在目标导向达到由于增加的代表性的权力，高鲁棒性噪声和适应性的变化，环境条件和机器人参数，而不需要重新学习的生成模型，也没有参数重新调整。
2021-03-07 cs.AI cs.RO
Branching Time Active Inference: empirical study and complexity class analysis
University of Kent（肯特大学）；University of Birmingham（伯明翰大学）
主动推理是一种最先进的大脑建模框架，可以解释各种机制，如习惯形成，多巴胺能放电和好奇心。然而，最近的实现遭受的指数复杂度类时，计算所有可能的政策的时间范围内的先验。Fountas等人（2020）使用蒙特卡罗树搜索来解决这个问题，在两个不同的任务中得到了非常好的结果。此外，Champion等人（2021 a）提出了一种基于（时间）结构学习的树搜索方法。这是通过开发一种可变的消息传递方法来实现的，该方法可以实现贝叶斯网络的组合构建以进行主动推理。然而，这种消息传递树搜索方法，我们称之为分支时间主动推理（BTAI），从未进行过经验测试。在本文中，我们提出了一个实验研究的背景下，BTAI的迷宫解决代理。在这种情况下，我们表明，改进的先验偏好和更深入的搜索都有助于减轻局部最小值的脆弱性。然后，我们比较BTAI标准的主动推理（AcI）的图形导航任务。我们表明，对于小图，BTAI和AcI成功地解决了任务。对于较大的图，AcI表现出指数（空间）复杂性类，使该方法难以处理。然而，BTAI更有效地探索了政策空间，成功地扩展到更大的图表。然后，在冰冻湖环境下，将BTAI算法与POMCP算法进行了比较。实验表明，BTAI和POMCP算法积累了类似的奖励金额。此外，我们描述了当BTAI收到更多的奖励比POMCP代理，当相反的是真的。最后，我们将BTAI与Fountas et al（2020）在dSprite…
2022-05-24 cs.AI
Object-based active inference
Radboud University（拉德堡德大学）；Donders Institute for Brain, Cognition & Behavior（唐德斯脑、认知与行为研究所）
世界由物体组成：具有独立属性和动力的不同实体。为了让智能体与世界智能地交互，它们必须将感官输入转化为描述每个对象的绑定在一起的特征。这些基于对象的表示形成了规划行为的自然基础。主动推理（AIF）是一种有影响力的感知和行动的统一解释，但现有的AIF模型没有利用这一重要的归纳偏差。为了解决这个问题，我们引入了“基于对象的主动推理”（OBAI），将AIF与最近的基于深度对象的神经网络结合起来。OBAI表示不同的对象与单独的变分信念，并使用选择性注意路由输入到相应的对象插槽。对象表示被赋予独立的基于动作的动力学。动力学和生成模型是从简单环境（活动多dSprites）的经验中学习的。我们表明，OBAI学习正确分割的动作扰动对象从视频输入，并操纵这些对象向任意目标。
2022-09-02 cs.AI q-bio.NC
Designing explainable artificial intelligence with active inference: A framework for transparent introspection and decision-making
VERSES Research Lab（VERSES研究实验室）；Université du Québec à Montréal（魁北克大学蒙特利尔分校）；Humboldt-Universität zu Berlin（柏林洪堡大学）；Macquarie University（麦考瑞大学）；University College London（伦敦大学学院）
本文提出基于主动推理与自由能原理的可解释AI架构，以分层生成模型实现可审计的内省追踪、决策解释和多源信息整合。
2023-06-06 cs.AI
Sophisticated Policies from Epistemic Priors
Eindhoven University of Technology（埃因霍温理工大学）；Lazy Dynamics（懒动力学）
研究探讨复杂推理在主动推理中的作用，通过在反应迷宫中评估，发现单独要素不足，复杂推理和全联合认知先验主动推理结合认知驱动与闭环推理解决环境问题，优势源于闭环形式，可在认知先验变分推理中表示。
2026-07-23 cs.AI
Bidirectional Interaction between Visual and Motor Generative Models using Predictive Coding and Active Inference
CY University（CY大学）；ENSEA（ENSEA国立高等电子与应用学院）；CNRS（法国国家科学研究中心）
在这项工作中，我们建立在主动推理（AIF）和预测编码（PC）框架的基础上，提出了一种神经架构，包括一个用于感觉预测的生成模型和一个用于运动轨迹的独特生成模型。我们强调如何序列的感官预测可以作为轨道指导学习，控制和在线适应运动轨迹。此外，我们还探讨了运动和视觉模块之间的双向相互作用的影响。该体系结构进行了测试的模拟机器人手臂学习再现手写字母的控制。
2021-04-19 cs.AI cs.LG cs.NE
Compositional Active Inference II: Polynomial Dynamics. Approximate Inference Doctrines
University of Oxford（牛津大学）；Topos Institute（托波斯研究所）
我们开发的积极推理的合成理论，通过引入活动，功能相关的统计游戏的动力系统，发挥他们，使用近似推理学说的新概念。为了展示这样的函子，我们首先开发必要的理论动力系统，使用一个概括的语言多项式函子提供所需类型的合成接口：与由此产生的多项式索引类别的余代数，我们构建monoidal双范畴的微分和动态的“层次推理系统”，其中近似推理理论具有语义。然后，我们描述了“外部参数化”的统计游戏，并使用它们来构建计算神经科学文献中发现的两个近似推理理论，我们称之为“拉普拉斯”和“Hebb-Laplace”理论：前者产生优化高斯模型后验的动力系统;而后者产生的系统还优化了确定其预测的参数（或“权重”）。
2022-08-25 cs.AI math.CT math.DS
End-to-End Pixel-Based Deep Active Inference for Body Perception and Action
Technical University of Munich（慕尼黑工业大学）；Donders Institute for Brain, Cognition and Behaviour（唐德斯脑、认知与行为研究所）；Radboud University（拉德堡德大学）
我们提出了一种基于像素的深度主动推理算法（PixelAI），其灵感来自人体感知和动作。我们的算法将神经科学中的自由能原理（植根于变分推理）与深度卷积解码器相结合，以扩展算法，直接处理原始视觉输入，并提供在线自适应推理。我们的方法是通过研究身体感知和行动在一个模拟和一个真正的Nao机器人进行验证。结果表明，我们的方法允许机器人执行1）动态身体估计其手臂只使用单目摄像机图像和2）自主达到“想象”的手臂姿势在视觉空间。这表明，机器人和人体的感知和行动可以有效地解决看作是一个积极的推理问题的指导下进行感官输入。
2020-05-29 cs.AI cs.CV cs.LG
A Novel Resource Allocation for Anti-jamming in Cognitive-UAVs: an Active Inference Approach
University of Genoa（热那亚大学）；Queen Mary University of London（伦敦玛丽女王大学）；Italian National Consortium for Telecommunications（意大利国家电信联盟）
提出了一种基于主动推理的认知无线电抗干扰资源分配策略（$\textit{AIn}$），并以认知无人机为例进行了仿真研究。提出了一种主动广义动态贝叶斯网络（Active-GDBN）来表示外部环境，将信号的物理动态特性和无人机与干扰机之间的动态相互作用共同编码在频谱中。我们将行动和计划转化为贝叶斯推理问题，可以通过在在线学习期间避免意外状态（最小化异常）来解决。仿真结果验证了所提出的$\textit{AIn}$方法在最小化异常（最大化奖励）方面的有效性，并与传统的跳频和Q学习方法进行了比较，结果表明该方法具有较高的收敛速度。
2022-08-10 cs.AI cs.IT cs.LG
