Integrating cognitive map learning and active inference for planning in ambiguous environments
Ghent University（根特大学）；imec（比利时微电子研究中心）；VERSES Research Lab（VERSES研究实验室）；National Research Council（国家研究委员会）
本文将克隆结构认知图（CSCG）模型与主动推理智能体结合，用于不确定性空间导航；三类场景实验表明，该方法在位置观测模糊时比朴素克隆图智能体规划更有效。
2023-08-16 cs.AI
Geometry of Friston's active inference
Araya Inc.（荒谷公司）
我们重建了卡尔弗里斯顿的积极推理，并给出了它的几何解释。
2018-11-20 cs.AI cs.LG
What Type of Inference is Active Inference?
Department of Electrical Engineering（电气工程系）；Eindhoven University of Technology（埃因霍温理工大学）；Eindhoven, the Netherlands（荷兰埃因霍温）；Lazy Dynamics；Utrecht, the Netherlands（荷兰乌得勒支）
本文通过变分自由能框架将主动推理中的期望自由能最小化分解为熵校正项和规划校正项，揭示了其推理本质，并在网格世界实验中验证了不同校正项的作用。
2026-07-08 cs.AI
A Hardware-oriented Approach for Efficient Active Inference Computation and Deployment
VERSES；Computer Science Center, University of Montenegro（蒙特内格罗大学计算机科学中心）；Fain Tech（Fain科技）
本文提出一种面向硬件的高效主动推理部署方法，通过结合 pymdp 与统一稀疏计算图，将延迟降低超过 2 倍、内存降低最多 35%，推动 AIF 智能体在实时和嵌入式场景中的应用。
2025-08-12 cs.AI
Branching Time Active Inference: empirical study and complexity class analysis
University of Kent（肯特大学）；University of Birmingham（伯明翰大学）
主动推理是一种最先进的大脑建模框架，可以解释各种机制，如习惯形成，多巴胺能放电和好奇心。然而，最近的实现遭受的指数复杂度类时，计算所有可能的政策的时间范围内的先验。Fountas等人（2020）使用蒙特卡罗树搜索来解决这个问题，在两个不同的任务中得到了非常好的结果。此外，Champion等人（2021 a）提出了一种基于（时间）结构学习的树搜索方法。这是通过开发一种可变的消息传递方法来实现的，该方法可以实现贝叶斯网络的组合构建以进行主动推理。然而，这种消息传递树搜索方法，我们称之为分支时间主动推理（BTAI），从未进行过经验测试。在本文中，我们提出了一个实验研究的背景下，BTAI的迷宫解决代理。在这种情况下，我们表明，改进的先验偏好和更深入的搜索都有助于减轻局部最小值的脆弱性。然后，我们比较BTAI标准的主动推理（AcI）的图形导航任务。我们表明，对于小图，BTAI和AcI成功地解决了任务。对于较大的图，AcI表现出指数（空间）复杂性类，使该方法难以处理。然而，BTAI更有效地探索了政策空间，成功地扩展到更大的图表。然后，在冰冻湖环境下，将BTAI算法与POMCP算法进行了比较。实验表明，BTAI和POMCP算法积累了类似的奖励金额。此外，我们描述了当BTAI收到更多的奖励比POMCP代理，当相反的是真的。最后，我们将BTAI与Fountas et al（2020）在dSprite…
2022-05-24 cs.AI
Designing explainable artificial intelligence with active inference: A framework for transparent introspection and decision-making
VERSES Research Lab（VERSES研究实验室）；Université du Québec à Montréal（魁北克大学蒙特利尔分校）；Humboldt-Universität zu Berlin（柏林洪堡大学）；Macquarie University（麦考瑞大学）；University College London（伦敦大学学院）
本文提出基于主动推理与自由能原理的可解释AI架构，以分层生成模型实现可审计的内省追踪、决策解释和多源信息整合。
2023-06-06 cs.AI
Sophisticated Policies from Epistemic Priors
Eindhoven University of Technology（埃因霍温理工大学）；Lazy Dynamics（懒动力学）
研究探讨复杂推理在主动推理中的作用，通过在反应迷宫中评估，发现单独要素不足，复杂推理和全联合认知先验主动推理结合认知驱动与闭环推理解决环境问题，优势源于闭环形式，可在认知先验变分推理中表示。
2026-07-23 cs.AI
Mapping Husserlian phenomenology onto active inference
VERSES Research Lab（VERSES研究实验室）；Université du Québec à Montréal（魁北克大学蒙特利尔分校）；University of Oxford（牛津大学）；University College London（伦敦大学学院）；University of California, Merced（加利福尼亚大学默塞德分校）
现象学是对意识经验的严格描述性研究。最近试图形式化胡塞尔现象学为我们提供了一个数学模型的知觉作为先验知识和期望的函数。在本文中，我们通过主动推理的镜头重新审视胡塞尔现象学的要素。在这样做的过程中，我们的目标是推进计算现象学的项目，最近由积极推理的支持者概述。我们建议，胡塞尔的描述意识的关键方面可以映射到与积极推理方法相关的生成模型的方面。我们首先简要回顾一下主动推理。然后，我们讨论胡塞尔的现象学，重点是时间意识。最后，我们提出了我们的映射从胡塞尔现象学的积极推理。
2022-10-28 cs.AI q-bio.NC
Active Inference Meeting Energy-Efficient Control of Parallel and Identical Machines
Politecnico di Milano（米兰理工学院）；Rutgers University（罗格斯大学）
本研究将主动推理应用于制造系统节能控制，通过深度主动推理智能体控制并行同型机器，引入多步转移和混合视野方法应对随机性与延迟，实验验证了其有效性。
2024-11-13 cs.AI cs.LG
Active inference: demystified and compared
Wellcome Centre for Human Neuroimaging, UCL Queen Square Institute of Neurology（伦敦大学学院皇后广场神经病学研究所惠康人类神经影像中心）；University of Oxford（牛津大学）
主动推理是自主智能体如何在动态、非平稳环境中工作的第一原理。这个问题也被认为是在强化学习（RL），但有限的工作存在比较这两种方法在相同的离散状态环境。在本文中，我们提供：1）主动推理的离散状态公式的可访问概述，突出显示通常在RL中设计的主动推理中的自然行为; 2）在OpenAI健身房基线上主动推理和RL之间的显式离散状态比较。首先，我们提供了一个浓缩的主动推理文献的概述，特别是通过RL的镜头查看主动推理代理的各种自然行为。我们表明，通过在一个纯粹的基于信念的设置，主动推理代理可以进行认知探索，并占不确定性的贝叶斯最优的方式对他们的环境。此外，我们表明，在RL中对显式奖励信号的依赖在主动推理中被去除，其中奖励可以简单地被视为另一种观察;即使在完全没有奖励的情况下，代理行为也可以通过偏好学习来学习。我们通过展示两种场景来明确这些属性，在这两种场景中，主动推理代理可以推断出无奖励环境中的行为，与Q学习和基于贝叶斯模型的RL代理相比;通过将零先验偏好置于奖励之上，并通过学习与奖励相对应的观察结果的先验偏好。最后，我们注意到，这种形式主义可以适用于更复杂的设置，如果适当的生成模型可以制定。简而言之，我们的目标是通过提供一个可访问的离散状态空间和时间公式来揭开主动推理代理的行为，并在OpenAI健身房环境中与RL代理一起演示这些行为。
2020-10-30 cs.AI q-bio.QM
On the Relationship Between Active Inference and Control as Inference
University of Edinburgh（爱丁堡大学）；University of Sussex（苏塞克斯大学）
主动推理（AIF）是脑科学中的一个新兴框架，它表明生物因子的作用是最小化模型证据的变分边界。控制即推理（CAI）是强化学习中的一个框架，它将决策问题转化为变分推理问题。虽然这些框架都考虑通过变分推理的镜头动作选择，它们的关系仍然不清楚。在这里，我们提供了它们之间的正式比较，并证明了主要的差异来自于价值如何被纳入各自的生成模型。在这种比较的背景下，我们强调了这些框架可以相互告知的几种方式。
2020-06-29 cs.AI stat.ML
Deep Active Inference for Autonomous Robot Navigation
IDLab, Department of Information Technology（信息技术系IDLab）
主动推理是一种支持生物主体在现实世界中感知和行动的理论。主动推理的核心是基于大脑是一个近似贝叶斯推理引擎的原则，建立一个内部生成模型，以驱动代理实现最小的惊喜。虽然这一理论已经在认知神经科学的基础上显示出有趣的结果，但它的应用仍然局限于小的、预定义的传感器和状态空间的模拟。在本文中，我们利用深度学习的最新进展来构建更复杂的生成模型，这些模型可以在没有预定义状态空间的情况下工作。状态表示是从真实世界的高维感知数据（如摄像机帧）中端到端学习的。我们还表明，这些生成模型可以用来从事积极的推理。据我们所知，这是深度主动推理在现实世界机器人导航任务中的首次应用。
2020-03-06 cs.AI cs.LG
Learning Spatial and Temporal Hierarchies: Hierarchical Active Inference for navigation in Multi-Room Maze Environments
University of Ghent（根特大学）；Verses AI
本文提出三层层级主动推理模型，结合认知地图、异我中心与自我中心世界模型，在迷你网格环境中实现好奇心驱动探索与目标导向导航。
2023-09-18 cs.AI
The Phenomenology of Machine: A Comprehensive Analysis of the Sentience of the OpenAI-o1 Model Integrating Functionalism, Consciousness Theories, Active Inference, and AI Architectures
本文以功能主义为框架，结合整合信息理论与主动推理，分析OpenAI-o1模型在RLHF训练和推理中可能表现出的意识特征，并回应相关反驳，认为该模型展现出部分意识特征。
2024-09-18 cs.AI
Reward Maximisation through Discrete Active Inference
Imperial College London（帝国理工学院）；University College London（伦敦大学学院）；Laureate Institute for Brain Research（劳雷亚德脑研究所）
主动推理是一种概率框架，用于模拟生物和人工代理的行为，它源于最小化自由能的原则。近年来，这一框架已成功地应用于各种情况下，目标是最大限度地提高回报，提供可比的，有时更优越的性能，以替代方法。在本文中，我们阐明了奖励最大化和积极推理之间的联系，通过演示如何以及何时主动推理代理执行最佳奖励的行动。准确地说，我们展示了主动推理产生贝尔曼方程最佳解的条件--该公式是几种基于基于模型的强化学习和控制方法的基础。部分观察马尔可夫决策过程，标准的主动推理方案可以产生贝尔曼最优行动的规划视野1，但不超过。相比之下，最近开发的递归主动推理计划（复杂的推理）可以产生贝尔曼最优行动的任何有限的时间范围内。我们在分析的基础上讨论了主动推理和强化学习之间更广泛的关系。
2022-07-11 cs.AI math.OC q-bio.NC
Predictive Minds: LLMs As Atypical Active Inference Agents
Charles University（查理大学）；Gaia Consortium（盖亚联盟）
本文用主动推理理论重新概念化大语言模型，指出其缺乏行动-感知反馈回路，但预测该回路可能闭合，带来自我意识增强和通过改变世界减少预测误差的后果。
2023-11-16 cs.AI cs.CL
Learning Perception and Planning with Deep Active Inference
Ghent University - imec（根特大学-imec）
主动推理是大脑的一种过程理论，它指出所有生物体都推断行动，以最大限度地减少其（预期）自由能。然而，目前的实验仅限于预定义的，往往是离散的，状态空间。在本文中，我们使用深度学习的最新进展来学习状态空间并近似必要的概率分布以进行主动推理。
2020-02-24 cs.AI cs.LG stat.ML
pymdp: A Python library for active inference in discrete state spaces
Max Planck Institute of Animal Behavior（马克斯·普朗克动物行为研究所）；Centre for the Advanced Study of Collective Behaviour（集体行为高级研究中心）；University of Konstanz（康斯坦茨大学）；VERSES Research Lab（VERSES研究实验室）；University of Oxford（牛津大学）；Imperial College London（帝国理工学院）；Northeastern University（东北大学）；University College London（伦敦大学学院）；University of Sussex（萨塞克斯大学）
主动推理是对复杂系统中认知和行为的一种解释，它将行动、感知和学习结合在贝叶斯推理的理论框架下。主动推理在学术研究中的应用越来越多，特别是在试图模拟人类或动物行为的领域。虽然近年来，从主动推理文献中产生的一些代码已经用Python和Julia等开放源语言编写，但迄今为止，用于模拟主动推理代理的最流行的软件是SPM的DEM工具箱，这是一个最初为神经成像数据的统计分析和建模而开发的MATLAB库。对主动推理的兴趣日益增加，表现在数量上以及跨科学学科的应用多样化，因此需要通用的，广泛可用的和用户友好的代码，用于在开源科学计算语言（如Python）中模拟主动推理。我们在这里介绍的Python包pymdp（参见https：//github.com/infer-actively/pymdp）代表了这个方向上的重要一步：即，我们提供了第一个开源包，用于使用部分可观察马尔可夫决策过程（POMDP）模拟主动推理。我们回顾了该软件包的结构，并解释了它的优势，如模块化设计和可定制性，同时提供了文本代码块，以演示如何使用它来轻松构建和运行主动推理过程。我们开发pymdp是为了增加主动推理框架的可访问性和曝光度，让具有不同学科背景的研究人员、工程师和开发人员使用。本着开源软件的精神，我们也希望它能在不断增长的活跃推理社区中激发新的创新、开发和协作。
2022-05-04 cs.AI cs.MS q-bio.NC
Demonstrating the Continual Learning Capabilities and Practical Application of Discrete-Time Active Inference
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
本文提出基于主动推理的离散时间持续学习框架，推导变分与期望自由能公式并构建自学习智能体，实验证明其能在变化环境中高效更新模型，适用于金融、医疗等复杂领域。
2024-09-30 cs.AI cs.LG
Object-Centric Scene Representations using Active Inference
IDLab（IDLab实验室）；Ghent University（根特大学）
从原始传感数据中表示场景及其组成对象是使机器人能够与其环境交互的核心能力。在本文中，我们提出了一种新的方法场景理解，利用分层对象为中心的生成模型，使代理推断对象类别和姿态在allocentric参考框架使用主动推理，神经启发的框架动作和感知。为了评估主动视觉代理的行为，我们还提出了一个新的基准，给定一个特定对象的目标视点，代理需要找到最佳匹配的视点，给定一个工作空间，在3D中随机定位的对象。我们证明了我们的主动推理代理能够平衡认知觅食和目标驱动的行为，并大大优于监督和强化学习基线。
2023-02-07 cs.AI cs.RO
Deep Active Inference for Pixel-Based Discrete Control: Evaluation on the Car Racing Problem
Radboud University（拉德堡德大学）
尽管基于视觉的控制具有主动推理的潜力，但在与环境交互的同时学习模型和偏好（先验）是具有挑战性的。在这里，我们研究了深度主动推理（dAIF）代理在OpenAI的赛车基准测试中的性能，其中无法访问汽车的状态。智能体通过无监督的表示学习从高维输入中学习编码世界的状态。状态推断和控制通过优化预期的自由能来端到端地学习。结果表明，我们的模型实现了与深度Q学习相当的性能。然而，与其他世界模型方法相比，普通dAIF没有达到最先进的性能。因此，我们讨论了当前模型实现的局限性和潜在的架构，以克服它们。
2021-09-09 cs.AI cs.NE
Adaptation through prediction: multisensory active inference torque control
Delft University of Technology（代尔夫特理工大学）；Radboud University（拉德堡德大学）
对于不确定环境中的机器人系统来说，适应外部和内部变化是主要的。在这里，我们提出了一种新的多传感器主动推理扭矩控制器的工业武器，显示如何预测可以用来解决适应。我们的控制器受到预测大脑假设的启发，通过结合低维和高维传感器输入的学习和多模态集成（例如，原始图像），同时简化架构。我们在7DoF Franka Panda机器人手臂上对我们的模型进行了系统的评估，将其行为与以前的主动推理基线和经典控制器进行比较，定性和定量地分析自适应能力和控制精度。结果表明，改进的控制精度在目标导向达到高噪声抑制由于多模态滤波，和适应性的动态惯性变化，弹性约束和人为干扰，而不需要重新学习的模型，也没有参数重新调整。
2021-12-13 cs.AI cs.RO
Learning Generative Models for Active Inference using Tensor Networks
Ghent University（根特大学）；imec（比利时微电子研究中心）；University of Vienna（维也纳大学）
主动推理为自主智能体的行为和学习提供了一个通用的框架。它指出，一个代理将试图最小化其变分自由能，定义在观察，内部状态和政策的信念。传统上，离散主动推理模型的每个方面都必须手动指定，即通过手动定义隐藏状态空间结构以及所需的分布，如似然和转移概率。最近，已经努力使用深度神经网络从观察自动学习状态空间表示。在本文中，我们提出了一种新的方法学习状态空间使用量子物理启发张量网络。张量网络表示量子态的概率性质以及减少大状态空间的能力使张量网络成为主动推理的自然候选者。我们展示了张量网络如何用作序列数据的生成模型。此外，我们展示了如何从这样的生成模型中获得信念，以及如何使用主动推理代理来计算预期的自由能。最后，我们证明了我们的方法在经典的T-迷宫环境。
2022-09-08 cs.AI cs.LG
Structured Active Inference (Extended Abstract)
VERSES Research Lab（VERSES研究实验室）
本文提出结构化主动推理框架，用范畴系统理论将生成模型、Markov blanket 接口、智能体与策略形式化，以支持可验证、可组合的多智能体和元智能体控制。
2024-06-07 cs.AI math.CT
Multimodal VAE Active Inference Controller
Delft University of Technology（代尔夫特理工大学）；Radboud University（拉德堡德大学）；Donders Institute for Brain, Cognition and Behavior（唐德斯脑、认知与行为研究所）
主动推理是一种受大脑处理启发的理论结构，是控制人工智能体的一种很有前途的选择。然而，目前的方法还没有扩展到连续控制中的高维输入。在这里，我们提出了一种新的主动推理扭矩控制器的工业武器，保持了以前的本体感受方法的自适应特性，但也使大规模的多模态集成（例如，原始图像）。我们扩展了我们以前的数学公式，包括多模态状态表示学习使用线性耦合的多模态变分自编码器。我们在模拟的7DOF Franka Panda机器人手臂上评估了我们的模型，并将其行为与之前的主动推理基线和Panda内置优化控制器进行了比较。结果表明，改进的跟踪和控制，在目标导向达到由于增加的代表性的权力，高鲁棒性噪声和适应性的变化，环境条件和机器人参数，而不需要重新学习的生成模型，也没有参数重新调整。
2021-03-07 cs.AI cs.RO
Object-based active inference
Radboud University（拉德堡德大学）；Donders Institute for Brain, Cognition & Behavior（唐德斯脑、认知与行为研究所）
世界由物体组成：具有独立属性和动力的不同实体。为了让智能体与世界智能地交互，它们必须将感官输入转化为描述每个对象的绑定在一起的特征。这些基于对象的表示形成了规划行为的自然基础。主动推理（AIF）是一种有影响力的感知和行动的统一解释，但现有的AIF模型没有利用这一重要的归纳偏差。为了解决这个问题，我们引入了“基于对象的主动推理”（OBAI），将AIF与最近的基于深度对象的神经网络结合起来。OBAI表示不同的对象与单独的变分信念，并使用选择性注意路由输入到相应的对象插槽。对象表示被赋予独立的基于动作的动力学。动力学和生成模型是从简单环境（活动多dSprites）的经验中学习的。我们表明，OBAI学习正确分割的动作扰动对象从视频输入，并操纵这些对象向任意目标。
2022-09-02 cs.AI q-bio.NC
Expanding the Active Inference Landscape: More Intrinsic Motivations in the Perception-Action Loop
Araya Inc.（Araya公司）；Computational Creativity Group, Department of Computing, Goldsmiths, University of London（Goldsmiths大学计算创意小组）；Game Innovation Lab, Department of Computer Science and Engineering, New York University（纽约大学游戏创新实验室）；Sepia Lab, Adaptive Systems Research Group, Department of Computer Science, University of Hertfordshire（赫特福德大学计算机科学系Sepia实验室）；Institute of Perception, Action and Behaviour, School of Informatics, The University of Edinburgh（爱丁堡大学信息学院感知、行为与行为研究所）
本文探讨主动推断中是否可利用其他内在动机替代原有动机，同时保持核心机制，并通过形式化方法连接通用强化学习。
2018-06-21 cs.AI cs.SY eess.SY
Value of Information and Reward Specification in Active Inference and POMDPs
VERSES Research Lab（VERSES研究实验室）
该研究将期望自由能（EFE）置于信念MDP框架下，借助强化学习理论工具证明EFE通过信息价值近似贝叶斯最优RL策略，揭示了主动推理与奖励驱动RL的关联及对主动推理目标设定的启示。
2024-08-13 cs.AI cs.LG
Active Inference in String Diagrams: A Categorical Account of Predictive Processing and Free Energy
Quantinuum（昆蒂努姆）；Association for Mathematical Consciousness Science（数学意识科学协会）；Ludwig Maximilian University of Munich（慕尼黑路德维希-马克西米利安大学）；University of Bamberg（班贝格大学）；Topos Institute（托波斯研究所）；VERSES Research（VERSES研究院）
本文用字符串图与幺半范畴理论形式化预测处理与主动推断框架，图示推导了基于自由能最小化的主动推断公式，并证明自由能的组合性属性，为该领域提供了图形语言与简洁介绍。
2023-08-01 cs.AI cs.LO math.CT
Bayesian policy selection using active inference
Ghent University - imec（根特大学-imec）
学习根据观察采取行动是人工智能体能够成功和强大地完成任务的核心要求。强化学习（RL）是用于学习此类策略的众所周知的技术。然而，目前的强化学习算法通常必须处理奖励塑造，难以推广到其他环境，并且通常样本效率低下。在本文中，我们探讨了主动推理和自由能原理，这是一种来自神经科学的规范理论，它解释了自组织生物系统如何通过维护世界模型和将动作选择作为推理问题来运行。我们将这个概念应用到RL社区已知的一个典型问题，山地车问题，并展示了主动推理如何包括RL和示教学习。
2019-04-25 cs.AI cs.LG cs.NE
Active Inference as a Convex Markov Decision Process
Max Planck Institute for Human Cognitive and Brain Sciences（马克斯·普朗克人类认知与脑科学研究所）
研究将主动推理构建为策略优化，证明其可表述为凸马尔可夫决策过程，分析了相关公式并推导MD算法，表明结合世界模型学习与策略优化能赋予主动推理执行性强化学习结构，为其奠定理论基础。
2026-10-14 cs.AI cs.LG stat.ML
Efficient search of active inference policy spaces using k-means
VERSES Research Labs（VERSES研究实验室）；Monash University（莫纳什大学）；Université du Québec à Montréal（魁北克大学蒙特利尔分校）
我们开发了一种主动推理中的策略选择方法，该方法使我们能够通过将每个策略映射到其在向量空间中的嵌入来有效地搜索大的策略空间。我们对空间中代表点的预期自由能进行采样，然后围绕这个初始样本中最有希望的点进行更彻底的策略搜索。我们考虑各种方法来创建的政策嵌入空间，并建议使用k-均值聚类选择代表点。我们将我们的技术应用到一个面向目标的图遍历问题，其中天真的政策选择是棘手的，即使是中等规模的图形。
2022-10-06 cs.AI cs.LG
Active inference, Bayesian optimal design, and expected utility
Wellcome Centre for Human Neuroimaging, University College London（伦敦大学学院威康人类神经影像中心）；Department of Mathematics, Imperial College London（伦敦帝国理工学院数学系）
主动推理是自由能原理的一个推论，是描述具有感知外观的某些随机动力系统行为的一种形式化方法。在这一章中，我们描述了主动推理如何结合贝叶斯决策理论和最优贝叶斯设计原则，在一个单一的命令，以最大限度地减少预期的自由能。正是主动推理的这一方面使得信息寻求行为自然出现。当从期望自由能中去除先前结果偏好时，主动推理简化为最优贝叶斯设计，即，信息增益最大化相反，在没有歧义和相对风险的情况下，主动推理简化为贝叶斯决策理论，即，期望效用最大化使用这些限制的情况下，我们说明了如何不同的行为时，代理选择的行动，优化预期的效用，预期的信息增益，和预期的自由能。我们的T型迷宫模拟表明，优化预期的自由能产生目标导向的信息寻求行为，而优化预期的效用诱导纯粹的剥削行为和最大限度地提高信息增益产生内在动机的行为。
2021-09-21 cs.AI cs.IT cs.LG
Active Inference for Self-Organizing Multi-LLM Systems: A Bayesian Thermodynamic Approach to Adaptation
本文提出在LLM智能体之上构建主动推理认知层，利用自由能原理和状态-观测建模动态调整提示与搜索策略，实现语言驱动环境中的自适应探索与利用。
2025-01-09 cs.AI cs.CL
Bidirectional Interaction between Visual and Motor Generative Models using Predictive Coding and Active Inference
CY University（CY大学）；ENSEA（ENSEA国立高等电子与应用学院）；CNRS（法国国家科学研究中心）
在这项工作中，我们建立在主动推理（AIF）和预测编码（PC）框架的基础上，提出了一种神经架构，包括一个用于感觉预测的生成模型和一个用于运动轨迹的独特生成模型。我们强调如何序列的感官预测可以作为轨道指导学习，控制和在线适应运动轨迹。此外，我们还探讨了运动和视觉模块之间的双向相互作用的影响。该体系结构进行了测试的模拟机器人手臂学习再现手写字母的控制。
2021-04-19 cs.AI cs.LG cs.NE
Belief-Based Maximum Occupancy Principle and Active Inference
Center for Brain and Cognition（脑与认知中心）；Universitat Pompeu Fabra（庞培法布拉大学）
本研究将最大占用原则扩展至部分可观察环境，提出期望自由能的贝尔曼重构，通过信念状态值迭代实现离线计算，并在不确定食物源实验中比较发现MOP智能体在目标导向与探索间切换，而主动推断倾向单一食物源策略。
2026-10-01 cs.AI q-bio.NC
Compressed Active Subspaces for Scalable Bayesian Inference
Brookhaven National Laboratory（布鲁克海文国家实验室）；Texas A&M University（德克萨斯A&M大学）；Argonne National Laboratory（阿贡国家实验室）
针对活性子空间方法在大模型中存储梯度内存过大的问题，提出压缩活性子空间（CAS），通过结构化等距嵌入降维后构建子空间，大幅降低内存需求，实现大规模神经网络的贝叶斯推断并保持性能与不确定性估计。
2026-09-18 cs.AI cs.LG stat.ME
Deep Active Inference for Partially Observable MDPs
Radboud University（拉德堡德大学）
深度主动推理已被提出作为处理大型策略和状态空间的感知和动作的可扩展方法。然而，目前的模型仅限于完全可观察的领域。在本文中，我们描述了一个深度主动推理模型，可以直接从高维感官输入中学习成功的策略。深度学习架构优化预期自由能的变体，并通过变分自编码器对连续状态表示进行编码。我们在OpenAI基准测试中表明，我们的方法具有与深度Q学习（一种最先进的深度强化学习算法）相当或更好的性能。
2020-09-08 cs.AI cs.LG cs.NE
Scaling active inference
University of Sussex（萨塞克斯大学）；RIKEN Centre for Brain Science（理化学研究所脑科学中心）；Canadian Institute for Advanced Research（加拿大高等研究院）
在强化学习（RL）中，智能体通常在部分可观察和不确定的环境中运行。基于模型的强化学习表明，这是通过学习和利用世界的概率模型来实现的。“主动推理”是认知和计算神经科学中一个新兴的规范性框架，它提供了一个统一的解释生物制剂如何实现这一点。在这个框架下，推理、学习和行动都来自于一个单一的命令，即最大限度地利用贝叶斯证据来构建一个利基世界模型。然而，该过程的实现迄今为止仅限于低维和理想化的情况。在这里，我们提出了一个适用于高维任务的主动推理的工作实现，其原理证明结果表明，在强无模型基线上，有效的探索和样本效率的数量级增加。我们的研究结果证明了大规模应用主动推理的可行性，并突出了主动推理和当前基于模型的RL方法之间的操作同源性。
2019-11-24 cs.AI cs.IT cs.LG
Deep active inference agents using Monte-Carlo methods
Emotech Labs（Emotech实验室）；University College London（伦敦大学学院）；University of Cambridge（剑桥大学）
主动推理是理解生物智能的贝叶斯框架。基本理论将感知和行动结合在一个单一的命令下：最小化自由能。然而，尽管它在解释智能的理论效用，计算实现已被限制在低维和理想化的情况。在本文中，我们提出了一种神经架构，用于构建在复杂的连续状态空间中使用多种形式的蒙特卡洛（MC）采样的深度主动推理代理。为此，我们介绍了一些技术，新颖的主动推理。其中包括：i）通过MC树搜索选择自由能量最优策略，ii）通过前馈“习惯”网络近似该最优策略分布，iii）使用MC退出预测未来参数置信更新，以及最后，iv）优化状态转换精度（注意力的高端形式）。我们的方法使代理有效地学习环境动态，同时保持任务性能，相对于奖励为基础的同行。我们在一个新的玩具环境中说明了这一点，基于dSprites数据集，并证明了主动推理代理自动创建易于建模状态转换的解纠缠表示。在更复杂的动物AI环境中，我们的代理（使用相同的神经架构）能够模拟未来的状态转换和动作（即，计划），以显示奖励导向的导航-尽管临时暂停的视觉输入。这些结果表明，深度主动推理-配备MC方法-提供了一个灵活的框架，以开发生物启发的智能代理，在机器学习和认知科学的应用。
2020-10-22 cs.AI q-bio.NC stat.ML
A Novel Resource Allocation for Anti-jamming in Cognitive-UAVs: an Active Inference Approach
University of Genoa（热那亚大学）；Queen Mary University of London（伦敦玛丽女王大学）；Italian National Consortium for Telecommunications（意大利国家电信联盟）
提出了一种基于主动推理的认知无线电抗干扰资源分配策略（$\textit{AIn}$），并以认知无人机为例进行了仿真研究。提出了一种主动广义动态贝叶斯网络（Active-GDBN）来表示外部环境，将信号的物理动态特性和无人机与干扰机之间的动态相互作用共同编码在频谱中。我们将行动和计划转化为贝叶斯推理问题，可以通过在在线学习期间避免意外状态（最小化异常）来解决。仿真结果验证了所提出的$\textit{AIn}$方法在最小化异常（最大化奖励）方面的有效性，并与传统的跳频和Q学习方法进行了比较，结果表明该方法具有较高的收敛速度。
2022-08-10 cs.AI cs.IT cs.LG
Compositional Active Inference II: Polynomial Dynamics. Approximate Inference Doctrines
University of Oxford（牛津大学）；Topos Institute（托波斯研究所）
我们开发的积极推理的合成理论，通过引入活动，功能相关的统计游戏的动力系统，发挥他们，使用近似推理学说的新概念。为了展示这样的函子，我们首先开发必要的理论动力系统，使用一个概括的语言多项式函子提供所需类型的合成接口：与由此产生的多项式索引类别的余代数，我们构建monoidal双范畴的微分和动态的“层次推理系统”，其中近似推理理论具有语义。然后，我们描述了“外部参数化”的统计游戏，并使用它们来构建计算神经科学文献中发现的两个近似推理理论，我们称之为“拉普拉斯”和“Hebb-Laplace”理论：前者产生优化高斯模型后验的动力系统;而后者产生的系统还优化了确定其预测的参数（或“权重”）。
2022-08-25 cs.AI math.CT math.DS
End-to-End Pixel-Based Deep Active Inference for Body Perception and Action
Technical University of Munich（慕尼黑工业大学）；Donders Institute for Brain, Cognition and Behaviour（唐德斯脑、认知与行为研究所）；Radboud University（拉德堡德大学）
我们提出了一种基于像素的深度主动推理算法（PixelAI），其灵感来自人体感知和动作。我们的算法将神经科学中的自由能原理（植根于变分推理）与深度卷积解码器相结合，以扩展算法，直接处理原始视觉输入，并提供在线自适应推理。我们的方法是通过研究身体感知和行动在一个模拟和一个真正的Nao机器人进行验证。结果表明，我们的方法允许机器人执行1）动态身体估计其手臂只使用单目摄像机图像和2）自主达到“想象”的手臂姿势在视觉空间。这表明，机器人和人体的感知和行动可以有效地解决看作是一个积极的推理问题的指导下进行感官输入。
2020-05-29 cs.AI cs.CV cs.LG
Emotion in an active inference model of human driving
Delft University of Technology（代尔夫特理工大学）；Waymo LLC（Waymo有限责任公司）
本研究在连续状态的驾驶主动推理模型中，扩展了效价与唤醒的情感表征，结合当前状态与未来预测结果，在交互式驾驶场景中验证了该情感信号与实际模式相符。
2026-08-11 cs.AI cs.HC cs.LG
Prior preferences in active inference agents: soft, hard, and goal shaping
Araya Inc.（Araya公司）；School of Engineering and Informatics, University of Sussex（萨塞克斯大学工程与信息学院）
本文研究了主动推断代理中偏好分布的定义方式，探讨了硬/软目标和目标塑造对导航任务性能的影响。
2025-12-02 cs.AI q-bio.NC
Reinforcement Learning through Active Inference
Sackler Centre for Consciousness Science（萨克勒意识科学中心）；Evolutionary & Adaptive Systems Research Group（进化与自适应系统研究组）；University of Sussex（萨塞克斯大学）；University of Edinburgh（爱丁堡大学）；Canadian Institute for Advanced Research（加拿大高级研究所）
强化学习（RL）的核心原则是智能体寻求最大化累积奖励之和。相比之下，主动推理，认知和计算神经科学中的一个新兴框架，提出代理人采取行动，以最大限度地提高有偏见的生成模型的证据。在这里，我们说明了来自主动推理的想法如何通过（i）提供探索和利用的内在平衡，以及（ii）提供更灵活的奖励概念来增强传统的RL方法。受主动推理的启发，我们开发并实现了一个新的决策目标，我们称之为预期未来的自由能。我们证明了所得到的算法成功地平衡了探索和利用，同时在几个具有挑战性的RL基准测试中实现了稳健的性能，具有稀疏，形状良好，没有奖励。
2020-02-28 cs.AI cs.IT cs.LG
Theory of Mind Using Active Inference: A Framework for Multi-Agent Cooperation
VERSES
该研究提出一种在主动推理中实现心智理论的多智能体协作框架，通过递归推理探索联合策略空间，仅基于可观测行为推断他人信念，在避碰和觅食任务中表现优于无ToM智能体，为可泛化多智能体系统提供新思路。
2025-09-04 cs.AI cs.MA
Orchestrator: Active Inference for Multi-Agent Systems in Long-Horizon Tasks
Department of Engineering, University of Cambridge（剑桥大学工程系）；TUM School of Management, Technical University of Munich（慕尼黑技术大学管理学院）
提出Orchestrator框架，利用注意力启发的自涌现协调与主动推理基准，在长时程任务中缓解部分可观测性，提升多智能体系统的协调与全局性能。
2025-09-06 cs.AI cs.MA
A deep active inference model of the rubber-hand illusion
Department of Artificial Intelligence Donders Insitute for Brain, Cognition；Behaviour Montessorilaan 3, 6525 HR Nijmegen, the Netherlands
理解感知和行动如何处理感觉运动冲突，如橡胶手错觉（RHI），对于理解身体如何适应不确定的情况至关重要。最近的结果表明，在人类的RHI不仅产生的变化，在感知手臂的位置，但也会导致不自主的力量。在这里，我们描述了一个深度主动推理代理在虚拟环境中，我们受到的RHI，这是能够解释这些结果。我们表明，我们的模型，处理视觉高维输入，产生类似的感知和力量模式，在人类中发现的。
2020-12-22 cs.AI q-bio.NC
Goal-Directed Planning by Reinforcement Learning and Active Inference
Okinawa Institute of Science and Technology（冲绳科学技术大学院大学）
目标导向的行为和习惯性行为有什么区别？我们提出了一个新的计算框架的决策与贝叶斯推理，其中一切都集成为一个完整的神经网络模型。该模型通过自我探索和通过采样随机内部状态${z}$产生运动动作来学习预测环境状态转换。通过强化学习，从${z}$的先验分布中获得习惯行为。目标导向的行为是通过规划从后验分布的${z}$，使用主动推理，优化过去，当前和未来的${z}$，通过最小化的变化自由能所需的未来观测约束所观察到的感觉序列。我们通过实验证明了所提出的框架的有效性，在感觉运动导航任务与相机的观察和连续的电机动作。
2021-06-22 cs.AI cs.LG cs.RO
Hierarchical Active Inference using Successor Representations
Paul G. Allen Center for Computer Science and Engineering, University of Washington（保罗·G·阿伦计算机科学与工程中心，华盛顿大学）
本文提出基于分层主动推断的行动规划模型，结合环境层次模型与成功表示实现高效规划，展示了如何通过低层表示学习高层抽象状态，并在多个规划和强化学习任务中验证了方法有效性。
2026-04-17 cs.AI cs.CV cs.LG
Active Inference in Robotics and Artificial Agents: Survey and Challenges
Robotics Institute, Delft University of Technology（代尔夫特理工大学机器人研究所）；MRC Brain Networks Dynamics Unit, Oxford University（牛津大学MRC脑网络动力学研究中心）；Oxford Robotics Institute, Oxford University（牛津大学牛津机器人研究所）；Okinawa Institute of Science and Technology（冲绳科学技术大学院大学）
主动推理是一个数学框架，起源于计算神经科学，作为大脑如何实现动作，感知和学习的理论。最近，它已被证明是一个很有前途的方法，状态估计和不确定性下的控制问题，以及在机器人和人工智能体的目标驱动行为的建设一般的基础。在这里，我们回顾了状态估计，控制，规划和学习的主动推理的最新理论和实现;描述了当前的成就，特别关注机器人技术。我们展示了相关实验，说明了它在适应性、泛化和鲁棒性方面的潜力。此外，我们将这种方法与其他框架，并讨论其预期的好处和挑战：一个统一的框架与功能的生物相容性，使用变分贝叶斯推理。
2021-12-03 cs.AI cs.LG cs.RO
Sophisticated Inference
The Wellcome Centre for Human Neuroimaging（韦康比人类神经影像中心）；UCL Queen Square Institute of Neurology（伦敦大学学院皇后广场神经学研究所）；Imperial College London（伦敦帝国理工学院）；University of Toronto（多伦多大学）；Google Research（谷歌研究院）；University of Amsterdam（阿姆斯特丹大学）
主动推理提供了感知行为的第一原则，从中可以得出特殊和重要的情况，例如，强化学习、主动学习、贝叶斯最优推理、贝叶斯最优设计等。主动推理通过将信息增益置于与奖励或价值相同的基础上，解决了与先前偏好相关的开发-探索困境。简而言之，主动推理以预期（变分）自由能的形式用（贝叶斯）信念的泛函取代价值函数。在本文中，我们考虑一种复杂的主动推理，使用递归形式的预期自由能。复杂性描述了一个智能体对信念的信念的程度。我们认为代理人的信念的反事实后果的行动的事态和信念的潜在状态。换句话说，我们从简单地考虑“如果我这样做会发生什么”的信念，转变为“如果我这样做会发生什么，我会相信什么”。自由能泛函的递归形式有效地实现了对未来动作和结果的深度树搜索。至关重要的是，这种搜索是在信念状态序列上进行的，而不是在状态本身上进行的。我们说明了这个计划的能力，使用数值模拟深决策问题。
2020-06-07 cs.AI q-bio.NC
Environment-Centric Active Inference
Hitachi, Ltd.（日立制作所）；Kyoto University（京都大学）
提出以环境为中心的主动推断方法EC-AIF，将智能体与环境统一纳入推断目标以消除环境意外变化，并在机械臂物体运输任务中验证了其有效性。
2024-08-23 cs.AI cs.RO
