A deep active inference model of the rubber-hand illusion
Department of Artificial Intelligence Donders Insitute for Brain, Cognition；Behaviour Montessorilaan 3, 6525 HR Nijmegen, the Netherlands
理解感知和行动如何处理感觉运动冲突，如橡胶手错觉（RHI），对于理解身体如何适应不确定的情况至关重要。最近的结果表明，在人类的RHI不仅产生的变化，在感知手臂的位置，但也会导致不自主的力量。在这里，我们描述了一个深度主动推理代理在虚拟环境中，我们受到的RHI，这是能够解释这些结果。我们表明，我们的模型，处理视觉高维输入，产生类似的感知和力量模式，在人类中发现的。
2020-12-22 cs.AI q-bio.NC
Geometry of Friston's active inference
Araya Inc.（荒谷公司）
我们重建了卡尔弗里斯顿的积极推理，并给出了它的几何解释。
2018-11-20 cs.AI cs.LG
Sophisticated Inference
The Wellcome Centre for Human Neuroimaging（韦康比人类神经影像中心）；UCL Queen Square Institute of Neurology（伦敦大学学院皇后广场神经学研究所）；Imperial College London（伦敦帝国理工学院）；University of Toronto（多伦多大学）；Google Research（谷歌研究院）；University of Amsterdam（阿姆斯特丹大学）
主动推理提供了感知行为的第一原则，从中可以得出特殊和重要的情况，例如，强化学习、主动学习、贝叶斯最优推理、贝叶斯最优设计等。主动推理通过将信息增益置于与奖励或价值相同的基础上，解决了与先前偏好相关的开发-探索困境。简而言之，主动推理以预期（变分）自由能的形式用（贝叶斯）信念的泛函取代价值函数。在本文中，我们考虑一种复杂的主动推理，使用递归形式的预期自由能。复杂性描述了一个智能体对信念的信念的程度。我们认为代理人的信念的反事实后果的行动的事态和信念的潜在状态。换句话说，我们从简单地考虑“如果我这样做会发生什么”的信念，转变为“如果我这样做会发生什么，我会相信什么”。自由能泛函的递归形式有效地实现了对未来动作和结果的深度树搜索。至关重要的是，这种搜索是在信念状态序列上进行的，而不是在状态本身上进行的。我们说明了这个计划的能力，使用数值模拟深决策问题。
2020-06-07 cs.AI q-bio.NC
Successor Representation Active Inference
MRC Brain Networks Dynamics Unit（英国医学研究理事会脑网络动力学组）；University of Oxford（牛津大学）；Verses Research Lab（Verses研究实验室）；University of Sussex（萨塞克斯大学）
最近的工作揭示了经典强化学习算法、贝叶斯过滤和主动推理之间的密切联系，主动推理让我们可以用贝叶斯后验来理解价值函数。一种替代的，但较少探索的，无模型RL算法是后继表示，它表示的价值函数在预期的未来状态occupancy的后继矩阵。在本文中，我们推导出概率解释的继任者表示贝叶斯过滤，从而设计了一种新的主动推理代理架构，利用继任者表示，而不是基于模型的规划。我们证明了主动推理后继表示在规划范围和计算成本方面比当前的主动推理代理具有显着的优势。此外，我们演示了继任者代表代理可以推广到不断变化的奖励函数，如预期的自由能的变体。
2022-07-20 cs.AI
Deep active inference agents using Monte-Carlo methods
Emotech Labs（Emotech实验室）；University College London（伦敦大学学院）；University of Cambridge（剑桥大学）
主动推理是理解生物智能的贝叶斯框架。基本理论将感知和行动结合在一个单一的命令下：最小化自由能。然而，尽管它在解释智能的理论效用，计算实现已被限制在低维和理想化的情况。在本文中，我们提出了一种神经架构，用于构建在复杂的连续状态空间中使用多种形式的蒙特卡洛（MC）采样的深度主动推理代理。为此，我们介绍了一些技术，新颖的主动推理。其中包括：i）通过MC树搜索选择自由能量最优策略，ii）通过前馈“习惯”网络近似该最优策略分布，iii）使用MC退出预测未来参数置信更新，以及最后，iv）优化状态转换精度（注意力的高端形式）。我们的方法使代理有效地学习环境动态，同时保持任务性能，相对于奖励为基础的同行。我们在一个新的玩具环境中说明了这一点，基于dSprites数据集，并证明了主动推理代理自动创建易于建模状态转换的解纠缠表示。在更复杂的动物AI环境中，我们的代理（使用相同的神经架构）能够模拟未来的状态转换和动作（即，计划），以显示奖励导向的导航-尽管临时暂停的视觉输入。这些结果表明，深度主动推理-配备MC方法-提供了一个灵活的框架，以开发生物启发的智能代理，在机器学习和认知科学的应用。
2020-10-22 cs.AI q-bio.NC stat.ML
Active Inference Meeting Energy-Efficient Control of Parallel and Identical Machines
Politecnico di Milano（米兰理工学院）；Rutgers University（罗格斯大学）
本研究将主动推理应用于制造系统节能控制，通过深度主动推理智能体控制并行同型机器，引入多步转移和混合视野方法应对随机性与延迟，实验验证了其有效性。
2024-11-13 cs.AI cs.LG
Active Inference as a Model of Agency
Imperial College London（帝国理工学院）；Massachusetts Institute of Technology（麻省理工学院）；Common Sense Machines（常识机器公司）；University College London（伦敦大学学院）
本文提出以主动推断作为超越奖励最大化的能动性规范模型，论证其能统一探索与利用、提供可解释行为生成机制，并可将符合假设的RL算法纳入该通用框架。
2024-01-23 cs.AI
Active inference: demystified and compared
Wellcome Centre for Human Neuroimaging, UCL Queen Square Institute of Neurology（伦敦大学学院皇后广场神经病学研究所惠康人类神经影像中心）；University of Oxford（牛津大学）
主动推理是自主智能体如何在动态、非平稳环境中工作的第一原理。这个问题也被认为是在强化学习（RL），但有限的工作存在比较这两种方法在相同的离散状态环境。在本文中，我们提供：1）主动推理的离散状态公式的可访问概述，突出显示通常在RL中设计的主动推理中的自然行为; 2）在OpenAI健身房基线上主动推理和RL之间的显式离散状态比较。首先，我们提供了一个浓缩的主动推理文献的概述，特别是通过RL的镜头查看主动推理代理的各种自然行为。我们表明，通过在一个纯粹的基于信念的设置，主动推理代理可以进行认知探索，并占不确定性的贝叶斯最优的方式对他们的环境。此外，我们表明，在RL中对显式奖励信号的依赖在主动推理中被去除，其中奖励可以简单地被视为另一种观察;即使在完全没有奖励的情况下，代理行为也可以通过偏好学习来学习。我们通过展示两种场景来明确这些属性，在这两种场景中，主动推理代理可以推断出无奖励环境中的行为，与Q学习和基于贝叶斯模型的RL代理相比;通过将零先验偏好置于奖励之上，并通过学习与奖励相对应的观察结果的先验偏好。最后，我们注意到，这种形式主义可以适用于更复杂的设置，如果适当的生成模型可以制定。简而言之，我们的目标是通过提供一个可访问的离散状态空间和时间公式来揭开主动推理代理的行为，并在OpenAI健身房环境中与RL代理一起演示这些行为。
2020-10-30 cs.AI q-bio.QM
Active Inference in Discrete State Spaces from First Principles
Centre de recherche informatique de Montréal（蒙特利尔信息研究中心）
本文提出了一种在离散状态空间中实现主动推断的方法，通过将优化问题转化为受约束的散度最小化问题，并区分了感知与行动建模中的不同准则。
2026-01-18 cs.AI
A Minimal Active Inference Agent
University of Sussex（萨塞克斯大学）
认知神经科学中所谓的“自由能原理”（FEP）的研究正变得越来越引人注目。到目前为止，对这个理论的介绍已经证明对许多读者来说很难理解，但它主要依赖于两个相对简单的想法：首先，规范或目的论的值可以表示为概率分布（主动推理），其次，近似贝叶斯推理可以通过模型参数的梯度下降有效地执行（自由能原理）。主动推理的概念对于包括认知科学和人工智能以及认知神经科学在内的许多学科都具有极大的兴趣，并且值得更广泛地了解。本文试图为来自不同科学背景的读者提供一个对主动推理和信息自由能的可访问的介绍。在这项工作中，介绍了一个基于代理的模型与代理试图预测其位置在一个一维的离散世界使用的方法从FEP。
2015-03-13 cs.AI
On the Relationship Between Active Inference and Control as Inference
University of Edinburgh（爱丁堡大学）；University of Sussex（苏塞克斯大学）
主动推理（AIF）是脑科学中的一个新兴框架，它表明生物因子的作用是最小化模型证据的变分边界。控制即推理（CAI）是强化学习中的一个框架，它将决策问题转化为变分推理问题。虽然这些框架都考虑通过变分推理的镜头动作选择，它们的关系仍然不清楚。在这里，我们提供了它们之间的正式比较，并证明了主要的差异来自于价值如何被纳入各自的生成模型。在这种比较的背景下，我们强调了这些框架可以相互告知的几种方式。
2020-06-29 cs.AI stat.ML
Learning Perception and Planning with Deep Active Inference
Ghent University - imec（根特大学-imec）
主动推理是大脑的一种过程理论，它指出所有生物体都推断行动，以最大限度地减少其（预期）自由能。然而，目前的实验仅限于预定义的，往往是离散的，状态空间。在本文中，我们使用深度学习的最新进展来学习状态空间并近似必要的概率分布以进行主动推理。
2020-02-24 cs.AI cs.LG stat.ML
Deep Active Inference for Autonomous Robot Navigation
IDLab, Department of Information Technology（信息技术系IDLab）
主动推理是一种支持生物主体在现实世界中感知和行动的理论。主动推理的核心是基于大脑是一个近似贝叶斯推理引擎的原则，建立一个内部生成模型，以驱动代理实现最小的惊喜。虽然这一理论已经在认知神经科学的基础上显示出有趣的结果，但它的应用仍然局限于小的、预定义的传感器和状态空间的模拟。在本文中，我们利用深度学习的最新进展来构建更复杂的生成模型，这些模型可以在没有预定义状态空间的情况下工作。状态表示是从真实世界的高维感知数据（如摄像机帧）中端到端学习的。我们还表明，这些生成模型可以用来从事积极的推理。据我们所知，这是深度主动推理在现实世界机器人导航任务中的首次应用。
2020-03-06 cs.AI cs.LG
Branching Time Active Inference: the theory and its generality
University of Kent（肯特大学）；Imperial College London（帝国理工学院）；Wellcome Centre for Human Neuroimaging, University College London（伦敦大学学院惠康人类神经影像中心）；University of Birmingham（伯明翰大学）
在过去的10到15年里，主动推理有助于解释各种大脑机制，从习惯形成到多巴胺能放电，甚至模拟好奇心。然而，目前的实现遭受指数（空间和时间）的复杂性类时，计算所有可能的政策的时间范围内的先验。Fountas等人（2020）使用蒙特卡罗树搜索来解决这个问题，在两个不同的任务中得到了令人印象深刻的结果。在本文中，我们提出了一个替代框架，旨在统一树搜索和主动推理铸造规划作为一个结构学习问题。然后提出了两个树搜索算法。第一个在时间上向前传播预期的自由能（即，朝向叶），而第二个将其向后传播（即，向根）。然后，我们证明了前向和后向传播分别与主动推理和复杂推理有关，从而澄清了这两种规划策略之间的差异。
2022-04-11 cs.AI
Modeling Sustainable Resource Management using Active Inference
Université du Québec à Montréal（魁北克大学蒙特利尔分校）；Macquarie University（麦考瑞大学）；IULM University（IULM大学）；University of Sussex（萨塞克斯大学）
本文提出基于主动推理的计算模型，研究代理在静态和动态环境中学习可持续资源管理策略，通过优化先验偏好表示的幸福感来平衡即时需求与长期资源可用性，展示主动推理催生可持续和韧性行为的潜力。
2024-06-11 cs.AI
End-to-End Pixel-Based Deep Active Inference for Body Perception and Action
Technical University of Munich（慕尼黑工业大学）；Donders Institute for Brain, Cognition and Behaviour（唐德斯脑、认知与行为研究所）；Radboud University（拉德堡德大学）
我们提出了一种基于像素的深度主动推理算法（PixelAI），其灵感来自人体感知和动作。我们的算法将神经科学中的自由能原理（植根于变分推理）与深度卷积解码器相结合，以扩展算法，直接处理原始视觉输入，并提供在线自适应推理。我们的方法是通过研究身体感知和行动在一个模拟和一个真正的Nao机器人进行验证。结果表明，我们的方法允许机器人执行1）动态身体估计其手臂只使用单目摄像机图像和2）自主达到“想象”的手臂姿势在视觉空间。这表明，机器人和人体的感知和行动可以有效地解决看作是一个积极的推理问题的指导下进行感官输入。
2020-05-29 cs.AI cs.CV cs.LG
Predictive Minds: LLMs As Atypical Active Inference Agents
Charles University（查理大学）；Gaia Consortium（盖亚联盟）
本文用主动推理理论重新概念化大语言模型，指出其缺乏行动-感知反馈回路，但预测该回路可能闭合，带来自我意识增强和通过改变世界减少预测误差的后果。
2023-11-16 cs.AI cs.CL
Integrating cognitive map learning and active inference for planning in ambiguous environments
Ghent University（根特大学）；imec（比利时微电子研究中心）；VERSES Research Lab（VERSES研究实验室）；National Research Council（国家研究委员会）
本文将克隆结构认知图（CSCG）模型与主动推理智能体结合，用于不确定性空间导航；三类场景实验表明，该方法在位置观测模糊时比朴素克隆图智能体规划更有效。
2023-08-16 cs.AI
Active Inference Tree Search in Large POMDPs
Institute of Cognitive Sciences and Technologies, National Research Council（国家研究委员会认知科学与技术研究所）；Institute for High Performance Computing and Networking, National Research Council（国家研究委员会高性能计算与网络研究所）；University College London（伦敦大学学院）；VERSES AI Research Lab（VERSES人工智能研究实验室）
本文提出主动推断树搜索方法，结合神经科学与人工智能的规划理论，实现大规模POMDP问题的高效解决。
2024-12-10 cs.AI math.PR q-bio.NC
Neuroscience-inspired perception-action in robotics: applying active inference for state estimation, control and self-perception
Donders Institute for Brain, Cognition and Behaviour（唐德斯脑、认知与行为研究所）；Radboud University（拉德堡德大学）
与机器人不同，人类通过与世界互动来学习、适应和感知自己的身体。发现大脑如何代表身体并产生动作对机器人技术和人工智能至关重要。在这里，我们将讨论神经科学的发现如何为改进机器人技术中的当前估计和控制算法提供机会。特别是，主动推理，一种大脑如何抵抗自然紊乱倾向的数学公式，提供了一个统一的配方，可能解决机器人技术中的一些主要挑战，如适应性，鲁棒性，灵活性，泛化和安全交互。本文总结了在真实体现平台上开发这种计算模型的一些实验和经验教训，即，人形机器人和工业机器人。最后，我们展示了我们仍然面临的限制和挑战，以赋予机器人类似人类的感知
2021-05-10 cs.AI cs.RO q-bio.NC
Demonstrating the Continual Learning Capabilities and Practical Application of Discrete-Time Active Inference
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
本文提出基于主动推理的离散时间持续学习框架，推导变分与期望自由能公式并构建自学习智能体，实验证明其能在变化环境中高效更新模型，适用于金融、医疗等复杂领域。
2024-09-30 cs.AI cs.LG
Object-Centric Scene Representations using Active Inference
IDLab（IDLab实验室）；Ghent University（根特大学）
从原始传感数据中表示场景及其组成对象是使机器人能够与其环境交互的核心能力。在本文中，我们提出了一种新的方法场景理解，利用分层对象为中心的生成模型，使代理推断对象类别和姿态在allocentric参考框架使用主动推理，神经启发的框架动作和感知。为了评估主动视觉代理的行为，我们还提出了一个新的基准，给定一个特定对象的目标视点，代理需要找到最佳匹配的视点，给定一个工作空间，在3D中随机定位的对象。我们证明了我们的主动推理代理能够平衡认知觅食和目标驱动的行为，并大大优于监督和强化学习基线。
2023-02-07 cs.AI cs.RO
Expanding the Active Inference Landscape: More Intrinsic Motivations in the Perception-Action Loop
Araya Inc.（Araya公司）；Computational Creativity Group, Department of Computing, Goldsmiths, University of London（Goldsmiths大学计算创意小组）；Game Innovation Lab, Department of Computer Science and Engineering, New York University（纽约大学游戏创新实验室）；Sepia Lab, Adaptive Systems Research Group, Department of Computer Science, University of Hertfordshire（赫特福德大学计算机科学系Sepia实验室）；Institute of Perception, Action and Behaviour, School of Informatics, The University of Edinburgh（爱丁堡大学信息学院感知、行为与行为研究所）
本文探讨主动推断中是否可利用其他内在动机替代原有动机，同时保持核心机制，并通过形式化方法连接通用强化学习。
2018-06-21 cs.AI cs.SY eess.SY
Deep Active Inference for Pixel-Based Discrete Control: Evaluation on the Car Racing Problem
Radboud University（拉德堡德大学）
尽管基于视觉的控制具有主动推理的潜力，但在与环境交互的同时学习模型和偏好（先验）是具有挑战性的。在这里，我们研究了深度主动推理（dAIF）代理在OpenAI的赛车基准测试中的性能，其中无法访问汽车的状态。智能体通过无监督的表示学习从高维输入中学习编码世界的状态。状态推断和控制通过优化预期的自由能来端到端地学习。结果表明，我们的模型实现了与深度Q学习相当的性能。然而，与其他世界模型方法相比，普通dAIF没有达到最先进的性能。因此，我们讨论了当前模型实现的局限性和潜在的架构，以克服它们。
2021-09-09 cs.AI cs.NE
Adaptation through prediction: multisensory active inference torque control
Delft University of Technology（代尔夫特理工大学）；Radboud University（拉德堡德大学）
对于不确定环境中的机器人系统来说，适应外部和内部变化是主要的。在这里，我们提出了一种新的多传感器主动推理扭矩控制器的工业武器，显示如何预测可以用来解决适应。我们的控制器受到预测大脑假设的启发，通过结合低维和高维传感器输入的学习和多模态集成（例如，原始图像），同时简化架构。我们在7DoF Franka Panda机器人手臂上对我们的模型进行了系统的评估，将其行为与以前的主动推理基线和经典控制器进行比较，定性和定量地分析自适应能力和控制精度。结果表明，改进的控制精度在目标导向达到高噪声抑制由于多模态滤波，和适应性的动态惯性变化，弹性约束和人为干扰，而不需要重新学习的模型，也没有参数重新调整。
2021-12-13 cs.AI cs.RO
What Type of Inference is Active Inference?
Department of Electrical Engineering（电气工程系）；Eindhoven University of Technology（埃因霍温理工大学）；Eindhoven, the Netherlands（荷兰埃因霍温）；Lazy Dynamics；Utrecht, the Netherlands（荷兰乌得勒支）
本文通过变分自由能框架将主动推理中的期望自由能最小化分解为熵校正项和规划校正项，揭示了其推理本质，并在网格世界实验中验证了不同校正项的作用。
2026-07-08 cs.AI
A Hardware-oriented Approach for Efficient Active Inference Computation and Deployment
VERSES；Computer Science Center, University of Montenegro（蒙特内格罗大学计算机科学中心）；Fain Tech（Fain科技）
本文提出一种面向硬件的高效主动推理部署方法，通过结合 pymdp 与统一稀疏计算图，将延迟降低超过 2 倍、内存降低最多 35%，推动 AIF 智能体在实时和嵌入式场景中的应用。
2025-08-12 cs.AI
Active Inference in String Diagrams: A Categorical Account of Predictive Processing and Free Energy
Quantinuum（昆蒂努姆）；Association for Mathematical Consciousness Science（数学意识科学协会）；Ludwig Maximilian University of Munich（慕尼黑路德维希-马克西米利安大学）；University of Bamberg（班贝格大学）；Topos Institute（托波斯研究所）；VERSES Research（VERSES研究院）
本文用字符串图与幺半范畴理论形式化预测处理与主动推断框架，图示推导了基于自由能最小化的主动推断公式，并证明自由能的组合性属性，为该领域提供了图形语言与简洁介绍。
2023-08-01 cs.AI cs.LO math.CT
Learning Generative Models for Active Inference using Tensor Networks
Ghent University（根特大学）；imec（比利时微电子研究中心）；University of Vienna（维也纳大学）
主动推理为自主智能体的行为和学习提供了一个通用的框架。它指出，一个代理将试图最小化其变分自由能，定义在观察，内部状态和政策的信念。传统上，离散主动推理模型的每个方面都必须手动指定，即通过手动定义隐藏状态空间结构以及所需的分布，如似然和转移概率。最近，已经努力使用深度神经网络从观察自动学习状态空间表示。在本文中，我们提出了一种新的方法学习状态空间使用量子物理启发张量网络。张量网络表示量子态的概率性质以及减少大状态空间的能力使张量网络成为主动推理的自然候选者。我们展示了张量网络如何用作序列数据的生成模型。此外，我们展示了如何从这样的生成模型中获得信念，以及如何使用主动推理代理来计算预期的自由能。最后，我们证明了我们的方法在经典的T-迷宫环境。
2022-09-08 cs.AI cs.LG
Active inference, Bayesian optimal design, and expected utility
Wellcome Centre for Human Neuroimaging, University College London（伦敦大学学院威康人类神经影像中心）；Department of Mathematics, Imperial College London（伦敦帝国理工学院数学系）
主动推理是自由能原理的一个推论，是描述具有感知外观的某些随机动力系统行为的一种形式化方法。在这一章中，我们描述了主动推理如何结合贝叶斯决策理论和最优贝叶斯设计原则，在一个单一的命令，以最大限度地减少预期的自由能。正是主动推理的这一方面使得信息寻求行为自然出现。当从期望自由能中去除先前结果偏好时，主动推理简化为最优贝叶斯设计，即，信息增益最大化相反，在没有歧义和相对风险的情况下，主动推理简化为贝叶斯决策理论，即，期望效用最大化使用这些限制的情况下，我们说明了如何不同的行为时，代理选择的行动，优化预期的效用，预期的信息增益，和预期的自由能。我们的T型迷宫模拟表明，优化预期的自由能产生目标导向的信息寻求行为，而优化预期的效用诱导纯粹的剥削行为和最大限度地提高信息增益产生内在动机的行为。
2021-09-21 cs.AI cs.IT cs.LG
Structured Active Inference (Extended Abstract)
VERSES Research Lab（VERSES研究实验室）
本文提出结构化主动推理框架，用范畴系统理论将生成模型、Markov blanket 接口、智能体与策略形式化，以支持可验证、可组合的多智能体和元智能体控制。
2024-06-07 cs.AI math.CT
Multimodal VAE Active Inference Controller
Delft University of Technology（代尔夫特理工大学）；Radboud University（拉德堡德大学）；Donders Institute for Brain, Cognition and Behavior（唐德斯脑、认知与行为研究所）
主动推理是一种受大脑处理启发的理论结构，是控制人工智能体的一种很有前途的选择。然而，目前的方法还没有扩展到连续控制中的高维输入。在这里，我们提出了一种新的主动推理扭矩控制器的工业武器，保持了以前的本体感受方法的自适应特性，但也使大规模的多模态集成（例如，原始图像）。我们扩展了我们以前的数学公式，包括多模态状态表示学习使用线性耦合的多模态变分自编码器。我们在模拟的7DOF Franka Panda机器人手臂上评估了我们的模型，并将其行为与之前的主动推理基线和Panda内置优化控制器进行了比较。结果表明，改进的跟踪和控制，在目标导向达到由于增加的代表性的权力，高鲁棒性噪声和适应性的变化，环境条件和机器人参数，而不需要重新学习的生成模型，也没有参数重新调整。
2021-03-07 cs.AI cs.RO
Branching Time Active Inference: empirical study and complexity class analysis
University of Kent（肯特大学）；University of Birmingham（伯明翰大学）
主动推理是一种最先进的大脑建模框架，可以解释各种机制，如习惯形成，多巴胺能放电和好奇心。然而，最近的实现遭受的指数复杂度类时，计算所有可能的政策的时间范围内的先验。Fountas等人（2020）使用蒙特卡罗树搜索来解决这个问题，在两个不同的任务中得到了非常好的结果。此外，Champion等人（2021 a）提出了一种基于（时间）结构学习的树搜索方法。这是通过开发一种可变的消息传递方法来实现的，该方法可以实现贝叶斯网络的组合构建以进行主动推理。然而，这种消息传递树搜索方法，我们称之为分支时间主动推理（BTAI），从未进行过经验测试。在本文中，我们提出了一个实验研究的背景下，BTAI的迷宫解决代理。在这种情况下，我们表明，改进的先验偏好和更深入的搜索都有助于减轻局部最小值的脆弱性。然后，我们比较BTAI标准的主动推理（AcI）的图形导航任务。我们表明，对于小图，BTAI和AcI成功地解决了任务。对于较大的图，AcI表现出指数（空间）复杂性类，使该方法难以处理。然而，BTAI更有效地探索了政策空间，成功地扩展到更大的图表。然后，在冰冻湖环境下，将BTAI算法与POMCP算法进行了比较。实验表明，BTAI和POMCP算法积累了类似的奖励金额。此外，我们描述了当BTAI收到更多的奖励比POMCP代理，当相反的是真的。最后，我们将BTAI与Fountas et al（2020）在dSprite…
2022-05-24 cs.AI
Scaling active inference
University of Sussex（萨塞克斯大学）；RIKEN Centre for Brain Science（理化学研究所脑科学中心）；Canadian Institute for Advanced Research（加拿大高等研究院）
在强化学习（RL）中，智能体通常在部分可观察和不确定的环境中运行。基于模型的强化学习表明，这是通过学习和利用世界的概率模型来实现的。“主动推理”是认知和计算神经科学中一个新兴的规范性框架，它提供了一个统一的解释生物制剂如何实现这一点。在这个框架下，推理、学习和行动都来自于一个单一的命令，即最大限度地利用贝叶斯证据来构建一个利基世界模型。然而，该过程的实现迄今为止仅限于低维和理想化的情况。在这里，我们提出了一个适用于高维任务的主动推理的工作实现，其原理证明结果表明，在强无模型基线上，有效的探索和样本效率的数量级增加。我们的研究结果证明了大规模应用主动推理的可行性，并突出了主动推理和当前基于模型的RL方法之间的操作同源性。
2019-11-24 cs.AI cs.IT cs.LG
Designing explainable artificial intelligence with active inference: A framework for transparent introspection and decision-making
VERSES Research Lab（VERSES研究实验室）；Université du Québec à Montréal（魁北克大学蒙特利尔分校）；Humboldt-Universität zu Berlin（柏林洪堡大学）；Macquarie University（麦考瑞大学）；University College London（伦敦大学学院）
本文提出基于主动推理与自由能原理的可解释AI架构，以分层生成模型实现可审计的内省追踪、决策解释和多源信息整合。
2023-06-06 cs.AI
Sophisticated Policies from Epistemic Priors
Eindhoven University of Technology（埃因霍温理工大学）；Lazy Dynamics（懒动力学）
研究探讨复杂推理在主动推理中的作用，通过在反应迷宫中评估，发现单独要素不足，复杂推理和全联合认知先验主动推理结合认知驱动与闭环推理解决环境问题，优势源于闭环形式，可在认知先验变分推理中表示。
2026-07-23 cs.AI
Bayesian policy selection using active inference
Ghent University - imec（根特大学-imec）
学习根据观察采取行动是人工智能体能够成功和强大地完成任务的核心要求。强化学习（RL）是用于学习此类策略的众所周知的技术。然而，目前的强化学习算法通常必须处理奖励塑造，难以推广到其他环境，并且通常样本效率低下。在本文中，我们探讨了主动推理和自由能原理，这是一种来自神经科学的规范理论，它解释了自组织生物系统如何通过维护世界模型和将动作选择作为推理问题来运行。我们将这个概念应用到RL社区已知的一个典型问题，山地车问题，并展示了主动推理如何包括RL和示教学习。
2019-04-25 cs.AI cs.LG cs.NE
Active Inference as a Convex Markov Decision Process
Max Planck Institute for Human Cognitive and Brain Sciences（马克斯·普朗克人类认知与脑科学研究所）
研究将主动推理构建为策略优化，证明其可表述为凸马尔可夫决策过程，分析了相关公式并推导MD算法，表明结合世界模型学习与策略优化能赋予主动推理执行性强化学习结构，为其奠定理论基础。
2026-10-14 cs.AI cs.LG stat.ML
Compressed Active Subspaces for Scalable Bayesian Inference
Brookhaven National Laboratory（布鲁克海文国家实验室）；Texas A&M University（德克萨斯A&M大学）；Argonne National Laboratory（阿贡国家实验室）
针对活性子空间方法在大模型中存储梯度内存过大的问题，提出压缩活性子空间（CAS），通过结构化等距嵌入降维后构建子空间，大幅降低内存需求，实现大规模神经网络的贝叶斯推断并保持性能与不确定性估计。
2026-09-18 cs.AI cs.LG stat.ME
Deep Active Inference for Partially Observable MDPs
Radboud University（拉德堡德大学）
深度主动推理已被提出作为处理大型策略和状态空间的感知和动作的可扩展方法。然而，目前的模型仅限于完全可观察的领域。在本文中，我们描述了一个深度主动推理模型，可以直接从高维感官输入中学习成功的策略。深度学习架构优化预期自由能的变体，并通过变分自编码器对连续状态表示进行编码。我们在OpenAI基准测试中表明，我们的方法具有与深度Q学习（一种最先进的深度强化学习算法）相当或更好的性能。
2020-09-08 cs.AI cs.LG cs.NE
The Free Energy Principle for Perception and Action: A Deep Learning Perspective
Ghent University（根特大学）；imec（校际微电子中心）
自由能原理及其必然的主动推理构成了一种生物启发理论，该理论假设生物制剂的行为保持在世界的一组受限的优选状态中，即，它们最大限度地减少了自由能。根据这一原则，生物代理学习世界的生成模型，并计划未来的行动，以保持代理处于满足其偏好的稳态。这个框架适合于在硅片上实现，因为它包含了使其在计算上负担得起的重要方面，例如变分推理和摊销规划。在这项工作中，我们调查的工具，深度学习设计和实现人工智能体的基础上主动推理，提出了一个面向深度学习的介绍自由能原则，调查工作，相关的机器学习和主动推理领域，并讨论了设计的选择，在实施过程中所涉及的。本手稿探讨了主动推理框架的新视角，将其理论方面与更实用的事务相结合，为主动推理新手提供了实用指南，并为希望研究自由能原理实现的深度学习实践者提供了起点。
2022-07-13 cs.AI cs.LG q-bio.NC
Bidirectional Interaction between Visual and Motor Generative Models using Predictive Coding and Active Inference
CY University（CY大学）；ENSEA（ENSEA国立高等电子与应用学院）；CNRS（法国国家科学研究中心）
在这项工作中，我们建立在主动推理（AIF）和预测编码（PC）框架的基础上，提出了一种神经架构，包括一个用于感觉预测的生成模型和一个用于运动轨迹的独特生成模型。我们强调如何序列的感官预测可以作为轨道指导学习，控制和在线适应运动轨迹。此外，我们还探讨了运动和视觉模块之间的双向相互作用的影响。该体系结构进行了测试的模拟机器人手臂学习再现手写字母的控制。
2021-04-19 cs.AI cs.LG cs.NE
Compositional Active Inference II: Polynomial Dynamics. Approximate Inference Doctrines
University of Oxford（牛津大学）；Topos Institute（托波斯研究所）
我们开发的积极推理的合成理论，通过引入活动，功能相关的统计游戏的动力系统，发挥他们，使用近似推理学说的新概念。为了展示这样的函子，我们首先开发必要的理论动力系统，使用一个概括的语言多项式函子提供所需类型的合成接口：与由此产生的多项式索引类别的余代数，我们构建monoidal双范畴的微分和动态的“层次推理系统”，其中近似推理理论具有语义。然后，我们描述了“外部参数化”的统计游戏，并使用它们来构建计算神经科学文献中发现的两个近似推理理论，我们称之为“拉普拉斯”和“Hebb-Laplace”理论：前者产生优化高斯模型后验的动力系统;而后者产生的系统还优化了确定其预测的参数（或“权重”）。
2022-08-25 cs.AI math.CT math.DS
Value of Information and Reward Specification in Active Inference and POMDPs
VERSES Research Lab（VERSES研究实验室）
该研究将期望自由能（EFE）置于信念MDP框架下，借助强化学习理论工具证明EFE通过信息价值近似贝叶斯最优RL策略，揭示了主动推理与奖励驱动RL的关联及对主动推理目标设定的启示。
2024-08-13 cs.AI cs.LG
A Novel Resource Allocation for Anti-jamming in Cognitive-UAVs: an Active Inference Approach
University of Genoa（热那亚大学）；Queen Mary University of London（伦敦玛丽女王大学）；Italian National Consortium for Telecommunications（意大利国家电信联盟）
提出了一种基于主动推理的认知无线电抗干扰资源分配策略（$\textit{AIn}$），并以认知无人机为例进行了仿真研究。提出了一种主动广义动态贝叶斯网络（Active-GDBN）来表示外部环境，将信号的物理动态特性和无人机与干扰机之间的动态相互作用共同编码在频谱中。我们将行动和计划转化为贝叶斯推理问题，可以通过在在线学习期间避免意外状态（最小化异常）来解决。仿真结果验证了所提出的$\textit{AIn}$方法在最小化异常（最大化奖励）方面的有效性，并与传统的跳频和Q学习方法进行了比较，结果表明该方法具有较高的收敛速度。
2022-08-10 cs.AI cs.IT cs.LG
Emotion in an active inference model of human driving
Delft University of Technology（代尔夫特理工大学）；Waymo LLC（Waymo有限责任公司）
本研究在连续状态的驾驶主动推理模型中，扩展了效价与唤醒的情感表征，结合当前状态与未来预测结果，在交互式驾驶场景中验证了该情感信号与实际模式相符。
2026-08-11 cs.AI cs.HC cs.LG
Reinforcement Learning through Active Inference
Sackler Centre for Consciousness Science（萨克勒意识科学中心）；Evolutionary & Adaptive Systems Research Group（进化与自适应系统研究组）；University of Sussex（萨塞克斯大学）；University of Edinburgh（爱丁堡大学）；Canadian Institute for Advanced Research（加拿大高级研究所）
强化学习（RL）的核心原则是智能体寻求最大化累积奖励之和。相比之下，主动推理，认知和计算神经科学中的一个新兴框架，提出代理人采取行动，以最大限度地提高有偏见的生成模型的证据。在这里，我们说明了来自主动推理的想法如何通过（i）提供探索和利用的内在平衡，以及（ii）提供更灵活的奖励概念来增强传统的RL方法。受主动推理的启发，我们开发并实现了一个新的决策目标，我们称之为预期未来的自由能。我们证明了所得到的算法成功地平衡了探索和利用，同时在几个具有挑战性的RL基准测试中实现了稳健的性能，具有稀疏，形状良好，没有奖励。
2020-02-28 cs.AI cs.IT cs.LG
Efficient search of active inference policy spaces using k-means
VERSES Research Labs（VERSES研究实验室）；Monash University（莫纳什大学）；Université du Québec à Montréal（魁北克大学蒙特利尔分校）
我们开发了一种主动推理中的策略选择方法，该方法使我们能够通过将每个策略映射到其在向量空间中的嵌入来有效地搜索大的策略空间。我们对空间中代表点的预期自由能进行采样，然后围绕这个初始样本中最有希望的点进行更彻底的策略搜索。我们考虑各种方法来创建的政策嵌入空间，并建议使用k-均值聚类选择代表点。我们将我们的技术应用到一个面向目标的图遍历问题，其中天真的政策选择是棘手的，即使是中等规模的图形。
2022-10-06 cs.AI cs.LG
Active Inference for Self-Organizing Multi-LLM Systems: A Bayesian Thermodynamic Approach to Adaptation
本文提出在LLM智能体之上构建主动推理认知层，利用自由能原理和状态-观测建模动态调整提示与搜索策略，实现语言驱动环境中的自适应探索与利用。
2025-01-09 cs.AI cs.CL
Learning Spatial and Temporal Hierarchies: Hierarchical Active Inference for navigation in Multi-Room Maze Environments
University of Ghent（根特大学）；Verses AI
本文提出三层层级主动推理模型，结合认知地图、异我中心与自我中心世界模型，在迷你网格环境中实现好奇心驱动探索与目标导向导航。
2023-09-18 cs.AI
The Phenomenology of Machine: A Comprehensive Analysis of the Sentience of the OpenAI-o1 Model Integrating Functionalism, Consciousness Theories, Active Inference, and AI Architectures
本文以功能主义为框架，结合整合信息理论与主动推理，分析OpenAI-o1模型在RLHF训练和推理中可能表现出的意识特征，并回应相关反驳，认为该模型展现出部分意识特征。
2024-09-18 cs.AI
Message passing-based inference in an autoregressive active inference agent
Eindhoven University of Technology（埃因霍温理工大学）；Lazy Dynamics B.V.（Lazy Dynamics公司）
本文提出一种基于消息传递的自回归主动推断代理，通过在因子图上进行推理，在机器人导航任务中展示了在连续观测空间中实现探索与利用的能力，并在动态建模方面优于传统控制器。
2026-01-19 cs.AI cs.LG cs.RO
Goal-Directed Planning by Reinforcement Learning and Active Inference
Okinawa Institute of Science and Technology（冲绳科学技术大学院大学）
目标导向的行为和习惯性行为有什么区别？我们提出了一个新的计算框架的决策与贝叶斯推理，其中一切都集成为一个完整的神经网络模型。该模型通过自我探索和通过采样随机内部状态${z}$产生运动动作来学习预测环境状态转换。通过强化学习，从${z}$的先验分布中获得习惯行为。目标导向的行为是通过规划从后验分布的${z}$，使用主动推理，优化过去，当前和未来的${z}$，通过最小化的变化自由能所需的未来观测约束所观察到的感觉序列。我们通过实验证明了所提出的框架的有效性，在感觉运动导航任务与相机的观察和连续的电机动作。
2021-06-22 cs.AI cs.LG cs.RO
Hierarchical Active Inference using Successor Representations
Paul G. Allen Center for Computer Science and Engineering, University of Washington（保罗·G·阿伦计算机科学与工程中心，华盛顿大学）
本文提出基于分层主动推断的行动规划模型，结合环境层次模型与成功表示实现高效规划，展示了如何通过低层表示学习高层抽象状态，并在多个规划和强化学习任务中验证了方法有效性。
2026-04-17 cs.AI cs.CV cs.LG
