School of Engineering and Informatics, University of Sussex（萨塞克斯大学工程与信息学院）；VERSES AI Research Lab（VERSES AI研究实验室）
Poppy Collis, Ryan Singh, Paul F Kinghorn, Christopher L Buckley
备注：
11 pages (+ appendix). Accepted to the International Workshop on Active Inference 2024. arXiv admin note: substantial text overlap with arXiv:2408.10970
人工智能中的一个开放问题在于，系统如何灵活地学习离散抽象，从而有助于解决本质上连续的问题。计算神经科学的先前工作已在主动推理的形式体系下考虑了决策过程中离散变量与连续变量的这种功能整合（Parr, Friston & de Vries, 2017; Parr & Friston, 2018）。然而，他们的关注点在于范畴决策的表达性物理实现，并且假定分层混合生成模型是已知的。因此，尚不清楚该框架如何扩展到学习。为此，我们提出了一种新颖的分层混合主动推理智能体，其中高层离散主动推理规划器位于低层连续主动推理控制器之上。我们利用了近期关于循环切换线性动力系统（rSLDS）的研究，该系统通过对复杂连续动力学的分段线性分解，实现了对有意义离散表示的端到端学习（Linderman et al., 2016）。由rSLDS学习到的表示为混合决策智能体的结构提供信息，并使我们能够（1）以类似于options框架的方式指定时间抽象的次级目标，（2）将探索提升到离散空间，从而允许我们利用信息论探索奖励，以及（3）在离散规划器中“缓存”低层问题的近似解。我们将模型应用于稀疏Continuous Mountain Car任务，展示了通过增强探索实现的快速系统辨识，以及通过抽象次级目标的划分实现的成功规划。
英文摘要：
An open problem in artificial intelligence is how systems can flexibly learn discrete abstractions that are useful for solving inherently continuous problems. Previous work in computational neuroscience has considered this functional integration of discrete and continuous variables during decision-making under the formalism of active inference (Parr, Friston & de Vries, 2017; Parr & Friston, 2018). However, their focus is on the expressive physical implementation of categorical decisions and the hierarchical mixed generative model is assumed to be known. As a consequence, it is unclear how this framework might be extended to learning. We therefore present a novel hierarchical hybrid active inference agent in which a high-level discrete active inference planner sits above a low-level continuous active inference controller. We make use of recent work in recurrent switching linear dynamical systems (rSLDS) which implement end-to-end learning of meaningful discrete representations via the piecewise linear decomposition of complex continuous dynamics (Linderman et al., 2016). The representations learned by the rSLDS inform the structure of the hybrid decision-making agent and allow us to (1) specify temporally-abstracted sub-goals in a method reminiscent of the options framework, (2) lift the exploration into discrete space allowing us to exploit information-theoretic exploration bonuses and (3) `cache' the approximate solutions to low-level problems in the discrete planner. We apply our model to the sparse Continuous Mountain Car task, demonstrating fast system identification via enhanced exploration and successful planning through the delineation of abstract sub-goals.
Expanding the Active Inference Landscape: More Intrinsic Motivations in the Perception-Action Loop
Araya Inc.（Araya公司）；Computational Creativity Group, Department of Computing, Goldsmiths, University of London（Goldsmiths大学计算创意小组）；Game Innovation Lab, Department of Computer Science and Engineering, New York University（纽约大学游戏创新实验室）；Sepia Lab, Adaptive Systems Research Group, Department of Computer Science, University of Hertfordshire（赫特福德大学计算机科学系Sepia实验室）；Institute of Perception, Action and Behaviour, School of Informatics, The University of Edinburgh（爱丁堡大学信息学院感知、行为与行为研究所）
Sackler Centre for Consciousness Science（萨克勒意识科学中心）；Evolutionary & Adaptive Systems Research Group（进化与自适应系统研究组）；University of Sussex（萨塞克斯大学）；University of Edinburgh（爱丁堡大学）；Canadian Institute for Advanced Research（加拿大高级研究所）
pymdp: A Python library for active inference in discrete state spaces
Max Planck Institute of Animal Behavior（马克斯·普朗克动物行为研究所）；Centre for the Advanced Study of Collective Behaviour（集体行为高级研究中心）；University of Konstanz（康斯坦茨大学）；VERSES Research Lab（VERSES研究实验室）；University of Oxford（牛津大学）；Imperial College London（帝国理工学院）；Northeastern University（东北大学）；University College London（伦敦大学学院）；University of Sussex（萨塞克斯大学）
Mapping Husserlian phenomenology onto active inference
VERSES Research Lab（VERSES研究实验室）；Université du Québec à Montréal（魁北克大学蒙特利尔分校）；University of Oxford（牛津大学）；University College London（伦敦大学学院）；University of California, Merced（加利福尼亚大学默塞德分校）
Hybrid Probabilistic Inference with Logical Constraints: Tractability and Message Passing
University of California, LA（加利福尼亚大学洛杉矶分校）；AMSS（数学与系统科学研究院）；Chinese Academy of Sciences（中国科学院）；DISI（信息工程与计算机科学系）；University of Trento（特伦托大学）
加权模型集成（Weighted Model Integration，简称WMM）是一个非常吸引人的概率推理框架：它允许通过可满足性模理论（Satisfiability Modulo Theories，简称SMT）的语言来表达真实世界混合场景的复杂依赖关系，其中变量在本质上是异构的（包括连续和离散）;以及计算具有任意复杂逻辑约束的概率查询。最近的工作表明，在某些假设下，可简化的模型集成（MI）问题，从而有效地允许混合概率推理的体积计算。在本文中，我们介绍了一种新的制定MI通过消息传递计划，允许有效地计算的边际密度和统计矩的所有变量在线性时间。因此，当任意丰富的MI查询符合问题结构时，我们能够摊销推理，这里表示为与SMT公式相关联的原始图。此外，我们从理论上跟踪的易处理边界的确切MI。事实上，我们证明，在原始图的结构要求，使我们的MI算法易于处理-边界的直径和树宽-边界不仅是足够的，但通过MI易于推理的必要条件。
Branching Time Active Inference: the theory and its generality
University of Kent（肯特大学）；Imperial College London（帝国理工学院）；Wellcome Centre for Human Neuroimaging, University College London（伦敦大学学院惠康人类神经影像中心）；University of Birmingham（伯明翰大学）
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Binghamton University（宾汉姆顿大学）；Université Paris Cité（巴黎城市大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；IRIF（法国信息学研究所）；IBM Research（IBM研究院）
Active Inference in String Diagrams: A Categorical Account of Predictive Processing and Free Energy
Quantinuum（昆蒂努姆）；Association for Mathematical Consciousness Science（数学意识科学协会）；Ludwig Maximilian University of Munich（慕尼黑路德维希-马克西米利安大学）；University of Bamberg（班贝格大学）；Topos Institute（托波斯研究所）；VERSES Research（VERSES研究院）
Research Focus Cognitive Sciences（认知科学研究重点中心）；University of Potsdam（波茨坦大学）；Artificial Intelligence Lab（人工智能实验室）；Otto von Guericke University（奥托·冯·格里克大学）
