Unsupervised learning by a nonlinear network with Hebbian excitatory and anti-Hebbian inhibitory neurons
本文介绍了一种基于速率的非线性神经网络,其中兴奋性(E)神经元接受来自感觉性(S)神经元的前馈兴奋,并通过抑制性(I)中间神经元介导的双突触通路相互抑制。基于相关性的双突触抑制可塑性用于不完全地去关联E神经元活动,推动E神经元学习不同的感觉特征。可塑性方程还包含“额外”的条款,促进兴奋性突触之间的竞争收敛到同一突触后神经元和抑制性突触从同一突触前神经元发散。可以调整S $\to$ E连接之间的竞争参数,以使学习的特征看起来更像“部分”或“整体”。“I-E连接之间的竞争参数可以调整,以设置E神经元活动的典型去相关性和稀疏性。无监督学习的数值模拟表明,相对较少的I神经元就足以实现良好的去相关,增加I神经元的数量可以使去相关更加完整。作为学习的结果,对活跃的E神经元的兴奋性和抑制性输入大致平衡。
2018-12-30 cs.NE q-bio.NC
Active inference: demystified and compared
Wellcome Centre for Human Neuroimaging, UCL Queen Square Institute of Neurology(伦敦大学学院皇后广场神经病学研究所惠康人类神经影像中心);University of Oxford(牛津大学)
主动推理是自主智能体如何在动态、非平稳环境中工作的第一原理。这个问题也被认为是在强化学习(RL),但有限的工作存在比较这两种方法在相同的离散状态环境。在本文中,我们提供:1)主动推理的离散状态公式的可访问概述,突出显示通常在RL中设计的主动推理中的自然行为; 2)在OpenAI健身房基线上主动推理和RL之间的显式离散状态比较。首先,我们提供了一个浓缩的主动推理文献的概述,特别是通过RL的镜头查看主动推理代理的各种自然行为。我们表明,通过在一个纯粹的基于信念的设置,主动推理代理可以进行认知探索,并占不确定性的贝叶斯最优的方式对他们的环境。此外,我们表明,在RL中对显式奖励信号的依赖在主动推理中被去除,其中奖励可以简单地被视为另一种观察;即使在完全没有奖励的情况下,代理行为也可以通过偏好学习来学习。我们通过展示两种场景来明确这些属性,在这两种场景中,主动推理代理可以推断出无奖励环境中的行为,与Q学习和基于贝叶斯模型的RL代理相比;通过将零先验偏好置于奖励之上,并通过学习与奖励相对应的观察结果的先验偏好。最后,我们注意到,这种形式主义可以适用于更复杂的设置,如果适当的生成模型可以制定。简而言之,我们的目标是通过提供一个可访问的离散状态空间和时间公式来揭开主动推理代理的行为,并在OpenAI健身房环境中与RL代理一起演示这些行为。
2020-10-30 cs.AI q-bio.QM
On the Relationship Between Active Inference and Control as Inference
University of Edinburgh(爱丁堡大学);University of Sussex(苏塞克斯大学)
主动推理(AIF)是脑科学中的一个新兴框架,它表明生物因子的作用是最小化模型证据的变分边界。控制即推理(CAI)是强化学习中的一个框架,它将决策问题转化为变分推理问题。虽然这些框架都考虑通过变分推理的镜头动作选择,它们的关系仍然不清楚。在这里,我们提供了它们之间的正式比较,并证明了主要的差异来自于价值如何被纳入各自的生成模型。在这种比较的背景下,我们强调了这些框架可以相互告知的几种方式。
2020-06-29 cs.AI stat.ML
Reward Maximisation through Discrete Active Inference
Imperial College London(帝国理工学院);University College London(伦敦大学学院);Laureate Institute for Brain Research(劳雷亚德脑研究所)
主动推理是一种概率框架,用于模拟生物和人工代理的行为,它源于最小化自由能的原则。近年来,这一框架已成功地应用于各种情况下,目标是最大限度地提高回报,提供可比的,有时更优越的性能,以替代方法。在本文中,我们阐明了奖励最大化和积极推理之间的联系,通过演示如何以及何时主动推理代理执行最佳奖励的行动。准确地说,我们展示了主动推理产生贝尔曼方程最佳解的条件--该公式是几种基于基于模型的强化学习和控制方法的基础。部分观察马尔可夫决策过程,标准的主动推理方案可以产生贝尔曼最优行动的规划视野1,但不超过。相比之下,最近开发的递归主动推理计划(复杂的推理)可以产生贝尔曼最优行动的任何有限的时间范围内。我们在分析的基础上讨论了主动推理和强化学习之间更广泛的关系。
2022-07-11 cs.AI math.OC q-bio.NC
Active Sites model for the B-Matrix Approach
本文继续Kak博士提出的Hebbian学习中的B矩阵方法的工作。它报告的结果,提高记忆检索能力的赫布神经网络,实现了B-矩阵的方法。以前,从网络中检索记忆的方法是分别夹住所有单个神经元,并验证这些记忆的完整性。在这里,我们提出了一个网络,能够在训练阶段识别网络中的“活动位点”,并使用这些“活动位点”来生成从这些神经元中检索到的记忆。当多个神经元被箝位时,提出了三种从邻近矩阵获得网络更新顺序的方法。然后,我们提出了一个新的方法之间的比较,经典的情况下,也在方法本身。
2010-06-24 cs.NE
Neuromorphic Hebbian learning with magnetic tunnel junction synapses
本文提出利用MTJ的二元电阻状态保证推理精度、并利用随机STT切换实现无监督赫布学习的神经形态网络,实验验证其STDP学习能力并在MNIST上取得有竞争力的准确率。
2023-08-21 cs.NE
Perceptual Motor Learning with Active Inference Framework for Robust Lateral Control
University of Michigan-Dearborn(密歇根大学迪尔伯恩分校);Ford Motor Company(福特汽车公司)
针对自动驾驶横向控制的适应性与效率问题,提出融合主动推理的知觉运动学习框架,使车辆以少量数据实现车道保持,并在CARLA中验证其低开销且性能可比。
2025-03-05 cs.AI cs.LG cs.NE
pymdp: A Python library for active inference in discrete state spaces
Max Planck Institute of Animal Behavior(马克斯·普朗克动物行为研究所);Centre for the Advanced Study of Collective Behaviour(集体行为高级研究中心);University of Konstanz(康斯坦茨大学);VERSES Research Lab(VERSES研究实验室);University of Oxford(牛津大学);Imperial College London(帝国理工学院);Northeastern University(东北大学);University College London(伦敦大学学院);University of Sussex(萨塞克斯大学)
主动推理是对复杂系统中认知和行为的一种解释,它将行动、感知和学习结合在贝叶斯推理的理论框架下。主动推理在学术研究中的应用越来越多,特别是在试图模拟人类或动物行为的领域。虽然近年来,从主动推理文献中产生的一些代码已经用Python和Julia等开放源语言编写,但迄今为止,用于模拟主动推理代理的最流行的软件是SPM的DEM工具箱,这是一个最初为神经成像数据的统计分析和建模而开发的MATLAB库。对主动推理的兴趣日益增加,表现在数量上以及跨科学学科的应用多样化,因此需要通用的,广泛可用的和用户友好的代码,用于在开源科学计算语言(如Python)中模拟主动推理。我们在这里介绍的Python包pymdp(参见https://github.com/infer-actively/pymdp)代表了这个方向上的重要一步:即,我们提供了第一个开源包,用于使用部分可观察马尔可夫决策过程(POMDP)模拟主动推理。我们回顾了该软件包的结构,并解释了它的优势,如模块化设计和可定制性,同时提供了文本代码块,以演示如何使用它来轻松构建和运行主动推理过程。我们开发pymdp是为了增加主动推理框架的可访问性和曝光度,让具有不同学科背景的研究人员、工程师和开发人员使用。本着开源软件的精神,我们也希望它能在不断增长的活跃推理社区中激发新的创新、开发和协作。
2022-05-04 cs.AI cs.MS q-bio.NC
Structural Plasticity as Active Inference: A Biologically-Inspired Architecture for Homeostatic Control
Brennen Hill
本文提出SAPIN模型,通过结构可塑性和突触可塑性机制实现生物启发的稳态控制,成功解决Cart Pole任务并保持稳定策略。
2026-02-10 cs.AI cs.LG cs.NE
Towards Human-Like Driving: Active Inference in Autonomous Vehicle Control
本文将主动推理与深度学习结合用于自动驾驶汽车横向控制,在CARLA中以有限数据实现车道跟随,并在适应性与计算效率上优于传统方法。
2024-09-16 cs.AI cs.LG cs.NE
Demonstrating the Continual Learning Capabilities and Practical Application of Discrete-Time Active Inference
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
本文提出基于主动推理的离散时间持续学习框架,推导变分与期望自由能公式并构建自学习智能体,实验证明其能在变化环境中高效更新模型,适用于金融、医疗等复杂领域。
2024-09-30 cs.AI cs.LG
Object-Centric Scene Representations using Active Inference
IDLab(IDLab实验室);Ghent University(根特大学)
从原始传感数据中表示场景及其组成对象是使机器人能够与其环境交互的核心能力。在本文中,我们提出了一种新的方法场景理解,利用分层对象为中心的生成模型,使代理推断对象类别和姿态在allocentric参考框架使用主动推理,神经启发的框架动作和感知。为了评估主动视觉代理的行为,我们还提出了一个新的基准,给定一个特定对象的目标视点,代理需要找到最佳匹配的视点,给定一个工作空间,在3D中随机定位的对象。我们证明了我们的主动推理代理能够平衡认知觅食和目标驱动的行为,并大大优于监督和强化学习基线。
2023-02-07 cs.AI cs.RO
Learning Generative Models for Active Inference using Tensor Networks
Ghent University(根特大学);imec(比利时微电子研究中心);University of Vienna(维也纳大学)
主动推理为自主智能体的行为和学习提供了一个通用的框架。它指出,一个代理将试图最小化其变分自由能,定义在观察,内部状态和政策的信念。传统上,离散主动推理模型的每个方面都必须手动指定,即通过手动定义隐藏状态空间结构以及所需的分布,如似然和转移概率。最近,已经努力使用深度神经网络从观察自动学习状态空间表示。在本文中,我们提出了一种新的方法学习状态空间使用量子物理启发张量网络。张量网络表示量子态的概率性质以及减少大状态空间的能力使张量网络成为主动推理的自然候选者。我们展示了张量网络如何用作序列数据的生成模型。此外,我们展示了如何从这样的生成模型中获得信念,以及如何使用主动推理代理来计算预期的自由能。最后,我们证明了我们的方法在经典的T-迷宫环境。
2022-09-08 cs.AI cs.LG
Expanding the Active Inference Landscape: More Intrinsic Motivations in the Perception-Action Loop
Araya Inc.(Araya公司);Computational Creativity Group, Department of Computing, Goldsmiths, University of London(Goldsmiths大学计算创意小组);Game Innovation Lab, Department of Computer Science and Engineering, New York University(纽约大学游戏创新实验室);Sepia Lab, Adaptive Systems Research Group, Department of Computer Science, University of Hertfordshire(赫特福德大学计算机科学系Sepia实验室);Institute of Perception, Action and Behaviour, School of Informatics, The University of Edinburgh(爱丁堡大学信息学院感知、行为与行为研究所)
本文探讨主动推断中是否可利用其他内在动机替代原有动机,同时保持核心机制,并通过形式化方法连接通用强化学习。
2018-06-21 cs.AI cs.SY eess.SY
RECAP: Local Hebbian Prototype Learning as a Self-Organizing Readout for Reservoir Dynamics
International Research Center for Neurointelligence (IRCN)(国际神经智能研究所以)
RECAP通过局部赫布学习机制,结合自组织原型读出,实现鲁棒的图像分类,避免误差反向传播,适用于在线更新。
2026-11-11 cs.AI cs.CV cs.LG
The Phenomenology of Machine: A Comprehensive Analysis of the Sentience of the OpenAI-o1 Model Integrating Functionalism, Consciousness Theories, Active Inference, and AI Architectures
本文以功能主义为框架,结合整合信息理论与主动推理,分析OpenAI-o1模型在RLHF训练和推理中可能表现出的意识特征,并回应相关反驳,认为该模型展现出部分意识特征。
2024-09-18 cs.AI
Active Inference as a Convex Markov Decision Process
Max Planck Institute for Human Cognitive and Brain Sciences(马克斯·普朗克人类认知与脑科学研究所)
研究将主动推理构建为策略优化,证明其可表述为凸马尔可夫决策过程,分析了相关公式并推导MD算法,表明结合世界模型学习与策略优化能赋予主动推理执行性强化学习结构,为其奠定理论基础。
2026-10-14 cs.AI cs.LG stat.ML
Value of Information and Reward Specification in Active Inference and POMDPs
VERSES Research Lab(VERSES研究实验室)
该研究将期望自由能(EFE)置于信念MDP框架下,借助强化学习理论工具证明EFE通过信息价值近似贝叶斯最优RL策略,揭示了主动推理与奖励驱动RL的关联及对主动推理目标设定的启示。
2024-08-13 cs.AI cs.LG
Scaling active inference
University of Sussex(萨塞克斯大学);RIKEN Centre for Brain Science(理化学研究所脑科学中心);Canadian Institute for Advanced Research(加拿大高等研究院)
在强化学习(RL)中,智能体通常在部分可观察和不确定的环境中运行。基于模型的强化学习表明,这是通过学习和利用世界的概率模型来实现的。“主动推理”是认知和计算神经科学中一个新兴的规范性框架,它提供了一个统一的解释生物制剂如何实现这一点。在这个框架下,推理、学习和行动都来自于一个单一的命令,即最大限度地利用贝叶斯证据来构建一个利基世界模型。然而,该过程的实现迄今为止仅限于低维和理想化的情况。在这里,我们提出了一个适用于高维任务的主动推理的工作实现,其原理证明结果表明,在强无模型基线上,有效的探索和样本效率的数量级增加。我们的研究结果证明了大规模应用主动推理的可行性,并突出了主动推理和当前基于模型的RL方法之间的操作同源性。
2019-11-24 cs.AI cs.IT cs.LG
Deep active inference agents using Monte-Carlo methods
Emotech Labs(Emotech实验室);University College London(伦敦大学学院);University of Cambridge(剑桥大学)
主动推理是理解生物智能的贝叶斯框架。基本理论将感知和行动结合在一个单一的命令下:最小化自由能。然而,尽管它在解释智能的理论效用,计算实现已被限制在低维和理想化的情况。在本文中,我们提出了一种神经架构,用于构建在复杂的连续状态空间中使用多种形式的蒙特卡洛(MC)采样的深度主动推理代理。为此,我们介绍了一些技术,新颖的主动推理。其中包括:i)通过MC树搜索选择自由能量最优策略,ii)通过前馈“习惯”网络近似该最优策略分布,iii)使用MC退出预测未来参数置信更新,以及最后,iv)优化状态转换精度(注意力的高端形式)。我们的方法使代理有效地学习环境动态,同时保持任务性能,相对于奖励为基础的同行。我们在一个新的玩具环境中说明了这一点,基于dSprites数据集,并证明了主动推理代理自动创建易于建模状态转换的解纠缠表示。在更复杂的动物AI环境中,我们的代理(使用相同的神经架构)能够模拟未来的状态转换和动作(即,计划),以显示奖励导向的导航-尽管临时暂停的视觉输入。这些结果表明,深度主动推理-配备MC方法-提供了一个灵活的框架,以开发生物启发的智能代理,在机器学习和认知科学的应用。
2020-10-22 cs.AI q-bio.NC stat.ML
Reinforcement Learning through Active Inference
Sackler Centre for Consciousness Science(萨克勒意识科学中心);Evolutionary & Adaptive Systems Research Group(进化与自适应系统研究组);University of Sussex(萨塞克斯大学);University of Edinburgh(爱丁堡大学);Canadian Institute for Advanced Research(加拿大高级研究所)
强化学习(RL)的核心原则是智能体寻求最大化累积奖励之和。相比之下,主动推理,认知和计算神经科学中的一个新兴框架,提出代理人采取行动,以最大限度地提高有偏见的生成模型的证据。在这里,我们说明了来自主动推理的想法如何通过(i)提供探索和利用的内在平衡,以及(ii)提供更灵活的奖励概念来增强传统的RL方法。受主动推理的启发,我们开发并实现了一个新的决策目标,我们称之为预期未来的自由能。我们证明了所得到的算法成功地平衡了探索和利用,同时在几个具有挑战性的RL基准测试中实现了稳健的性能,具有稀疏,形状良好,没有奖励。
2020-02-28 cs.AI cs.IT cs.LG
Goal-Directed Planning by Reinforcement Learning and Active Inference
Okinawa Institute of Science and Technology(冲绳科学技术大学院大学)
目标导向的行为和习惯性行为有什么区别?我们提出了一个新的计算框架的决策与贝叶斯推理,其中一切都集成为一个完整的神经网络模型。该模型通过自我探索和通过采样随机内部状态${z}$产生运动动作来学习预测环境状态转换。通过强化学习,从${z}$的先验分布中获得习惯行为。目标导向的行为是通过规划从后验分布的${z}$,使用主动推理,优化过去,当前和未来的${z}$,通过最小化的变化自由能所需的未来观测约束所观察到的感觉序列。我们通过实验证明了所提出的框架的有效性,在感觉运动导航任务与相机的观察和连续的电机动作。
2021-06-22 cs.AI cs.LG cs.RO
Hierarchical Active Inference using Successor Representations
Paul G. Allen Center for Computer Science and Engineering, University of Washington(保罗·G·阿伦计算机科学与工程中心,华盛顿大学)
本文提出基于分层主动推断的行动规划模型,结合环境层次模型与成功表示实现高效规划,展示了如何通过低层表示学习高层抽象状态,并在多个规划和强化学习任务中验证了方法有效性。
2026-04-17 cs.AI cs.CV cs.LG
Dynamic planning in hierarchical active inference
Institute of Cognitive Sciences and Technologies(认知科学与技术研究所);National Research Council of Italy(意大利国家研究委员会);Sapienza University of Rome(罗马大学)
本文探讨主动推断中的动态规划,提出基于可供性利用和分层交互的分层混合表示方法,为复杂任务(如工具使用)建模提供了新方向。
2024-11-12 cs.AI cs.LG cs.RO
Sophisticated Inference
The Wellcome Centre for Human Neuroimaging(韦康比人类神经影像中心);UCL Queen Square Institute of Neurology(伦敦大学学院皇后广场神经学研究所);Imperial College London(伦敦帝国理工学院);University of Toronto(多伦多大学);Google Research(谷歌研究院);University of Amsterdam(阿姆斯特丹大学)
主动推理提供了感知行为的第一原则,从中可以得出特殊和重要的情况,例如,强化学习、主动学习、贝叶斯最优推理、贝叶斯最优设计等。主动推理通过将信息增益置于与奖励或价值相同的基础上,解决了与先前偏好相关的开发-探索困境。简而言之,主动推理以预期(变分)自由能的形式用(贝叶斯)信念的泛函取代价值函数。在本文中,我们考虑一种复杂的主动推理,使用递归形式的预期自由能。复杂性描述了一个智能体对信念的信念的程度。我们认为代理人的信念的反事实后果的行动的事态和信念的潜在状态。换句话说,我们从简单地考虑“如果我这样做会发生什么”的信念,转变为“如果我这样做会发生什么,我会相信什么”。自由能泛函的递归形式有效地实现了对未来动作和结果的深度树搜索。至关重要的是,这种搜索是在信念状态序列上进行的,而不是在状态本身上进行的。我们说明了这个计划的能力,使用数值模拟深决策问题。
2020-06-07 cs.AI q-bio.NC
Delta Learning Rule for the Active Sites Model
本文报道了利用Widrow-Hoff学习规则比较实现B矩阵方法的Hebbian神经网络的记忆提取能力的方法的结果。然后,我们扩展了最近提出的活动站点模型,通过开发一个增量规则来增加内存容量。同时,本文将二进制神经网络推广到多层(非二进制)神经网络。
2010-07-02 cs.NE
Online reinforcement learning with sparse rewards through an active inference capsule
Delft University of Technology(代尔夫特理工大学);MRC Brain Network Dynamics Unit(医学研究委员会脑网络动力学组);University of Oxford(牛津大学)
智能代理必须在复杂的环境中追求他们的目标,部分信息和有限的计算能力。强化学习方法已经通过创建优化工程奖励函数的代理而取得了巨大的成功,但是这些代理通常难以在稀疏奖励环境中学习,通常需要许多环境交互才能良好地执行,并且通常在计算上非常昂贵。主动推理是一种基于模型的方法,它指导代理探索不确定的状态,同时坚持其目标行为的先验模型。本文介绍了一种主动推理代理,它使预期未来的新自由能最小化。我们的模型是能够解决稀疏回报问题,由于其目标函数,鼓励直接探索不确定的状态,具有非常高的样本效率。此外,我们的模型在计算上非常轻,可以以完全在线的方式操作,同时实现与离线RL方法相当的性能。我们通过解决山地车问题展示了我们模型的能力,在那里我们展示了其优越的探索特性和对观测噪声的鲁棒性,这实际上提高了性能。我们还介绍了一种新的方法近似先验模型的奖励函数,简化了复杂的目标的表达,并提高了性能比以前的主动推理方法。
2021-06-04 cs.AI cs.LG stat.ML
Active Inference as Context Acquisition for AI Agents
University of California, Davis(加利福尼亚大学戴维斯分校);Technical University of Munich(慕尼黑工业大学)
该研究将AI智能体的上下文获取权衡形式化为主动推理,在最优提问框架中验证其有效性,为智能体上下文获取层提供模型无关的设计原则。
2026-08-21 cs.AI cs.CL cs.LG
Subspace Inference Enables Efficient Active Reward Learning from Preferences
University of Southern California(南加州大学)
本文提出PreferenceEKF方法,通过低维子空间的扩展卡尔曼滤波实现高效序贯贝叶斯推理,在D4RL等基准上较其他贝叶斯深度学习方法更优,助力RLHF的高效奖励学习。
2026-09-04 cs.AI cs.LG cs.RO
Active Inference Tree Search in Large POMDPs
Institute of Cognitive Sciences and Technologies, National Research Council(国家研究委员会认知科学与技术研究所);Institute for High Performance Computing and Networking, National Research Council(国家研究委员会高性能计算与网络研究所);University College London(伦敦大学学院);VERSES AI Research Lab(VERSES人工智能研究实验室)
本文提出主动推断树搜索方法,结合神经科学与人工智能的规划理论,实现大规模POMDP问题的高效解决。
2024-12-10 cs.AI math.PR q-bio.NC
Bayesian Active Inference for Intelligent UAV Anti-Jamming and Adaptive Trajectory Planning
University of Genoa(热那亚大学);Italian National Inter-University Consortium for Telecommunications (CNIT)(意大利国家大学电信联合体(CNIT))
本文提出基于贝叶斯主动推断的无人机抗干扰与自适应轨迹规划方法,通过结合专家示范与概率生成模型,实现高层规划与底层策略的协同,有效减少干扰并提升任务效率。
2025-12-05 cs.AI cs.RO cs.SY
Belief-Space Control for Personalized Cancer Treatment via Active Inference
American Association for Cancer Research(美国癌症研究协会);AACR Project GENIE registry(AACR Project GENIE 注册中心);AACR Project GENIE Biopharma Collaborative(AACR Project GENIE 生物制药合作组织)
提出用主动推理将癌症治疗建模为信念空间规划问题,在测量预算下统一目标导向控制与信息获取,实现患者分类与高效治疗。
2026-06-18 cs.AI cs.IT math.IT
Information Bottleneck-Based Hebbian Learning Rule Naturally Ties Working Memory and Synaptic Updates
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
人工神经网络通过反向传播训练极深的网络,成功地解决了各种各样的问题。将反向传播直接应用于脉冲神经网络包含生物学上难以置信的组件,如权重传输问题或单独的推理和学习阶段。各种方法分别处理不同的组件,但完整的解决方案仍然是无形的。在这里,我们采取了一种替代方法,完全避免了反向传播及其相关问题。最近的深度学习工作提出了通过信息瓶颈(IB)独立训练网络的每一层。随后的研究指出,这种逐层的方法避免了跨层的错误传播,从而产生了一种生物学上合理的范例。不幸的是,IB是使用一批样本计算的。先前的工作通过仅使用两个样本(当前和先前样本)的权重更新来解决这个问题。我们的工作采取了不同的方法,将权重更新分解为局部和全局组件。局部分量是Hebbian的,并且仅依赖于当前样本。全局组件计算取决于一批样本的逐层调制信号。我们表明,这种调制信号可以学习的辅助电路与工作记忆(WM)像一个水库。因此,我们可以使用大于2的批大小,而批大小决定了WM所需的容量。据我们所知,我们的规则是第一个直接将突触更新与任务的WM耦合的生物学上合理的机制。我们评估我们的规则在合成数据集和图像分类数据集,如MNIST,我们探索WM能力对学习性能的影响。我们希望我们的工作是理解记忆在学习中的机械作用的第一步。
2021-11-24 cs.AI cs.LG cs.NE
A wake-sleep algorithm for recurrent, spiking neural networks
我们调查最近提出的模型进行关系推理的皮质计算。它由几个相互连接的,结构上等效的群体泄漏整合和消防(LIF)神经元,这是训练在一个自组织的方式与尖峰定时依赖可塑性(STDP)。尽管其强大的学习动力学,该模型是容易受到一个典型的递归网络,使用基于相关性(赫布)的学习规则的问题:如果训练与高学习率,经常性的连接可能会导致强反馈回路的网络动态,这导致吸引子状态的出现。这导致可表示模式的数量大幅减少,网络的推理能力下降。作为解决方案,我们引入了一个概念上非常简单的“唤醒-睡眠”算法:在唤醒阶段,正常执行训练,而在睡眠阶段,网络从其生成模型中“做梦”样本,这些样本由随机输入引起。这个过程允许我们激活网络中的吸引子状态,然后可以通过反赫布机制有效地取消学习。该算法允许我们将学习率提高到10倍,同时避免聚类,这使得网络的学习速度提高了几倍。此外,对于低学习率,其中聚类不是问题,它提高了收敛速度并减少了最终的推理误差。
2017-03-18 cs.NE q-bio.NC
Neuro-Inspired Deep Neural Networks with Sparse, Strong Activations
University of California Santa Barbara(加州大学圣巴巴拉分校)
虽然深度神经网络(DNN)的端到端训练在越来越多的应用中产生了最先进的性能,但它并不能提供对所提取特征的洞察或控制。我们在这里报告了一种有前途的神经启发方法,用于具有更稀疏和更强激活的DNN。我们使用标准的随机梯度训练,用逐层成本补充端到端的判别成本函数,促进高度活跃的神经元的Hebbian(“一起发射”,“一起连接”)更新,以及剩余神经元的反Hebbian更新。我们使用分裂的激活规范化(使用强输出抑制弱输出),以及神经元权重的隐式$\ell_2$规范化,而不是批量规范化。在CIFAR-10上进行的标准图像分类任务的实验表明,相对于基线端到端训练架构,我们提出的架构(a)导致更稀疏的激活(在准确性上只有轻微的妥协),(b)对噪声表现出更强的鲁棒性(没有在噪声数据上进行训练),(c)对对抗性扰动表现出更强的鲁棒性(没有对抗性训练)。
2022-07-08 cs.LG cs.NE
Deep Active Inference for Pixel-Based Discrete Control: Evaluation on the Car Racing Problem
Radboud University(拉德堡德大学)
尽管基于视觉的控制具有主动推理的潜力,但在与环境交互的同时学习模型和偏好(先验)是具有挑战性的。在这里,我们研究了深度主动推理(dAIF)代理在OpenAI的赛车基准测试中的性能,其中无法访问汽车的状态。智能体通过无监督的表示学习从高维输入中学习编码世界的状态。状态推断和控制通过优化预期的自由能来端到端地学习。结果表明,我们的模型实现了与深度Q学习相当的性能。然而,与其他世界模型方法相比,普通dAIF没有达到最先进的性能。因此,我们讨论了当前模型实现的局限性和潜在的架构,以克服它们。
2021-09-09 cs.AI cs.NE
Bidirectional Interaction between Visual and Motor Generative Models using Predictive Coding and Active Inference
CY University(CY大学);ENSEA(ENSEA国立高等电子与应用学院);CNRS(法国国家科学研究中心)
在这项工作中,我们建立在主动推理(AIF)和预测编码(PC)框架的基础上,提出了一种神经架构,包括一个用于感觉预测的生成模型和一个用于运动轨迹的独特生成模型。我们强调如何序列的感官预测可以作为轨道指导学习,控制和在线适应运动轨迹。此外,我们还探讨了运动和视觉模块之间的双向相互作用的影响。该体系结构进行了测试的模拟机器人手臂学习再现手写字母的控制。
2021-04-19 cs.AI cs.LG cs.NE
Enhancing Population-based Search with Active Inference
针对传统基于种群的元启发式算法缺乏预期性适应的问题,提出将主动推理框架与蚁群优化结合,在旅行商问题上验证发现仅小幅增加计算成本即可获得部分更优解。
2024-08-18 cs.NE
Spike-Timing-Dependent Plasticity for Bernoulli Message Passing
Electrical Engineering Department, TU Eindhoven, Netherlands(埃因霍温理工大学电子工程系,荷兰);Lazy Dynamics B.V., Eindhoven, Netherlands(埃因霍温荷兰Lazy Dynamics公司)
本文提出了一种基于伯努利信息传递的脉冲神经网络,利用脉冲时间依赖可塑性进行训练,实现了对贝叶斯推断的模拟,并展示了其在信号传输中的应用。
2025-12-19 cs.LG cs.NE q-bio.NC
Deep Active Inference as Variational Policy Gradients
University of Edinburgh(爱丁堡大学)
主动推理是一种源自神经科学的行动理论,它将行动和规划视为一个贝叶斯推理问题,通过最小化单个量(变分自由能)来解决。主动推理承诺一个统一的行动和感知的帐户,加上生物学上合理的过程理论。尽管有这些潜在的优势,当前的主动推理实现只能处理小的、离散的策略和状态空间,并且通常需要知道环境动态。在本文中,我们提出了一种新的深度主动推理算法,该算法使用深度神经网络作为灵活的函数逼近器来近似密钥密度,这使得主动推理能够扩展到更大和更复杂的任务。我们在一套OpenAIGym基准测试任务上展示了我们的方法,并获得了与常见强化学习基线相当的性能。此外,我们的算法显示出与最大熵强化学习和策略梯度算法的相似性,这揭示了主动推理框架和强化学习之间有趣的联系。
2019-07-08 cs.LG cs.NE
Realising Active Inference in Variational Message Passing: the Outcome-blind Certainty Seeker
University of Kent(肯特大学);University of Birmingham(伯明翰大学)
主动推理是神经科学中最先进的框架,提供了大脑功能的统一理论。它也被提议作为AI规划的框架。不幸的是,创建新模型所需的复杂数学可能会阻碍主动推理在神经科学和人工智能研究中的应用。本文解决了这个问题,提供了一个完整的数学处理的主动推理框架-在离散时间和状态空间-和任何新的模型的更新方程的推导。我们利用积极推理和变分信息传递之间的理论联系,如约翰·韦恩和克里斯托弗·M。2005年,主教。由于变分消息传递是一个定义明确的方法,推导贝叶斯信念更新方程,本文打开了大门,先进的生成模型的主动推理。我们表明,使用一个完全因式分解的变分分布简化了预期的自由能--这使先验的政策--使代理寻求明确的状态。最后,我们考虑未来的扩展,支持深度树搜索顺序策略优化-基于结构学习和信念传播。
2021-04-23 cs.LG cs.NE
Signal Propagation: A Framework for Learning and Inference In a Forward Pass
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
我们提出了一个新的学习框架,信号传播(sigprop),传播学习信号和更新神经网络参数通过一个向前通过,作为一种替代反向传播。在sigprop中,只有推理和学习的前向路径。因此,除了推理模型本身之外,学习没有必要的结构或计算约束,例如反馈连接,权重传输或反向传递,这些都存在于基于反向传播的方法中。也就是说,sigprop支持全局监督学习,只有一个前向路径。这是层或模块并行训练的理想选择。在生物学中,这解释了没有反馈连接的神经元如何仍然可以接收全局学习信号。在硬件方面,这提供了一种用于全局监督学习而没有向后连接的方法。Sigprop通过构造与大脑和硬件中的学习模型具有兼容性,而不是反向传播,包括放松学习约束的替代方法。我们还证明了sigprop在时间和内存方面比它们更有效。为了进一步解释sigprop的行为,我们提供证据证明sigprop在反向传播的上下文中提供了有用的学习信号。为了进一步支持生物和硬件学习的相关性,我们使用sigprop来训练具有Hebbian更新的连续时间神经网络,并且仅用电压或用生物和硬件兼容的代理函数来训练脉冲神经网络。
2022-11-17 cs.LG cs.NE q-bio.NC
Toward Design of Synthetic Active Inference Agents by Mere Mortals
Eindhoven University of Technology(埃因霍温理工大学)
本文针对边缘设备上主动推理智能体计算负荷爆炸与资源受限的矛盾,提出开发软件工具箱以支持非专家工程师设计有效智能体,加速该技术的普及。
2023-07-26 cs.LG cs.NE nlin.AO