Learning grid cells by predictive coding
本文提出预测编码这一生物学合理的可塑性规则可训练神经网络从空间输入中稳健地涌现六边形网格细胞,并通过与现有模型的解析比较揭示了其学习机制,从而将预测编码理论扩展至海马结构,为多种皮层表征提供统一学习算法。
2024-10-04 q-bio.NC
Predictive Coding with Spiking Neural Networks: a Survey
本文综述脉冲预测编码模型,按预测误差表示方式梳理三类神经形态方法,介绍其节能边缘硬件应用,并指出类脑计算的未来挑战。
2024-09-09 q-bio.NC
Predictive coding: A Possible Explanation of Filling-in at the blind spot
在盲点处的填充是视觉系统用周围视觉属性填充信息空白的感知现象,所述信息空白是由于缺乏对应于视盘的视网膜输入而产生的。虽然有足够的证据表明,在填补盲点的过程中,特别是在早期的视觉皮层中,涉及到某种神经计算,但对实际计算机制的认识还远远不够。我们已经调查了酒吧的实验和相关的填充现象的光的分层预测编码框架,其中的盲点是由早期前馈连接的情况下表示。我们记录了预测估计神经元在我们的三层(LGN-V1-V2)模型网络的V1区域中的盲点区域的响应。这些反应与早期生理研究的结果一致,并且使用生成模型,我们还表明这些反应曲线确实代表了填充完成。这些结果表明,预测编码框架可以解释在几个心理物理和生理实验中观察到的填充现象,涉及酒吧刺激。这些结果表明,填充可以自然地从自然图像的分层预测编码(HPC)的计算原理。
2015-07-06 q-bio.NC
Predictive coding underlies adaptation in the subcortical sensory pathway
皮层下的感觉通路是将外部世界映射到我们大脑的基本通道。感觉通路通过使神经反应适应感觉输入的局部统计数据来有效地传输信息。长期以来,对这种适应行为的机械解释是,神经元习惯化将活动缩放到刺激的局部统计数据。另一种解释是,神经编码直接由对感觉输入的预期驱动。在这里,我们使用抽象的规则来操纵预期独立于当地的刺激统计。超高场功能磁共振成像数据表明,预期,而不是习惯,是人类听觉通路中对音调的反应幅度的主要驱动力。这些结果首次提供了皮质下感觉通路中的预测编码和抽象处理的明确证据,表明即使在处理层次的初始点,大脑也只持有外部世界的主观表征。
2020-03-25 q-bio.NC
Predictive Coding Light+: learning to predict visual sequences with spike timing-dependent plasticity and synaptic delays
Université Clermont Auvergne, Clermont Auvergne INP, CNRS, Institut Pascal(克莱蒙奥弗涅大学,克莱蒙奥弗涅国立理工学院,法国国家科学研究中心,帕斯卡尔研究所);Orange Labs(橙色实验室);Frankfurt Institute for Advanced Studies(法兰克福高等研究院);Goethe University Frankfurt, Institute of Computer Science(法兰克福歌德大学,计算机科学学院)
本文提出预测编码轻量版,通过突触时序依赖可塑性和突触延迟学习视觉序列处理,重现视觉皮层序列学习经典发现,并在挑战性手势识别任务中学习填补缺失输入。
2026-05-12 q-bio.NC
Predictive Coding as Stimulus Avoidance in Spiking Neural Networks
预测编码可以被认为是减少输入信号和自上而下预测之间的误差的函数。如果减少错误等同于减少来自环境的刺激的影响,则预测编码可以被视为通过预测来避免刺激。我们以前的研究表明,脉冲神经网络通过脉冲时间依赖的可塑性(STDP)产生刺激回避的行为和选择。在这项研究中,我们证明了具有随机结构的脉冲神经网络会自发地学习仅基于STDP来预测刺激的时间序列。
2019-11-21 cs.NE q-bio.NC
Inconsistent illusory motion in predictive coding deep neural networks
为什么我们会在一些静态图像中感知到虚幻的运动?已经提出了几个帐户的基础上,眼球运动,响应延迟到不同的图像元素,或图像模式和运动能量检测器之间的相互作用。最近,据报道,基于预测编码原理的递归深度神经网络(DNN)PredNet可以重现“旋转蛇”错觉,这表明预测编码在错觉运动中的作用。我们复制了这一发现,然后使用一系列的“在硅片上的心理物理学”实验,以检查是否PredNet的行为与人类观察者一致的简化变体的错觉刺激。我们还通过探测网络中的内部单元来测量对旋转蛇模式的各个元素的响应延迟。预训练的PredNet模型预测了旋转蛇刺激的所有子组件的错觉运动,与人类观察者一致。然而,我们没有发现简单的反应延迟的内部单位,发现在生理数据。PredNet模型的梯度运动检测是基于对比度,而不是亮度,因为它是在人类的感知。最后,我们在10个相同的PredNet上测试了错觉的鲁棒性,这些PredNet是在相同的视频数据上训练的;我们发现网络再现错觉和预测错觉简化变体的运动的能力存在很大差异。此外,与人类观察者不同的是,没有一个网络预测到模式的灰度变体的虚幻运动。即使DNN成功地再现了人类视觉的某些特质,更详细的调查也可以揭示人类与网络之间以及同一网络的不同实例之间的不一致性。从不同初始化训练的PredNets中旋转蛇错觉的不一致性表明,预测编码并不能可靠地导致类似人类的错觉运动。
2023-02-21 q-bio.NC
Predictive coding in area V4: dynamic shape discrimination under partial occlusion
灵长类动物的视觉系统有一个精致的能力,区分部分遮挡的形状。最近的电生理记录表明,在中间视觉皮层V4区的反应动力学,从前额叶皮层(PFC)的反馈,可能发挥了关键作用。为了探索这些发现背后的算法,我们建立和测试的V4和PFC相互作用的模型的基础上,分层预测编码框架。我们提出概率推理分两步进行。最初,V4反应仅由自下而上的感觉输入驱动,因此受到闭塞水平的强烈影响。经过一段时间的延迟,V4反应结合了前馈输入和来自PFC的反馈信号;后者反映了PFC对V4活动背后的视觉刺激的预测。我们发现,该模型捕捉到的V4和PFC动态实验中观察到的关键功能。具体来说,PFC反应是最强的闭塞刺激和延迟响应V4闭塞不太敏感,支持我们的假设,PFC的反馈信号的基础上强大的歧视闭塞的形状。因此,我们的研究提出,V4区和PFC参与分层推理,反馈信号编码自上而下的预测闭塞的形状。
2016-12-16 q-bio.NC
On the relationship between predictive coding and backpropagation
University of Notre Dame(圣母大学)
本文回顾并扩展了在监督学习任务中训练前馈人工神经网络时预测编码与反向传播之间数学关系的研究,并提供了Torch2PC函数库以支持在PyTorch模型中执行预测编码。
2024-04-23 cs.LG cs.NE q-bio.NC
Multi-step Predictive Coding Leads To Simplicity Bias
Technion – Israel Institute of Technology(技术学院 – 以色列理工学院)
本研究探究预测范围和网络深度对预测编码任务解决方案的影响,发现足够深的网络结合多步预测范围能持续恢复潜在结构,扩展到非线性网络和复杂数据集,为预测编码诱导结构化表示提供了原则性理解。
2025-11-12 cs.LG q-bio.NC
Predictive Coding: a Theoretical and Experimental Review
University of Edinburgh(爱丁堡大学);University of Sussex(萨塞克斯大学)
预测编码提供了一个潜在的统一的解释皮质功能-假设大脑的核心功能是最大限度地减少预测错误相对于生成模型的世界。该理论与贝叶斯大脑框架密切相关,在过去的二十年中,在理论和认知神经科学领域产生了重大影响。大量的研究已经出现的基础上,经验测试改进和扩展的理论和数学模型的预测编码,以及在评估其潜在的生物学的可行性,在大脑中的实施和具体的神经生理和心理预测的理论。尽管这种持久的普及,但是,没有全面的审查预测编码理论,特别是在这一领域的最新发展,存在。在这里,我们对预测编码的核心数学结构和逻辑进行了全面的回顾,从而补充了文献中最近的教程。我们还回顾了广泛的经典和最近的工作框架内,从神经生物学现实的微电路,可以实现预测编码,预测编码和广泛使用的误差反向传播算法之间的密切关系,以及调查预测编码和现代机器学习技术之间的密切关系。
2022-07-12 cs.AI cs.NE q-bio.NC
Habitual and Reflective Control in Hierarchical Predictive Coding
University of Sussex(萨塞克斯大学);University of Oxford(牛津大学)
在认知科学中,行为通常分为两种类型。自反控制是习惯性的和即时的,而反思是深思熟虑的和耗时的。我们研究的论点是,分层预测编码(HPC)可以解释这两种类型的行为作为一个连续的跨多层网络操作,消除了需要在大脑中单独的电路。在这种观点下,“快速”的行动可以只使用HPC模式的较低层来触发,而更多的深思熟虑的行动需要更高的层。我们证明了HPC可以在整个层次结构中分布学习,仅在需要时调用更高的层。
2021-09-02 cs.AI q-bio.NC
Energy--Information Trade-off Induces Continuous and Discontinuous Phase Transitions in Lateral Predictive Coding
本文在线性侧向预测编码模型中分析信息鲁棒性与能量的权衡,发现连续和不连续相变,并揭示最优网络遵循理想气体定律且达到能量利用效率上界。
2024-01-11 cond-mat.dis-nn q-bio.NC
Predictive coding in balanced neural networks with noise, chaos and delays
生物神经网络面临着一项艰巨的任务:面对单个神经元内在的随机性、不精确的突触连接性和不可忽略的突触传输延迟,进行可靠的计算。对抗这种生物异质性的常见方法涉及对$N$神经元的大冗余网络进行平均,导致编码错误,其经典地减少为$1/\sqrt{N}$。最近的工作证明了一种新的机制,周期性尖峰网络可以有效地编码动态刺激,实现了超经典的缩放,其中编码错误减少为$1/N$。这种特定的机制涉及两个关键思想:预测编码,以及强前馈输入和强循环反馈之间的紧平衡或抵消。然而,平衡预测编码的功效及其对噪声、突触权重异质性和通信延迟的鲁棒性的理论原理仍然知之甚少。为了发现这样的原则,我们引入了一个易于分析的平衡预测编码模型,其中的平衡程度和权重混乱的程度可以分离,不像以前的平衡网络模型,我们开发了一个平均场理论的编码精度。总的来说,我们的工作提供并解决了一个通用的理论框架,用于解剖神经噪声,突触紊乱,混沌,突触延迟和平衡对预测神经代码保真度的差异贡献,揭示了平衡在实现超经典缩放中发挥的根本作用,并统一了理论神经科学中以前不同的模型。
2020-06-25 cond-mat.dis-nn q-bio.NC stat.ML
Unsupervised predictive coding models may explain visual brain representation
Directorate of Technology and Innovation(技术与创新局);Chamber of Deputies(众议院)
深度预测编码网络是受神经科学启发的无监督学习模型,可以学习预测未来的感觉状态。我们基于Lotter,Kreiman和Cox(2016)的PredNet实现来研究预测编码表示是否有助于预测视觉皮层的大脑活动。我们使用代表性相似性分析(RSA)比较PredNet表示功能磁共振成像(fMRI)和脑磁图(MEG)数据从Algonauts项目。与文献中先前的发现(Khaligh-Razavi &Kriegeskorte,2014)相比,我们报告的经验数据表明,训练用于预测视频帧的无监督模型可能优于监督图像分类基线。我们提交的最好的作品在Algonauts挑战赛的fMRI和MEG轨道上获得了16.67%和27.67%的平均噪声标准化分数。
2019-06-30 cs.LG q-bio.NC stat.ML
Divide-and-Conquer Predictive Coding: a structured Bayesian inference algorithm
Vanderbilt University(范德堡大学);VERSES AI Research Lab(VERSES AI研究实验室);Vienna University of Technology(维也纳技术大学)
本文提出分治预测编码(DCPC),在保持生物合理性的同时尊重生成模型相关结构并实现最大似然参数更新,在多个结构化推理问题上优于现有预测编码方法。
2024-10-17 cs.AI cs.LG q-bio.NC
Predictive Coding Enhances Meta-RL To Achieve Interpretable Bayes-Optimal Belief Representation Under Partial Observability
University of Washington(华盛顿大学);Allen Institute for Neural Dynamics(神经动态研究院);Google DeepMind(谷歌DeepMind)
本研究受神经科学预测编码启发,将自监督预测模块引入元强化学习,以促进部分可观测环境下可解释的贝叶斯最优信念表示学习,实验证明该方法在表示质量、策略学习和泛化上均优于传统元强化学习。
2025-10-24 cs.AI q-bio.NC
Predify: Augmenting deep neural networks with brain-inspired predictive coding dynamics
CerCo CNRS(法国国家科学研究中心大脑与认知研究中心);Université de Toulouse(图卢兹大学);IRIT CNRS(法国国家科学研究中心图卢兹计算机科学研究所);ANITI(图卢兹人工智能跨学科研究所)
深度神经网络在图像分类方面表现出色,但它们对输入扰动的鲁棒性远不如人类感知。在这项工作中,我们将探索是否可以通过在深度卷积网络中引入大脑启发的循环动力学来部分解决这个缺点。我们从神经科学中的一个流行框架中获得灵感:“预测编码”。在分层模型的每一层,生成反馈“预测”(即,重建)前一层中的活动模式。重建误差用于迭代更新跨时间步的网络表示,并优化网络在自然图像数据集上的反馈权重-一种无监督训练形式。我们表明,实施这一策略到两个流行的网络,VGG 16和EfficientNetB 0,提高了他们对各种腐败和对抗攻击的鲁棒性。我们假设其他前馈网络也可以从所提出的框架中受益。为了促进这一方向的研究,我们提供了一个基于PyTorch的开源软件包Predify,它可用于实现和研究预测编码动态在任何卷积神经网络中的影响。
2021-11-04 cs.CV q-bio.NC
Lateral predictive coding revisited: Internal model, symmetry breaking, and response time
预测编码是神经科学中理解信息传输和感知的一个有前途的理论框架。它假设大脑通过内部模型感知外部世界,并在预测误差的指导下更新这些模型。以往关于预测编码的研究主要强调分层网络中自上而下的反馈交互作用,而忽略了横向循环交互作用。在这项工作中,我们进行分析和数值研究单层横向相互作用的影响。我们考虑一个简单的预测反应动力学,并运行它的MNIST数据集的手写数字。我们发现,学习通常会打破对等神经元之间的交互对称性,并且两个神经元之间的高输入相关性并不一定会带来它们之间的强直接交互。优化后的网络对熟悉的输入信号的响应速度比对新的或随机的输入快得多,并且它显著降低了神经元对输出状态之间的相关性。
2022-07-19 cond-mat.dis-nn physics.bio-ph q-bio.NC
Wave propagation phenomena in nonlinear hierarchical neural networks with predictive coding feedback dynamics
本文构建数学框架分析具有预测编码反馈的非线性层级神经网络,刻画上下行传播及失败条件,并数值揭示输入幅值阈值与感知失调参数区域。
2025-05-14 math.AP q-bio.NC
On the role of feedback in visual processing: a predictive coding perspective
CerCo, CNRS(法国国家科学研究中心 脑与认知研究中心);IRIT, CNRS(法国国家科学研究中心 图卢兹信息学研究所);ANITI, Université de Toulouse(图卢兹大学 人工智能与自然智能研究所)
受大脑启发的机器学习正在获得越来越多的关注,特别是在计算机视觉中。一些研究调查了卷积网络中自上而下的反馈连接;然而,目前还不清楚这些连接如何以及何时在功能上有帮助。在这里,我们解决这个问题的背景下,在嘈杂的条件下的对象识别。我们将深度卷积网络(CNN)视为前馈视觉处理的模型,并通过训练用于重建或分类干净图像的反馈连接(预测反馈)来实现预测编码(PC)动态。为了直接评估预测反馈在各种实验情况下的计算作用,我们优化并解释了控制网络循环动力学的超参数。也就是说,我们让优化过程确定自上而下的连接和预测编码动态是否在功能上有益。在不同的模型深度和架构(3层CNN,ResNet 18和EfficientNetB 0)以及各种类型的噪声(CIFAR 100-C)中,我们发现随着噪声水平的增加,网络越来越依赖于自上而下的预测;在更深的网络中,这种影响在较低层最为突出。此外,与其等效的前向网络相比,实现PC动态的网络的准确性随着时间步长显著增加。总而言之,我们的研究结果通过确认反馈连接在感觉系统中的计算作用提供了与神经科学相关的新见解,并通过揭示这些如何提高当前视觉模型的鲁棒性来提供机器学习。
2021-06-08 cs.CV q-bio.NC
Beyond Individuals: Collective Predictive Coding for Memory, Attention, and the Emergence of Language
Graduate School of Informatics(信息学研究科)
本文提出集体预测编码假说,将个体记忆与注意推广至群体层面,论证语言作为集体形成的外部表征,通过分布语义和下一词预测塑造群体认知并促成语言涌现。
2025-08-20 cs.AI cs.CL q-bio.NC
Relaxing the Constraints on Predictive Coding Models
University of Edinburgh(爱丁堡大学);University Sussex(苏塞克斯大学);Sackler Center for Consciousness Science(萨克勒意识科学中心);School of Engineering and Informatics(工程与信息学院);School of Informatics(信息学院);Evolutionary and Adaptive Systems Research Group(进化与自适应系统研究小组);University of Sussex(苏塞克斯大学)
预测编码是一种有影响力的皮质功能理论,它假定大脑执行的主要计算是预测误差的最小化,这是感知和学习的基础。在变分推理的高层次概念的激励下,已经开发出了可以实现其计算的皮层微电路的详细神经生理模型。此外,在某些条件下,预测编码已被证明近似于误差反向传播算法,从而为训练深度网络提供了一种相对生物学上合理的信用分配机制。然而,该算法的标准实现仍然涉及潜在的神经难以置信的功能,如相同的前向和后向权重,后向非线性导数和1-1错误单元连接。在本文中,我们表明,这些功能是不完整的算法,可以直接删除或通过学习额外的参数集与赫布更新规则没有明显的损害学习性能。因此,我们的工作放松了当前对潜在的微电路设计的限制,并有望为预测编码的神经形态实现开辟新的设计空间。
2020-10-10 cs.AI q-bio.NC stat.ML
A neuro-inspired architecture for unsupervised continual learning based on online clustering and hierarchical predictive coding
Georgia Institute of Technology(佐治亚理工学院)
我们提出,持续学习desiderata可以通过神经启发的架构,蒙特卡斯尔的皮质柱假说的基础上实现。所提出的架构涉及一个单一的模块,称为自学联想记忆(STAM),它模拟了皮质柱的功能。STAM在涉及前馈、横向和反馈连接的多级层次结构中重复。STAM网络以无监督的方式学习,基于在线聚类和分层预测编码的组合。这篇简短的论文只介绍了架构及其与神经科学的联系。数学公式和实验结果将在本文的扩展版本。
2018-10-22 cs.AI cs.LG q-bio.NC
Understanding and Improving Optimization in Predictive Coding Networks
本文针对预测编码网络中推断学习算法计算量大、收敛差等问题,提出改进PC电路实现、开发低内存优化器并建立理论分析,阐明了其优化机制。
2023-05-23 cs.NE q-bio.NC
Preventing Deterioration of Classification Accuracy in Predictive Coding Networks
University of Sussex(萨塞克斯大学);University of Oxford(牛津大学)
预测编码网络(PCNs)旨在学习世界的生成模型。给定观察结果,然后可以反转该生成模型以推断这些观察结果的原因。然而,当训练PCN时,经常观察到明显的病理学,其中推理准确性达到峰值,然后随着进一步的训练而下降。这不能用过拟合来解释,因为训练和测试准确度同时下降。在这里,我们提供了一个彻底的调查这种现象,并表明它是由PCN的各层收敛的速度之间的不平衡所造成的。我们证明,这可以通过正则化每层的权重矩阵来防止:通过限制矩阵奇异值的相对大小,我们允许权重矩阵改变,但限制一层对其邻居的整体影响。我们还证明了类似的效果可以通过一个更生物合理和简单的计划,只是上限的重量。
2022-09-01 cs.AI q-bio.NC
Automated mapping of virtual environments with visual predictive coding
California Institute of Technology(加州理工学院)
本研究提出预测编码作为统一算法框架,通过自注意力卷积神经网络在虚拟环境中实现自动空间映射,支持向量导航,并可推广至多感官输入。
2024-04-17 cs.CV cs.LG eess.IV
Hybrid Predictive Coding: Inferring, Fast and Slow
University of Sussex(萨塞克斯大学);VERSES Research Lab(VERSES研究实验室);University of Oxford(牛津大学)
预测编码是皮质神经活动的一个有影响力的模型。它提出感知信念是通过顺序地最小化“预测误差”-预测和观察数据之间的差异来提供的。这一提议隐含的观点是,感知需要多个神经活动周期。这与视觉感知的几个方面-包括复杂形式的物体识别-产生于在快速时间尺度上发生的初始“前馈扫描”的证据不一致,这排除了大量的重复活动。在这里,我们提出,前馈扫描可以被理解为执行摊销推理和递归处理可以被理解为执行迭代推理。我们提出了一种混合预测编码网络,它结合了迭代和摊销的推理在一个原则性的方式,通过描述一个单一的目标函数的双重优化。我们表明,由此产生的计划可以实现在一个生物上合理的神经架构,利用当地的赫布更新规则近似贝叶斯推断。我们证明了我们的混合预测编码模型结合了摊销和迭代推理的优点-获得快速和计算成本低的感知推理熟悉的数据,同时保持上下文敏感性,精度和迭代推理方案的样本效率。此外,我们展示了我们的模型是如何固有的敏感性,其不确定性和自适应平衡迭代和摊销推理,以获得准确的信念,使用最小的计算费用。混合预测编码提供了一个新的视角,在视觉感知过程中观察到的前馈和经常性活动的功能相关性,并提供了新的见解,不同方面的视觉现象学。
2022-04-06 cs.AI cs.LG q-bio.NC
Sequential Memory with Temporal Predictive Coding
MRC Brain Network Dynamics Unit, University of Oxford(牛津大学MRC脑网络动力学研究所)
本文提出时间预测编码(tPC)模型用于序列记忆,证明其能以生物合理方式准确记忆和检索序列输入,并揭示其等价于带隐式统计白化的非对称Hopfield网络,从而为大脑序列记忆提供可理论解释的计算机制。
2023-10-26 cs.LG q-bio.NC stat.ML
Predictive coding feedback results in perceived illusory contours in a recurrent neural network
CerCO(脑与认知研究中心);CNRS(法国国家科学研究中心);ANITI(人工智能与自然智能研究所)
现代前馈卷积神经网络(CNN)现在可以在超人水平上解决一些计算机视觉任务。然而,这些网络只能粗略地模仿人类的视觉感知。与人类视觉的一个区别是,它们似乎不会像人类一样感知虚幻的轮廓(例如Kanizsa广场)。来自视觉皮层的生理学证据表明,对虚幻轮廓的感知可能涉及反馈连接。循环反馈神经网络会像人类一样感知虚幻的轮廓吗?在这项工作中,我们为深度前馈卷积网络配备了大脑启发的循环动力学。该网络首先在自然图像数据集上使用无监督重建目标进行预训练,以将其暴露于自然对象轮廓统计。然后,添加了一个分类决策层,并对模型进行了形式辨别任务的微调:正方形与随机定向的诱导物形状(没有虚幻的轮廓)。最后,该模型进行了测试与陌生的“虚幻轮廓”的配置:诱导形状的方向,以形成一个虚幻的正方形。与前馈基线相比,迭代“预测编码”反馈导致更多虚幻的轮廓被归类为物理正方形。错觉轮廓的感知在模型产生的图像重建的亮度曲线中是可测量的,这表明模型真的“看到”了错觉。消融研究表明,自然图像预训练和反馈纠错都是至关重要的错觉的知觉。最后,我们在更深层次的网络(VGG)中验证了我们的结论:添加相同的预测编码反馈动力学再次导致虚幻轮廓的感知。
2021-06-16 cs.CV q-bio.NC
Information-theoretic analyses of neural data to minimize the effect of researchers' assumptions in predictive coding studies
为避免预测编码研究中的循环分析,提出用局部信息论量直接从神经数据估计处理策略,通过局部主动信息存储和转移熵及部分信息分解,证明猫视网膜-膝状体突触优先编码可预测输入并传递自下而上信息。
2023-05-22 cs.IT math.IT q-bio.NC
Spiking Neural Predictive Coding for Continual Learning from Data Streams
Rochester Institute of Technology(罗切斯特理工学院)
为了在专门的神经形态硬件中进行节能计算,我们提出了尖峰神经编码,这是基于预测编码理论的一系列人工神经模型的实例。这种模型是同类模型中的第一个,其工作原理是在一个永无止境的“猜测和检查”过程中运行,其中神经元预测彼此的活动值,然后调整自己的活动以做出更好的未来预测。我们的系统的交互式,迭代的性质很好地适合到连续时间的制定的感觉流预测,正如我们所展示的,该模型的结构产生一个本地突触更新规则,它可以用来补充或作为替代在线尖峰定时依赖可塑性。在这篇文章中,我们实验了一个由泄漏的积分和点火单元组成的模型的实例。然而,我们的系统所处的框架可以自然地包含更复杂的神经元,例如Hodgkin-Huxley模型。我们在模式识别的实验结果表明,当二进制尖峰列车是神经元间通信的主要范例时,该模型的潜力。值得注意的是,尖峰神经编码在分类性能方面具有竞争力,并且在从任务序列学习时经历较少的遗忘,为流行的人工神经网络提供了一种计算上更经济,生物学上更合理的替代方案。
2022-08-08 cs.LG cs.NE q-bio.NC
Active Predictive Coding: A Unified Neural Framework for Learning Hierarchical World Models for Perception and Planning
University of Washington(华盛顿大学)
本文提出主动预测编码框架,通过分层世界模型解决人工智能中感知与规划的两大核心问题。
2022-10-23 cs.AI cs.CV cs.LG
Predictive Coding-based Deep Dynamic Neural Network for Visuomotor Learning
Korea Advanced Institute of Science and Technology(韩国科学技术院);Okinawa Institute of Science Technology(冲绳科学技术大学院大学)
本研究提出了一个基于预测编码框架的动态神经网络模型,用于感知和预测动态视觉本体感受模式。在我们之前的研究[1]中,我们已经证明了深度动态神经网络模型能够以无缝的方式协调视觉感知和动作生成。在当前的研究中,我们扩展了以前的模型下的预测编码框架,赋予该模型的感知和预测动态视觉本体感受模式的能力,以及通过最小化预测误差推断感知视觉信息背后的意图的能力。进行了一组合成实验,其中一个机器人学会模仿另一个机器人在模拟环境中的姿态。实验结果表明,在给定的意图状态下,该模型能够在没有外部环境输入的情况下,以自上而下的方式在心理上模拟可能到来的动态视觉本体感受模式。此外,结果强调了最小化预测误差在推断感知的视觉本体感受模式的潜在意图中的作用,支持镜像神经元系统的预测编码。结果还表明,最大限度地减少预测误差在一个模态诱导召回的相应表示的另一种模态收购在巩固学习的原始水平的视觉本体感受模式。
2017-06-08 cs.AI cs.LG cs.RO
Meta-Representational Predictive Coding: Neuroscience-Informed Self-Supervised Learning
Rochester Institute of Technology(罗切斯特理工学院);AI Research Lab(AI研究实验室);University of Washington(华盛顿大学);Rochester, New York, USA(纽约罗切斯特市);Los Angeles, California, USA(加州洛杉矶市);Seattle, Washington, USA(华盛顿州西雅图市)
提出元表征预测编码(MPC),通过跨并行流预测输入表征实现自监督学习,避免生成模型和反向传播,利用主动推理驱动表征学习。
2026-09-22 cs.LG cs.NE q-bio.NC
Predictive Coding as a Neuromorphic Alternative to Backpropagation: A Critical Evaluation
Huawei Technologies R&D(华为技术研发部门)
本文批判性评估预测编码(PC)作为反向传播神经形态替代方案的潜力,证明现有PC变体的时间复杂度下界受反向传播限制,且其神经生物学合理性受限,表明PC作为直接替代方案潜力比先前设想的更有限。
2023-04-05 cs.AI cs.LG cs.NE