Tightening the Biological Constraints on Gradient-Based Predictive Coding
预测编码（Predictive Coding，PC）是研究大脑皮层功能的一般理论。在一种PC模型中发现的基于梯度的局部学习规则最近被证明非常接近反向传播。这一发现表明，这种基于梯度的PC模型可能有助于理解大脑如何解决信用分配问题。该模型还可用于开发与神经形态硬件兼容的局部学习算法。在本文中，我们修改了这个PC模型，使其更好地适应生物学约束，包括神经元只能有正的放电率的约束和突触只能在一个方向上流动的约束。我们还计算基于梯度的权重和活动更新，给出修改后的活动值。我们表明，在某些条件下，这些修改后的PC网络在MNIST数据上的表现与未修改的PC模型和用反向传播训练的网络一样好或几乎一样好。
2021-12-08 cs.NE
On the relationship between predictive coding and backpropagation
University of Notre Dame（圣母大学）
本文回顾并扩展了在监督学习任务中训练前馈人工神经网络时预测编码与反向传播之间数学关系的研究，并提供了Torch2PC函数库以支持在PyTorch模型中执行预测编码。
2024-04-23 cs.LG cs.NE q-bio.NC
A Predictive Coding Account for Chaotic Itinerancy
ETIS UMR 8051（ETIS UMR 8051实验室）；CY University（塞尔吉-巴黎大学）；ENSEA（法国国立高等电子及应用工程师学院）；CNRS（法国国家科学研究中心）
混沌巡游作为动力系统中允许在稳定行为之间自主切换的一种现象，已成为神经机器人研究的热点。在这项研究中，我们绘制了这种现象和预测编码理论之间的连接，通过显示如何实现预测编码的递归神经网络可以产生类似于混沌巡回在输入噪声的存在下的神经轨迹。我们提出了两种情况下产生随机和过去独立的吸引子切换轨迹使用我们的模型。
2021-06-16 cs.LG cs.NE nlin.CD
Predictive Coding: a Theoretical and Experimental Review
University of Edinburgh（爱丁堡大学）；University of Sussex（萨塞克斯大学）
预测编码提供了一个潜在的统一的解释皮质功能-假设大脑的核心功能是最大限度地减少预测错误相对于生成模型的世界。该理论与贝叶斯大脑框架密切相关，在过去的二十年中，在理论和认知神经科学领域产生了重大影响。大量的研究已经出现的基础上，经验测试改进和扩展的理论和数学模型的预测编码，以及在评估其潜在的生物学的可行性，在大脑中的实施和具体的神经生理和心理预测的理论。尽管这种持久的普及，但是，没有全面的审查预测编码理论，特别是在这一领域的最新发展，存在。在这里，我们对预测编码的核心数学结构和逻辑进行了全面的回顾，从而补充了文献中最近的教程。我们还回顾了广泛的经典和最近的工作框架内，从神经生物学现实的微电路，可以实现预测编码，预测编码和广泛使用的误差反向传播算法之间的密切关系，以及调查预测编码和现代机器学习技术之间的密切关系。
2022-07-12 cs.AI cs.NE q-bio.NC
Single State Update Predictive Coding training for Time Series Forecasting and Anomaly Detection
Ghent University（根特大学）；imec
该研究针对预测编码网络的顺序反向误差传播瓶颈，提出并行训练生成式与编码式两类PCN的单状态更新训练技术，将其应用于时间序列异常检测，实现了更稳定连续的在线学习。
2026-08-26 cs.LG cs.NE
Predictive Coding: Towards a Future of Deep Learning beyond Backpropagation?
MRC Brain Network Dynamics Unit, University of Oxford（牛津大学医学研究委员会脑网络动力学研究中心）；University of Oxford（牛津大学）
用于训练深度神经网络的误差反向传播算法是深度学习成功的基础。然而，它需要顺序向后更新和非本地计算，这使得大规模并行化具有挑战性，并且与大脑中的学习方式不同。然而，神经科学启发的学习算法，如\emph{predictive coding}，利用本地学习，有可能克服这些限制，并超越当前的深度学习技术。虽然预测编码起源于理论神经科学，作为大脑皮层信息处理的模型，但最近的工作已经将这一想法发展成一种通用算法，能够仅使用局部计算来训练神经网络。在本调查中，我们回顾了有助于这一观点的工作，并展示了预测编码和反向传播之间的密切理论联系，以及突出使用预测编码模型的多重优势的工作，而不是反向传播训练的神经网络。具体来说，我们展示了预测编码网络相对于等效深度神经网络的更大灵活性，深度神经网络可以同时用作分类器，生成器和关联记忆，并且可以在任意图形拓扑上定义。最后，我们回顾了预测编码网络在机器学习分类任务上的直接基准测试，以及它与控制理论和机器人应用的密切联系。
2022-02-18 cs.AI cs.LG cs.NE
Predictive Coding Approximates Backprop along Arbitrary Computation Graphs
University of Edinburgh（爱丁堡大学）；University of Sussex（萨塞克斯大学）
误差反向传播（backprop）是一种通过端到端微分来训练机器学习架构的强大算法。然而，反向传播经常被批评为缺乏生物相容性。最近，它已被证明，在多层感知器（MLP）的反向传播可以近似使用预测编码，生物合理的过程理论的皮质计算，只依赖于本地和赫布更新。然而，反向传播的力量并不在于它在MLP中的实例化，而是在于自动微分的概念，它允许优化任何表达为计算图的可微分程序。在这里，我们证明了预测编码渐近收敛（并在实践中迅速），以精确的反向传播梯度任意计算图仅使用本地学习规则。我们应用这一结果来开发一种简单的策略，将核心机器学习架构转换为预测编码等价物。我们构建了预测编码CNN，RNN和更复杂的LSTM，其中包括非层式分支内部图结构和乘法交互。我们的模型在具有挑战性的机器学习基准测试中表现得与反向传播相当，同时只利用局部和（大部分）赫布可塑性。我们的方法提高了标准机器学习算法原则上可以直接在神经电路中实现的可能性，并且也可能有助于完全分布式神经形态架构的发展。
2020-10-05 cs.LG cs.NE
Word2Spike: Poisson Rate Coding for Associative Memories and Neuromorphic Algorithms
本文提出Word2Spike，一种结合泊松率编码的神经形态方法，将词向量映射为脉冲吸引子状态，在保持高语义相似度和重建准确率的同时，实现了抗噪的联想记忆性能。
2025-09-09 cs.AI cs.NE
Predictive coding, precision and natural gradients
Otto-von-Guericke University（奥托·冯·格里克大学）
在具有局部更新规则的推理和学习的生物学上合理的计算模型与机器学习中采用的神经网络模型的基于全局梯度的优化之间存在越来越多的收敛。一个特别令人兴奋的联系是预测编码网络中的局部信息优化与用于训练最先进的深度人工神经网络的误差反向传播算法之间的对应关系。在这里，我们重点关注预测编码网络中的精度加权与深度神经网络的自然梯度下降算法之间的相关但仍在很大程度上未被探索的联系。精确加权预测编码是一个有趣的候选人，用于扩大不确定性感知优化-特别是对于具有大参数空间的模型-由于其优化过程的分布式性质和Fisher信息度量的潜在局部近似，自适应学习率是自然梯度下降的核心。在这里，我们证明了具有可学习精度的分层预测编码网络确实能够解决各种监督和无监督学习任务，其性能与具有自然梯度的全局反向传播相当，并且在数据或标签输入中嵌入大量噪声的任务上优于经典的梯度下降。当应用于图像输入的无监督自动编码时，确定性网络产生分层组织和分解的嵌入，暗示预测编码和分层变分推理之间的密切联系。
2021-11-12 cs.AI cs.LG cs.NE
Bidirectional Interaction between Visual and Motor Generative Models using Predictive Coding and Active Inference
CY University（CY大学）；ENSEA（ENSEA国立高等电子与应用学院）；CNRS（法国国家科学研究中心）
在这项工作中，我们建立在主动推理（AIF）和预测编码（PC）框架的基础上，提出了一种神经架构，包括一个用于感觉预测的生成模型和一个用于运动轨迹的独特生成模型。我们强调如何序列的感官预测可以作为轨道指导学习，控制和在线适应运动轨迹。此外，我们还探讨了运动和视觉模块之间的双向相互作用的影响。该体系结构进行了测试的模拟机器人手臂学习再现手写字母的控制。
2021-04-19 cs.AI cs.LG cs.NE
Introduction to Predictive Coding Networks for Machine Learning
at pm dot me（pm邮件）
本文面向机器学习从业者介绍预测编码网络PCNs，讲解其架构、推理与学习规则及实现，并以CIFAR-10图像分类和PyTorch notebook展示应用。
2025-05-31 cs.AI cs.LG cs.NE
Predictive Coding Graphs are a Superset of Feedforward Neural Networks
Department of Information & Computing Sciences, Utrecht University（信息与计算科学系，乌特勒支大学）
预测编码图（PCGs）作为前馈神经网络的超集，为机器学习提供了新的视角和方法。
2026-03-06 cond-mat.dis-nn cs.AI cs.LG
Learning Invariant World State Representations with Predictive Coding
SRI International（斯坦福国际研究院）
自监督学习方法克服了构建更强大AI的关键瓶颈：标记数据的可用性有限。然而，自监督架构的缺点之一是它们学习的表示是隐式的，并且难以提取关于编码的世界状态的有意义的信息，例如编码在深度图中的视觉场景的3D结构。此外，在视觉领域，这种表示很少经历可能对下游任务（例如自动驾驶汽车的视觉）至关重要的评估。在这里，我们提出了一个框架，用于评估视觉表示的照明不变性的背景下，深度感知。我们开发了一种新的预测编码为基础的架构和混合全监督/自监督学习方法。我们提出了一种扩展预测编码方法的新架构：预测横向自下而上和自上而下的编码器-解码器网络（PreludeNet），它明确地学习从视频帧中推断和预测深度。在PreludeNet中，编码器的预测编码层堆栈以自监督的方式进行训练，而预测解码器则以监督的方式进行训练，以推断或预测深度。我们在一个新的合成数据集上评估了我们模型的鲁棒性，在这个数据集上，照明条件（如整体照明和阴影效果）可以参数化调整，同时保持世界的所有其他方面不变。PreludeNet实现了具有竞争力的深度推断性能和下一帧预测精度。我们还展示了这种新的网络架构，再加上混合全监督/自监督学习方法，实现了所述性能和照明变化的不变性之间的平衡。所提出的视觉表征评估框架可以扩展到不同的任务域和不变性测试。
2022-07-06 cs.LG cs.NE
AFA-PredNet: The action modulation within predictive coding
Plymouth University（普利茅斯大学）；Jinan University（暨南大学）；Waseda University（早稻田大学）
预测加工（PP）假设我们的感觉运动系统的预测推理隐含在感知和动作之间的编码中。我们提出了一种神经结构，在这种结构中，主动推理是分层编码的。我们进一步认为，这种编码出现在具体的学习过程中，当选择适当的行动，以尽量减少预测误差的看法。因此，感觉运动回路中的预测流以自上而下的方式生成。具体而言，它不断地由电机动作调制，并由自下而上的预测误差信号更新。这样，自上而下的预测最初来自代表这种层次认知的更高水平的感知和行动的先前经验。在我们提出的体现模型中，我们扩展了PredNet网络，一个分层预测编码网络，由多层感知器网络（MLP）实现的运动动作单元来调制网络自上而下的预测。两个实验，一个最小的世界实验，和移动机器人实验进行了定性的方式来评估所提出的模型。在神经表征中，可以观察到，当智能体与环境交互时，也可以观察到来自运动动作的预测感知的因果推理。
2018-04-11 cs.NE cs.RO
Neural coordination can be enhanced by occasional interruption of normal firing patterns: A self-optimizing spiking neural network model
传统Hopfield网络的状态空间通常表现出许多不同的吸引子，其中只有一小部分吸引子以全局最优的方式满足神经元之间的约束。最近的研究表明，将赫布学习与正常神经状态的偶尔改变相结合，可以通过自组织扩大最佳吸引域来避免这个问题。然而，到目前为止，还不清楚这种自我优化过程在多大程度上也适用于真实的大脑。在这里，我们证明了它可以转移到更生物合理的神经网络，通过实现一个自优化的尖峰神经网络模型。此外，通过使用这种尖峰神经网络来模拟具有Hebbian学习的Hopfield网络，我们试图在基于速率的神经系统和基于时间编码的神经系统之间建立联系。虽然需要进一步的工作，使这个模型更现实，它已经表明，自我优化过程的功效是独立于传统的Hopfield网络的简化假设。我们还讨论了自然和文化的过程，可能是负责偶尔改变神经放电模式在实际的大脑
2014-09-01 cs.NE nlin.AO q-bio.NC
Predictive Coding-based Deep Neural Network Fine-tuning for Computationally Efficient Domain Adaptation
IDLab, Department of Information and Technology, Ghent University—imec（IDLab，信息与技术系，根特大学—imec）
本文提出结合反向传播与预测编码的混合训练方法，实现高效设备端域适应，在MNIST和CIFAR-10上以较低计算开销恢复模型性能。
2025-09-25 cs.CV cs.LG cs.NE
Efficient Online Learning with Predictive Coding Networks: Exploiting Temporal Correlations
Institute for Informatics, University of Munich (LMU)（信息学院，慕尼黑大学（LMU））
在边缘运行的机器人系统需要高效的在线学习算法，可以在处理流式传感数据的同时不断适应不断变化的环境。传统的反向传播虽然有效，但与生物相容性原则相冲突，并且对于连续适应情景可能是次优的。预测编码（PC）框架提供了一种生物学上合理的替代方案，具有局部的、类似赫布的更新规则，使其适合于神经形态硬件实现。然而，PC的主要限制是由于训练期间的多次推理迭代而导致的计算开销。我们提出了时间摊销预测编码网络（PCN-TA），它保留了跨时间帧的潜在状态。通过利用时间相关性，PCN-TA显著降低了计算需求，同时保持了学习性能。我们在COIL-20机器人感知数据集上的实验表明，与反向传播相比，PCN-TA的权重更新减少了10%，并且比基线PC网络所需的推理步骤减少了50%。这些效率的提高直接转化为减少的计算开销，从而在资源受限的机器人系统中向边缘部署和实时适应支持迈进了一步。我们的方法受生物启发的性质也使其成为未来神经形态硬件实现的有希望的候选者，从而实现边缘的高效在线学习。
2025-10-29 cs.LG cs.NE
A Neural Network Assembly Memory Model Based on an Optimal Binary Signal Detection Theory
描述了三进制/二进制数据编码算法和Hopfield网络实现最佳卷积或汉明解码算法的条件。采用最优二进制信号检测理论（BSDT）的编解码方法，建立了一个神经网络装配记忆模型（NAMM）。该模型提供了最佳的（最好的）基本存储器性能，并要求使用一个新的存储器单元结构与两层Hopfield网络，N通道时间门，辅助参考存储器，和两个嵌套的反馈回路。NAMM明确地描述了记忆痕迹提取对时间的依赖性，给出了元记忆模拟、广义知识表示以及有意识和无意识心理过程的不同描述的可能性。一个最小的不可分割的部分或“原子”的意识模型也被定义。的NNAMM的神经生物学背景和它的应用，以解决一些跨学科的问题进行了简短的讨论。BSDT可以实现动物和人类神经组织中使用的“最佳神经代码”。
2003-09-21 cs.AI cs.IR cs.NE
Differentiable Generalised Predictive Coding
Otto-von-Guericke University（奥托·冯·格里克大学）
本文论述了与神经过程理论相一致的可微动力学模型，该模型将大脑功能视为解释观察结果的内部生成模型的分层细化。我们的工作扩展了现有的基于梯度的预测编码与自动微分的实现，并允许集成深度神经网络的非线性状态参数化。基于梯度的预测编码通过优化从刺激向潜在状态传播的精确加权预测误差来局部优化每层的推断状态和权重。预测向后流动，从潜在状态向较低层流动。这里建议的模型优化潜在状态的层次和动态预测。分层预测对预期内容和分层结构进行编码。动态预测捕获编码内容中的变化以及高阶导数。分层和动态预测相互作用，并解决相同的潜在状态的不同方面。我们将该模型应用于各种感知和规划任务的序列数据，并显示它们之间的相互依赖性。特别是，我们演示了如何学习采样距离并行地址有意义的位置数据采样在离散的时间步长。我们讨论的可能性，放松假设的线性层次结构有利于更灵活的图形结构与紧急性质。我们比较了模型的颗粒结构与描述生物网络中预测编码的典型微电路，并回顾了马尔可夫毯作为表征模块性的工具的连接。最后一节概述了在嵌套的时空层次结构中有效感知和规划的想法。
2021-12-08 cs.AI cs.LG cs.NE
Understanding and Improving Optimization in Predictive Coding Networks
本文针对预测编码网络中推断学习算法计算量大、收敛差等问题，提出改进PC电路实现、开发低内存优化器并建立理论分析，阐明了其优化机制。
2023-05-23 cs.NE q-bio.NC
A Synthesizable RTL Implementation of Predictive Coding Networks
University of California, Riverside（加州大学河滨分校）
本文提出一种可综合的RTL架构，实现离散时间预测编码更新，通过局部预测误差动态实现推理与学习，采用固定有限状态调度和序列MAC数据路径，提供可综合的硬件实现方案。
2026-05-02 cs.AI cs.AR cs.LG
Closed-form predictive coding via hierarchical Gaussian filters
Center for Humanities Computing（人文计算中心）；Aarhus University（奥胡斯大学）；Interacting Minds Center（互动心灵中心）
本文提出通过分层高斯滤波器实现预测编码，恢复了精度加权的信息传递，实现了动态不确定性估计和Hebbian兼容的更新规则，从而在单个自由能目标下同时学习激活、权重和精度，无需全局误差信号，且无需迭代或自动微分。
2026-05-19 cs.AI cs.LG cs.NE
PredProp: Bidirectional Stochastic Optimization with Precision Weighted Predictive Coding
Otto-von-Guericke University（奥托·冯·格里克大学）
提出PredProp方法，通过精度加权优化预测编码网络的权重与状态，实现近似自然梯度下降，在图像基准测试中优于Adam，且可推广至深层PCN结构。
2023-05-05 cs.AI cs.LG cs.NE
PreCNet: Next-Frame Video Prediction Based on Predictive Coding
Czech Technical University in Prague（布拉格捷克理工大学）
预测编码是目前神经科学中一个很有影响力的理论，但在机器学习中尚未得到广泛应用。在这项工作中，我们将Rao和Ballard（1999）的开创性模型转化为现代深度学习框架，同时最大限度地忠实于原始模式。我们提出的网络（PreCNet）在广泛使用的下一帧视频预测基准上进行了测试，该基准由车载摄像头记录的城市环境中的图像组成，并实现了最先进的性能。当训练集更大（来自BDD 100 k的2 M图像）时，所有指标（MSE、PSNR、SSIM）的性能进一步提高，这表明KITTI训练集的局限性。这项工作表明，一个精心基于神经科学模型的架构，即使没有明确地针对手头的任务进行定制，也可以表现出卓越的性能。
2023-02-08 cs.CV cs.LG cs.NE
Faster Convergence in Deep-Predictive-Coding Networks to Learn Deeper Representations
Naval Surface Warfare Center（海军水面作战中心）；US Naval Sea Systems Command（美国海军海上系统司令部）；University of Florida（佛罗里达大学）
深度预测编码网络（DPCNs）是分层的生成模型。它们依赖于前馈和反馈连接，以动态和上下文敏感的方式调节刺激的潜在特征表征。DPCNs的一个关键要素是一个前向-后向推理过程，以揭示稀疏，不变的特征。然而，这种推断是一个主要的计算瓶颈。由于学习停滞，它严重限制了网络深度。在这里，我们证明了为什么会出现这种瓶颈。然后，我们提出了一个新的前向推理策略的基础上加速邻近梯度。该策略具有比用于DPCCH的策略更快的理论收敛保证。它克服了学习停滞。我们还证明了它允许构建深度和广度的预测编码网络。这样的卷积网络实现了能够很好地捕捉网络训练对象的整个类别的感受野。与我们实验室以前的非卷积和卷积DPCCH相比，这改进了特征表示。它产生的无监督对象识别超过了卷积自动编码器，并与以监督方式训练的卷积网络相当。
2021-09-24 cs.AI cs.CV cs.NE
Error Highways: Scaling Predictive Coding to Very Deep Networks
SingularityNET；Rochester Institute of Technology（罗切斯特理工学院）
针对预测编码网络在深层结构中学习信号衰减的问题，提出高速公路错误传播（HEP）方法，通过反馈矩阵直接耦合隐藏状态与输出误差，实现深度无关的误差传播，有效训练多达128层的MLP。
2026-06-23 cs.LG cs.NE
Encoding Longer-term Contextual Multi-modal Information in a Predictive Coding Model
National Institute of Advanced Industrial Science and Technology (AIST)（产业技术综合研究所）；Plymouth University（普利茅斯大学）；Waseda University（早稻田大学）
研究表明，在层次结构中，拓扑较高的水平可能代表了当前感觉事件的有意识类别，具有较慢的变化活动。他们试图通过传递预测的信息来预测较低级别的活动。另一方面，传入的感觉信息通过新的或令人惊讶的信号在更高水平上校正对事件的这种预测。我们提出了一个预测分层人工神经网络模型，在神经机器人平台上检查这一假设，基于AFA-PredNet模型。在该神经网络模型中，在分层预测编码的不同级别上存在不同的预测时间尺度，其在神经元中的时间参数中定义。此外，快速和缓慢变化的神经活动都受到主动运动活动的调制。基于该架构的神经机器人实验也进行了从VRep模拟器收集的数据的基础上。
2018-04-17 cs.AI cs.NE cs.RO
Active Predictive Coding: A Unified Neural Framework for Learning Hierarchical World Models for Perception and Planning
University of Washington（华盛顿大学）
本文提出主动预测编码框架，通过分层世界模型解决人工智能中感知与规划的两大核心问题。
2022-10-23 cs.AI cs.CV cs.LG
Spiking Neural Predictive Coding for Continual Learning from Data Streams
Rochester Institute of Technology（罗切斯特理工学院）
为了在专门的神经形态硬件中进行节能计算，我们提出了尖峰神经编码，这是基于预测编码理论的一系列人工神经模型的实例。这种模型是同类模型中的第一个，其工作原理是在一个永无止境的“猜测和检查”过程中运行，其中神经元预测彼此的活动值，然后调整自己的活动以做出更好的未来预测。我们的系统的交互式，迭代的性质很好地适合到连续时间的制定的感觉流预测，正如我们所展示的，该模型的结构产生一个本地突触更新规则，它可以用来补充或作为替代在线尖峰定时依赖可塑性。在这篇文章中，我们实验了一个由泄漏的积分和点火单元组成的模型的实例。然而，我们的系统所处的框架可以自然地包含更复杂的神经元，例如Hodgkin-Huxley模型。我们在模式识别的实验结果表明，当二进制尖峰列车是神经元间通信的主要范例时，该模型的潜力。值得注意的是，尖峰神经编码在分类性能方面具有竞争力，并且在从任务序列学习时经历较少的遗忘，为流行的人工神经网络提供了一种计算上更经济，生物学上更合理的替代方案。
2022-08-08 cs.LG cs.NE q-bio.NC
ActPC-Geom: Towards Scalable Online Neural-Symbolic Learning via Accelerating Active Predictive Coding with Information Geometry & Diverse Cognitive Mechanisms
SingularityNET（奇点网络）；TrueAGI（真智能）
本文提出 ActPC-Geom，用 Wasserstein 度量、神经近似、kPCA 与超向量/FCA 格机制加速 ActPC，实现可扩展的实时在线神经-符号学习与少样本审慎推理。
2025-01-08 cs.AI cs.LG cs.NE
Analog-Friendly Predictive Coding without Activation Derivatives
本文提出激活匹配的Bregman预测编码，消除激活导数，实现模拟友好的局部推理与学习规则，在分类和生成任务上性能与标准预测编码及反向传播相当。
2026-09-29 cs.AI cs.LG cs.NE
A Waddington landscape for prototype learning in generalized Hopfield networks
McGill University（麦吉尔大学）；Université de Montréal（蒙特利尔大学）；Regeneron Pharmaceuticals（再生元制药公司）；Scuola Normale Superiore di Pisa（比萨高等师范学校）；Northwestern University（西北大学）；MILA Québec（魁北克MILA研究所）
本文将广义 Hopfield 网络的原型学习动力学类比为 Waddington 景观，结合解析与模拟揭示记忆通过鞍结分裂发生可预测、可复现的特征到原型转变。
2023-12-04 cond-mat.dis-nn cs.LG cs.NE
JPC: Flexible Inference for Predictive Coding Networks in JAX
School of Engineering and Informatics（工程与信息学院）；University of Sussex（萨塞克斯大学）
本文提出 JAX 库 JPC，用常微分方程求解器实现预测编码网络的灵活推理与训练，并以二阶求解器在保持性能的同时显著提升运行速度。
2024-12-04 cs.AI cs.LG cs.NE
Understanding Predictive Coding as an Adaptive Trust-Region Method
University of Sussex（萨塞克斯大学）
本文将预测编码建模为使用二阶信息的自适应信赖域算法，证明其学习动态介于反向传播梯度方向与信赖域方向之间，并从理论和实验上表明 PC 比 BP 更快逃离鞍点。
2023-05-29 cs.AI cs.LG cs.NE
Meta-Representational Predictive Coding: Neuroscience-Informed Self-Supervised Learning
Rochester Institute of Technology（罗切斯特理工学院）；AI Research Lab（AI研究实验室）；University of Washington（华盛顿大学）；Rochester, New York, USA（纽约罗切斯特市）；Los Angeles, California, USA（加州洛杉矶市）；Seattle, Washington, USA（华盛顿州西雅图市）
提出元表征预测编码（MPC），通过跨并行流预测输入表征实现自监督学习，避免生成模型和反向传播，利用主动推理驱动表征学习。
2026-09-22 cs.LG cs.NE q-bio.NC
A Stable, Fast, and Fully Automatic Learning Algorithm for Predictive Coding Networks
VERSES AI Research Lab（VERSES AI研究实验室）；Institute of Logic and Computation, TU Wien（维也纳技术大学逻辑与计算研究所）；MRC Brain Network Dynamics Unit, University of Oxford（牛津大学医学研究委员会脑网络动力学单元）；Department of Computer Science, University of Oxford（牛津大学计算机科学系）；State Key Laboratory of Reliability and Intelligence of Electrical Equipment, Hebei University（河北大学电力设备可靠性与智能化国家重点实验室）
本文提出增量预测编码（iPC）算法，通过改变突触权重更新的时间调度，使预测编码网络训练更稳定高效，并具有收敛性保证，在图像分类和语言模型基准上优于原始方法。
2024-02-07 cs.AI cs.LG cs.NE
Predictive Coding Networks and Inference Learning: Tutorial and Survey
Utrecht University（乌得勒支大学）；Leiden University（莱顿大学）
本文综述了预测编码网络与推断学习，展示了其作为更高效、更灵活的机器学习框架的潜力。
2026-03-06 cond-mat.dis-nn cs.AI cs.LG
