Predictive coding, precision and natural gradients
Otto-von-Guericke University（奥托·冯·格里克大学）
在具有局部更新规则的推理和学习的生物学上合理的计算模型与机器学习中采用的神经网络模型的基于全局梯度的优化之间存在越来越多的收敛。一个特别令人兴奋的联系是预测编码网络中的局部信息优化与用于训练最先进的深度人工神经网络的误差反向传播算法之间的对应关系。在这里，我们重点关注预测编码网络中的精度加权与深度神经网络的自然梯度下降算法之间的相关但仍在很大程度上未被探索的联系。精确加权预测编码是一个有趣的候选人，用于扩大不确定性感知优化-特别是对于具有大参数空间的模型-由于其优化过程的分布式性质和Fisher信息度量的潜在局部近似，自适应学习率是自然梯度下降的核心。在这里，我们证明了具有可学习精度的分层预测编码网络确实能够解决各种监督和无监督学习任务，其性能与具有自然梯度的全局反向传播相当，并且在数据或标签输入中嵌入大量噪声的任务上优于经典的梯度下降。当应用于图像输入的无监督自动编码时，确定性网络产生分层组织和分解的嵌入，暗示预测编码和分层变分推理之间的密切联系。
2021-11-12 cs.AI cs.LG cs.NE
Bidirectional Interaction between Visual and Motor Generative Models using Predictive Coding and Active Inference
CY University（CY大学）；ENSEA（ENSEA国立高等电子与应用学院）；CNRS（法国国家科学研究中心）
在这项工作中，我们建立在主动推理（AIF）和预测编码（PC）框架的基础上，提出了一种神经架构，包括一个用于感觉预测的生成模型和一个用于运动轨迹的独特生成模型。我们强调如何序列的感官预测可以作为轨道指导学习，控制和在线适应运动轨迹。此外，我们还探讨了运动和视觉模块之间的双向相互作用的影响。该体系结构进行了测试的模拟机器人手臂学习再现手写字母的控制。
2021-04-19 cs.AI cs.LG cs.NE
Efficient Online Learning with Predictive Coding Networks: Exploiting Temporal Correlations
Institute for Informatics, University of Munich (LMU)（信息学院，慕尼黑大学（LMU））
在边缘运行的机器人系统需要高效的在线学习算法，可以在处理流式传感数据的同时不断适应不断变化的环境。传统的反向传播虽然有效，但与生物相容性原则相冲突，并且对于连续适应情景可能是次优的。预测编码（PC）框架提供了一种生物学上合理的替代方案，具有局部的、类似赫布的更新规则，使其适合于神经形态硬件实现。然而，PC的主要限制是由于训练期间的多次推理迭代而导致的计算开销。我们提出了时间摊销预测编码网络（PCN-TA），它保留了跨时间帧的潜在状态。通过利用时间相关性，PCN-TA显著降低了计算需求，同时保持了学习性能。我们在COIL-20机器人感知数据集上的实验表明，与反向传播相比，PCN-TA的权重更新减少了10%，并且比基线PC网络所需的推理步骤减少了50%。这些效率的提高直接转化为减少的计算开销，从而在资源受限的机器人系统中向边缘部署和实时适应支持迈进了一步。我们的方法受生物启发的性质也使其成为未来神经形态硬件实现的有希望的候选者，从而实现边缘的高效在线学习。
2025-10-29 cs.LG cs.NE
Introduction to Predictive Coding Networks for Machine Learning
at pm dot me（pm邮件）
本文面向机器学习从业者介绍预测编码网络PCNs，讲解其架构、推理与学习规则及实现，并以CIFAR-10图像分类和PyTorch notebook展示应用。
2025-05-31 cs.AI cs.LG cs.NE
Error Highways: Scaling Predictive Coding to Very Deep Networks
SingularityNET；Rochester Institute of Technology（罗切斯特理工学院）
针对预测编码网络在深层结构中学习信号衰减的问题，提出高速公路错误传播（HEP）方法，通过反馈矩阵直接耦合隐藏状态与输出误差，实现深度无关的误差传播，有效训练多达128层的MLP。
2026-06-23 cs.LG cs.NE
Faster Predictive Coding Networks via Better Initialization
Department of Computer Science, University of Oxford（牛津大学计算机科学系）；Institute of Logic and Computation, Vienna University of Technology（维也纳技术大学逻辑与计算研究所）；VERSES AI Research Lab（VERSES AI研究实验室）
本文提出了一种改进的初始化方法，通过优化预测编码网络的初始化以提升训练效率和性能。
2026-01-28 cs.LG
Predictive Coding-based Deep Neural Network Fine-tuning for Computationally Efficient Domain Adaptation
IDLab, Department of Information and Technology, Ghent University—imec（IDLab，信息与技术系，根特大学—imec）
本文提出结合反向传播与预测编码的混合训练方法，实现高效设备端域适应，在MNIST和CIFAR-10上以较低计算开销恢复模型性能。
2025-09-25 cs.CV cs.LG cs.NE
A Feasibility Experiment on the Application of Predictive Coding to Instant Messaging Corpora
Navigant Consulting Europe Ltd.（Navigant咨询欧洲有限公司）
本文针对即时消息语料，提出结合每日聊天分组、特征选择、逻辑回归和降维的预测编码方案，并在Instant Bloomberg数据集上验证其可行性与成本效益。
2025-08-14 cs.LG
Predictive Coding beyond Gaussian Distributions
University of Oxford（牛津大学）；TU Wien（维也纳工业大学）
最近的大量研究都有一个深远的目标，那就是为深度神经网络寻找训练方法，这些方法可以作为反向传播（BP）的替代品。一个突出的例子是预测编码（PC），这是一种受神经科学启发的方法，可以对分层高斯生成模型进行推理。然而，这些方法无法跟上现代神经网络的步伐，因为它们无法复制复杂层和激活函数的动态。在这项工作中，我们通过将PC推广到任意概率分布来解决这个问题，从而能够训练仅用高斯假设难以近似的架构，例如Transformers。我们进行了三个实验分析。首先，我们研究了我们的方法和PC的标准制定多个玩具的例子之间的差距。其次，我们测试了变分自编码器的重建质量，其中我们的方法达到了与BP相同的重建质量。第三，我们表明，我们的方法使我们能够训练Transformer网络，并实现与BP的性能相媲美的条件语言模型。更广泛地说，这种方法允许神经科学启发的学习应用于多个领域，因为内部分布可以灵活地适应所使用的数据，任务和架构。
2022-11-07 cs.LG cs.NE
Predictive Coding Graphs are a Superset of Feedforward Neural Networks
Department of Information & Computing Sciences, Utrecht University（信息与计算科学系，乌特勒支大学）
预测编码图（PCGs）作为前馈神经网络的超集，为机器学习提供了新的视角和方法。
2026-03-06 cond-mat.dis-nn cs.AI cs.LG
Predictive Coding beyond Correlations
VERSES Research Lab（VERSES研究实验室）；Institute of Logic and Computation, Vienna University of Technology（维也纳技术大学逻辑与计算研究所）；University of Oxford（牛津大学）；MRC Brain Network Dynamics Unit, University of Oxford（牛津大学医学研究委员会脑网络动力学单元）；Zyphra（Zyphra公司）
本研究展示了预测编码算法通过修改推断过程执行因果推断任务，无需破坏因果图，并在图未知时从观测数据推断，提升了图像分类性能，实现端到端因果推断。
2024-06-03 cs.LG
Contrastive Predictive Coding Based Feature for Automatic Speaker Verification
The Johns Hopkins University（约翰斯·霍普金斯大学）
本文介绍了我们正在进行的对比预测编码（CPC）特征用于说话人确认的工作。CPC是最近提出的一种基于预测编码和噪声对比估计的表示学习框架。我们专注于将CPC功能纳入标准的自动说话人确认系统，我们提出了我们的方法，实验和分析。本文还详细介绍了自动说话人确认系统的必要背景知识，传统的语音特征，以及CPC背后的动机和技术。
2019-04-01 cs.CL cs.LG cs.SD
Differentiable Generalised Predictive Coding
Otto-von-Guericke University（奥托·冯·格里克大学）
本文论述了与神经过程理论相一致的可微动力学模型，该模型将大脑功能视为解释观察结果的内部生成模型的分层细化。我们的工作扩展了现有的基于梯度的预测编码与自动微分的实现，并允许集成深度神经网络的非线性状态参数化。基于梯度的预测编码通过优化从刺激向潜在状态传播的精确加权预测误差来局部优化每层的推断状态和权重。预测向后流动，从潜在状态向较低层流动。这里建议的模型优化潜在状态的层次和动态预测。分层预测对预期内容和分层结构进行编码。动态预测捕获编码内容中的变化以及高阶导数。分层和动态预测相互作用，并解决相同的潜在状态的不同方面。我们将该模型应用于各种感知和规划任务的序列数据，并显示它们之间的相互依赖性。特别是，我们演示了如何学习采样距离并行地址有意义的位置数据采样在离散的时间步长。我们讨论的可能性，放松假设的线性层次结构有利于更灵活的图形结构与紧急性质。我们比较了模型的颗粒结构与描述生物网络中预测编码的典型微电路，并回顾了马尔可夫毯作为表征模块性的工具的连接。最后一节概述了在嵌套的时空层次结构中有效感知和规划的想法。
2021-12-08 cs.AI cs.LG cs.NE
Convolutional Neural Generative Coding: Scaling Predictive Coding to Natural Images
Rochester Institute of Technology（罗切斯特理工学院）；University of South Florida（南佛罗里达大学）
在这项工作中，我们开发了卷积神经生成编码（Conv-NGC），这是预测编码对基于卷积/解卷积计算的情况的推广。具体来说，我们具体实现了一个灵活的神经生物学动机的算法，逐步细化潜在状态特征图，以动态地形成一个更准确的内部表示/重建模型的自然图像。所得到的感官处理系统的性能进行了评估复杂的数据集，如颜色MNIST，CIFAR-10，和街道房屋视图数（SVHN）。我们研究了我们的大脑启发模型在重建和图像去噪任务上的有效性，发现它与通过误差反向传播训练的卷积自动编码系统具有竞争力，并且在分布外重建（包括完整的90 k CINIC-10测试集）方面优于它们。
2023-02-06 cs.CV cs.LG
Closed-form predictive coding via hierarchical Gaussian filters
Center for Humanities Computing（人文计算中心）；Aarhus University（奥胡斯大学）；Interacting Minds Center（互动心灵中心）
本文提出通过分层高斯滤波器实现预测编码，恢复了精度加权的信息传递，实现了动态不确定性估计和Hebbian兼容的更新规则，从而在单个自由能目标下同时学习激活、权重和精度，无需全局误差信号，且无需迭代或自动微分。
2026-05-19 cs.AI cs.LG cs.NE
PredProp: Bidirectional Stochastic Optimization with Precision Weighted Predictive Coding
Otto-von-Guericke University（奥托·冯·格里克大学）
提出PredProp方法，通过精度加权优化预测编码网络的权重与状态，实现近似自然梯度下降，在图像基准测试中优于Adam，且可推广至深层PCN结构。
2023-05-05 cs.AI cs.LG cs.NE
PreCNet: Next-Frame Video Prediction Based on Predictive Coding
Czech Technical University in Prague（布拉格捷克理工大学）
预测编码是目前神经科学中一个很有影响力的理论，但在机器学习中尚未得到广泛应用。在这项工作中，我们将Rao和Ballard（1999）的开创性模型转化为现代深度学习框架，同时最大限度地忠实于原始模式。我们提出的网络（PreCNet）在广泛使用的下一帧视频预测基准上进行了测试，该基准由车载摄像头记录的城市环境中的图像组成，并实现了最先进的性能。当训练集更大（来自BDD 100 k的2 M图像）时，所有指标（MSE、PSNR、SSIM）的性能进一步提高，这表明KITTI训练集的局限性。这项工作表明，一个精心基于神经科学模型的架构，即使没有明确地针对手头的任务进行定制，也可以表现出卓越的性能。
2023-02-08 cs.CV cs.LG cs.NE
Classification and Reconstruction Processes in Deep Predictive Coding Networks: Antagonists or Allies?
Institute for Neural Computation（神经计算研究所）；Faculty of Computer Science（计算机科学学院）；Ruhr University Bochum（波鸿鲁尔大学）
本研究通过设计类似自编码器的模型家族，发现深度预测编码网络中分类与重建过程在共享表示上相互削弱，扩大维度或增加复杂度可缓解权衡，挑战了现有假设。
2024-01-17 cs.LG
Neuroscience-Inspired Memory Replay for Continual Learning: A Comparative Study of Predictive Coding and Backpropagation-Based Strategies
Dartmouth College（达特茅斯学院）
本文提出一种受神经科学启发的持续学习框架，通过比较预测编码与反向传播策略，展示预测编码在提升模型保留性能方面的优势。
2025-11-29 cs.AI cs.LG
Multi-step Predictive Coding Leads To Simplicity Bias
Technion – Israel Institute of Technology（技术学院 – 以色列理工学院）
本研究探究预测范围和网络深度对预测编码任务解决方案的影响，发现足够深的网络结合多步预测范围能持续恢复潜在结构，扩展到非线性网络和复杂数据集，为预测编码诱导结构化表示提供了原则性理解。
2025-11-12 cs.LG q-bio.NC
A Study of Hidden-State Optimization Order in Predictive Coding Networks
该研究针对局部学习方法特征学习弱的问题，提出边界优先推理方案并实例化为预测编码网络，在CIFAR-10上提升了准确率，验证了该方案的有效性。
2026-09-02 cs.AI cs.LG
A Synthesizable RTL Implementation of Predictive Coding Networks
University of California, Riverside（加州大学河滨分校）
本文提出一种可综合的RTL架构，实现离散时间预测编码更新，通过局部预测误差动态实现推理与学习，采用固定有限状态调度和序列MAC数据路径，提供可综合的硬件实现方案。
2026-05-02 cs.AI cs.AR cs.LG
Hierarchical Predictive Coding Models in a Deep-Learning Framework
贝叶斯预测编码是一种假定的神经形态学方法，用于获取更高级别的神经表征来解释感觉输入。虽然起源于神经科学界，但机器学习界也在努力研究这些模型。本文回顾了一些较知名的模型。我们的评论分析了模块连接和信息传输模式，试图找到跨模型使用的一般原则。我们还调查了最近在深度学习框架内构建这些模型的一些尝试。贝叶斯预测编码的一个定义特征是它使用自上而下的重构机制来预测传入的感官输入或其较低级别的表示。预测和实际输入之间的差异，称为预测误差，然后引起未来的学习，以改进和提高学习的更高级别表示的预测准确性。在深度学习发展之前，出现了用于描述新皮层计算的预测编码模型，并使用了我们命名为Rao-Ballard协议的模块之间的通信结构。该方案源自具有一些相当强的统计假设的贝叶斯生成模型。RB协议提供了一个规则来评估声称实现预测编码的深度学习模型的保真度。
2020-09-23 cs.AI cs.CV cs.LG
Spiking Neural Predictive Coding for Continual Learning from Data Streams
Rochester Institute of Technology（罗切斯特理工学院）
为了在专门的神经形态硬件中进行节能计算，我们提出了尖峰神经编码，这是基于预测编码理论的一系列人工神经模型的实例。这种模型是同类模型中的第一个，其工作原理是在一个永无止境的“猜测和检查”过程中运行，其中神经元预测彼此的活动值，然后调整自己的活动以做出更好的未来预测。我们的系统的交互式，迭代的性质很好地适合到连续时间的制定的感觉流预测，正如我们所展示的，该模型的结构产生一个本地突触更新规则，它可以用来补充或作为替代在线尖峰定时依赖可塑性。在这篇文章中，我们实验了一个由泄漏的积分和点火单元组成的模型的实例。然而，我们的系统所处的框架可以自然地包含更复杂的神经元，例如Hodgkin-Huxley模型。我们在模式识别的实验结果表明，当二进制尖峰列车是神经元间通信的主要范例时，该模型的潜力。值得注意的是，尖峰神经编码在分类性能方面具有竞争力，并且在从任务序列学习时经历较少的遗忘，为流行的人工神经网络提供了一种计算上更经济，生物学上更合理的替代方案。
2022-08-08 cs.LG cs.NE q-bio.NC
Sheaf Cohomology of Linear Predictive Coding Networks
Sakana AI
该研究将线性预测编码（PC）网络建模为胞腔层，揭示其推理与层拉普拉斯扩散的关系，用层上同调分析循环拓扑矛盾导致的学习停滞问题，为循环PC网络提供诊断工具和初始化设计原则。
2025-11-14 cs.LG
PredNet and Predictive Coding: A Critical Review
University of Potsdam（波茨坦大学）；Otto von Guericke University（奥托·冯·格里克大学）
PredNet是Lotter等人开发的深度预测编码网络，将基于预测误差传播的生物启发架构与视频中的自监督表示学习相结合。虽然该体系结构已经引起了很多关注，并且存在模型的各种扩展，但缺乏批判性的分析。我们通过评估PredNet作为预测编码理论的实现和使用具有挑战性的视频动作分类数据集的自监督视频预测模型来填补这一空白。我们设计了一个扩展的模型来测试，如果条件未来帧预测的动作类的视频提高了模型的性能。我们表明，PredNet还没有完全遵循预测编码的原则。所提出的自上而下的调节导致合成数据的性能增益，但不能扩展到更复杂的现实世界的动作分类数据集。我们的分析旨在指导未来的研究类似的架构的预测编码理论的基础上。
2020-05-18 cs.CV cs.LG eess.IV
Predictive Coding for Boosting Deep Reinforcement Learning with Sparse Rewards
UC Berkeley（加州大学伯克利分校）
虽然深度强化学习的最新进展使机器人能够学习复杂的行为，但具有长期视野和稀疏奖励的任务仍然是一个持续的挑战。在这项工作中，我们提出了一个有效的奖励塑造方法，通过预测编码来解决稀疏奖励问题。通过离线学习预测表示并将这些表示用于奖励塑造，我们可以获得了解环境结构和动态的奖励信号。特别是，我们的方法通过提供奖励信号来实现更好的学习，这些奖励信号1）理解环境动态2）强调对学习最有用的特征3）通过奖励累积来抵抗学习表示中的噪声。我们证明了这种方法在从机器人操作到导航的不同领域中的有用性，并且我们表明，通过预测编码产生的奖励信号对于学习和手工制作的奖励一样有效。
2020-08-03 cs.AI cs.LG stat.ML
Analog-Friendly Predictive Coding without Activation Derivatives
本文提出激活匹配的Bregman预测编码，消除激活导数，实现模拟友好的局部推理与学习规则，在分类和生成任务上性能与标准预测编码及反向传播相当。
2026-09-29 cs.AI cs.LG cs.NE
Divide-and-Conquer Predictive Coding: a structured Bayesian inference algorithm
Vanderbilt University（范德堡大学）；VERSES AI Research Lab（VERSES AI研究实验室）；Vienna University of Technology（维也纳技术大学）
本文提出分治预测编码（DCPC），在保持生物合理性的同时尊重生成模型相关结构并实现最大似然参数更新，在多个结构化推理问题上优于现有预测编码方法。
2024-10-17 cs.AI cs.LG q-bio.NC
Variational Variance: Simple, Reliable, Calibrated Heteroscedastic Noise Variance Parameterization
Columbia University（哥伦比亚大学）；New York Genome Center（纽约基因组中心）
已经观察到，当同时将神经网络映射从（随机）变量拟合到依赖高斯变量的均值和方差时，脆性优化对回归和VAE的模型似然性产生不利影响。以前的工作已经支持了优化和改进的可能性，但失败了其他基本的后验预测检查（PPC）。在PPC框架下，我们提出了测试预测均值和方差校准以及预测分布生成合理数据的能力的评论。我们发现，我们吸引人的简单的解决方案，处理异方差方差变分，充分正则化方差通过这些PPC。我们考虑了各种现有的和新的先验知识，发现我们的方法保留或优于现有的模型可能性，同时显着提高回归和VAE的参数校准和样本质量。
2020-10-30 cs.LG stat.ML
Robust Graph Representation Learning via Predictive Coding
University of Oxford（牛津大学）；TU Wien（维也纳工业大学）
预测编码是一种消息传递框架，最初是为了模拟大脑中的信息处理而开发的，由于一些有趣的特性，现在也是机器学习的研究主题。其中一个属性是生成模型学习鲁棒表示的自然能力，这要归功于其独特的信用分配规则，该规则允许神经活动在更新突触权重之前收敛到解决方案。图神经网络也是消息传递模型，最近在机器学习的各种类型的任务中显示出出色的结果，提供了结构化数据的跨学科最先进的性能。然而，它们容易受到不可感知的对抗攻击，并且不适合分布外泛化。在这项工作中，我们通过构建具有与流行的图神经网络架构相同结构的模型来解决这个问题，但依赖于预测编码的消息传递规则。通过一组广泛的实验，我们表明，所提出的模型（i）在归纳和转换任务的性能方面与标准模型相当，（ii）更好地校准，（iii）对多种对抗攻击具有鲁棒性。
2022-12-09 cs.LG
Improving speech emotion recognition via Transformer-based Predictive Coding through transfer learning
我已经向arXiv提交了一个新版本：1910.13806。我忘记选择替换旧版本，但提交了一个新的。是我的错
2019-10-31 cs.HC cs.LG stat.ML
Error-Based Bidirectional Predictive Coding Enables Deep, 4-Bit Predictive Coding Networks
McGill University（麦吉尔大学）
本文结合双向PC（bPC）与基于误差的重参数化（ePC），实现可稳定训练至8层的4位预测编码网络，在6层网络中分类准确率远超基于状态的bPC，且量化后性能损失极小。
2026-10-14 cs.LG
Unsupervised predictive coding models may explain visual brain representation
Directorate of Technology and Innovation（技术与创新局）；Chamber of Deputies（众议院）
深度预测编码网络是受神经科学启发的无监督学习模型，可以学习预测未来的感觉状态。我们基于Lotter，Kreiman和Cox（2016）的PredNet实现来研究预测编码表示是否有助于预测视觉皮层的大脑活动。我们使用代表性相似性分析（RSA）比较PredNet表示功能磁共振成像（fMRI）和脑磁图（MEG）数据从Algonauts项目。与文献中先前的发现（Khaligh-Razavi &Kriegeskorte，2014）相比，我们报告的经验数据表明，训练用于预测视频帧的无监督模型可能优于监督图像分类基线。我们提交的最好的作品在Algonauts挑战赛的fMRI和MEG轨道上获得了16.67%和27.67%的平均噪声标准化分数。
2019-06-30 cs.LG q-bio.NC stat.ML
JPC: Flexible Inference for Predictive Coding Networks in JAX
School of Engineering and Informatics（工程与信息学院）；University of Sussex（萨塞克斯大学）
本文提出 JAX 库 JPC，用常微分方程求解器实现预测编码网络的灵活推理与训练，并以二阶求解器在保持性能的同时显著提升运行速度。
2024-12-04 cs.AI cs.LG cs.NE
Understanding Predictive Coding as an Adaptive Trust-Region Method
University of Sussex（萨塞克斯大学）
本文将预测编码建模为使用二阶信息的自适应信赖域算法，证明其学习动态介于反向传播梯度方向与信赖域方向之间，并从理论和实验上表明 PC 比 BP 更快逃离鞍点。
2023-05-29 cs.AI cs.LG cs.NE
The Bayesian Reflex: A Predictive Coding Engine for Artificial Intelligence
Indian Statistical Institute（印度统计研究所）
该研究提出贝叶斯反射计算框架，结合预测编码三大支柱，利用近期算法突破实现可扩展的类脑持续学习、感知与决策，通过多领域应用为自适应AI提供蓝图。
2026-08-04 cs.AI cs.LG
Active Predictive Coding: A Unified Neural Framework for Learning Hierarchical World Models for Perception and Planning
University of Washington（华盛顿大学）
本文提出主动预测编码框架，通过分层世界模型解决人工智能中感知与规划的两大核心问题。
2022-10-23 cs.AI cs.CV cs.LG
Meta-Representational Predictive Coding: Neuroscience-Informed Self-Supervised Learning
Rochester Institute of Technology（罗切斯特理工学院）；AI Research Lab（AI研究实验室）；University of Washington（华盛顿大学）；Rochester, New York, USA（纽约罗切斯特市）；Los Angeles, California, USA（加州洛杉矶市）；Seattle, Washington, USA（华盛顿州西雅图市）
提出元表征预测编码（MPC），通过跨并行流预测输入表征实现自监督学习，避免生成模型和反向传播，利用主动推理驱动表征学习。
2026-09-22 cs.LG cs.NE q-bio.NC
A Stable, Fast, and Fully Automatic Learning Algorithm for Predictive Coding Networks
VERSES AI Research Lab（VERSES AI研究实验室）；Institute of Logic and Computation, TU Wien（维也纳技术大学逻辑与计算研究所）；MRC Brain Network Dynamics Unit, University of Oxford（牛津大学医学研究委员会脑网络动力学单元）；Department of Computer Science, University of Oxford（牛津大学计算机科学系）；State Key Laboratory of Reliability and Intelligence of Electrical Equipment, Hebei University（河北大学电力设备可靠性与智能化国家重点实验室）
本文提出增量预测编码（iPC）算法，通过改变突触权重更新的时间调度，使预测编码网络训练更稳定高效，并具有收敛性保证，在图像分类和语言模型基准上优于原始方法。
2024-02-07 cs.AI cs.LG cs.NE
Contrastive Difference Predictive Coding
Carnegie Mellon University（卡内基梅隆大学）；Princeton University（普林斯顿大学）
本文提出对比差分预测编码，通过拼接时间序列片段减少数据需求，用于目标条件强化学习，实验显示成功率中位数提升2倍，样本效率大幅提高。
2025-10-08 cs.AI cs.LG
Contrastive Predictive Coding for Human Activity Recognition
Georgia Institute of Technology（佐治亚理工学院）
特征提取是使用穿戴式运动传感器进行人体活动识别（HAR）的关键。最近，学习表示已被成功地使用，提供了有前途的替代手动工程的功能。我们的工作重点是有效地利用少量的标记数据和机会主义利用的未标记的数据，是直接收集在移动和无处不在的计算场景。我们假设并证明，明确考虑传感器数据的时间性在代表性水平发挥了重要作用，有效的HAR在具有挑战性的情况下。我们将对比预测编码（CPC）框架引入到人类活动识别中，该框架捕获传感器数据流的长期时间结构。通过对现实生活中的识别任务的一系列实验评估，我们证明了它的有效性，改进的HAR。基于CPC的预训练是自我监督的，并且由此产生的学习表示可以集成到标准活动链中。它导致显着提高识别性能时，只有少量的标记训练数据，从而证明了我们的方法的实用价值。
2020-12-09 cs.LG
A neuro-inspired architecture for unsupervised continual learning based on online clustering and hierarchical predictive coding
Georgia Institute of Technology（佐治亚理工学院）
我们提出，持续学习desiderata可以通过神经启发的架构，蒙特卡斯尔的皮质柱假说的基础上实现。所提出的架构涉及一个单一的模块，称为自学联想记忆（STAM），它模拟了皮质柱的功能。STAM在涉及前馈、横向和反馈连接的多级层次结构中重复。STAM网络以无监督的方式学习，基于在线聚类和分层预测编码的组合。这篇简短的论文只介绍了架构及其与神经科学的联系。数学公式和实验结果将在本文的扩展版本。
2018-10-22 cs.AI cs.LG q-bio.NC
Accelerating Hierarchical Sparse Predictive Coding with Hybrid Amortized Inference
Department of Clinical Engineering, Komatsu University（小松大学临床工程系）
针对层次稀疏预测编码中迭代推理成本高的问题，提出混合摊销推理方法，结合LISTA式编码器快速初始化与少量能量校正步骤，在保持稀疏性和重建质量的同时显著降低延迟。
2026-07-28 cs.LG
Investigating Enhancements to Contrastive Predictive Coding for Human Activity Recognition
Georgia Institute of Technology（佐治亚理工学院）
获取活动注释的挑战性本质与从可穿戴设备收集数据汇集的更直接本质之间的二分法已经引起了对开发利用大量未标记数据来学习表示的技术的极大兴趣。对比预测编码（CPC）就是这样一种方法，通过利用时间序列数据的属性来学习有效的表示，以建立对比的未来时间步预测任务。在这项工作中，我们提出了CPC的增强，通过系统地研究编码器架构，聚合器网络和未来的时间步长预测，从而产生一个完全卷积的架构，从而提高并行性。在传感器位置和活动中，我们的方法在六个目标数据集中的四个数据集上显示出实质性的改进，证明了它能够为广泛的应用场景提供支持。此外，在标记数据非常有限的情况下，我们的技术显著优于监督和自监督基线，对可能仅收集几秒钟标记数据的情况产生积极影响。这是有希望的，因为CPC不需要专门的数据转换或重建来学习有效的表示。
2022-11-11 cs.LG
Improved Speech Representations with Multi-Target Autoregressive Predictive Coding
Massachusetts Institute of Technology（麻省理工学院）
基于预测编码的训练目标最近被证明在从未标记的语音中学习有意义的表示方面非常有效。一个示例是自回归预测编码（Chung等人，2019），它训练自回归RNN在给定上下文（如最近过去的帧）的情况下生成一个看不见的未来帧。这些方法的基本假设是，可以准确预测未来帧的隐藏状态是许多下游任务的有用表示。在本文中，我们扩展了这一假设，旨在通过训练模型来丰富隐藏状态中编码的信息，以做出更准确的未来预测。我们提出了一个辅助目标，作为一个正则化，以提高泛化的未来帧预测任务。语音分类、语音识别和语音翻译的实验结果不仅支持了这一假设，而且证明了该方法在学习包含更丰富语音内容的表征方面的有效性。
2020-04-11 cs.CL cs.LG cs.SD
Towards the Training of Deeper Predictive Coding Neural Networks
Institute of Logic and Computation, Vienna University of Technology（逻辑与计算研究所，维也纳技术大学）；University of Oxford（牛津大学）；VERSES AI Research Lab（VERSES AI研究实验室）
本文针对预测编码网络在深层架构中的性能退化问题，提出精度加权优化、权重更新机制和辅助神经元三种方法，使深度模型性能与反向传播相当。
2025-10-10 cs.LG
Data-Efficient Image Recognition with Contrastive Predictive Coding
DeepMind；University of California, Berkeley（加利福尼亚大学伯克利分校）
人类观察者可以从少数几个例子中学习识别新的图像类别，但用人工图像来识别仍然是一个开放的挑战。我们假设，数据有效的识别是由表示，使自然信号的变化更可预测。因此，我们重新审视并改进了对比预测编码，这是一种用于学习此类表示的无监督目标。这种新的实现产生的功能支持ImageNet数据集上最先进的线性分类精度。当用作深度神经网络的非线性分类的输入时，这种表示允许我们使用比直接在图像像素上训练的分类器少2- 5倍的标签。最后，这种无监督表示大大改进了PASCAL VOC数据集上目标检测的迁移学习，超过了完全监督的预训练ImageNet分类器。
2020-07-01 cs.CV cs.LG
Automated mapping of virtual environments with visual predictive coding
California Institute of Technology（加州理工学院）
本研究提出预测编码作为统一算法框架，通过自注意力卷积神经网络在虚拟环境中实现自动空间映射，支持向量导航，并可推广至多感官输入。
2024-04-17 cs.CV cs.LG eess.IV
Compressed Predictive Information Coding
Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；University of California, Santa Cruz（加州大学圣克鲁兹分校）
无监督学习在人工智能、机器学习和神经科学等领域发挥着重要作用。与静态数据相比，动态数据的低维结构提取方法相对滞后。我们开发了一种新的信息理论框架，压缩预测信息编码（CPIC），从动态数据中提取有用的表示。CPIC选择性地将过去（输入）投影到线性子空间中，该线性子空间预测从未来（输出）投影的压缩数据。我们的框架的关键见解是通过最小化压缩复杂性和最大化潜在空间中的预测信息来学习表示。我们推导出变的CPIC损失的潜在空间，以捕捉信息，最大限度地预测。利用互信息的边界，我们的变分边界是易于处理的。我们发现，在编码器中引入随机性鲁棒有助于更好的表示。此外，变分方法在互信息估计中的性能优于高斯假设下的估计。我们证明了CPIC能够恢复低信噪比的噪声动力系统的潜在空间，并提取预测神经科学数据中外源变量的特征。
2022-03-03 cs.IT cs.LG math.IT
Zero-Episode Few-Shot Contrastive Predictive Coding: Solving intelligence tests without prior training
The Edmond and Lily Safra Center for Brain Sciences（埃德蒙和莉莉·萨夫拉脑科学中心）
视频预测模型通常组合三个组件：从像素空间到小潜在空间的编码器、潜在空间预测模型和回到像素空间的生成模型。然而，大且不可预测的像素空间使得训练这样的模型变得困难，需要许多训练样本。我们认为，找到一个预测潜变量并使用它来评估未来图像的一致性，可以实现数据高效的预测，因为它排除了生成模型训练的必要性。为了证明这一点，我们创建了序列完成智能测试，其中的任务是识别图像序列中可预测的变化特征，并使用此预测来选择后续图像。我们发现，一维马尔可夫对比预测编码（M-CPC_1D）模型有效地解决了这些测试，只有五个例子。最后，我们证明了M-CPC_1D在解决两个任务中的有用性，而无需事先训练：异常检测和随机运动视频预测。
2022-05-04 cs.CV cs.LG
Representation Learning with Contrastive Predictive Coding
DeepMind（DeepMind（深度思维））；Google（谷歌（Google））
虽然监督学习在许多应用中取得了很大的进步，但无监督学习还没有得到如此广泛的采用，并且仍然是人工智能的重要和具有挑战性的努力。在这项工作中，我们提出了一个通用的无监督学习方法，从高维数据中提取有用的表示，我们称之为对比预测编码。我们模型的关键见解是通过使用强大的自回归模型预测潜在空间中的未来来学习这种表示。我们使用一个概率对比损失，诱导潜在空间捕捉信息，是最有用的预测未来的样本。它还使模型易于处理，通过使用负采样。虽然大多数以前的工作都集中在评估表示为特定的方式，我们证明，我们的方法是能够学习有用的表示实现强大的性能在四个不同的领域：语音，图像，文本和强化学习在3D环境中。
2019-01-22 cs.LG stat.ML
Contrastive Predictive Coding for Anomaly Detection
University of Amsterdam（阿姆斯特丹大学）
在实践中部署机器学习模型时，可靠的异常检测至关重要，但由于缺乏标记数据，仍然具有挑战性。为了应对这一挑战，对比学习方法正变得越来越受欢迎，因为它们在自我监督表示学习环境中取得了令人印象深刻的结果。然而，虽然大多数现有的对比异常检测和分割方法已被应用到图像，他们都不能使用的对比损失直接进行异常检测和分割。在本文中，我们通过使用对比预测编码模型（arXiv：1807.03748）来缩小这一差距。我们表明，它的补丁明智的对比损失可以直接被解释为一个异常的分数，以及如何允许创建异常分割掩模。由此产生的模型在具有挑战性的MVTec-AD数据集上实现了异常检测和分割的良好结果。
2021-07-16 cs.CV cs.LG
Vector-Quantized Autoregressive Predictive Coding
Massachusetts Institute of Technology（麻省理工学院）
自回归预测编码（APC）作为一种自监督编码，在从大量未标记数据中学习表示方面取得了成功，并且学习到的表示对于许多下游任务来说是丰富的。然而，低自我监督损失和下游任务的良好表现之间的联系仍然不清楚。在这项工作中，我们提出了矢量量化自回归预测编码（VQ-APC），一种新的模型，产生量化的表示，使我们能够显式地控制信息量编码的表示。通过研究一系列越来越有限的模型，我们揭示了学习表征的组成部分。特别是，我们确认存在的信息与探测任务，同时显示缺乏信息与互信息，揭示模型的偏好，在保留语音信息，因为它的能力变得有限。我们发现，存在一个点，语音和扬声器的信息被放大，以最大限度地提高自我监督的目标。作为一个副产品，学习的代码为一个特定的模型容量对应良好的英语电话。
2020-05-17 cs.CL cs.LG cs.SD
