Error-Based Bidirectional Predictive Coding Enables Deep, 4-Bit Predictive Coding Networks
McGill University（麦吉尔大学）
本文结合双向PC（bPC）与基于误差的重参数化（ePC），实现可稳定训练至8层的4位预测编码网络，在6层网络中分类准确率远超基于状态的bPC，且量化后性能损失极小。
2026-10-14 cs.LG
Contrastive Predictive Coding for Human Activity Recognition
Georgia Institute of Technology（佐治亚理工学院）
特征提取是使用穿戴式运动传感器进行人体活动识别（HAR）的关键。最近，学习表示已被成功地使用，提供了有前途的替代手动工程的功能。我们的工作重点是有效地利用少量的标记数据和机会主义利用的未标记的数据，是直接收集在移动和无处不在的计算场景。我们假设并证明，明确考虑传感器数据的时间性在代表性水平发挥了重要作用，有效的HAR在具有挑战性的情况下。我们将对比预测编码（CPC）框架引入到人类活动识别中，该框架捕获传感器数据流的长期时间结构。通过对现实生活中的识别任务的一系列实验评估，我们证明了它的有效性，改进的HAR。基于CPC的预训练是自我监督的，并且由此产生的学习表示可以集成到标准活动链中。它导致显着提高识别性能时，只有少量的标记训练数据，从而证明了我们的方法的实用价值。
2020-12-09 cs.LG
On the relationship between predictive coding and backpropagation
University of Notre Dame（圣母大学）
本文回顾并扩展了在监督学习任务中训练前馈人工神经网络时预测编码与反向传播之间数学关系的研究，并提供了Torch2PC函数库以支持在PyTorch模型中执行预测编码。
2024-04-23 cs.LG cs.NE q-bio.NC
Accelerating Hierarchical Sparse Predictive Coding with Hybrid Amortized Inference
Department of Clinical Engineering, Komatsu University（小松大学临床工程系）
针对层次稀疏预测编码中迭代推理成本高的问题，提出混合摊销推理方法，结合LISTA式编码器快速初始化与少量能量校正步骤，在保持稀疏性和重建质量的同时显著降低延迟。
2026-07-28 cs.LG
Investigating Enhancements to Contrastive Predictive Coding for Human Activity Recognition
Georgia Institute of Technology（佐治亚理工学院）
获取活动注释的挑战性本质与从可穿戴设备收集数据汇集的更直接本质之间的二分法已经引起了对开发利用大量未标记数据来学习表示的技术的极大兴趣。对比预测编码（CPC）就是这样一种方法，通过利用时间序列数据的属性来学习有效的表示，以建立对比的未来时间步预测任务。在这项工作中，我们提出了CPC的增强，通过系统地研究编码器架构，聚合器网络和未来的时间步长预测，从而产生一个完全卷积的架构，从而提高并行性。在传感器位置和活动中，我们的方法在六个目标数据集中的四个数据集上显示出实质性的改进，证明了它能够为广泛的应用场景提供支持。此外，在标记数据非常有限的情况下，我们的技术显著优于监督和自监督基线，对可能仅收集几秒钟标记数据的情况产生积极影响。这是有希望的，因为CPC不需要专门的数据转换或重建来学习有效的表示。
2022-11-11 cs.LG
Convolutional Neural Generative Coding: Scaling Predictive Coding to Natural Images
Rochester Institute of Technology（罗切斯特理工学院）；University of South Florida（南佛罗里达大学）
在这项工作中，我们开发了卷积神经生成编码（Conv-NGC），这是预测编码对基于卷积/解卷积计算的情况的推广。具体来说，我们具体实现了一个灵活的神经生物学动机的算法，逐步细化潜在状态特征图，以动态地形成一个更准确的内部表示/重建模型的自然图像。所得到的感官处理系统的性能进行了评估复杂的数据集，如颜色MNIST，CIFAR-10，和街道房屋视图数（SVHN）。我们研究了我们的大脑启发模型在重建和图像去噪任务上的有效性，发现它与通过误差反向传播训练的卷积自动编码系统具有竞争力，并且在分布外重建（包括完整的90 k CINIC-10测试集）方面优于它们。
2023-02-06 cs.CV cs.LG
Towards the Training of Deeper Predictive Coding Neural Networks
Institute of Logic and Computation, Vienna University of Technology（逻辑与计算研究所，维也纳技术大学）；University of Oxford（牛津大学）；VERSES AI Research Lab（VERSES AI研究实验室）
本文针对预测编码网络在深层架构中的性能退化问题，提出精度加权优化、权重更新机制和辅助神经元三种方法，使深度模型性能与反向传播相当。
2025-10-10 cs.LG
Augmented Lagrangian Predictive Coding
Sakana AI
提出增广拉格朗日预测编码（PC-ALM），通过层局部拉格朗日乘子累积约束误差，使局部更新对齐反向传播梯度，在深度网络中匹配反向传播性能。
2026-05-29 cs.LG
Accelerated Predictive Coding Networks via Direct Kolen-Pollack Feedback Alignment
Department of Microelectronics, Delft University of Technology, Delft, Netherlands（电子工程系，代尔夫特理工大学，代尔夫特，荷兰）
本文提出DKP-PC算法，通过直接反馈对齐和Kolen-Pollack算法解决预测编码中的反馈延迟和衰减问题，提升网络效率和可扩展性。
2026-03-07 cs.LG
A Predictive Coding Account for Chaotic Itinerancy
ETIS UMR 8051（ETIS UMR 8051实验室）；CY University（塞尔吉-巴黎大学）；ENSEA（法国国立高等电子及应用工程师学院）；CNRS（法国国家科学研究中心）
混沌巡游作为动力系统中允许在稳定行为之间自主切换的一种现象，已成为神经机器人研究的热点。在这项研究中，我们绘制了这种现象和预测编码理论之间的连接，通过显示如何实现预测编码的递归神经网络可以产生类似于混沌巡回在输入噪声的存在下的神经轨迹。我们提出了两种情况下产生随机和过去独立的吸引子切换轨迹使用我们的模型。
2021-06-16 cs.LG cs.NE nlin.CD
Predictive Coding for Decision Transformer
School of Electrical Engineering, KAIST (Korea Advanced Institute of Science and Technology)（韩国科学技术院电气工程学院）
针对决策Transformer在目标条件强化学习中因回报条件低效而难以学习时间组合性的问题，提出预测编码框架PCDT，利用广义未来条件结合过去与未来因素进行决策，显著提升了泛化性能与离线任务表现。
2025-04-03 cs.LG
Neuroscience-Inspired Memory Replay for Continual Learning: A Comparative Study of Predictive Coding and Backpropagation-Based Strategies
Dartmouth College（达特茅斯学院）
本文提出一种受神经科学启发的持续学习框架，通过比较预测编码与反向传播策略，展示预测编码在提升模型保留性能方面的优势。
2025-11-29 cs.AI cs.LG
Multi-step Predictive Coding Leads To Simplicity Bias
Technion – Israel Institute of Technology（技术学院 – 以色列理工学院）
本研究探究预测范围和网络深度对预测编码任务解决方案的影响，发现足够深的网络结合多步预测范围能持续恢复潜在结构，扩展到非线性网络和复杂数据集，为预测编码诱导结构化表示提供了原则性理解。
2025-11-12 cs.LG q-bio.NC
A Study of Hidden-State Optimization Order in Predictive Coding Networks
该研究针对局部学习方法特征学习弱的问题，提出边界优先推理方案并实例化为预测编码网络，在CIFAR-10上提升了准确率，验证了该方案的有效性。
2026-09-02 cs.AI cs.LG
Contrastive Predictive Coding Based Feature for Automatic Speaker Verification
The Johns Hopkins University（约翰斯·霍普金斯大学）
本文介绍了我们正在进行的对比预测编码（CPC）特征用于说话人确认的工作。CPC是最近提出的一种基于预测编码和噪声对比估计的表示学习框架。我们专注于将CPC功能纳入标准的自动说话人确认系统，我们提出了我们的方法，实验和分析。本文还详细介绍了自动说话人确认系统的必要背景知识，传统的语音特征，以及CPC背后的动机和技术。
2019-04-01 cs.CL cs.LG cs.SD
Predictive Coding: Towards a Future of Deep Learning beyond Backpropagation?
MRC Brain Network Dynamics Unit, University of Oxford（牛津大学医学研究委员会脑网络动力学研究中心）；University of Oxford（牛津大学）
用于训练深度神经网络的误差反向传播算法是深度学习成功的基础。然而，它需要顺序向后更新和非本地计算，这使得大规模并行化具有挑战性，并且与大脑中的学习方式不同。然而，神经科学启发的学习算法，如\emph{predictive coding}，利用本地学习，有可能克服这些限制，并超越当前的深度学习技术。虽然预测编码起源于理论神经科学，作为大脑皮层信息处理的模型，但最近的工作已经将这一想法发展成一种通用算法，能够仅使用局部计算来训练神经网络。在本调查中，我们回顾了有助于这一观点的工作，并展示了预测编码和反向传播之间的密切理论联系，以及突出使用预测编码模型的多重优势的工作，而不是反向传播训练的神经网络。具体来说，我们展示了预测编码网络相对于等效深度神经网络的更大灵活性，深度神经网络可以同时用作分类器，生成器和关联记忆，并且可以在任意图形拓扑上定义。最后，我们回顾了预测编码网络在机器学习分类任务上的直接基准测试，以及它与控制理论和机器人应用的密切联系。
2022-02-18 cs.AI cs.LG cs.NE
Single State Update Predictive Coding training for Time Series Forecasting and Anomaly Detection
Ghent University（根特大学）；imec
该研究针对预测编码网络的顺序反向误差传播瓶颈，提出并行训练生成式与编码式两类PCN的单状态更新训练技术，将其应用于时间序列异常检测，实现了更稳定连续的在线学习。
2026-08-26 cs.LG cs.NE
Hierarchical Predictive Coding Models in a Deep-Learning Framework
贝叶斯预测编码是一种假定的神经形态学方法，用于获取更高级别的神经表征来解释感觉输入。虽然起源于神经科学界，但机器学习界也在努力研究这些模型。本文回顾了一些较知名的模型。我们的评论分析了模块连接和信息传输模式，试图找到跨模型使用的一般原则。我们还调查了最近在深度学习框架内构建这些模型的一些尝试。贝叶斯预测编码的一个定义特征是它使用自上而下的重构机制来预测传入的感官输入或其较低级别的表示。预测和实际输入之间的差异，称为预测误差，然后引起未来的学习，以改进和提高学习的更高级别表示的预测准确性。在深度学习发展之前，出现了用于描述新皮层计算的预测编码模型，并使用了我们命名为Rao-Ballard协议的模块之间的通信结构。该方案源自具有一些相当强的统计假设的贝叶斯生成模型。RB协议提供了一个规则来评估声称实现预测编码的深度学习模型的保真度。
2020-09-23 cs.AI cs.CV cs.LG
The Bayesian Reflex: A Predictive Coding Engine for Artificial Intelligence
Indian Statistical Institute（印度统计研究所）
该研究提出贝叶斯反射计算框架，结合预测编码三大支柱，利用近期算法突破实现可扩展的类脑持续学习、感知与决策，通过多领域应用为自适应AI提供蓝图。
2026-08-04 cs.AI cs.LG
Predictive Coding Approximates Backprop along Arbitrary Computation Graphs
University of Edinburgh（爱丁堡大学）；University of Sussex（萨塞克斯大学）
误差反向传播（backprop）是一种通过端到端微分来训练机器学习架构的强大算法。然而，反向传播经常被批评为缺乏生物相容性。最近，它已被证明，在多层感知器（MLP）的反向传播可以近似使用预测编码，生物合理的过程理论的皮质计算，只依赖于本地和赫布更新。然而，反向传播的力量并不在于它在MLP中的实例化，而是在于自动微分的概念，它允许优化任何表达为计算图的可微分程序。在这里，我们证明了预测编码渐近收敛（并在实践中迅速），以精确的反向传播梯度任意计算图仅使用本地学习规则。我们应用这一结果来开发一种简单的策略，将核心机器学习架构转换为预测编码等价物。我们构建了预测编码CNN，RNN和更复杂的LSTM，其中包括非层式分支内部图结构和乘法交互。我们的模型在具有挑战性的机器学习基准测试中表现得与反向传播相当，同时只利用局部和（大部分）赫布可塑性。我们的方法提高了标准机器学习算法原则上可以直接在神经电路中实现的可能性，并且也可能有助于完全分布式神经形态架构的发展。
2020-10-05 cs.LG cs.NE
Predictive Coding for Boosting Deep Reinforcement Learning with Sparse Rewards
UC Berkeley（加州大学伯克利分校）
虽然深度强化学习的最新进展使机器人能够学习复杂的行为，但具有长期视野和稀疏奖励的任务仍然是一个持续的挑战。在这项工作中，我们提出了一个有效的奖励塑造方法，通过预测编码来解决稀疏奖励问题。通过离线学习预测表示并将这些表示用于奖励塑造，我们可以获得了解环境结构和动态的奖励信号。特别是，我们的方法通过提供奖励信号来实现更好的学习，这些奖励信号1）理解环境动态2）强调对学习最有用的特征3）通过奖励累积来抵抗学习表示中的噪声。我们证明了这种方法在从机器人操作到导航的不同领域中的有用性，并且我们表明，通过预测编码产生的奖励信号对于学习和手工制作的奖励一样有效。
2020-08-03 cs.AI cs.LG stat.ML
Predictive coding, precision and natural gradients
Otto-von-Guericke University（奥托·冯·格里克大学）
在具有局部更新规则的推理和学习的生物学上合理的计算模型与机器学习中采用的神经网络模型的基于全局梯度的优化之间存在越来越多的收敛。一个特别令人兴奋的联系是预测编码网络中的局部信息优化与用于训练最先进的深度人工神经网络的误差反向传播算法之间的对应关系。在这里，我们重点关注预测编码网络中的精度加权与深度神经网络的自然梯度下降算法之间的相关但仍在很大程度上未被探索的联系。精确加权预测编码是一个有趣的候选人，用于扩大不确定性感知优化-特别是对于具有大参数空间的模型-由于其优化过程的分布式性质和Fisher信息度量的潜在局部近似，自适应学习率是自然梯度下降的核心。在这里，我们证明了具有可学习精度的分层预测编码网络确实能够解决各种监督和无监督学习任务，其性能与具有自然梯度的全局反向传播相当，并且在数据或标签输入中嵌入大量噪声的任务上优于经典的梯度下降。当应用于图像输入的无监督自动编码时，确定性网络产生分层组织和分解的嵌入，暗示预测编码和分层变分推理之间的密切联系。
2021-11-12 cs.AI cs.LG cs.NE
Improving speech emotion recognition via Transformer-based Predictive Coding through transfer learning
我已经向arXiv提交了一个新版本：1910.13806。我忘记选择替换旧版本，但提交了一个新的。是我的错
2019-10-31 cs.HC cs.LG stat.ML
PredNet and Predictive Coding: A Critical Review
University of Potsdam（波茨坦大学）；Otto von Guericke University（奥托·冯·格里克大学）
PredNet是Lotter等人开发的深度预测编码网络，将基于预测误差传播的生物启发架构与视频中的自监督表示学习相结合。虽然该体系结构已经引起了很多关注，并且存在模型的各种扩展，但缺乏批判性的分析。我们通过评估PredNet作为预测编码理论的实现和使用具有挑战性的视频动作分类数据集的自监督视频预测模型来填补这一空白。我们设计了一个扩展的模型来测试，如果条件未来帧预测的动作类的视频提高了模型的性能。我们表明，PredNet还没有完全遵循预测编码的原则。所提出的自上而下的调节导致合成数据的性能增益，但不能扩展到更复杂的现实世界的动作分类数据集。我们的分析旨在指导未来的研究类似的架构的预测编码理论的基础上。
2020-05-18 cs.CV cs.LG eess.IV
Bidirectional Interaction between Visual and Motor Generative Models using Predictive Coding and Active Inference
CY University（CY大学）；ENSEA（ENSEA国立高等电子与应用学院）；CNRS（法国国家科学研究中心）
在这项工作中，我们建立在主动推理（AIF）和预测编码（PC）框架的基础上，提出了一种神经架构，包括一个用于感觉预测的生成模型和一个用于运动轨迹的独特生成模型。我们强调如何序列的感官预测可以作为轨道指导学习，控制和在线适应运动轨迹。此外，我们还探讨了运动和视觉模块之间的双向相互作用的影响。该体系结构进行了测试的模拟机器人手臂学习再现手写字母的控制。
2021-04-19 cs.AI cs.LG cs.NE
Contrastive Difference Predictive Coding
Carnegie Mellon University（卡内基梅隆大学）；Princeton University（普林斯顿大学）
本文提出对比差分预测编码，通过拼接时间序列片段减少数据需求，用于目标条件强化学习，实验显示成功率中位数提升2倍，样本效率大幅提高。
2025-10-08 cs.AI cs.LG
Divide-and-Conquer Predictive Coding: a structured Bayesian inference algorithm
Vanderbilt University（范德堡大学）；VERSES AI Research Lab（VERSES AI研究实验室）；Vienna University of Technology（维也纳技术大学）
本文提出分治预测编码（DCPC），在保持生物合理性的同时尊重生成模型相关结构并实现最大似然参数更新，在多个结构化推理问题上优于现有预测编码方法。
2024-10-17 cs.AI cs.LG q-bio.NC
Unsupervised predictive coding models may explain visual brain representation
Directorate of Technology and Innovation（技术与创新局）；Chamber of Deputies（众议院）
深度预测编码网络是受神经科学启发的无监督学习模型，可以学习预测未来的感觉状态。我们基于Lotter，Kreiman和Cox（2016）的PredNet实现来研究预测编码表示是否有助于预测视觉皮层的大脑活动。我们使用代表性相似性分析（RSA）比较PredNet表示功能磁共振成像（fMRI）和脑磁图（MEG）数据从Algonauts项目。与文献中先前的发现（Khaligh-Razavi &Kriegeskorte，2014）相比，我们报告的经验数据表明，训练用于预测视频帧的无监督模型可能优于监督图像分类基线。我们提交的最好的作品在Algonauts挑战赛的fMRI和MEG轨道上获得了16.67%和27.67%的平均噪声标准化分数。
2019-06-30 cs.LG q-bio.NC stat.ML
Introduction to Predictive Coding Networks for Machine Learning
at pm dot me（pm邮件）
本文面向机器学习从业者介绍预测编码网络PCNs，讲解其架构、推理与学习规则及实现，并以CIFAR-10图像分类和PyTorch notebook展示应用。
2025-05-31 cs.AI cs.LG cs.NE
Predictive Coding Graphs are a Superset of Feedforward Neural Networks
Department of Information & Computing Sciences, Utrecht University（信息与计算科学系，乌特勒支大学）
预测编码图（PCGs）作为前馈神经网络的超集，为机器学习提供了新的视角和方法。
2026-03-06 cond-mat.dis-nn cs.AI cs.LG
Data-Efficient Image Recognition with Contrastive Predictive Coding
DeepMind；University of California, Berkeley（加利福尼亚大学伯克利分校）
人类观察者可以从少数几个例子中学习识别新的图像类别，但用人工图像来识别仍然是一个开放的挑战。我们假设，数据有效的识别是由表示，使自然信号的变化更可预测。因此，我们重新审视并改进了对比预测编码，这是一种用于学习此类表示的无监督目标。这种新的实现产生的功能支持ImageNet数据集上最先进的线性分类精度。当用作深度神经网络的非线性分类的输入时，这种表示允许我们使用比直接在图像像素上训练的分类器少2- 5倍的标签。最后，这种无监督表示大大改进了PASCAL VOC数据集上目标检测的迁移学习，超过了完全监督的预训练ImageNet分类器。
2020-07-01 cs.CV cs.LG
Zero-Episode Few-Shot Contrastive Predictive Coding: Solving intelligence tests without prior training
The Edmond and Lily Safra Center for Brain Sciences（埃德蒙和莉莉·萨夫拉脑科学中心）
视频预测模型通常组合三个组件：从像素空间到小潜在空间的编码器、潜在空间预测模型和回到像素空间的生成模型。然而，大且不可预测的像素空间使得训练这样的模型变得困难，需要许多训练样本。我们认为，找到一个预测潜变量并使用它来评估未来图像的一致性，可以实现数据高效的预测，因为它排除了生成模型训练的必要性。为了证明这一点，我们创建了序列完成智能测试，其中的任务是识别图像序列中可预测的变化特征，并使用此预测来选择后续图像。我们发现，一维马尔可夫对比预测编码（M-CPC_1D）模型有效地解决了这些测试，只有五个例子。最后，我们证明了M-CPC_1D在解决两个任务中的有用性，而无需事先训练：异常检测和随机运动视频预测。
2022-05-04 cs.CV cs.LG
Representation Learning with Contrastive Predictive Coding
DeepMind（DeepMind（深度思维））；Google（谷歌（Google））
虽然监督学习在许多应用中取得了很大的进步，但无监督学习还没有得到如此广泛的采用，并且仍然是人工智能的重要和具有挑战性的努力。在这项工作中，我们提出了一个通用的无监督学习方法，从高维数据中提取有用的表示，我们称之为对比预测编码。我们模型的关键见解是通过使用强大的自回归模型预测潜在空间中的未来来学习这种表示。我们使用一个概率对比损失，诱导潜在空间捕捉信息，是最有用的预测未来的样本。它还使模型易于处理，通过使用负采样。虽然大多数以前的工作都集中在评估表示为特定的方式，我们证明，我们的方法是能够学习有用的表示实现强大的性能在四个不同的领域：语音，图像，文本和强化学习在3D环境中。
2019-01-22 cs.LG stat.ML
Contrastive Predictive Coding for Anomaly Detection
University of Amsterdam（阿姆斯特丹大学）
在实践中部署机器学习模型时，可靠的异常检测至关重要，但由于缺乏标记数据，仍然具有挑战性。为了应对这一挑战，对比学习方法正变得越来越受欢迎，因为它们在自我监督表示学习环境中取得了令人印象深刻的结果。然而，虽然大多数现有的对比异常检测和分割方法已被应用到图像，他们都不能使用的对比损失直接进行异常检测和分割。在本文中，我们通过使用对比预测编码模型（arXiv：1807.03748）来缩小这一差距。我们表明，它的补丁明智的对比损失可以直接被解释为一个异常的分数，以及如何允许创建异常分割掩模。由此产生的模型在具有挑战性的MVTec-AD数据集上实现了异常检测和分割的良好结果。
2021-07-16 cs.CV cs.LG
Learning Invariant World State Representations with Predictive Coding
SRI International（斯坦福国际研究院）
自监督学习方法克服了构建更强大AI的关键瓶颈：标记数据的可用性有限。然而，自监督架构的缺点之一是它们学习的表示是隐式的，并且难以提取关于编码的世界状态的有意义的信息，例如编码在深度图中的视觉场景的3D结构。此外，在视觉领域，这种表示很少经历可能对下游任务（例如自动驾驶汽车的视觉）至关重要的评估。在这里，我们提出了一个框架，用于评估视觉表示的照明不变性的背景下，深度感知。我们开发了一种新的预测编码为基础的架构和混合全监督/自监督学习方法。我们提出了一种扩展预测编码方法的新架构：预测横向自下而上和自上而下的编码器-解码器网络（PreludeNet），它明确地学习从视频帧中推断和预测深度。在PreludeNet中，编码器的预测编码层堆栈以自监督的方式进行训练，而预测解码器则以监督的方式进行训练，以推断或预测深度。我们在一个新的合成数据集上评估了我们模型的鲁棒性，在这个数据集上，照明条件（如整体照明和阴影效果）可以参数化调整，同时保持世界的所有其他方面不变。PreludeNet实现了具有竞争力的深度推断性能和下一帧预测精度。我们还展示了这种新的网络架构，再加上混合全监督/自监督学习方法，实现了所述性能和照明变化的不变性之间的平衡。所提出的视觉表征评估框架可以扩展到不同的任务域和不变性测试。
2022-07-06 cs.LG cs.NE
On the Sample Complexity of Predictive Sparse Coding
Georgia Institute of Technology（佐治亚理工学院）
预测稀疏编码的目标是将示例的表示学习为字典中元素的稀疏线性组合，以便新表示中学习到的线性假设在预测任务中表现良好。近年来，预测稀疏编码算法在各种监督任务上表现出令人印象深刻的性能，但其泛化性能尚未得到研究。我们建立了预测稀疏编码的第一个泛化误差界，覆盖两个设置：1）过完备设置，其中特征数k超过原始维度d;以及2）高维或无限维设置，其中只有无维界是有用的。这两个学习边界密切依赖于学习稀疏编码器的稳定性，如在训练样本上测量的。因此，我们首先提出了一个基本的稳定性结果的LASSO，结果表征的稀疏代码的稳定性相对于扰动的字典。在过完备的设置，我们提出了一个估计误差界，衰减为\tilde{O}（sqrt（d k/m））关于d和k。在高维或无限维的情况下，我们给出了一个无量纲的边界，即关于k和s的\tilde{O}（sqrt（k^2 s / m）），其中s是任何训练数据点的稀疏码中非零数的上限。
2012-10-08 cs.LG stat.ML
Predictive Coding-based Deep Neural Network Fine-tuning for Computationally Efficient Domain Adaptation
IDLab, Department of Information and Technology, Ghent University—imec（IDLab，信息与技术系，根特大学—imec）
本文提出结合反向传播与预测编码的混合训练方法，实现高效设备端域适应，在MNIST和CIFAR-10上以较低计算开销恢复模型性能。
2025-09-25 cs.CV cs.LG cs.NE
A neuro-inspired architecture for unsupervised continual learning based on online clustering and hierarchical predictive coding
Georgia Institute of Technology（佐治亚理工学院）
我们提出，持续学习desiderata可以通过神经启发的架构，蒙特卡斯尔的皮质柱假说的基础上实现。所提出的架构涉及一个单一的模块，称为自学联想记忆（STAM），它模拟了皮质柱的功能。STAM在涉及前馈、横向和反馈连接的多级层次结构中重复。STAM网络以无监督的方式学习，基于在线聚类和分层预测编码的组合。这篇简短的论文只介绍了架构及其与神经科学的联系。数学公式和实验结果将在本文的扩展版本。
2018-10-22 cs.AI cs.LG q-bio.NC
Compressed Predictive Information Coding
Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；University of California, Santa Cruz（加州大学圣克鲁兹分校）
无监督学习在人工智能、机器学习和神经科学等领域发挥着重要作用。与静态数据相比，动态数据的低维结构提取方法相对滞后。我们开发了一种新的信息理论框架，压缩预测信息编码（CPIC），从动态数据中提取有用的表示。CPIC选择性地将过去（输入）投影到线性子空间中，该线性子空间预测从未来（输出）投影的压缩数据。我们的框架的关键见解是通过最小化压缩复杂性和最大化潜在空间中的预测信息来学习表示。我们推导出变的CPIC损失的潜在空间，以捕捉信息，最大限度地预测。利用互信息的边界，我们的变分边界是易于处理的。我们发现，在编码器中引入随机性鲁棒有助于更好的表示。此外，变分方法在互信息估计中的性能优于高斯假设下的估计。我们证明了CPIC能够恢复低信噪比的噪声动力系统的潜在空间，并提取预测神经科学数据中外源变量的特征。
2022-03-03 cs.IT cs.LG math.IT
Efficient Online Learning with Predictive Coding Networks: Exploiting Temporal Correlations
Institute for Informatics, University of Munich (LMU)（信息学院，慕尼黑大学（LMU））
在边缘运行的机器人系统需要高效的在线学习算法，可以在处理流式传感数据的同时不断适应不断变化的环境。传统的反向传播虽然有效，但与生物相容性原则相冲突，并且对于连续适应情景可能是次优的。预测编码（PC）框架提供了一种生物学上合理的替代方案，具有局部的、类似赫布的更新规则，使其适合于神经形态硬件实现。然而，PC的主要限制是由于训练期间的多次推理迭代而导致的计算开销。我们提出了时间摊销预测编码网络（PCN-TA），它保留了跨时间帧的潜在状态。通过利用时间相关性，PCN-TA显著降低了计算需求，同时保持了学习性能。我们在COIL-20机器人感知数据集上的实验表明，与反向传播相比，PCN-TA的权重更新减少了10%，并且比基线PC网络所需的推理步骤减少了50%。这些效率的提高直接转化为减少的计算开销，从而在资源受限的机器人系统中向边缘部署和实时适应支持迈进了一步。我们的方法受生物启发的性质也使其成为未来神经形态硬件实现的有希望的候选者，从而实现边缘的高效在线学习。
2025-10-29 cs.LG cs.NE
Goal-Directed Behavior under Variational Predictive Coding: Dynamic Organization of Visual Attention and Working Memory
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Okinawa Institute of Science and Technology（冲绳科学技术大学院大学）
心理模拟是目标导向行为的关键认知功能，因为它对于评估行为及其后果至关重要。当一个自我生成的或外部指定的目标被给定时，最有可能实现该目标的一系列行动是通过心理模拟从其他候选人中选出的。因此，更好的心理模拟会导致更好的目标导向行动计划。然而，开发心理模拟模型是具有挑战性的，因为它需要对自我和环境的了解。本文研究了如何通过自上而下的视觉注意和视觉工作记忆的动态组织，使机器人在心理上产生适当的目标导向的行动计划。为此，我们提出了一个神经网络模型的基础上变分贝叶斯预测编码，目标导向的行动规划制定潜在的意向空间的贝叶斯推理。我们的实验结果表明，有意义的认知能力，如自主自上而下的注意力的机器人末端执行器（其手），以及动态组织的无阻塞视觉工作记忆，出现。此外，我们的比较实验分析表明，引入视觉工作记忆和推理机制，使用变分贝叶斯预测编码显着提高规划足够的目标导向的行动的性能。
2019-03-12 cs.LG cs.RO
Improved Speech Representations with Multi-Target Autoregressive Predictive Coding
Massachusetts Institute of Technology（麻省理工学院）
基于预测编码的训练目标最近被证明在从未标记的语音中学习有意义的表示方面非常有效。一个示例是自回归预测编码（Chung等人，2019），它训练自回归RNN在给定上下文（如最近过去的帧）的情况下生成一个看不见的未来帧。这些方法的基本假设是，可以准确预测未来帧的隐藏状态是许多下游任务的有用表示。在本文中，我们扩展了这一假设，旨在通过训练模型来丰富隐藏状态中编码的信息，以做出更准确的未来预测。我们提出了一个辅助目标，作为一个正则化，以提高泛化的未来帧预测任务。语音分类、语音识别和语音翻译的实验结果不仅支持了这一假设，而且证明了该方法在学习包含更丰富语音内容的表征方面的有效性。
2020-04-11 cs.CL cs.LG cs.SD
Unsupervised Representation Learning from Pathology Images with Multi-directional Contrastive Predictive Coding
University of Dundee（邓迪大学）；Ninewells Hospital and Medical School（奈恩韦尔斯医院与医学院）
数字病理学任务从现代深度学习算法中受益匪浅。然而，他们需要大量的注释数据已被确定为一个关键的挑战。这种对数据的需求可以通过在数据丰富但对注释的访问有限的情况下使用无监督学习来解决。使用对比预测编码（CPC）从未注释的数据学习的特征表示已经被示出为使得分类器能够从相对少量的注释的计算机视觉数据获得最先进的性能。我们提出了一个修改的CPC框架与数字病理补丁使用。这是通过引入用于构建潜在上下文的替代掩码并使用多方向PixelCNN自回归器来实现的。为了证明我们提出的方法，我们从Patch Camelyon组织学数据集学习特征表示。我们表明，我们提出的修改可以产生改进的组织学补丁的深层分类。
2021-05-11 cs.CV cs.LG
BayesPCN: A Continually Learnable Predictive Coding Associative Memory
University of British Columbia（不列颠哥伦比亚大学）
联想记忆在人类智能中起着重要的作用，其机制与机器学习中的注意力有关。虽然机器学习社区最近重新燃起了对联想记忆的兴趣，但大多数工作都集中在记忆回忆（$read$）上，而不是记忆学习（$write$）。在本文中，我们提出了BayesPCN，一个分层的联想记忆，能够执行连续的一次性记忆写入，而无需元学习。此外，BayesPCN能够逐渐忘记过去的观测（$forget$）以释放其内存。实验结果表明，贝叶斯PCN算法能够召回被破坏的i.i.d.与最先进的离线学习参数记忆模型相比，观察到数百到一千个“时间步”前的高维数据，而回忆能力没有大幅下降。
2022-11-12 cs.AI cs.LG
Evaluation of Seed Set Selection Approaches and Active Learning Strategies in Predictive Coding
Cleary Gottlieb Steen & Hamilton LLP（佳利律师事务所）；Ankura Consulting Group, LLC（安库拉咨询集团有限责任公司）
主动学习是文本分类中的一种流行方法-在法律领域称为“预测编码”或“技术辅助审查”或“TAR”-由于其可能最大限度地减少构建有效分类器所需的审查工作。在这项研究中，我们使用广泛的实验来研究流行的种子集选择策略在主动学习的影响，在预测编码练习，并评估不同的主动学习策略对良好的研究连续主动学习策略的目的，确定有效的训练方法，快速，准确地分类大人口。我们研究了如何随机抽样，关键字模型和聚类的种子集选择策略相结合的排名靠前的，不确定的，随机的，召回的启发，和混合主动学习文件选择策略的影响性能的主动学习预测编码。我们使用需要审查的文件的百分比达到75%的召回率作为“基准”指标来评估和比较我们的方法。在大多数情况下，我们发现种子集选择方法的影响很小，尽管它们在较低丰富度的数据集或选择排名靠前的主动学习选择策略时确实显示出显著的影响。我们的研究结果还表明，主动学习选择策略实施不确定性，随机，或75%的召回选择策略有可能达到最佳的主动学习轮比流行的连续主动学习方法（排名靠前的选择）。我们的研究结果揭示了主动学习种子集选择策略的影响，以及选择策略对后续学习轮的有效性。法律从业者可以使用本研究的结果，以提高其预测编码过程的效率，精度和简单性。
2019-06-11 cs.IR cs.LG
Self-supervised Representation Learning with Relative Predictive Coding
Carnegie Mellon University（卡内基梅隆大学）；D.E. Shaw & Co.（D.E. Shaw 公司）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文介绍了相对预测编码（RPC），一个新的对比表示学习目标，保持良好的平衡之间的训练稳定性，小批量大小的敏感性，下游任务的性能。RPC成功的关键是双重的。首先，RPC引入了相关参数来正则化目标，使其具有有界性和低方差。第二，RPC不包含对数和指数得分函数，这是先验对比目标训练不稳定的主要原因。我们实证验证RPC的有效性基准视觉和语音自监督学习任务。最后，我们将RPC与互信息（MI）估计联系起来，说明RPC可以用来估计低方差的MI。
2021-04-12 cs.IT cs.LG math.IT
Automated mapping of virtual environments with visual predictive coding
California Institute of Technology（加州理工学院）
本研究提出预测编码作为统一算法框架，通过自注意力卷积神经网络在虚拟环境中实现自动空间映射，支持向量导航，并可推广至多感官输入。
2024-04-17 cs.CV cs.LG eess.IV
Recurrent Auto-Encoder With Multi-Resolution Ensemble and Predictive Coding for Multivariate Time-Series Anomaly Detection
Korea University（高丽大学）
由于大规模的时间序列数据在实际应用中很容易被发现，因此多元时间序列异常检测在各个行业中发挥着重要作用。它可以通过基于时间序列数据预防故障和检测异常来提高生产率并降低维护成本。然而，多变量时间序列异常检测是具有挑战性的，因为真实世界的时间序列数据表现出复杂的时间依赖性。对于这项任务，关键是要学习一个丰富的表示，有效地包含正常行为的非线性时间动态。在这项研究中，我们提出了一个无监督的多变量时间序列异常检测模型RAE-MEPC学习信息正常表示的基础上，多分辨率集成和预测编码。我们引入多分辨率集成编码来捕获输入时间序列的多尺度依赖性。编码器分层地聚合从具有不同编码长度的子编码器提取的时间特征。根据这些编码特征，重构解码器基于多分辨率系综解码来重构输入时间序列，其中较低分辨率信息有助于解码具有较高分辨率输出的子解码器。预测编码被进一步引入以鼓励模型学习时间序列的时间依赖性。在真实世界基准数据集上的实验表明，该模型在多变量时间序列异常检测方面优于基准模型。
2022-02-21 cs.AI cs.LG
Vector-Quantized Autoregressive Predictive Coding
Massachusetts Institute of Technology（麻省理工学院）
自回归预测编码（APC）作为一种自监督编码，在从大量未标记数据中学习表示方面取得了成功，并且学习到的表示对于许多下游任务来说是丰富的。然而，低自我监督损失和下游任务的良好表现之间的联系仍然不清楚。在这项工作中，我们提出了矢量量化自回归预测编码（VQ-APC），一种新的模型，产生量化的表示，使我们能够显式地控制信息量编码的表示。通过研究一系列越来越有限的模型，我们揭示了学习表征的组成部分。特别是，我们确认存在的信息与探测任务，同时显示缺乏信息与互信息，揭示模型的偏好，在保留语音信息，因为它的能力变得有限。我们发现，存在一个点，语音和扬声器的信息被放大，以最大限度地提高自我监督的目标。作为一个副产品，学习的代码为一个特定的模型容量对应良好的英语电话。
2020-05-17 cs.CL cs.LG cs.SD
World Models and Predictive Coding for Cognitive and Developmental Robotics: Frontiers and Challenges
Ritsumeikan University（立命馆大学）；Keio University（庆应义塾大学）；The University of Tokyo（东京大学）；Università Milano-Bicocca（米兰比可卡大学）；University of Essex（埃塞克斯大学）；Donders Institute for Brain, Cognition and Behaviour（唐德斯脑、认知与行为研究所）；Cajal International Neuroscience Center, Spanish National Research Council（西班牙国家研究委员会卡哈尔国际神经科学中心）；Bogazici University（博阿齐奇大学）；Queen Mary University of London（伦敦玛丽女王大学）；The University of Electro-Communications（电气通信大学）；National Autonomous University of Mexico（墨西哥国立自治大学）；Universidad Autónoma del Estado de Morelos（莫雷洛斯州自治大学）；Institute of Cognitive Sciences and Technologies, National Research Council of Italy（意大利国家研究委员会认知科学与技术研究所）
创造能够积极探索环境、不断获取知识和学习技能的自主机器人是认知和发展机器人技术所设想的最终成就。他们的学习过程应该以人类学习和认知发展的方式与他们的物质和社会世界互动为基础。基于这一背景，本文重点研究了世界模型和预测编码两个概念。最近，世界模型作为人工智能中相当感兴趣的话题再次引起了人们的关注。认知系统学习世界模型以更好地预测未来的感官观察并优化其策略，即，控制器。或者，在神经科学中，预测编码提出大脑不断预测其输入，并适应模拟其自身的动态和控制环境中的行为。这两种想法都可以被认为是机器人和人类能够持续或终身学习的认知发展的基础。虽然在认知机器人和神经机器人中已经进行了许多关于预测编码的研究，但是在人工智能中基于世界模型的方法和机器人中的预测编码之间的关系很少被讨论。因此，在本文中，我们澄清的定义，关系和这些主题的当前研究的现状，以及缺失的世界模型和预测编码与关键相关的概念，如自由能原则和主动推理的认知和发展机器人的背景下。此外，我们还概述了世界模型和预测编码所涉及的前沿和挑战，以进一步整合人工智能和机器人技术，以及创造未来具有真正认知和发展能力的机器人。
2023-01-14 cs.AI cs.LG cs.RO
Aligned Contrastive Predictive Coding
University of Wroclaw（弗罗茨瓦夫大学）；NavAlgo（纳夫阿尔戈公司）；NVIDIA（英伟达公司）；Université de Toulon（土伦大学）；Aix Marseille Univ（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）；LIS（信息与系统实验室）
该研究提出对齐对比预测编码（ACPC）方法，通过调整自监督模型预测序列长度与任务设置，使模型提取缓慢变化的潜在表示，在语音编码任务上提升了音素预测准确率、降低了ABX错误率，且训练速度略有加快。
2021-06-22 cs.LG cs.SD eess.AS
Hybrid Predictive Coding: Inferring, Fast and Slow
University of Sussex（萨塞克斯大学）；VERSES Research Lab（VERSES研究实验室）；University of Oxford（牛津大学）
预测编码是皮质神经活动的一个有影响力的模型。它提出感知信念是通过顺序地最小化“预测误差”-预测和观察数据之间的差异来提供的。这一提议隐含的观点是，感知需要多个神经活动周期。这与视觉感知的几个方面-包括复杂形式的物体识别-产生于在快速时间尺度上发生的初始“前馈扫描”的证据不一致，这排除了大量的重复活动。在这里，我们提出，前馈扫描可以被理解为执行摊销推理和递归处理可以被理解为执行迭代推理。我们提出了一种混合预测编码网络，它结合了迭代和摊销的推理在一个原则性的方式，通过描述一个单一的目标函数的双重优化。我们表明，由此产生的计划可以实现在一个生物上合理的神经架构，利用当地的赫布更新规则近似贝叶斯推断。我们证明了我们的混合预测编码模型结合了摊销和迭代推理的优点-获得快速和计算成本低的感知推理熟悉的数据，同时保持上下文敏感性，精度和迭代推理方案的样本效率。此外，我们展示了我们的模型是如何固有的敏感性，其不确定性和自适应平衡迭代和摊销推理，以获得准确的信念，使用最小的计算费用。混合预测编码提供了一个新的视角，在视觉感知过程中观察到的前馈和经常性活动的功能相关性，并提供了新的见解，不同方面的视觉现象学。
2022-04-06 cs.AI cs.LG q-bio.NC
Differentiable Generalised Predictive Coding
Otto-von-Guericke University（奥托·冯·格里克大学）
本文论述了与神经过程理论相一致的可微动力学模型，该模型将大脑功能视为解释观察结果的内部生成模型的分层细化。我们的工作扩展了现有的基于梯度的预测编码与自动微分的实现，并允许集成深度神经网络的非线性状态参数化。基于梯度的预测编码通过优化从刺激向潜在状态传播的精确加权预测误差来局部优化每层的推断状态和权重。预测向后流动，从潜在状态向较低层流动。这里建议的模型优化潜在状态的层次和动态预测。分层预测对预期内容和分层结构进行编码。动态预测捕获编码内容中的变化以及高阶导数。分层和动态预测相互作用，并解决相同的潜在状态的不同方面。我们将该模型应用于各种感知和规划任务的序列数据，并显示它们之间的相互依赖性。特别是，我们演示了如何学习采样距离并行地址有意义的位置数据采样在离散的时间步长。我们讨论的可能性，放松假设的线性层次结构有利于更灵活的图形结构与紧急性质。我们比较了模型的颗粒结构与描述生物网络中预测编码的典型微电路，并回顾了马尔可夫毯作为表征模块性的工具的连接。最后一节概述了在嵌套的时空层次结构中有效感知和规划的想法。
2021-12-08 cs.AI cs.LG cs.NE
Communication-Efficient Federated Learning via Predictive Coding
NC State University（北卡罗来纳州立大学）
联邦学习可以使远程工作人员能够协作地训练共享的机器学习模型，同时允许将训练数据保持在本地。在无线移动设备的使用情况下，由于有限的功率和带宽，通信开销是关键瓶颈。先前的工作已经利用了各种数据压缩工具，例如量化和稀疏化，以减少开销。在本文中，我们提出了一个基于预测编码的压缩方案的联邦学习。该方案在所有设备之间共享预测功能，并允许每个工作者传输从参考导出的压缩残差向量。在每一轮通信中，我们根据率失真代价选择预测器和量化器，并通过熵编码进一步减少冗余。大量的仿真表明，与其他基线方法相比，通信成本可以降低高达99%，甚至更好的学习性能。
2022-01-09 cs.AI cs.DC cs.LG
