Deep Predictive Coding Network with Local Recurrent Processing for Object Recognition
Purdue University（普渡大学）
受神经科学中“预测编码”理论的启发，我们构造了一个具有局部递归处理的双向动态神经网络，即预测编码网络（PCN）。与仅前馈的卷积神经网络不同，PCN包括反馈连接和前馈连接，反馈连接承载自上而下的预测，前馈连接承载自下而上的预测误差。反馈和前馈连接使相邻层能够局部和循环地交互，以优化表示，从而使逐层预测误差最小化。当随着时间的推移展开时，递归处理会产生越来越深的非线性变换层次，允许浅层网络动态地扩展到任意深度的网络。我们使用SVHN、CIFAR和ImageNet数据集对PCN进行训练和测试，以进行图像分类。尽管层和参数明显较少，但与经典和最先进的模型相比，PCN实现了具有竞争力的性能。进一步的分析表明，PCN中的内部表示随着时间的推移而收敛，并且在对象识别中产生越来越好的准确性。自上而下预测的错误也揭示了视觉显著性或自下而上的注意。
2018-10-26 cs.CV
Anti-aliasing Predictive Coding Network for Future Video Frame Prediction
South China University of Technology（华南理工大学）；The Hong Kong Polytechnic University（香港理工大学）
提出基于预测编码的抗混叠网络，通过上下信息流交互、调制融合与改进的采样模块，生成清晰未来帧，兼顾像素精度与视觉效果。
2023-05-11 cs.CV
Environment Predictive Coding for Embodied Agents
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Facebook AI Research（脸书人工智能研究院）
我们引入环境预测编码，一个自我监督的方法来学习环境级的代表具身智能体。与之前的图像自监督学习工作相比，我们的目标是联合编码一系列由代理收集的图像，因为它在3D环境中移动。我们通过区域预测任务来学习这些表示，在该任务中，我们智能地屏蔽代理轨迹的一部分，并根据代理的相机姿势，从未屏蔽的部分中预测它们。通过学习这样的表示的视频集合，我们展示了成功的转移到多个下游导航导向的任务。我们在Gibson和Matterport3D的真实感3D环境上的实验表明，我们的方法在只有有限的经验预算的情况下，在具有挑战性的任务上优于最先进的方法。
2021-02-03 cs.CV
Robust Scene Text Recognition Using Sparse Coding based Features
Xiamen University（厦门大学）；University of Waterloo（滑铁卢大学）；The Hong Kong Polytechnic University（香港理工大学）
在本文中，我们提出了一种有效的场景文本识别方法，使用稀疏编码的基础上的功能，称为稀疏编码直方图（HSC）功能。对于字符检测，我们使用的HSC功能，而不是使用直方图的方向一致性（HOG）功能。HSC特征是通过使用K-SVD从数据中学习的字典计算稀疏代码，并聚合每个像素的稀疏代码以形成局部直方图来提取的。对于单词识别，我们整合了多个线索，包括字符检测分数和几何背景中的目标函数。通过搜索目标函数最大值所对应的词来获得最终的识别结果。目标函数中的参数使用最小分类误差（MCE）训练方法来学习。在几个具有挑战性的数据集上的实验表明，所提出的基于HSC的场景文本识别方法明显优于基于HOG的方法，并且优于大多数最先进的方法。
2015-12-29 cs.CV
Predictive Coding for Dynamic Visual Processing: Development of Functional Hierarchy in a Multiple Spatio-Temporal Scales RNN Model
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；Okinawa Institute of Science and Technology (OIST)（冲绳科学技术大学院大学）
提出了一种新的预测编码型神经网络模型--预测多时空尺度递归神经网络（P-MSTRNN）。P-MSTRNN通过利用对网络动态施加的多尺度时空约束，使用不同大小的感受野以及每个层的不同时间常数值，来学习预测视觉感知的人体全身周期性运动模式。在学习之后，网络能够通过预测误差的回归来推断或识别相应的意图，从而主动模仿目标的运动模式。结果表明，网络可以通过在每一层开发不同类型的动态结构来开发功能层次结构。本文研究了模式生成过程中的模型性能以及预测模仿如何根据学习阶段而变化。与目标运动模式对应的极限环吸引子的数量随着学习的进行而增加。而且，在学习过程早期发展的瞬态动力学成功地执行模式生成和预测模仿任务。本文的结论是，利用瞬态动力学促进成功的任务表现在早期学习阶段。
2017-09-06 cs.CV
License Plate Recognition System Based on Color Coding Of License Plates
Government Engineering College, Barton Hill（巴顿山政府工程学院）
车牌识别系统用于确定车辆的车牌号码。目前的车牌识别系统主要采用光学字符识别来识别车牌。这个系统有几个问题。针对车牌号码识别中存在的字母或数字互换（字母O和数字0）、车牌定位困难、出错率高、车牌字体不同等问题，提出了一种基于车牌颜色编码的车牌号码识别系统。车牌定位可以通过搜索车牌的开始或停止模式来完成。本文提出了一种八段显示系统，它与传统的编号方式相结合，第一段和最后一段分别用于开始或停止模式。实际应用包括物联网（IoT）下的几个领域。
2015-06-08 cs.CV
Video Representation Learning by Dense Predictive Coding
University of Oxford（牛津大学）
本文的目标是从视频时空嵌入的自监督学习，适用于人体动作识别。我们做了三个贡献：首先，我们介绍了密集预测编码（DPC）框架的自我监督表示学习的视频。这通过循环预测未来的表示来学习时空块的密集编码;其次，我们提出了一个课程训练计划，以逐步减少时间上下文来预测未来。这鼓励模型只对缓慢变化的时空信号进行编码，从而导致语义表示;第三，我们首先使用自监督学习在Kinetics-400数据集上训练DPC模型，然后在下游任务上微调表示，即动作识别。使用单流（仅RGB），DPC预训练表示在UCF 101（75.7% top1 acc）和HMDB 51（35.7% top1 acc）上实现了最先进的自监督性能，远远优于所有以前的学习方法，并接近ImageNet上基线预训练的性能。
2019-09-27 cs.CV
Predictive Coding Networks Meet Action Recognition
Singapore University of Technology and Design（新加坡科技设计大学）；Goethe University of Frankfurt am Main（法兰克福大学）
动作识别是计算机视觉中的一个关键问题，它用一组预定义的动作来标记视频。捕捉语义内容和运动，沿着视频帧是实现高精度性能的关键。大多数最先进的方法依赖于RGB帧来提取语义和预先计算的光流场作为运动提示。然后，使用深度神经网络将两者结合起来。然而，有人认为，这样的模型不能利用从光流提取的运动信息，而是光流允许更好地识别视频中的人和对象。这就迫切需要探索不同的线索或模型，以更丰富的方式提取运动。为了解决这个问题，我们建议探索预测编码网络，即所谓的PredNet，这是一种循环神经网络，可以跨层和时间步长传播预测编码错误。我们分析PredNet是否可以更好地捕捉视频中的动作，方法是随着时间的推移估计从预先训练的网络中提取的动作识别表示。以这种方式，模型仅依赖于视频帧，并且不需要预处理的光流作为输入。我们报告了我们提出的模型在UCF101和HMDB51数据集上的有效性。
2019-10-22 cs.CV
Convolutional Neural Generative Coding: Scaling Predictive Coding to Natural Images
Rochester Institute of Technology（罗切斯特理工学院）；University of South Florida（南佛罗里达大学）
在这项工作中，我们开发了卷积神经生成编码（Conv-NGC），这是预测编码对基于卷积/解卷积计算的情况的推广。具体来说，我们具体实现了一个灵活的神经生物学动机的算法，逐步细化潜在状态特征图，以动态地形成一个更准确的内部表示/重建模型的自然图像。所得到的感官处理系统的性能进行了评估复杂的数据集，如颜色MNIST，CIFAR-10，和街道房屋视图数（SVHN）。我们研究了我们的大脑启发模型在重建和图像去噪任务上的有效性，发现它与通过误差反向传播训练的卷积自动编码系统具有竞争力，并且在分布外重建（包括完整的90 k CINIC-10测试集）方面优于它们。
2023-02-06 cs.CV cs.LG
Deep Predictive Video Compression with Bi-directional Prediction
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
最近，深度图像压缩在编码效率和图像质量改善方面显示出很大的进步。然而，对使用深度学习网络的视频压缩的关注相对较少。在本文中，我们首先提出了一种基于深度学习的双向预测编码网络，称为BP-DVC Net，用于视频压缩。借鉴传统视频编码的经验，在BP-DVC网络中引入了B帧编码结构。传统视频编解码器中的双向预测编码需要将块运动的运动矢量和来自预测的残差传输到解码器侧，而我们的BP-DVC Net在编码器和解码器侧都包含光流估计网络，以便不将运动信息传输到解码器侧以提高编码效率。此外，在BP-DVC网络中提出了一个双向预测网络，用于精确预测当前帧，并产生尽可能小的残差。此外，我们的BP-DVC网络允许使用相邻帧的特征图之间的时间上下文对压缩特征图进行熵编码。BP-DVC网络具有端到端视频压缩架构，具有新设计的流和预测损失。实验结果表明，我们所提出的方法的压缩性能是可比的H.264，HEVC的PSNR和MS-SSIM。
2019-04-05 cs.CV
Structured Occlusion Coding for Robust Face Recognition
South China University of Technology（华南理工大学）；Peking University（北京大学）；Shenzhen University（深圳大学）
人脸识别中的遮挡问题是一个常见而又具有挑战性的问题。虽然基于稀疏表示的分类（SRC）已被证明在实验室条件下（即无噪声或随机像素损坏）有前途的性能，但它在实际情况下表现得更差。在本文中，我们考虑实际的人脸识别问题，其中的遮挡是可预测的，可用于采样。我们提出了结构化遮挡编码（SOC）来解决遮挡问题。这里的结构化编码有两个方面。一方面，我们采用结构化的字典进行识别。另一方面，我们建议在这个公式中使用结构稀疏性。具体而言，SOC同时分离遮挡和分类的图像。通过这种方法，将遮挡图像的识别问题转化为在附加遮挡的字典上寻找结构化稀疏解的问题。为了构造一个性能良好的遮挡字典，我们提出了一个遮挡掩模估计技术通过局部约束字典（LCD），显示在遮挡样本的显着改善。在一个特定类别的遮挡字典，我们取代规范稀疏与结构稀疏，这是更强大的，进一步提高我们的方法的鲁棒性。此外，SOC在处理现实世界中的大遮挡方面取得了显着改善。在公开数据集上进行了大量的实验，验证了该算法的优越性。
2015-07-25 cs.CV
Scale Coding Bag of Deep Features for Human Attribute and Action Recognition
Linköping University（林雪平大学）；Universitat Autonoma de Barcelona（巴塞罗那自治大学）；Aalto University School of Science（阿尔托大学科学学院）；University of Florence（佛罗伦萨大学）
静止图像中的人类属性和动作识别的大多数方法都是基于图像表示，其中多尺度局部特征跨尺度汇集到单个尺度不变的编码中。在词袋和最近流行的基于卷积神经网络的表示中，局部特征都是在多个尺度上计算的。然而，这些多尺度卷积特征被汇集到单个尺度不变表示中。我们认为完全尺度不变的图像表示是次优的，并研究了在Bag of Deep Features框架内进行尺度编码的方法。我们的方法在图像编码阶段明确地编码多尺度信息。我们提出了两种策略来编码多尺度信息明确在最终的图像表示。我们在五个数据集上验证了我们的两种尺度编码技术：Willow，PASCAL VOC 2010，PASCAL VOC 2012，Stanford-40和Human Attributes（HAT-27）。在所有数据集上，所提出的尺度编码方法都优于尺度不变方法和同一网络的标准深度特征。此外，将我们的尺度编码方法与标准深度特征相结合，可以实现对最先进技术的持续改进。
2018-03-26 cs.CV
Sparse Coding of Shape Trajectories for Facial Expression and Action Recognition
IMT Lille Douai（里尔杜埃国立高等矿业电信学院）；Inception Institute of Artificial Intelligence（Inception人工智能研究院）
视频流中人体地标的检测和跟踪在可靠性方面有所提高，部分原因是可负担得起的RGB-D传感器的可用性。对这种时变几何数据的分析在人类行为的自动理解中起着重要的作用。然而，合适的形状表示以及它们的时间演化，称为轨迹，往往在于非线性流形。这提出了附加的约束（即，非线性）使用传统的机器学习技术。作为一种解决方案，本文采用了著名的稀疏编码和字典学习方法来研究2D和3D地标的Kendall形状空间上的时变形状。我们说明了有效的编码的三维骨骼序列的动作识别和二维面部标志序列的宏观和微观表情识别。为了克服形状空间的固有非线性，探索了内在和外在的解决方案。作为主要结果，形状轨迹产生更多的歧视性的时间序列与合适的计算属性，包括稀疏性和向量空间结构。在常用数据集上进行的大量实验表明，所提出的方法相对于最先进的方法具有竞争力。
2019-08-08 cs.CV
Collaborative Representation based Classification for Face Recognition
The Hong Kong Polytechnic University（香港理工大学）；Xidian University（西安电子科技大学）；Microsoft Research Asia（微软亚洲研究院）
通过将查询样本编码为所有训练样本的稀疏线性组合，然后通过评估哪个类导致最小编码残差对其进行分类，基于稀疏表示的分类（SRC）导致鲁棒人脸识别的有趣结果。人们普遍认为，编码系数的l1范数稀疏约束在SRC的成功中起着关键作用，而它使用所有训练样本来协同表示查询样本却被忽视了。在本文中，我们讨论了SRC的工作原理，并表明，协作表示机制中使用的SRC是更重要的是它的人脸分类的成功。SRC是基于协作表示的分类（CRC）的特殊情况，其通过对编码残差和编码系数应用不同的范数而具有各种实例。更具体地，编码残差的l1或l2范数表征与CRC对离群面部像素的鲁棒性有关，而编码系数的l1或l2范数表征与面部特征的区分度有关。通过大量的实验验证了CRC算法在不同实例情况下的人脸识别准确率和效率。
2014-03-10 cs.CV
Blind Stereoscopic Omnidirectional Image Quality Assessment Using Predictive Coding Hierarchy
School of Computational and Mathematical Sciences, Cardiff University（卡迪夫大学计算与数学科学学院）；Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
针对立体全景图像质量评估的挑战，本文提出受预测编码层级启发的PCH指标，经实验验证其性能优于现有最优方法。
2026-09-01 cs.CV
Fast Inference in Sparse Coding Algorithms with Applications to Object Recognition
Courant Institute of Mathematical Sciences（柯朗数学科学研究所）；New York University（纽约大学）
自适应稀疏编码方法学习一组可能过完备的基函数，从而可以通过线性组合这些基函数的一个小子集来重建自然图像块。由于计算稀疏表示所需的优化算法的高昂成本，这些方法对视觉对象识别任务的适用性受到限制。在这项工作中，我们提出了一个简单而有效的算法来学习基函数。经过训练后，该模型还提供了一个快速平滑的近似器来实现最佳表示，在视觉对象识别任务中实现了比精确稀疏编码算法更好的准确性。
2010-10-18 cs.CV cs.LG
Hierarchical Predictive Coding Models in a Deep-Learning Framework
贝叶斯预测编码是一种假定的神经形态学方法，用于获取更高级别的神经表征来解释感觉输入。虽然起源于神经科学界，但机器学习界也在努力研究这些模型。本文回顾了一些较知名的模型。我们的评论分析了模块连接和信息传输模式，试图找到跨模型使用的一般原则。我们还调查了最近在深度学习框架内构建这些模型的一些尝试。贝叶斯预测编码的一个定义特征是它使用自上而下的重构机制来预测传入的感官输入或其较低级别的表示。预测和实际输入之间的差异，称为预测误差，然后引起未来的学习，以改进和提高学习的更高级别表示的预测准确性。在深度学习发展之前，出现了用于描述新皮层计算的预测编码模型，并使用了我们命名为Rao-Ballard协议的模块之间的通信结构。该方案源自具有一些相当强的统计假设的贝叶斯生成模型。RB协议提供了一个规则来评估声称实现预测编码的深度学习模型的保真度。
2020-09-23 cs.AI cs.CV cs.LG
PredNet and Predictive Coding: A Critical Review
University of Potsdam（波茨坦大学）；Otto von Guericke University（奥托·冯·格里克大学）
PredNet是Lotter等人开发的深度预测编码网络，将基于预测误差传播的生物启发架构与视频中的自监督表示学习相结合。虽然该体系结构已经引起了很多关注，并且存在模型的各种扩展，但缺乏批判性的分析。我们通过评估PredNet作为预测编码理论的实现和使用具有挑战性的视频动作分类数据集的自监督视频预测模型来填补这一空白。我们设计了一个扩展的模型来测试，如果条件未来帧预测的动作类的视频提高了模型的性能。我们表明，PredNet还没有完全遵循预测编码的原则。所提出的自上而下的调节导致合成数据的性能增益，但不能扩展到更复杂的现实世界的动作分类数据集。我们的分析旨在指导未来的研究类似的架构的预测编码理论的基础上。
2020-05-18 cs.CV cs.LG eess.IV
Pyramidal Predictive Network: A Model for Visual-frame Prediction Based on Predictive Coding Theory
South China University of Technology（华南理工大学）；The Hong Kong Polytechnic University（香港理工大学）
视觉帧预测是一个像素密集的预测任务，从过去的帧推断未来的帧。现有的模型和方法存在着缺乏外观细节、预测精度低、计算量大等问题。在本文中，我们提出了一种新的神经网络模型的启发著名的预测编码理论来处理的问题。预测编码提供了一个有趣而可靠的计算框架，它将结合其他理论，如大脑皮层在不同水平上以不同的频率振荡，设计一个有效而可靠的预测网络模型用于视觉帧预测。具体来说，该模型由一系列递归和卷积单元组成，分别形成自顶向下和自底向上的流。每层神经元的更新频率随着网络层次的增加而降低，导致更高层次的神经元可以在更长的时间维度上捕获信息。实验结果表明，该模型具有较好的紧凑性，预测性能与现有方法相当，计算量小，预测精度高。代码可在https://github.com/Ling-CF/PPNet上获得。
2022-11-15 cs.AI cs.CV cs.HC
MuPNet: Multi-modal Predictive Coding Network for Place Recognition by Unsupervised Learning of Joint Visuo-Tactile Latent Representations
Aalto University（阿尔托大学）；University of Amsterdam（阿姆斯特丹大学）；Centrum Wiskunde & Informatica（数学与计算机科学研究中心）；Bristol Robotics Laboratory（布里斯托尔机器人实验室）
从不同的感觉模态中提取和绑定显著信息以确定环境中的共同特征是机器人技术中的一个重大挑战。在这里，我们提出了MuPNet（多模态预测编码网络），一个生物学上合理的网络架构，用于从仿生移动机器人收集的视觉触觉传感数据中提取关节潜在特征。在这项研究中，我们评估MuPNet应用于地方识别作为一个模拟的仿生机器人平台探索视觉锯齿环境。F1分数表明，其性能优于现有的手工制作的感觉特征提取技术是在受控条件下等效的，当在新的环境中操作时具有显著的改善。
2019-09-16 cs.CV cs.RO
Data-Efficient Image Recognition with Contrastive Predictive Coding
DeepMind；University of California, Berkeley（加利福尼亚大学伯克利分校）
人类观察者可以从少数几个例子中学习识别新的图像类别，但用人工图像来识别仍然是一个开放的挑战。我们假设，数据有效的识别是由表示，使自然信号的变化更可预测。因此，我们重新审视并改进了对比预测编码，这是一种用于学习此类表示的无监督目标。这种新的实现产生的功能支持ImageNet数据集上最先进的线性分类精度。当用作深度神经网络的非线性分类的输入时，这种表示允许我们使用比直接在图像像素上训练的分类器少2- 5倍的标签。最后，这种无监督表示大大改进了PASCAL VOC数据集上目标检测的迁移学习，超过了完全监督的预训练ImageNet分类器。
2020-07-01 cs.CV cs.LG
Zero-Episode Few-Shot Contrastive Predictive Coding: Solving intelligence tests without prior training
The Edmond and Lily Safra Center for Brain Sciences（埃德蒙和莉莉·萨夫拉脑科学中心）
视频预测模型通常组合三个组件：从像素空间到小潜在空间的编码器、潜在空间预测模型和回到像素空间的生成模型。然而，大且不可预测的像素空间使得训练这样的模型变得困难，需要许多训练样本。我们认为，找到一个预测潜变量并使用它来评估未来图像的一致性，可以实现数据高效的预测，因为它排除了生成模型训练的必要性。为了证明这一点，我们创建了序列完成智能测试，其中的任务是识别图像序列中可预测的变化特征，并使用此预测来选择后续图像。我们发现，一维马尔可夫对比预测编码（M-CPC_1D）模型有效地解决了这些测试，只有五个例子。最后，我们证明了M-CPC_1D在解决两个任务中的有用性，而无需事先训练：异常检测和随机运动视频预测。
2022-05-04 cs.CV cs.LG
Contrastive Predictive Coding for Anomaly Detection
University of Amsterdam（阿姆斯特丹大学）
在实践中部署机器学习模型时，可靠的异常检测至关重要，但由于缺乏标记数据，仍然具有挑战性。为了应对这一挑战，对比学习方法正变得越来越受欢迎，因为它们在自我监督表示学习环境中取得了令人印象深刻的结果。然而，虽然大多数现有的对比异常检测和分割方法已被应用到图像，他们都不能使用的对比损失直接进行异常检测和分割。在本文中，我们通过使用对比预测编码模型（arXiv：1807.03748）来缩小这一差距。我们表明，它的补丁明智的对比损失可以直接被解释为一个异常的分数，以及如何允许创建异常分割掩模。由此产生的模型在具有挑战性的MVTec-AD数据集上实现了异常检测和分割的良好结果。
2021-07-16 cs.CV cs.LG
Predify: Augmenting deep neural networks with brain-inspired predictive coding dynamics
CerCo CNRS（法国国家科学研究中心大脑与认知研究中心）；Université de Toulouse（图卢兹大学）；IRIT CNRS（法国国家科学研究中心图卢兹计算机科学研究所）；ANITI（图卢兹人工智能跨学科研究所）
深度神经网络在图像分类方面表现出色，但它们对输入扰动的鲁棒性远不如人类感知。在这项工作中，我们将探索是否可以通过在深度卷积网络中引入大脑启发的循环动力学来部分解决这个缺点。我们从神经科学中的一个流行框架中获得灵感：“预测编码”。在分层模型的每一层，生成反馈“预测”（即，重建）前一层中的活动模式。重建误差用于迭代更新跨时间步的网络表示，并优化网络在自然图像数据集上的反馈权重-一种无监督训练形式。我们表明，实施这一策略到两个流行的网络，VGG 16和EfficientNetB 0，提高了他们对各种腐败和对抗攻击的鲁棒性。我们假设其他前馈网络也可以从所提出的框架中受益。为了促进这一方向的研究，我们提供了一个基于PyTorch的开源软件包Predify，它可用于实现和研究预测编码动态在任何卷积神经网络中的影响。
2021-11-04 cs.CV q-bio.NC
Stereoscopic Omnidirectional Image Quality Assessment Based on Predictive Coding Theory
University of Science and Technology of China（中国科学技术大学）
立体全向图像的客观质量评估是一个具有挑战性的问题，因为它受到多个方面的影响，如投影变形，视场（FoV）范围，双目视觉，视觉舒适度等。现有的研究表明，经典的2D或3D图像质量评估（IQA）的指标是不能够表现良好的立体全向图像。然而，很少有研究工作集中在评价的感知视觉质量的全向图像，特别是立体全向图像。本文基于人类视觉系统（HVS）的预测编码理论，针对三维360度图像的特点，提出了一种立体全方位图像质量评价器（SOIQE）。SOIQE包括两个模块：基于预测编码理论的双目竞争模块和多视点融合模块。在双目竞争模块中，我们引入预测编码理论来模拟高层模式之间的竞争，通过计算相似度和竞争优势度来获得视口图像的质量分数。此外，我们开发的多视图融合模块聚合的质量分数的视口图像的内容权重和位置权重的帮助下。SOIQE是一个不需要回归学习的参数化模型，这保证了它的可解释性和泛化性能。我们发表的立体全向图像质量评估数据库（SOLID）的实验结果表明，我们提出的SOIQE方法优于国家的最先进的指标。此外，我们还验证了每个提出的模块的有效性在公共立体图像数据集和全景图像数据集。
2019-06-12 cs.CV cs.MM
Predictive Coding For Animation-Based Video Compression
Université Paris-Saclay（巴黎萨克雷大学）；CentraleSupélec（中央理工-高等电力学院）；Télécom Paris（巴黎电信学院）；Institut Polytechnique de Paris（巴黎理工学院）
本文提出一种基于图像动画的预测编码方案，将动画作为预测器并对残差进行预测编码，在头部说话视频上相比HEVC和VVC分别节省超过70%和30%的码率。
2023-07-09 cs.CV cs.MM
Predictive Coding-based Deep Neural Network Fine-tuning for Computationally Efficient Domain Adaptation
IDLab, Department of Information and Technology, Ghent University—imec（IDLab，信息与技术系，根特大学—imec）
本文提出结合反向传播与预测编码的混合训练方法，实现高效设备端域适应，在MNIST和CIFAR-10上以较低计算开销恢复模型性能。
2025-09-25 cs.CV cs.LG cs.NE
Predictive Coding Based Multiscale Network with Encoder-Decoder LSTM for Video Prediction
South China University of Technology（华南理工大学）；The Hong Kong Polytechnic University（香港理工大学）
针对传统预测编码模型无法预测未来的问题，提出嵌入编解码LSTM的多尺度预测编码视频预测模型，改进训练策略，在多个数据集上取得良好性能。
2023-10-08 cs.AI cs.CV
On the role of feedback in visual processing: a predictive coding perspective
CerCo, CNRS（法国国家科学研究中心 脑与认知研究中心）；IRIT, CNRS（法国国家科学研究中心 图卢兹信息学研究所）；ANITI, Université de Toulouse（图卢兹大学 人工智能与自然智能研究所）
受大脑启发的机器学习正在获得越来越多的关注，特别是在计算机视觉中。一些研究调查了卷积网络中自上而下的反馈连接;然而，目前还不清楚这些连接如何以及何时在功能上有帮助。在这里，我们解决这个问题的背景下，在嘈杂的条件下的对象识别。我们将深度卷积网络（CNN）视为前馈视觉处理的模型，并通过训练用于重建或分类干净图像的反馈连接（预测反馈）来实现预测编码（PC）动态。为了直接评估预测反馈在各种实验情况下的计算作用，我们优化并解释了控制网络循环动力学的超参数。也就是说，我们让优化过程确定自上而下的连接和预测编码动态是否在功能上有益。在不同的模型深度和架构（3层CNN，ResNet 18和EfficientNetB 0）以及各种类型的噪声（CIFAR 100-C）中，我们发现随着噪声水平的增加，网络越来越依赖于自上而下的预测;在更深的网络中，这种影响在较低层最为突出。此外，与其等效的前向网络相比，实现PC动态的网络的准确性随着时间步长显著增加。总而言之，我们的研究结果通过确认反馈连接在感觉系统中的计算作用提供了与神经科学相关的新见解，并通过揭示这些如何提高当前视觉模型的鲁棒性来提供机器学习。
2021-06-08 cs.CV q-bio.NC
Unsupervised Representation Learning from Pathology Images with Multi-directional Contrastive Predictive Coding
University of Dundee（邓迪大学）；Ninewells Hospital and Medical School（奈恩韦尔斯医院与医学院）
数字病理学任务从现代深度学习算法中受益匪浅。然而，他们需要大量的注释数据已被确定为一个关键的挑战。这种对数据的需求可以通过在数据丰富但对注释的访问有限的情况下使用无监督学习来解决。使用对比预测编码（CPC）从未注释的数据学习的特征表示已经被示出为使得分类器能够从相对少量的注释的计算机视觉数据获得最先进的性能。我们提出了一个修改的CPC框架与数字病理补丁使用。这是通过引入用于构建潜在上下文的替代掩码并使用多方向PixelCNN自回归器来实现的。为了证明我们提出的方法，我们从Patch Camelyon组织学数据集学习特征表示。我们表明，我们提出的修改可以产生改进的组织学补丁的深层分类。
2021-05-11 cs.CV cs.LG
Automated mapping of virtual environments with visual predictive coding
California Institute of Technology（加州理工学院）
本研究提出预测编码作为统一算法框架，通过自注意力卷积神经网络在虚拟环境中实现自动空间映射，支持向量导航，并可推广至多感官输入。
2024-04-17 cs.CV cs.LG eess.IV
PreCNet: Next-Frame Video Prediction Based on Predictive Coding
Czech Technical University in Prague（布拉格捷克理工大学）
预测编码是目前神经科学中一个很有影响力的理论，但在机器学习中尚未得到广泛应用。在这项工作中，我们将Rao和Ballard（1999）的开创性模型转化为现代深度学习框架，同时最大限度地忠实于原始模式。我们提出的网络（PreCNet）在广泛使用的下一帧视频预测基准上进行了测试，该基准由车载摄像头记录的城市环境中的图像组成，并实现了最先进的性能。当训练集更大（来自BDD 100 k的2 M图像）时，所有指标（MSE、PSNR、SSIM）的性能进一步提高，这表明KITTI训练集的局限性。这项工作表明，一个精心基于神经科学模型的架构，即使没有明确地针对手头的任务进行定制，也可以表现出卓越的性能。
2023-02-08 cs.CV cs.LG cs.NE
Faster Convergence in Deep-Predictive-Coding Networks to Learn Deeper Representations
Naval Surface Warfare Center（海军水面作战中心）；US Naval Sea Systems Command（美国海军海上系统司令部）；University of Florida（佛罗里达大学）
深度预测编码网络（DPCNs）是分层的生成模型。它们依赖于前馈和反馈连接，以动态和上下文敏感的方式调节刺激的潜在特征表征。DPCNs的一个关键要素是一个前向-后向推理过程，以揭示稀疏，不变的特征。然而，这种推断是一个主要的计算瓶颈。由于学习停滞，它严重限制了网络深度。在这里，我们证明了为什么会出现这种瓶颈。然后，我们提出了一个新的前向推理策略的基础上加速邻近梯度。该策略具有比用于DPCCH的策略更快的理论收敛保证。它克服了学习停滞。我们还证明了它允许构建深度和广度的预测编码网络。这样的卷积网络实现了能够很好地捕捉网络训练对象的整个类别的感受野。与我们实验室以前的非卷积和卷积DPCCH相比，这改进了特征表示。它产生的无监督对象识别超过了卷积自动编码器，并与以监督方式训练的卷积网络相当。
2021-09-24 cs.AI cs.CV cs.NE
Semi-Supervised Histology Classification using Deep Multiple Instance Learning and Contrastive Predictive Coding
Brigham and Woman’s Hospital（布里格姆妇女医院）；Harvard Medical School（哈佛医学院）
可以训练卷积神经网络以使用具有多实例学习（MIL）的弱注释来执行组织学载玻片分类。然而，由于标记的组织学数据的缺乏，直接应用MIL很容易遭受过拟合，并且由于监督信号较弱，网络无法学习丰富的特征表示。我们提出了一个两阶段的半监督方法，结合了数据高效的自我监督特征学习的力量，通过对比预测编码（CPC）和可解释性和灵活性的正则化的注意力为基础的MIL。我们将我们的两阶段CPC + MIL半监督管道乳腺癌组织学图像的二进制分类。在五个随机分割中，我们报告了最先进的性能，平均验证准确率为95%，ROC曲线下面积为0.968。我们进一步评估了通过CPC相对于简单的迁移学习学习的特征的质量，并表明即使在特征编码器冻结的情况下，使用CPC特征的强大分类性能也可以在MIL框架下有效地利用。
2019-11-02 cs.CV q-bio.TO
Revisiting Competitive Coding Approach for Palmprint Recognition: A Linear Discriminant Analysis Perspective
Beijing Institute of Technology（北京理工大学）
竞争编码方法（CompCode）是最有前途的掌纹识别方法之一。由于其高性能和简单的配方，多年来一直在不断研究。然而，尽管已经提出了CompCode的许多变体，但仍然缺乏对该方法的详细分析。在本文中，我们首次从线性判别分析（LDA）的角度对CompCode进行了详细的分析。一个非平凡的充分条件下，CompCode是最佳的意义上的Fisher准则。根据我们的分析，我们检查了掌纹的统计数据，并得出结论，CompCode偏离了最佳条件。为了减轻这种偏差，我们提出了一种新的方法，称为类特定的CompCode，通过排除非手掌线区域进行匹配来改进CompCode。为了进一步提高计算精度，本文还引入了竞争码的非线性映射。在两个公共数据库上的实验证明了该方法的有效性。
2022-06-30 cs.CV cs.LG
Active Predictive Coding: A Unified Neural Framework for Learning Hierarchical World Models for Perception and Planning
University of Washington（华盛顿大学）
本文提出主动预测编码框架，通过分层世界模型解决人工智能中感知与规划的两大核心问题。
2022-10-23 cs.AI cs.CV cs.LG
Fast Deep Predictive Coding Networks for Videos Feature Extraction without Labels
University of Florida（佛罗里达大学）
本文提出一种快速推理的无监督深度预测编码网络，结合自适应动态规划与优化最小化框架，在多个数据集上提升稀疏性、学习率和特征聚类精度。
2024-09-08 cs.CV eess.SP
Deep Predictive Coding Networks
University of Florida（佛罗里达大学）
深度学习方法中数据表示的质量与施加在表示上的先验模型直接相关;然而，通常使用的固定先验不能适应数据中的上下文。为了解决这个问题，我们提出了深度预测编码网络，这是一种分层生成模型，它以动态和上下文敏感的方式根据经验改变潜在表示的先验。该模型捕捉时变信号中的时间依赖性，并使用自顶向下的信息来调制较低层中的表示。我们的模型的核心是一个新的过程来推断稀疏状态的动态模型，用于特征提取。我们还扩展了这个特征提取块，引入了一个池函数，捕获局部不变的表示。当应用于自然视频数据时，我们表明我们的方法能够学习高级视觉特征。我们还展示了自上而下的连接的作用，通过显示所提出的模型的鲁棒性结构化噪声。
2013-03-15 cs.CV cs.LG stat.ML
Active Predictive Coding Networks: A Neural Solution to the Problem of Learning Reference Frames and Part-Whole Hierarchies
Paul G. Allen School of Computer Science and Engineering（保罗·G·艾伦计算机科学与工程学院）；University of Washington, Seattle（华盛顿大学西雅图分校）
我们介绍了主动预测编码网络（APCN），这是一类新的神经网络，它解决了Hinton和其他人在人工智能和大脑建模领域提出的一个主要问题：神经网络如何学习对象的内在参考系，并通过动态分配解析树中的节点将视觉场景解析为部分-整体层次结构？APCN通过使用一种新颖的思想组合来解决这个问题：（1）超网络用于动态生成递归神经网络，该网络以更高的对象级嵌入向量为条件来预测部件及其在内在参考系中的位置，以及（2）强化学习与反向传播结合使用，用于模型参数的端到端学习。APCN架构自然地适合于多层次的分层学习，并且与皮质功能的预测编码模型密切相关。使用MNIST，Fashion-MNIST和Omniglot数据集，我们证明了APCN可以（a）学习将图像解析为部分-整体层次结构，（b）学习组合表示，以及（c）将其知识转移到看不见的对象类。APCN能够动态生成具有对象部分位置的解析树，因此它为可解释的AI提供了一个新的框架，该框架利用了深度学习的进步，同时保留了可解释性和组合性。
2022-01-14 cs.AI cs.CV cs.LG
Invariant 3D Shape Recognition using Predictive Modular Neural Networks
Aristotle University（亚里士多德大学）
本文将PREMONN（预测模块神经网络）模型/结构推广到二元函数和非欧空间。它是在三维不变形状识别和纹理识别的背景下提出的。PREMONN使用局部关系，它是模块化的，并表现出增量学习。识别过程可以从形状或纹理上的任何点开始，因此不需要参考点。它的局部关系特性使它能够识别形状和纹理，即使在存在遮挡。分析主要是数学的。然而，我们提出了一些实验结果。本文提出的方法可应用于手势识别、动作识别、动态纹理识别等问题。
2020-05-23 cs.CV cs.LG eess.IV
Early Exiting Predictive Coding Neural Networks for Edge AI
TICLab, International University of Rabat, Morocco（TICLab，拉巴特国际大学，摩洛哥）；College of Computing, University Mohammed VI Polytechnic, Morocco（计算机学院，穆罕默德六世理工大学，摩洛哥）；School of Electronic and Electrical Engineering, University of Leeds, UK（电子与电气工程学院，利兹大学，英国）
本文提出一种基于生物启发的浅层双向预测编码网络，通过早期退出减少计算量，实现高效边缘AI处理。
2026-03-31 cs.AI cs.CV cs.LG
Reduced-Gate Convolutional LSTM Using Predictive Coding for Spatiotemporal Prediction
School of Information Technology, University of Cincinnati（辛辛那提大学信息技术学院）；School of Computing and Informatics, University of Louisiana at Lafayette（路易斯安那大学拉法叶分校计算与信息学院）
时空序列预测是深度学习中的一个重要问题。我们使用基于深度学习的预测编码框架研究下一帧视频预测，该框架使用卷积长短期记忆（convLSTM）模块。我们引入了一种新的减少门卷积LSTM（rgcLSTM）架构，它需要比可比convLSTM低得多的参数预算。通过使用单个多功能门，我们的减少门模型实现了与原始卷积LSTM相同或更好的下一帧预测精度，同时使用更小的参数预算，从而减少了训练时间和内存需求。我们在移动MNIST和KITTI数据集上测试了预测编码架构中的简化门模块。我们发现，与标准卷积LSTM模型相比，我们的减少门模型的训练参数总数显著减少了约40%，训练时间减少了25%。新模型的性能精度也得到了提高。这使得我们的模型更有吸引力的硬件实现，特别是在小型设备上。我们还探索了一个由20种不同的门控架构组成的空间，以深入了解我们的rgcLSTM如何适应这个空间。
2019-12-22 cs.CV cs.LG stat.ML
Sparse Deep Predictive Coding captures contour integration capabilities of the early visual system
Aix Marseille Univ（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）；Inst Neurosci Timone（蒂莫内神经科学研究所）；ISM（ISM研究所）
神经生理学和心理物理学实验都指出，在早期视觉皮层中，循环连接和反馈连接在处理依赖于上下文的信息中起着至关重要的作用。虽然许多模型已经在神经或表征层面上解释了反馈效应，但没有一个模型能够将这两个层面的分析结合起来。是否可以用同一个模型来描述两个层次的反馈效应？我们通过将预测编码（PC）和稀疏编码（SC）结合到分层和卷积框架中来回答这个问题。在该稀疏深度预测编码（SDPC）模型中，SC组件对每个层内的内部递归处理进行建模，并且PC组件使用前馈和反馈连接来描述层之间的交互。在这里，我们在两个不同的图像数据库上训练一个2层SDPC，并将其解释为早期视觉系统（V1和V2）的模型。我们首先证明，一旦训练收敛，SDPC表现出导向和本地化的感受野在V1和V2更复杂的功能。第二，我们分析了反馈对V1神经元经典感受野以外的神经组织的影响。这些映射类似于联想场，反映了良好延续的完形原则。我们证明，反馈信号重组互动地图和调制神经活动，以促进轮廓整合。第三，我们证明了在代表性的水平，SDPC反馈连接能够克服输入图像中的噪声。因此，SDPC在神经水平上捕获了关联场原理，从而在代表性水平上更好地消除模糊图像的歧义。
2019-10-17 cs.AI cs.CV cs.LG
Visually-Guided Sound Source Separation with Audio-Visual Predictive Coding
Xi’an Jiaotong University（西安交通大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Hong Kong Institute of Science & Innovation, Chinese Academy of Sciences（中国科学院香港创新研究院）
提出视听预测编码（AVPC）方法，通过预测编码网络统一特征提取、融合和掩码预测，实现参数高效且性能更优的视觉引导声音源分离。
2023-06-19 cs.CV cs.MM cs.SD
A General Framework for Development of the Cortex-like Visual Object Recognition System: Waves of Spikes, Predictive Coding and Universal Dictionary of Features
Kyoto University（京都大学）
本研究的重点是开发类皮层视觉物体识别系统。我们提出了一个总体框架，它包括三个层次（模块）。这些模块在功能上对应于V1、V4和IT领域。采用分层级别V4和IT之间的自底向上和自顶向下连接。输入和首选刺激之间的匹配程度越高，神经元的响应时间就越短。因此，关于单个刺激的信息在时间上是分布的，并通过尖峰波来传输。尖峰的相互连接和波实现了预测编码：基于由第一波尖峰传递的信息生成初始假设，并使用连续波携带的信息进行测试。开发被认为是V4中的特征和IT中的对象的提取和积累。一旦存储了特征，即使很少激活，也可以处理。这会导致更新功能存储库。因此，IT中的对象也会更新。这说明了V4、IT的生长过程和拓扑结构的动态变化以及它们之间的联系。
2011-02-14 cs.AI cs.CV cs.LG
