Feature Forgetting in Continual Representation Learning
Tsinghua University（清华大学）；Baidu Research（百度研究院）
在持续学习和终身学习中，良好的表示学习有助于在学习新任务时提高性能并降低样本复杂性。有证据表明，即使在简单的持续学习中，表征也不会遭受“灾难性遗忘“，但关于其特征的进一步事实却知之甚少。本文旨在对持续学习中的表示学习，特别是特征遗忘问题有更多的了解。我们设计了一个评估持续学习中表征的协议，然后用它来呈现持续表示学习的基本趋势的概述，显示其一贯的不足和潜在的问题。为了研究特征遗忘问题，我们创建了一个合成数据集来识别和可视化神经网络中特征遗忘的流行程度。最后，我们提出了一个简单的技术，使用门控适配器，以减轻功能遗忘。最后，我们讨论了改进表示学习有利于持续学习中的新旧任务。
2022-05-26 cs.LG
Where Should Experience Live? Hierarchical Hebbian Memory for Continual Vision Transformers
The University of Alabama（阿拉巴马大学）
本研究针对视觉Transformer难以在不同时间尺度组织新信息的问题，提出分层赫布记忆架构，在Omniglot、CORe50任务上取得优于基线的识别与关联准确率，验证了其组织在线视觉经验的有效性。
2026-09-02 cs.CV cs.NE
Random Representations Outperform Online Continually Learned Representations
IIIT Hyderabad（印度信息技术学院海得拉巴分校）；University of Oxford（牛津大学）；Apple（苹果公司）
本文提出RanDumb方法，用固定随机变换加线性分类器证明简单随机表示在在线持续学习中优于持续学习到的表示，并挑战了现有表示学习假设。
2024-11-20 cs.CV cs.LG
CSNNs: Unsupervised, Backpropagation-free Convolutional Neural Networks for Representation Learning
University of Applied Sciences Kempten（肯普滕应用科学大学）
这项工作结合了卷积神经网络（CNN），通过自组织映射（SOM）和Hebbian学习进行聚类，提出了卷积自组织神经网络（CSNN）的构建模块，它以无监督和无反向传播的方式学习表示。我们的方法用SOM的竞争性学习过程取代了从CNN学习传统卷积层，并同时用单独的Hebbian类学习规则学习这些层之间的局部掩码，以克服通过聚类学习过滤器时分离变化因素的问题。我们通过使用我们的构建块设计两个简单的模型来研究学习的表示，实现了与许多使用反向传播的方法相当的性能，同时我们在Cifar10上达到了相当的性能，并在Cifar100，Tiny ImageNet和ImageNet的一小部分上给出了无反向传播方法的基线性能。
2020-01-29 cs.CV cs.LG
CULT: Continual Unsupervised Learning with Typicality-Based Environment Detection
Brandeis University（布兰迪斯大学）
我们介绍了CULT（连续无监督表示学习与基于典型性的环境检测），一种新的算法，连续无监督学习与变分自动编码器。CULT在VAE的潜在空间中使用一个简单的典型性度量来检测环境中的分布变化，该度量与生成重放和辅助环境分类器结合使用，以限制无监督表示学习中的灾难性遗忘。在我们的实验中，CULT显著优于基线连续无监督学习方法。本文的代码可以在这里找到：https://github.com/oliveradk/cult
2022-07-17 cs.LG
Revisiting Supervision for Continual Representation Learning
IDEAS NCBR；Warsaw University of Technology（华沙理工大学）；Gdańsk University of Technology（格但斯克理工大学）；Tooploox；Autonomous University of Barcelona（巴塞罗那自治大学）；Computer Vision Center（计算机视觉中心）
本研究重新审视持续表示学习中监督的作用，发现配备多层感知机头部的监督模型可超越自监督模型，凸显投影器对特征可迁移性的重要性。
2024-07-16 cs.CV cs.LG
MoRe: Modular Representations for Principled Continual Representation Learning on Sequential Data
Carnegie Mellon University（卡内基梅隆大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本文提出MoRe框架，通过模块化表示方法实现序列数据的原理化持续学习，其核心贡献是通过分解知识为可识别的模块层级，实现模块的重用、对齐和扩展，从而在保持旧模块的同时提升模型的可塑性和稳定性。
2026-05-20 cs.LG
Enhancing Pretrained Model-based Continual Representation Learning via Guided Random Projection
Wuhan University（武汉大学）；Shanghai Innovation Institute（上海创新研究院）；Shanghai Jiao Tong University（上海交通大学）；Tsinghua University（清华大学）；University of Science and Technology of China（中国科学技术大学）；China University of Mining and Technology（中国矿业大学）
本文提出SCL-MGSM方法，通过数据引导机制构建投影层，提升预训练模型在持续学习中的表现和数值稳定性。
2026-03-19 cs.LG
Dynamic Time-aware Continual User Representation Learning
KAIST（韩国釜山科学技术院）
本文提出DITTO框架，在考虑时间流逝的实用场景下进行持续用户表示学习，缓解物品分布变化导致的灾难性遗忘，实验证明其优于现有方法。
2025-04-23 cs.LG
Provable and Efficient Continual Representation Learning
University of California, Riverside（加州大学河滨分校）
在持续学习（CL）中，目标是设计能够在没有灾难性遗忘的情况下学习一系列任务的模型。虽然CL有一套丰富的技术，但对以前任务构建的表示如何使添加到网络中的新任务受益的理解相对较少。为了解决这个问题，我们研究了持续表示学习（CRL）的问题，我们学习一个不断发展的表示新的任务到达。专注于零遗忘方法，其中任务嵌入在子网络中（例如，PackNet），我们首先提供实验证明CRL可以显着提高样本效率时，学习新的任务。为了解释这一点，我们建立了理论保证CRL提供样本的复杂性和泛化误差界限的新任务，通过形式化的统计优势，以前学到的表示。我们的分析和实验也强调了我们学习任务的顺序的重要性。具体来说，我们表明，CL的好处，如果初始任务有大样本量和高的“代表多样性”。多样性确保了添加新任务会导致小的表示失配，并且可以用很少的样本学习，同时只训练很少的额外非零权重。最后，我们问是否可以确保每个任务子网络在推理时间内是有效的，同时保留表示学习的好处。为此，我们提出了一个高效的PackNet的推理效率的变化称为高效稀疏PackNet（ESPN），它采用联合信道和权重修剪。ESPN将任务嵌入到通道稀疏的并行计算中，需要减少多达80%的FLOP来计算，同时大约保持准确性，并且与各种基线相比非常具有竞争力。总之，这项工作采取了一个步骤，数据和计算效率的CL与表示学习的角度来看。GitHub页面：https://gith…
2022-11-07 cs.LG
Continual State Representation Learning for Reinforcement Learning using Generative Replay
ENSTA ParisTech（巴黎高等先进技术学院）；INRIA（法国国家信息与自动化研究所）；Softbank Robotics Europe（软银机器人欧洲公司）
我们认为，在一个连续的方式建立一个状态表示模型的问题。随着环境的变化，目标是在不丢失过去知识的情况下有效地压缩感觉状态的信息。然后将学习到的特征馈送到强化学习算法以学习策略。我们建议使用变分自动编码器进行状态表示，并生成重放，即使用生成的样本，以保持过去的知识。我们还提供了一个通用的和统计上合理的方法自动环境变化检测。我们的方法提供了有效的状态表示以及前向传输，并避免了灾难性遗忘。由此产生的模型是能够增量学习信息，而不使用过去的数据和有限的系统规模。
2018-12-11 cs.LG stat.ML
Continual Vision-Language Representation Learning with Off-Diagonal Information
Zhejiang University（浙江大学）；Huawei Cloud（华为云）
本文研究流式数据下持续CLIP训练的性能退化问题，将其归因于空间紊乱，并提出Mod-X通过选择性维护对比矩阵的非对角信息来保持旧域多模态对齐。
2023-06-01 cs.CV cs.LG
S-TRIGGER: Continual State Representation Learning via Self-Triggered Generative Replay
ENSTA Paris（巴黎高等先进技术学院）；Institut Polytechnique de Paris（巴黎理工学院）；INRIA（法国国家信息与自动化研究所）；City University of London（伦敦城市大学）
我们考虑在持续学习环境中建立控制的状态表示模型的问题。随着环境的变化，目标是在不丢失过去知识的情况下有效地压缩感知状态的信息，然后对所得特征使用强化学习进行有效的策略学习。为此，我们提出了S-TRIGGER，一种适用于变分自动编码器及其许多变体的连续状态表示学习的通用方法。该方法基于生成重放，即使用生成的样本来维护过去的知识。它附带了一个统计上合理的环境变化检测方法，可以自动触发生成重放。我们在VAE上的实验表明，S-TRIGGER学习状态表示，允许快速和高性能的强化学习，同时避免灾难性遗忘。由此产生的系统能够自主学习新的信息，而不使用过去的数据和有限的系统规模。我们的实验代码附在附录中。
2021-07-05 cs.LG stat.ML
Learning Representations for New Sound Classes With Continual Self-Supervised Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Concordia University（康考迪亚大学）；Université de Montréal（蒙特利尔大学）；Columbia University（哥伦比亚大学）；Mila-Quebec AI Institute（米拉-魁北克人工智能研究所）；Amazon Web Services（亚马逊云科技）
在本文中，我们工作的声音识别系统，不断纳入新的声音类。我们的主要目标是开发一个框架，可以在不依赖标记数据的情况下更新模型。为此，我们建议采用表示学习，其中编码器使用未标记的数据进行训练。这个学习框架使得能够研究和实现实际相关的用例，其中在持续学习的上下文中只有少量的标签可用。我们还进行了实证观察，在这个框架内的基于相似性的表征学习方法是强大的遗忘，即使没有明确的机制，对遗忘。我们表明，这种方法获得类似的性能相比，几个蒸馏为基础的持续学习方法时，采用自监督表示学习方法。
2022-12-13 cs.LG cs.SD eess.AS
AlphaWiSE: Adaptive Weight Interpolation for Continual Multimodal Representation Learning
Google DeepMind（谷歌DeepMind）
研究连续多模态表示学习中跨模态对齐被破坏的问题，提出AlphaWiSE方法，通过事后权重空间插值，由两个冻结源检查点拟合系数实现插值检查点，在多模态检索实验中相比基线有持续改进。
2026-07-17 cs.CV cs.LG
Self-Supervised Models are Continual Learners
University of Trento（特伦托大学）；Inria（法国国家信息与自动化研究所）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
当在大规模的未标记数据上进行离线训练时，自监督模型已经被证明可以产生与监督模型相当或更好的视觉表示。然而，在持续学习（CL）场景中，它们的功效会灾难性地降低，其中数据按顺序呈现给模型。在本文中，我们表明，自我监督的损失函数可以无缝地转换成CL蒸馏机制，通过添加一个预测网络，映射到他们过去的状态的表示的当前状态。这使我们能够设计一个持续自监督视觉表示学习的框架，（i）显着提高学习表示的质量，（ii）与几个最先进的自监督目标兼容，（iii）几乎不需要超参数调整。我们通过在各种CL设置中训练六个流行的自监督模型来证明我们的方法的有效性。
2022-04-01 cs.CV cs.LG
Contrastive Supervised Distillation for Continual Representation Learning
Università degli Studi di Firenze（佛罗伦萨大学）
在本文中，我们提出了一种新的训练过程中的连续表示学习问题，其中神经网络模型顺序学习，以减轻视觉搜索任务中的灾难性遗忘。我们的方法，称为对比监督蒸馏（CSD），减少特征遗忘，同时学习判别特征。这是通过在蒸馏设置中利用标签信息来实现的，在蒸馏设置中，学生模型是从教师模型中对比学习的。大量的实验表明，CSD在减轻灾难性遗忘方面表现良好，优于当前最先进的方法。我们的研究结果还提供了进一步的证据，视觉检索任务中的特征遗忘评估是不是灾难性的分类任务。代码：https://github.com/NiccoBiondi/ContrastiveSupervisedDistillation。
2022-06-10 cs.AI cs.CV cs.LG
ViRN: Variational Inference and Distribution Trilateration for Long-Tailed Continual Representation Learning
Department of Computer Science, UCL Centre for Artificial Intelligence, University College London, London, UK（计算机科学系，UCL人工智能中心，伦敦大学学院，伦敦，英国）；University of Southampton, Southampton, UK（南安普顿大学，南安普顿，英国）
本文提出 ViRN 框架，结合变分自编码器、Wasserstein 邻域检索与几何融合，解决长尾持续学习中的稳定性、可塑性及尾部样本稀缺问题，并在六个语音和图像基准上取得 10.24% 的平均准确率提升。
2025-07-23 cs.LG
A Generalized EigenGame with Extensions to Multiview Representation Learning
University College London（伦敦大学学院）；University of Cambridge（剑桥大学）
广义特征值问题（GEP）包含一系列有趣的降维方法。开发有效的随机方法来解决这些问题将使它们能够扩展到更大的数据集。典型相关分析（CCA）是GEP降维的一个例子，它在具有两个或多个数据视图的问题中得到了广泛的应用。CCA的深度学习扩展在随机设置中需要大的小批量大小，因此需要大的内存消耗以实现良好的性能，这限制了其在实践中的应用。受广义Hebbian算法的启发，我们提出了一种求解随机GEP的方法，其中所有约束都是由拉格朗日乘子软执行的。然后，通过考虑该拉格朗日函数的积分，其伪效用，并受到最近的主成分分析和GEPs作为具有可微效用的游戏的配方的启发，我们开发了一种游戏理论启发的方法来解决GEPs。我们表明，我们的方法共享许多以前的赫布和博弈论方法的线性情况下的理论基础，但我们的方法允许扩展到一般函数逼近器，如神经网络的某些GEP降维，包括CCA，这意味着我们的方法可以用于深度多视图表示学习。我们证明了我们的方法在使用规范多视图数据集的随机设置中解决GEP的有效性，并展示了优化深度CCA的最新性能。
2023-01-09 cs.LG stat.ML
Learning to learn with backpropagation of Hebbian plasticity
The Neurosciences Institute（神经科学研究所）
赫布可塑性是一个强大的原则，允许生物大脑从他们的一生经验中学习。相比之下，用反向传播训练的人工神经网络通常具有固定的连接权重，一旦训练完成就不会改变。虽然最近的方法可以赋予神经网络长期记忆，但赫布可塑性目前不适合梯度下降。在这里，我们推导出解析表达式的活动梯度神经网络与赫布塑料连接。使用这些表达式，我们可以使用反向传播来训练连接的基线权重，还可以训练它们的可塑性。因此，网络“学习如何学习”，以解决手头的问题：经过训练的网络在其生命周期内自动对不可预测的环境特征进行快速学习，扩大了可解决问题的范围。我们在各种在线学习任务上测试了该算法，包括模式完成，一次性学习和反向学习。该算法成功地学习如何从一次性指令中学习相关关联，并微调可塑性的时间动态，以允许响应于变化的环境参数进行持续学习。我们的结论是，反向传播的赫布可塑性提供了一个强大的模型，终身学习。
2016-10-19 cs.AI cs.LG cs.NE
Continual Semantic Segmentation via Repulsion-Attraction of Sparse and Disentangled Latent Representations
University of Padova（帕多瓦大学）
深度神经网络在学习新任务时会遇到灾难性遗忘旧任务的主要限制。在本文中，我们专注于类增量持续学习语义分割，新的类别是随着时间的推移，而以前的训练数据不保留。所提出的持续学习方案塑造潜在空间以减少遗忘，同时提高对新类的识别。我们的框架由三个新颖的组件驱动，我们还将它们毫不费力地结合在现有技术之上。首先，原型匹配在旧类上强制执行潜在空间一致性，约束编码器在后续步骤中为先前看到的类产生类似的潜在表示。其次，特征稀疏化允许在潜在空间中腾出空间来容纳新的类。最后，对比学习是根据他们的语义聚类功能，而撕裂除了那些不同的类。对Pascal VOC 2012和ADE 20 K数据集的广泛评估证明了我们方法的有效性，显著优于最先进的方法。
2021-11-24 cs.AI cs.CV cs.LG
Continual Causal Inference with Incremental Observational Data
Ant Group（蚂蚁集团）；University of Georgia（佐治亚大学）；University of Virginia（弗吉尼亚大学）
大数据时代见证了来自移动和社交网络、在线广告、网络挖掘、医疗保健、教育、公共政策、营销活动等的观测数据的日益可用性，这促进了因果效应估计的发展。虽然在克服学术领域的挑战方面取得了重大进展，例如缺失反事实结果和选择偏差，但它们只关注特定源和固定的观测数据，这在大多数工业应用中是不现实的。在本文中，我们研究了一个新的工业问题的因果效应估计从增量可用的观测数据，并提出了三个新的评价标准，相应的，包括可扩展性，适应性和可访问性。我们提出了一个连续的因果效应表示学习方法估计因果效应与观测数据，这是增量可从非平稳数据分布。我们的方法不是访问所有看到的观测数据，而是只存储从以前的数据中学习到的特征表示的有限子集。该方法结合选择性和平衡的表示学习、特征表示提取和特征变换，在不影响对原始数据估计能力的前提下，实现了对新数据的连续因果效应估计。大量的实验证明了连续因果效应估计的意义和我们的方法的有效性。
2023-03-03 cs.LG stat.ML
Task Relation-aware Continual User Representation Learning
KAIST（韩国科学技术院）；NAVER Corporation（Naver公司）
针对现有通用用户表征学习存在的灾难性遗忘、新增任务学习能力受限等问题，提出结合任务嵌入软掩码与伪标签知识保留模块的TERACON方法，在多数据集上验证了有效性。
2023-08-23 cs.AI cs.IR cs.LG
Continual Unsupervised Representation Learning
DeepMind（深度思维）
持续学习旨在提高现代学习系统处理非平稳分布的能力，通常通过尝试顺序地学习一系列任务。本领域的现有技术主要考虑了监督或强化学习任务，并且通常假设任务标签和边界的全部知识。在这项工作中，我们提出了一种方法（CURL）来解决一个更普遍的问题，我们将称为无监督持续学习。重点是在没有任何关于任务身份的知识的情况下学习表示，我们探索了任务之间突然变化，从一个任务到另一个任务的平滑过渡，甚至数据被打乱的情况。所提出的方法直接在模型内执行任务推理，能够动态扩展以捕获其生命周期内的新概念，并结合了额外的基于排练的技术来处理灾难性遗忘。我们证明了CURL在使用MNIST和Omniglot的无监督学习环境中的有效性，在这种环境中，缺乏标签可以确保没有关于任务的信息泄露。此外，与现有技术相比，我们在i.i.d设置中或在使该技术适应监督任务（例如增量类学习）时表现出强大的性能。
2019-10-31 cs.AI cs.CV cs.LG
Balancing Continual Learning and Fine-tuning for Human Activity Recognition
Nokia Bell Labs（诺基亚贝尔实验室）；University of Cambridge（剑桥大学）
本研究针对基于可穿戴设备的HAR任务，采用并改造了持续自监督模型CaSSLe和半监督持续学习模型Kaizen，通过结合对比学习与自训练利用无标签和有标签数据，并发现反映新旧类比例的加权因子能实现最佳持续学习权衡。
2024-01-04 cs.LG eess.SP
The Surprising Positive Knowledge Transfer in Continual 3D Object Shape Reconstruction
Georgia Institute of Technology（佐治亚理工学院）
持续学习已经被广泛研究用于分类任务，其方法被开发用于主要避免灾难性遗忘，这是一种以牺牲最近的样本为代价而忘记早期学习的概念的现象。在这项工作中，我们提出了一组连续的3D对象形状重建任务，包括从不同的输入模式完整的3D形状重建，以及可见表面（2.5D）重建，令人惊讶地证明了积极的知识（向后和向前）传输时，训练仅使用标准SGD，没有额外的几何学。我们提供的证据表明，随着时间的推移，不断更新的单视图三维形状重建的表示学习提高了学习和新类别的性能。我们提供了一个新的分析知识转移能力，通过查看在顺序学习任务的输出分布偏移。最后，我们表明，这些任务的鲁棒性，导致有一个代理表示学习任务连续分类的潜力。与本文一起发布的代码库、数据集和预训练模型可以在https://github.com/rehg-lab/CLRec上找到
2022-09-09 cs.CV cs.LG
Fly-CL: A Fly-Inspired Framework for Enhancing Efficient Decorrelation and Reduced Training Time in Pre-trained Model-based Continual Representation Learning
Department of Automation, Tsinghua University（清华大学自动化系）；Academy of Medical Engineering and Translational Medicine, Tianjin University（天津大学医学工程与转化医学学院）
Fly-CL通过生物启发设计提升预训练模型连续学习效率，减少训练时间并保持高性能。
2026-03-02 cs.AI cs.CV cs.LG
Metalearning with Hebbian Fast Weights
Microsoft Research（微软研究院）
我们统一了最近的神经元方法一次性学习与旧的联想记忆模型的元学习的想法。我们的模型联合学习来表示数据，并将类标签绑定到Single Shot中的表示。它通过SGD跨任务学习的慢速权重构建表示，而通过Hebbian学习规则构建的快速权重为每个新任务实现一次性绑定。在Omniglot，Mini-ImageNet和Penn Treebank一次性学习基准测试中，我们的模型实现了最先进的结果。
2018-07-12 cs.AI cs.LG cs.NE
Kernel similarity matching with Hebbian neural networks
Princeton University（普林斯顿大学）
最近的工作已经得到了神经网络与在线相关为基础的学习规则来执行\textit{kernel similarity matching}。这些工作将现有的线性相似性匹配算法应用于通过随机傅里叶方法生成的非线性特征。本文尝试通过直接学习非线性特征来进行核相似性匹配。我们的算法通过推导并最小化输出和输入内核相似性之间的平方误差之和的上界来进行。我们的上限的建设导致在线相关的学习规则，可以实现1层递归神经网络。除了生成高维线性可分离的表示，我们表明，我们的上限自然产生的表示是稀疏的和选择性的特定输入模式。我们比较我们的方法的近似质量神经随机傅立叶方法和流行的，但非生物的“Nystr{<$}m”方法近似的核矩阵的变体。我们的方法似乎是可比的或优于随机采样Nystr{<$}m方法时，输出是相对较低的维度（虽然仍然可能比输入更高的维度），但不太忠实时，输出是非常高维的。
2022-04-15 cs.LG cs.NE
Can a Hebbian-like learning rule be avoiding the curse of dimensionality in sparse distributed data?
INESC-ID（INESC-ID（葡萄牙系统与计算机工程研究所））；Instituto Superior Técnico（里斯本高等理工学院）；University of Lisbon（里斯本大学）
一般认为，大脑使用类似于稀疏分布表示的东西。然而，这些表示是高维的，因此它们由于"维数灾难"而影响传统机器学习模型的分类性能。在有大量标记数据的任务中，深度网络似乎通过许多层和非Hebbian反向传播算法解决了这个问题。然而，大脑似乎能够用很少的层次来解决问题。在这项工作中，我们假设这是通过使用Hebbian学习来实现的。实际上，受限玻尔兹曼机的类赫布学习规则是不对称地学习输入模式的。它专门学习非零值之间的相关性，并忽略代表绝大多数输入维度的零。通过忽略零，可以避免“维数灾难”问题。为了验证我们的假设，我们生成了几个稀疏数据集，并将受限玻尔兹曼机分类器的性能与一些Backprop训练的网络进行了比较。使用这些代码的实验证实了我们最初的直觉，因为受限玻尔兹曼机显示出良好的泛化性能，而用反向传播算法训练的神经网络过拟合训练数据。
2022-07-20 cs.AI cs.LG cs.NE
Online Representation Learning with Single and Multi-layer Hebbian Networks for Image Classification
Loughborough University（拉夫堡大学）
无监督学习允许开发算法，这些算法能够使用相同的基本规则来适应各种不同的数据集，这要归功于在训练期间自主发现区别特征。最近，一类新的类Hebbian和本地无监督学习规则的神经网络已被开发，最小化的相似性匹配成本函数。这些已经被证明可以执行稀疏表示学习。这项研究测试了一个这样的学习规则的有效性，从图像学习功能。实现的规则是来自一个非负的经典多维缩放成本函数，并适用于单层和多层架构。然后将该算法学习到的特征作为SVM的输入，以测试其在已建立的CIFAR-10图像数据集上分类的有效性。与其他无监督学习算法和多层网络相比，该算法表现良好，从而表明其在设计一类新的紧凑型在线学习网络中的有效性。
2018-01-29 cs.CV cs.NE
A Study of Biologically Plausible Neural Network: The Role and Interactions of Brain-Inspired Mechanisms in Continual Learning
NavInfo Europe（纳维信息欧洲公司）；Eindhoven University of Technology（埃因霍温理工大学）
本文研究生物合理性神经网络中稀疏表征、赫布学习、突触巩固与激活回放等脑启发机制的协同作用，证明多机制互补架构可有效缓解人工神经网络的灾难性遗忘，实现持续学习。
2023-04-13 cs.AI cs.CV cs.LG
Advancing the Biological Plausibility and Efficacy of Hebbian Convolutional Neural Networks
Artificial Intelligence Research Centre (CitAI), Department of Computer Science, City St George's, University of London（人工智能研究中心（CitAI）、计算机科学系、圣乔治城大学）
本文提出将Hebbian学习整合到CNNs中，结合硬WTA竞争、高斯侧抑制和BCM规则构建最优架构，在CIFAR-10等数据集上性能媲美反向传播，提升了表示的生物学合理性与泛化能力。
2025-03-28 cs.CV cs.NE
A Hebbian/Anti-Hebbian Neural Network for Linear Subspace Learning: A Derivation from Multidimensional Scaling of Streaming Data
早期感觉处理的神经网络模型通常减少流输入数据的维度。这样的网络学习主子空间，在主成分分析（PCA）的意义上，通过调整突触权重根据活动相关的学习规则。当从原则成本函数导出时，这些规则是非局部的，因此在生物学上是不可信的。与此同时，生物学上合理的本地规则已被假定，而不是来自一个原则性的成本函数。在这里，为了弥合这一差距，我们通过最小化原则成本函数，推导出一个在流数据上进行子空间学习的生物学上合理的网络。在偏离以前的工作，其中成本量化的表示，或重建，错误，我们采用了多维尺度（MDS）的成本函数流数据。由此产生的算法只依赖于生物学上合理的赫布和反赫布的本地学习规则。在随机设置中，突触权重收敛到将输入数据投影到主子空间上的稳态。如果数据由非平稳分布生成，则网络可以跟踪主子空间。因此，我们的结果使一个算法理论的神经计算的一步。
2015-03-02 cs.NE q-bio.NC stat.ML
View-tolerant face recognition and Hebbian learning imply mirror-symmetric neural tuning to head orientation
灵长类动物的大脑包含一个视觉区域的层次结构，被称为腹侧流，它可以快速计算对象表征，这些表征既针对对象身份，又相对鲁棒，可以抵抗深度旋转等身份保持变换。当前对象识别的计算模型，包括最近的深度学习网络，通过交替的选择性增加过滤和容差增加池化操作的层次结构来生成这些属性，类似于简单-复杂单元操作。虽然这些模型的模拟概括了腹侧流的进展，从早期的特定视图到后期的视图容忍的表示，他们未能产生最显着的属性的中间表示的脸在大脑中发现：镜像对称调谐的神经人口的头部方向。在这里，我们证明了一类层次结构和一组广泛的生物学上合理的学习规则可以在网络的顶层提供近似不变性。虽然大多数的学习规则不产生镜像对称的中级表示，我们的特点是一个特定的生物合理的赫布型学习规则，保证产生镜像对称的调整，面对调整在中间层次的架构。
2016-06-05 cs.NE q-bio.NC
Unsupervised representation learning with Hebbian synaptic and structural plasticity in brain-like feedforward neural networks
本文提出融合皮层柱、赫布突触与结构可塑性等机制的前馈BCPNN模型，用于无监督表征学习，并在图像、QSAR和恶意软件检测基准上取得与MLP及先进类脑网络相当的性能。
2025-01-09 cs.NE q-bio.NC
A Hebbian/Anti-Hebbian Network for Online Sparse Dictionary Learning Derived from Symmetric Matrix Factorization
Olshausen和Field（OF）提出，初级视觉皮层（V1）中的神经计算可以部分地通过稀疏字典学习来建模。通过最小化正则化表示误差，他们推导出一种在线算法，该算法从与生理实验一致的自然图像集合中学习Gabor滤波器感受野。虽然OF算法可以映射到单层神经网络中的动态和突触可塑性，但导出的学习规则是非局部的-突触权重更新取决于神经元的活动，而不仅仅是突触前和突触后的神经元-因此在生物学上是不可信的。在这里，为了克服这个问题，我们从一个新的成本函数-输入的相似性矩阵的对称因式分解的正则化错误中获得稀疏字典学习。我们的算法映射到一个神经网络的相同架构的OF，但只使用生物合理的本地学习规则。当在自然图像上训练时，我们的网络学习Gabor滤波器感受野，并再现OF网络中硬连接的突触权重之间的相关性。因此，在线对称矩阵分解可以作为神经计算的算法理论。
2015-11-30 cs.NE q-bio.NC stat.ML
Supervised Hebbian Learning
Università del Salento（萨兰托大学）；Istituto Nazionale di Fisica Nucleare（国家核物理研究所）；Sapienza Università di Roma（罗马第一大学）；Istituto Nazionale d’Alta Matematica（国家高等数学研究所）；Bar-Ilan University（巴伊兰大学）
本文提出一种监督赫布学习协议，使霍普菲尔德网络能从模糊示例中推断原型，并通过相图、受限玻尔兹曼机等价性及副本隐藏层将 MNIST 分类准确率从 75% 提升至 95%。
2022-09-07 cond-mat.dis-nn cs.LG cs.NE
Learning representations in Bayesian Confidence Propagation neural networks
KTH Royal Institute of Technology（瑞典皇家理工学院）；Stockholm University（斯德哥尔摩大学）
层次表示的无监督学习是近年来深度学习中最具活力的研究方向之一。在这项工作中，我们研究生物启发的无监督策略的神经网络的基础上，当地的赫布学习。我们提出了新的机制来扩展贝叶斯置信度验证神经网络（BCPNN）的架构，并证明了它们的无监督学习显着的隐藏表示的MNIST数据集上测试时的能力。
2020-03-27 cs.LG cs.NE stat.ML
Benchmarking Hebbian learning rules for associative memory
本文针对稀疏分布式表示上的 Hebbian 联想记忆模型，基准比较六种学习规则在存储容量与原型提取任务上的表现，发现 BCPNN 综合得分显著领先。
2025-02-17 cs.NE
When Does Structure Matter in Continual Learning? Dimensionality Controls When Modularity Shapes Representational Geometry
IT University of Copenhagen（丹麦技术大学）
本文研究了网络架构、任务相似性和表征维度如何共同影响持续学习中的学习过程，发现高维情况下架构影响较小，而低维情况下模块化结构对任务子空间的对齐和分离具有关键作用。
2026-04-30 cs.AI cs.LG cs.NE
Biological Mechanisms for Learning: A Computational Model of Olfactory Learning in the Manduca sexta Moth, with Applications to Neural Nets
University of Washington（华盛顿大学）
昆虫的嗅觉系统包括触角叶（AL）、蘑菇体（MB）和辅助结构，是一个相对简单的具有学习能力的神经系统。它的结构特征在生物神经系统中广泛存在，通过级联网络处理嗅觉刺激，在级联网络中，从一个阶段到另一个阶段发生大的维度变化，稀疏性和随机性在编码中起着关键作用。学习部分是通过章鱼胺刺激AL的神经调节性奖励机制实现的，其增加的活性通过Hebbian可塑性诱导MB的重新布线。MB中的强制稀疏性将Hebbian生长集中在对学习气味的表示最重要的神经元上。基于目前的生物物理知识，我们已经构建了一个端到端的计算模型的天蛾嗅觉系统，其中包括在章鱼胺刺激下的AL和MB的相互作用。我们的模型能够鲁棒地学习新的气味，我们对整合和激发神经元的模拟与体内放电率数据的统计特征相匹配。从生物学的角度来看，该模型提供了一个有价值的工具，用于检查神经调节剂，如章鱼胺，在学习中的作用，并提供了深入了解稀疏，赫布增长和刺激之间的关键相互作用在学习。我们的模拟还告知嗅觉系统的结构细节的预测，目前还没有得到很好的表征。从机器学习的角度来看，该模型产生了生物启发的机制，这些机制在构建神经网络以从非常少的样本中快速学习时可能有用。这些机制包括高噪声层、作为噪声过滤器的稀疏层以及基于章鱼胺刺激、稀疏层和Hebbian增长来训练网络的生物学上合理的优化方法。
2018-02-08 cs.LG cs.NE q-bio.NC
From Biological Synapses to Intelligent Robots
Strasbourg University（斯特拉斯堡大学）
这篇综述探讨了生物启发学习作为智能机器人控制和传感技术的基础上的具体例子模型。赫布突触学习被讨论为机器学习和智能的功能相关模型，如在无脊椎动物和脊椎动物的高度可塑性生物神经网络的示例的基础上所解释的。它的自适应学习和控制的潜力，没有监督，功能复杂性的产生，和控制架构的基础上自组织提出。基于兴奋性和抑制性神经机制的无先验知识的学习解释了生存或任务相关表征被强化或抑制的过程。无监督生物学习的基本机制驱动突触可塑性和适应性，以在具有不同复杂程度的活体大脑中实现行为成功。这里收集的见解指向Hebbian模型作为智能机器人和传感器系统的选择解决方案。关键词：赫布学习，突触可塑性，神经网络，自组织，脑，强化，感觉处理，机器人控制
2022-02-25 cs.NE cs.RO
Evolving Plasticity for Autonomous Learning under Changing Environmental Conditions
生物神经网络学习的一个基本方面是可塑性，它允许它们在生命周期中修改它们的配置。赫布学习是一种基于神经元局部相互作用的人工神经网络（ANN）可塑性建模的生物学合理机制。然而，从局部赫布可塑性规则中出现的连贯的全局学习行为还没有得到很好的理解。这项工作的目标是发现可解释的本地赫布学习规则，可以提供自主的全球学习。为了实现这一点，我们使用一个离散表示编码的学习规则在有限的搜索空间。然后，这些规则被用于基于神经元的局部相互作用来执行突触变化。我们采用遗传算法来优化这些规则，使学习两个独立的任务（觅食和捕食者的情况下）在线终身学习设置。由此产生的演化规则收敛到一组定义良好的可解释类型中，并进行了深入的讨论。值得注意的是，这些规则的性能，同时在学习任务期间调整ANN，与爬山等离线学习方法相当。
2020-12-07 cs.NE
Online Continual Learning on Sequences
ContinualAI Research（ContinualAI研究院）；University of Hamburg（汉堡大学）；University of Bologna（博洛尼亚大学）
在线持续学习（OCL）是指系统能够随着时间的推移从连续的数据流中学习，而不必重新访问以前遇到的训练样本。在单一数据传递中持续学习对于在不断变化的环境中运行的智能体和机器人至关重要，并且需要从非i.i.d.获取，微调和传输越来越复杂的表示。输入分布解决OCL的机器学习模型必须缓解\textit{catastrophic forgetting}，其中隐藏的表示在从新输入流中学习时被破坏或完全覆盖。在本章中，我们总结并讨论了最近的深度学习模型，这些模型通过使用（和组合）突触正则化、结构可塑性和经验重放来解决顺序输入上的OCL。已经提出了不同的重放实现，通过输入序列（的潜在表征）的重现来减轻连接主义架构中的灾难性遗忘，并且在功能上类似于哺乳动物大脑中海马重放的机制。经验证据表明，具有经验重放的架构通常优于没有（在线）增量学习任务的架构。
2020-03-20 cs.CV cs.LG cs.NE
Brain-like combination of feedforward and recurrent network components achieves prototype extraction and robust pattern recognition
联想记忆已经成为大规模递归新皮层网络计算的重要候选者。实现联想记忆的吸引子网络为许多认知现象提供了机制解释。然而，吸引子记忆模型通常使用正交或随机模式进行训练，以避免记忆之间的干扰，这使得它们对于自然发生的复杂相关刺激（如图像）不可行。我们通过将一个经常性吸引子网络与一个前馈网络相结合来解决这个问题，该网络使用无监督的Hebbian-Bayesian学习规则来学习分布式表示。由此产生的网络模型结合了许多已知的生物学特性：无监督学习，赫布可塑性，稀疏分布激活，稀疏连接，柱状和层状皮质架构等。我们评估的前馈和经常性的网络组件在复杂的模式识别任务的MNIST手写数字数据集的协同效应。我们证明，经常性吸引子组件实现联想记忆时，前馈驱动的内部（隐藏）表示训练。关联存储器还示出执行原型提取从训练数据，并使表示严重失真的输入鲁棒。我们认为，从机器学习的角度来看，前馈和经常性计算的建议整合的几个方面是特别有吸引力的。
2022-09-03 cs.NE
BiRT: Bio-inspired Replay in Vision Transformers for Continual Learning
NavInfo Europe（四维图新欧洲）；Eindhoven University of Technology（埃因霍温理工大学）
针对视觉Transformer持续学习中表征回放多样性不足导致的过拟合问题，提出BiRT方法，通过在各阶段引入建设性噪声并强制与指数移动平均预测一致，在多个基准上取得优于原始图像回放和朴素表征回放的性能，且内存高效、鲁棒。
2023-05-08 cs.CV cs.LG cs.NE
Look-Ahead Selective Plasticity for Continual Learning of Visual Tasks
University of Western Ontario（西安大略大学）
本文受大脑事件模型启发，提出任务边界处的前瞻选择性可塑性机制，利用对比损失冗余性和新任务少量样本保留关键迁移参数，在多种持续学习场景取得最先进性能。
2023-11-02 cs.AI cs.CV cs.LG
Thalamus: a brain-inspired algorithm for biologically-plausible continual learning and disentangled representations
Massachusetts Institute of Technology（麻省理工学院）
受大脑丘脑皮层回路启发，提出一种利用推理时优化动态生成任务表示的持续学习算法，通过交替更新模型权重与潜在嵌入缓解遗忘并实现知识迁移。
2023-02-26 cs.AI cs.NE
