Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning
The Australian Institute for Machine Learning（澳大利亚机器学习研究所）；The University of Adelaide（阿德莱德大学）；The University of New South Wales（新南威尔士大学）
持续学习（CL）方法旨在使机器学习模型能够学习新任务，而不会对先前已经掌握的任务造成灾难性遗忘。现有的CL方法通常保留先前看到的样本的缓冲区，执行知识蒸馏，或使用正则化技术来实现此目标。尽管他们表现出色，但他们仍然受到跨任务干扰的影响，这导致了灾难性遗忘。为了改善这个问题，我们建议在任何阶段只激活和选择稀疏神经元来学习当前和过去的任务。这样可以为以后的任务预留更多的参数空间和模型容量。这最大限度地减少了不同任务的参数之间的干扰。为此，我们提出了一个用于持续学习的稀疏神经网络（SNCL），它采用变分贝叶斯稀疏先验对所有层中的神经元的激活。全经验重放（FER）在学习不同层中的神经元的稀疏激活方面提供有效的监督。一个丢失感知的采样策略，以维护内存缓冲区。所提出的方法是不可知的网络结构和任务边界。在不同数据集上的实验表明，我们的方法在减轻遗忘方面达到了最先进的性能。
2022-02-21 cs.CV cs.LG
Sustaining Plasticity via Learnable Wavelet Activations in Continual Learning
Institute of Multimedia Knowledge Fusion and Engineering（多媒体知识融合与工程研究院）
针对持续学习的可塑性损失与谱偏差问题，提出可学习小波激活及动态小波注入等方法，在多基准上实现了先进性能。
2026-08-14 cs.LG
LANCE: Low Rank Activation Compression for Efficient On-Device Continual Learning
Delft University of Technology（代尔夫特理工大学）；Purdue University（普渡大学）
LANCE通过低秩分解实现激活压缩，减少内存和计算成本，提升设备端持续学习效率，实验表明在多个数据集上效果优于传统方法。
2026-03-17 cs.AI cs.LG cs.NE
Similarity-based context aware continual learning for spiking neural networks
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Chinese Academy of Sciences（中国科学院）；Center for Long-term Artificial Intelligence（长期人工智能中心）
提出SCA-SNN，一种基于任务相似性的上下文感知脉冲神经网络持续学习算法，通过选择性重用和扩展神经元，在多个数据集上优于现有SNN和DNN方法，并降低能耗。
2024-10-28 cs.AI cs.LG cs.NE
Selective Knowledge Control for Continual GUI Agent Learning over Application Streams
Beijing Institute of Technology（北京理工大学）；BIGAI（北京智源人工智能研究院）；Wuhan University（武汉大学）；Shenzhen MSU-BIT University（深圳北理莫斯科大学）
针对GUI智能体持续学习中的知识干扰问题，提出基于激活条件的神经元级梯度操控方法，实现选择性知识保留，缓解灾难性遗忘并保持对新应用的适应能力。
2026-10-14 cs.AI cs.CV
InTAct: Interval-based Task Activation Consolidation for Continual Learning
Jagiellonian University（雅盖隆大学）；IDEAS Research Institute（IDEAS研究研究所）
InTAct通过区间方法整合任务激活，提供函数不变性保证，提升持续学习性能。
2026-11-03 cs.AI cs.LG
Continual Learning via Inter-Task Synaptic Mapping
Huazhong University of Science and Technology（华中科技大学）；Nanyang Technological University（南洋理工大学）；Singapore Institute of Manufacturing Technology, A*Star（新加坡科技研究局新加坡制造技术研究院）
从流任务中学习会导致模型灾难性地删除它从以前的事件中吸收的独特体验。虽然诸如LWF、SI、EWC之类的正则化技术已经被证明是通过在接受新概念时约束旧任务的重要参数不改变来克服这个问题的有效途径，但是这些方法不利用可以共享给现有神经元的每个任务的公共信息。因此，它们不能很好地扩展到大规模的问题，因为参数重要性变量会迅速爆炸。提出了一种任务间突触映射（ISYANA）来支持持续学习的知识保持。ISYANA结合了任务与神经元的关系以及概念与概念的关系，从而防止神经元在接受相关概念的同时接受不同的概念。在基准持续学习问题的数值研究已经进行了比较突出的持续学习算法。ISYANA展示了与艺术状态相比具有竞争力的性能。ISYANA的代码在\url{https://github.com/ContinualAL/ISYANAKBS}中提供。
2021-06-26 cs.AI cs.LG
Context selectivity with dynamic availability enables lifelong continual learning
Department of Life Sciences, Department of Computer Sciences（生命科学系、计算机科学系）
本文提出基于上下文选择性和动态可用性的元可塑性规则，通过模拟验证该模型在图像识别和自然语言处理任务中优于现有持续学习算法。
2024-01-25 cs.AI cs.LG
Algorithmic insights on continual learning from fruit flies
Cold Spring Harbor Laboratory（冷泉港实验室）；Simons Center for Quantitative Biology（西蒙斯定量生物学中心）；University of California San Diego（加州大学圣迭戈分校）
由于灾难性遗忘的存在，计算系统中的持续学习具有挑战性。我们在果蝇嗅觉系统中发现了一个两层神经回路，它通过独特地结合稀疏编码和联想学习来解决这一挑战。在第一层中，气味使用稀疏的高维表示进行编码，这通过激活不同气味的非重叠神经元群体来减少记忆干扰。在第二层中，只有气味激活神经元和与气味相关的输出神经元之间的突触在学习过程中被修改;其余的权重被冻结，以防止不相关的记忆被覆盖。我们的经验和分析表明，这种简单和轻量级的算法显着提高持续学习性能。苍蝇联想学习算法是惊人的相似，经典的感知器学习算法，虽然两个修改，我们表明是至关重要的减少灾难性遗忘。总的来说，果蝇进化出了一种有效的终身学习算法，神经科学中的电路机制可以用来改善机器计算。
2021-12-22 cs.LG q-bio.NC
Efficient Architecture Search for Continual Learning
University of Electronic Science and Technology of China（电子科技大学）
使用神经网络的持续学习是AI中的一个重要学习框架，旨在很好地学习一系列任务。然而，它经常面临三个挑战：（1）克服灾难性遗忘问题，（2）使当前网络适应新的任务，同时（3）控制其模型复杂性。为了达到这些目标，我们提出了一种新的方法命名为持续学习与有效的架构搜索，或简称CLEAS。CLEAS与神经架构搜索（NAS）密切合作，NAS利用强化学习技术搜索适合新任务的最佳神经架构。特别是，我们设计了一个神经元级的NAS控制器，它决定了以前任务中的哪些旧神经元应该被重用（知识转移），以及哪些新神经元应该被添加（学习新知识）。这样一个细粒度的控制器允许人们找到一个非常简洁的架构，可以很好地适应每个新任务。同时，由于我们没有改变重用神经元的权重，我们完美地记住了从以前的任务中学到的知识。我们在许多顺序分类任务上评估了CLEAS，结果表明CLEAS优于其他最先进的替代方法，在使用更简单的神经架构的同时实现了更高的分类精度。
2020-06-09 cs.AI cs.LG stat.ML
The Effectiveness of Memory Replay in Large Scale Continual Learning
University of Maryland（马里兰大学）；DeepMind（深度思维）
本文研究了大规模环境下的持续学习问题，其中输入序列中的任务不限于分类，输出可以是高维的。在多种最先进的方法中，我们发现vanilla experience replay（ER）在性能和可扩展性方面仍然非常具有竞争力，尽管它很简单。然而，观察到性能下降的ER与小内存。特征空间的进一步可视化揭示了中间表示经历了分布漂移。虽然现有的方法通常只重放输入输出对，但我们假设它们的正则化效果对于复杂的深度模型和重放缓冲区大小较小的各种任务来说是不够的。根据这一观察，我们建议除了输入输出对之外，还重放中间层的激活。考虑到保存原始激活图会大大增加内存和计算成本，我们提出了压缩激活重放技术，其中层激活的压缩表示保存到重放缓冲区。我们表明，这种方法可以实现优越的正则化效果，同时增加可以忽略不计的内存开销重放方法。在具有不同任务集的大型Taskonomy基准测试和标准公共数据集（Split-CIFAR和Split-miniImageNet）上的实验证明了所提出方法的有效性。
2020-10-06 cs.AI cs.CV cs.LG
Continual Learning via Neural Pruning
New York University（纽约大学）；SLAC National Accelerator Laboratory（SLAC国家加速器实验室）；Facebook AI Research（Facebook人工智能研究）；CIFAR Azrieli Global Scholar（CIFAR Azrieli全球学者（注：CIFAR为机构，但此处为学者头衔，按要求不提取，仅保留前序明确机构））
我们介绍了持续学习通过神经修剪（CLNP），一种新的方法，旨在终身学习的固定容量模型的基础上，神经元模型稀疏。在这种方法中，后续任务使用稀疏网络的非活动神经元和滤波器进行训练，并且对先前任务的性能造成零恶化。为了处理模型稀疏性和性能之间可能存在的折衷，我们形式化并引入了优雅遗忘的概念：如果有助于恢复网络容量并防止在未来任务的训练过程中出现不受控制的性能损失，那么最好以受控的方式进行少量遗忘。CLNP还提供了简单的持续学习诊断工具，用于训练未来任务的自由神经元的数量以及被重用的神经元的数量。特别是，我们在实验中看到，CLNP验证并自动利用了早期层的特征更具可转移性的事实。我们的经验表明，CLNP导致显着改善的结果比目前的重量弹性为基础的方法。
2019-03-11 cs.LG cs.NE q-bio.NC
SPACE-LoRA: Allocating Activation-Subspace Protection for Continual Learning
Korea University（高丽大学）
针对LoRA持续学习中的灾难性遗忘，提出SPACE-LoRA，通过抑制新残差分支在旧任务敏感输入方向的响应并自适应分配保护覆盖，有效缓解干扰。
2026-09-29 cs.AI cs.LG
Network Trimming: A Data-Driven Neuron Pruning Approach towards Efficient Deep Architectures
HKUST（香港科技大学）；SenseTime Group Limited（商汤集团有限公司）
最先进的神经网络正变得越来越深入和广泛。虽然它们的性能随着层数和神经元数量的增加而增加，但设计一个有效的深度架构以降低计算和内存成本至关重要。然而，设计一个有效的神经网络是劳动密集型的，需要许多实验和微调。在本文中，我们介绍了网络修剪，它通过修剪不重要的神经元来迭代优化网络，基于对它们在大型数据集上的输出的分析。我们的算法受到一个观察的启发，即大型网络中相当一部分神经元的输出大多为零，无论网络接收到什么输入。这些零激活神经元是冗余的，可以在不影响网络整体精度的情况下删除。在修剪零激活神经元之后，我们使用修剪之前的权重作为初始化来重新训练网络。我们交替进行修剪和再训练，以进一步减少网络中的零激活。我们在LeNet和VGG-16上的实验表明，我们可以实现高压缩比的参数，而不会损失甚至达到比原始网络更高的精度。
2016-07-12 cs.CV cs.LG cs.NE
Dynamically Modular and Sparse General Continual Learning
NavInfo Europe（四维图新欧洲）；Eindhoven University of Technology（埃因霍温理工大学）
现实世界的应用程序通常需要在不断变化的条件下从数据流中不断学习。当试图从这样的非平稳数据中学习时，深度神经网络（DNN）会经历对先前学习的信息的灾难性遗忘。在避免灾难性遗忘的常见方法中，基于排练的方法已被证明是有效的。然而，由于所有参数都响应于所有任务，因此它们仍然容易由于任务干扰而被遗忘。为了解决这个问题，我们从大脑中的稀疏编码中获得灵感，并引入动态模块化和稀疏性（Dynamos）用于基于排练的一般持续学习。在这种设置中，DNN通过激活相关的神经元子集来学习响应刺激。我们证明了Dynamos在具有挑战性的持续学习评估协议下对多个数据集的有效性。最后，我们表明，我们的方法学习的表示是模块化和专业化的，同时保持可重用性，通过激活与刺激的相似性相对应的重叠的神经元子集。
2023-01-02 cs.AI cs.CV cs.LG
Local Timescale Gates for Timescale-Robust Continual Spiking Neural Networks
提出LT-Gate神经元模型，通过双时间常数与自适应门控结合方差正则化，在持续学习中实现快速适应与长期记忆，显著提升准确率并兼容神经形态硬件。
2026-10-09 cs.LG
SatSOM: Saturation Self-Organizing Maps for Continual Learning
Faculty of Computer Science, AGH University of Krakow（计算机科学系，AGH克拉科夫大学）
SatSOM通过引入饱和机制，逐步降低神经元的学习率和邻域半径，以提升持续学习中的知识保留能力。
2026-03-17 cs.AI cs.LG
Continual One-Shot Learning of Hidden Spike-Patterns with Neural Network Simulation Expansion and STDP Convergence Predictions
University of Adelaide（阿德莱德大学）
本文提出了一种构造性的算法，实现了成功的一次性学习隐藏的尖峰模式在竞争检测任务。先前已经表明（Masquelier等人，2008），尖峰时间依赖性可塑性（STDP）和侧抑制可以导致神经元竞争性地调谐到隐藏在高速率的整体突触前活动中的重复尖峰模式。一次性构建神经元与突触权重计算收敛STDP结果的估计结果在隐藏的尖峰模式的立即选择性检测。连续学习的能力证明了通过成功的一次检测新的一组尖峰模式后，在模拟时间长的间隔。模拟扩展（Lighthearts等人，2013）已经被提出作为开发与生物神经网络的模拟兼容的构造性算法的方法。生物神经网络的模拟可以具有比相关生物神经系统少几个数量级的神经元和连接;因此，模拟的神经网络可以被假设为更大神经系统的子集。建设性的算法开发使用模拟扩展的概念来执行相当于模拟和更大的假设神经系统之间的神经元交换的操作。在更大的神经系统（假设的或存储在存储器中的）内模拟的神经元的动态选择可以是机器学习和生物学模拟中的广泛开发和应用的起点。
2017-08-30 cs.CV q-bio.NC stat.ML
Visual DNA: Representing and Comparing Images using Distributions of Neuron Activations
University of Oxford（牛津大学）
本文提出Visual DNA，用冻结特征提取器的神经元激活分布紧凑表示图像与数据集，支持可定制的细粒度差异比较，并在多类视觉任务和数据集上验证其有效性。
2023-04-20 cs.CV
TriRE: A Multi-Mechanism Learning Paradigm for Continual Knowledge Retention and Promotion
NavInfo Europe（四维图新欧洲）；Eindhoven University of Technology (TU/e)（埃因霍温理工大学）；TomTom（TomTom公司）
TriRE提出一种受大脑多机制启发的持续学习范式，通过保留突出神经元、巩固知识并促进低活跃神经元，显著减少任务干扰并超越现有方法。
2023-10-12 cs.AI cs.CV cs.LG
Learning to Continually Learn
University of Vermont（佛蒙特大学）；Uber AI Labs（优步人工智能实验室）；OpenAI（开放人工智能研究中心）
持续的终身学习要求智能体或模型学习许多顺序排列的任务，建立在以前的知识基础上，而不会灾难性地忘记它。许多工作都是为了防止机器学习模型的默认趋势灾难性地忘记，但几乎所有这些工作都涉及手动设计的问题解决方案。相反，我们提倡元学习，这是一种解决灾难性遗忘的方法，允许人工智能学习不断学习。受大脑中神经调节过程的启发，我们提出了一种神经调节元学习算法（ANML）。它通过顺序学习过程进行区分，以元学习激活门控功能，该功能能够在深度神经网络内实现上下文相关的选择性激活。具体来说，神经调节（NM）神经网络门控另一个（否则正常）称为预测学习网络（PLN）的神经网络的前向传递。因此，NM网络还间接地控制PLN的选择性可塑性（即，PLN的后向传递）。ANML能够实现持续学习，而不会大规模发生灾难性遗忘：它产生最先进的持续学习性能，连续学习多达600个类（超过9，000个SGD更新）。
2020-03-04 cs.CV cs.LG cs.NE
Hebbian Learning based Orthogonal Projection for Continual Learning of Spiking Neural Networks
School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）；School of Public Health, Peking University（北京大学公共卫生学院）；Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）；Peng Cheng Laboratory（鹏城实验室）
针对脉冲神经网络的灾难性遗忘问题，提出基于侧向连接和赫布学习的正交投影方法，通过提取主子空间保护旧知识，在多种监督训练下实现接近零遗忘并优于现有方法。
2024-02-19 cs.AI cs.LG cs.NE
Robust Continual Learning through a Comprehensively Progressive Bayesian Neural Network
本文提出了一种全面渐进的贝叶斯神经网络，用于对一系列任务进行鲁棒的持续学习。贝叶斯神经网络被逐步修剪和生长，使得有足够的网络资源来表示任务序列，同时网络不会爆炸。它始于这样一种争论，即相似的任务应该具有相同数量的总网络资源，以确保持续学习场景中所有任务的公平表示。因此，作为新任务流的数据，足够的神经元被添加到网络，使得网络的每一层中的神经元的总数（包括与先前任务的共享表示和个体任务相关表示）对于所有任务都是相等的。在训练每个任务结束时冗余的权重也通过重新初始化进行修剪，以便在后续任务中有效地利用。因此，网络逐渐增长，但确保了网络资源的有效利用。我们将我们提出的方法称为“通过全面渐进贝叶斯神经网络（RCL-CPB）的鲁棒持续学习”，并在三种不同的持续学习场景下对MNIST数据集进行评估。此外，我们评估的性能RCL-CPB上的同质序列的任务使用分裂CIFAR 100（20个任务，每个5类），和一个异构序列的任务使用MNIST，SVHN和CIFAR 10数据集。实验结果表明，所提出的渐进式BNN学习策略能够实现鲁棒的持续学习。
2022-02-27 cs.LG
A Study of Biologically Plausible Neural Network: The Role and Interactions of Brain-Inspired Mechanisms in Continual Learning
NavInfo Europe（纳维信息欧洲公司）；Eindhoven University of Technology（埃因霍温理工大学）
本文研究生物合理性神经网络中稀疏表征、赫布学习、突触巩固与激活回放等脑启发机制的协同作用，证明多机制互补架构可有效缓解人工神经网络的灾难性遗忘，实现持续学习。
2023-04-13 cs.AI cs.CV cs.LG
Distillation-Guided Structural Transfer for Continual Learning Beyond Sparse Distributed Memory
本文提出Selective Subnetwork Distillation (SSD)，通过结构引导的持续学习框架，利用知识蒸馏实现跨任务知识重用，提升稀疏持续学习的准确率和保留率。
2025-12-17 cs.LG
SpikeDyn: A Framework for Energy-Efficient Spiking Neural Networks with Continual and Unsupervised Learning Capabilities in Dynamic Environments
Technische Universität Wien (TU Wien)（维也纳工业大学）；New York University Abu Dhabi (NYUAD)（纽约大学阿布扎比分校）
脉冲神经网络（SNN）由于其生物可扩展性而具有高效无监督和持续学习能力的潜力，但其复杂性仍然构成了一个严峻的研究挑战，以使其能够在资源受限的场景（如嵌入式系统，IoT边缘等）中进行节能设计。我们提出了SpikeDyn，一个全面的框架，能源效率的SNN与持续和无监督学习能力，在动态环境中，为训练和推理阶段。它是通过以下多种不同的机制实现的：1）通过用直接侧向抑制代替抑制性神经元来减少神经元操作; 2）记忆和能量受限的SNN模型搜索算法，其采用分析模型来估计不同候选SNN模型的记忆足迹和能量消耗，并选择帕累托最优SNN模型;以及3）轻量级的连续和无监督学习算法，其采用自适应学习率、自适应膜阈值电位、权重衰减以及虚假更新的减少。我们的实验结果表明，对于一个有400个兴奋性神经元的网络，我们的SpikeDyn减少了平均51%的训练能耗和37%的推理能耗，与最先进的。由于改进的学习算法，SpikeDyn提供了平均。与最先进的技术相比，对最近学习的任务进行分类的准确率提高了21%，对以前学习的任务的平均准确率提高了8%。
2021-02-28 cs.AI cs.AR cs.LG
Alchemist: Towards the Design of Efficient Online Continual Learning System
The University of Chicago（芝加哥大学）；Microsoft Research（微软研究院）
针对在线持续学习中训练与服务分离导致的重复计算问题，提出Alchemist系统，通过复用服务激活、选择性存储及智能卸载，最高提升1.72倍训练吞吐并降低47%内存。
2025-03-14 cs.CL cs.DC cs.LG
PASs-MoE: Mitigating Misaligned Co-drift among Router and Experts via Pathway Activation Subspaces for Continual Learning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；National University of Singapore（新加坡国立大学）；Southeast University, Nanjing, China（南京东南大学）；Wuhan AI Research, Wuhan, China（武汉人工智能研究院）
研究持续指令调整中多模态大语言模型的问题，提出基于路径激活子空间的固定容量PASs - MoE - LoRA方法，含PAS引导的重新加权和PAS感知的秩稳定，实验表明该方法在准确性和抗遗忘性上优于基线和变体且不增参数。
2026-07-20 cs.AI cs.LG
From Weights to Features: SAE-Guided Activation Regularization for LLM Continual Learning
The Hong Kong University of Science and Technology（香港科技大学）
针对大语言模型持续学习中的灾难性遗忘问题，提出利用预训练稀疏自编码器（SAE）在激活空间进行正则化，通过特征掩码平衡稳定性和可塑性，无需旧任务数据，内存效率高，在TRACE和MedCL基准上超越EWC等方法。
2026-06-26 cs.CL cs.LG
Spiking Neural Predictive Coding for Continual Learning from Data Streams
Rochester Institute of Technology（罗切斯特理工学院）
为了在专门的神经形态硬件中进行节能计算，我们提出了尖峰神经编码，这是基于预测编码理论的一系列人工神经模型的实例。这种模型是同类模型中的第一个，其工作原理是在一个永无止境的“猜测和检查”过程中运行，其中神经元预测彼此的活动值，然后调整自己的活动以做出更好的未来预测。我们的系统的交互式，迭代的性质很好地适合到连续时间的制定的感觉流预测，正如我们所展示的，该模型的结构产生一个本地突触更新规则，它可以用来补充或作为替代在线尖峰定时依赖可塑性。在这篇文章中，我们实验了一个由泄漏的积分和点火单元组成的模型的实例。然而，我们的系统所处的框架可以自然地包含更复杂的神经元，例如Hodgkin-Huxley模型。我们在模式识别的实验结果表明，当二进制尖峰列车是神经元间通信的主要范例时，该模型的潜力。值得注意的是，尖峰神经编码在分类性能方面具有竞争力，并且在从任务序列学习时经历较少的遗忘，为流行的人工神经网络提供了一种计算上更经济，生物学上更合理的替代方案。
2022-08-08 cs.LG cs.NE q-bio.NC
Continual Personalization for Diffusion Models
National Taiwan University（国立台湾大学）；Qualcomm Technologies, Inc.（高通技术公司）
针对扩散模型持续更新中的灾难性遗忘与计算挑战，提出概念神经元选择（CNS）策略，通过增量微调相关神经元并保留旧知识，以最小参数调整实现单/多概念个性化最先进性能，且免融合降低存储与时间开销。
2025-10-02 cs.CV cs.LG
Linear Explanations for Individual Neurons
UC San Diego（加州大学圣迭戈分校）；HDSI, UC San Diego（加州大学圣迭戈分校数据科学与创新研究所）
针对现有神经元解释仅关注最高激活的不足，本文提出将神经元视为概念的线性组合，给出高效线性解释方法，并通过视觉场景模拟评估描述质量。
2024-05-10 cs.CV cs.LG
Adversarial Attacks on the Interpretation of Neuron Activation Maximization
University of Concordia（康考迪亚大学）；Mila – Quebec AI Institute（Mila——魁北克人工智能研究所）；Columbia University（哥伦比亚大学）；Flatiron Institute（熨斗研究所）
本研究针对深度神经网络激活最大化解释方法易被欺骗的问题，提出了操纵模型以误导解释的对抗概念及优化框架，展示了CNN相关解释技术的可操纵性，揭示了这类方法的可靠性隐患。
2023-06-12 cs.CV cs.LG
Hard ASH: Sparsity and the right optimizer make a continual learner
针对类增量学习中的灾难性遗忘问题，本文证明采用稀疏激活函数ASH及其新变体Hard ASH与自适应学习率优化器的MLP，在Split-MNIST任务上能有效保持学习并媲美既有正则化技术。
2024-04-26 cs.CV cs.LG
Towards Utilising a Range of Neural Activations for Comprehending Representational Associations
University of Limerick（利默里克大学）
本文指出仅分析极值神经元激活无法全面理解深度网络表征，提出研究非极值水平激活中的统计关联以定位混淆概念，并开发方法利用中间范围logit样本重训练以缓解伪相关。
2024-11-15 cs.CV cs.LG
q-Neurons: Neuron Activations based on Stochastic Jackson's Derivative Operators
Sony Computer Science Laboratories, Inc.（索尼计算机科学实验室公司）；Data61
我们提出了一种新的通用类型的随机神经元，称为$q$ -神经元，认为激活函数的基础上杰克逊的$q$ -衍生物的随机参数$q$。我们的神经网络架构与$q$ -神经元的推广被证明是可扩展的，非常容易实现。我们通过实验证明了在训练和测试损失函数时，与最先进的标准激活函数相比，性能得到了一致的改善。
2018-06-14 cs.LG cs.NE stat.ML
Spectral structural distortion reveals redundant neurons in neural networks
MTU（密苏里大学）
本文提出了一种基于谱结构扭曲的神经元冗余判定方法，通过分析神经网络层变换前后的关系结构，识别可移除的神经元并保持任务性能。
2026-05-20 cs.CV cs.LG
APTx Neuron: A Unified Trainable Neuron Architecture Integrating Activation and Computation
Department of Computer Science, Meerut Institute of Engineering and Technology（计算机科学系，梅尔图理工学院）
APTx 神经元通过整合激活与计算，实现了统一且高效的神经元设计，展示了在 MNIST 数据集上高达 96.69% 的准确率。
2026-08-05 cs.AI cs.CV cs.LG
Understanding CNN Hidden Neuron Activations Using Structured Background Knowledge and Deductive Reasoning
Kansas State University（堪萨斯州立大学）；Bowie State University（鲍伊州立大学）
本文提出结合维基百科大规模背景知识与基于描述逻辑的概念归纳推理方法，自动为CNN隐藏神经元生成并验证可解释标签，解决黑箱可解释性难题。
2023-08-09 cs.AI cs.CV cs.LG
Neuron merging via inverse-activation regression for post-training compression of sigmoid neural networks
Saitama University（埼玉大学）
本文提出基于逆激活回归的神经元合并方法，结合聚类与最小二乘估计，实现sigmoid网络训练后压缩，并验证权重与激活信息在合并中的不同作用。
2026-10-05 cs.LG
Measure gradients, not activations! Enhancing neuronal activity in deep reinforcement learning
Hong Kong University of Science and Technology（香港科技大学）；Mila - Québec AI Institute（魁北克AI研究所）；Université de Montréal（蒙特利尔大学）
本文提出GraMa用于衡量深度强化学习中神经元的学习能力，通过梯度而非激活来增强神经元活动，提升学习性能。
2026-01-31 cs.LG
Neuron Activation Coverage: Rethinking Out-of-distribution Detection and Generalization
City University of Hong Kong（香港城市大学）；The University of Tokyo（东京大学）
该研究从神经元激活视角研究分布外（OOD）问题，提出神经元激活覆盖度（NAC）指标，既实现了更优的OOD检测效果，又可作为评估模型鲁棒性的有效准则。
2024-03-11 cs.LG
Calibrated Partial Resets: Preventing Policy Collapse in Continual Reinforcement Learning
研究连续强化学习中神经网络训练问题，提出校准部分重置（CPR）优化器，定期拉低效用神经元至初始化，拉动强度依效用缩放。该方法避免策略崩溃，在多基准测试中表现优，揭示可塑性与峰值性能权衡，为连续学习提供新方向。
2026-07-29 cs.AI cs.LG cs.RO
A More Accurate Approximation of Activation Function with Few Spikes Neurons
Seoul National University of Science and Technology（首尔科学技术大学）；Korea Institute of Science and Technology（韩国科学技术研究院）
本文提出基于趋势的参数初始化方法TBPI，利用时间依赖性改善少脉冲神经元训练，从而更精确地逼近Swish等复杂非线性激活函数。
2024-08-19 cs.LG cs.NE
Mastering Continual Reinforcement Learning through Fine-Grained Sparse Network Allocation and Dormant Neuron Exploration
IHPC, Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局IHPC）；College of Computing and Data Science, Nanyang Technological University (NTU)（南洋理工大学计算与数据科学学院）
本文提出SSDE方法，通过结构化稀疏性下的细粒度参数分配和敏感性引导的休眠神经元再激活机制，在持续强化学习中同时提升可塑性与稳定性，并在CW10-v1基准上以95%成功率取得最优性能。
2025-03-10 cs.LG
Disentangling Polysemantic Neurons with a Null-Calibrated Polysemanticity Index and Causal Patch Interventions
BITS Pilani, India（印度比特学院）
针对神经网络多义神经元导致机制可解释性复杂的问题，提出零校准多义性指数（PSI）量化神经元激活的语义簇分解，通过三个校准组件计算，经ResNet-50实验验证有效，为多义单元研究提供实用工具。
2025-08-23 cs.CV cs.LG
NeuronScope: A Multi-Agent Framework for Explaining Polysemantic Neurons in Language Models
Wuhan University（武汉大学）；Hong Kong Baptist University（香港 Baptist大学）；New Jersey Institute of Technology（新泽西理工学院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
NeuronScope通过多智能体框架迭代优化神经元解释，揭示语言模型中隐藏的多义性并提升解释的激活相关性。
2026-01-07 cs.CL cs.LG
Dropout Prediction Uncertainty Estimation Using Neuron Activation Strength
UIUC（伊利诺伊大学厄巴纳-香槟分校）；Google, Inc.（谷歌公司）
Dropout常被用来量化预测的不确定性，即在给定的输入样本上模型预测的变化。然而，在实践中使用dropout可能是昂贵的，因为它需要多次运行dropout推断。在本文中，我们研究了如何以资源有效的方式估计辍学预测的不确定性。我们证明了我们可以使用神经元激活强度来估计不同dropout设置下的dropout预测不确定性，并使用三个大型数据集MovieLens，Criteo和EMNIST进行各种任务。我们的方法提供了一个推理一次的方法来估计辍学预测的不确定性作为一个廉价的辅助任务。我们还证明，使用激活功能的神经网络层的子集可以足以实现不确定性估计的性能几乎可以与使用激活功能的所有层，从而减少资源，甚至进一步为不确定性估计。
2022-06-16 cs.LG
Investigating Neuron Ablation in Attention Heads: The Case for Peak Activation Centering
本文系统比较了Transformer注意力头中零消融、均值消融、激活重采样及新提出的峰值消融四种神经元消融方法，发现不同模型与条件下各方法均可实现最低性能退化，而重采样通常退化最严重。
2024-08-30 cs.AI cs.CL cs.CV
A New Artificial Neuron Proposal with Trainable Simultaneous Local and Global Activation Function
Universidade Federal Rural de Pernambuco（伯南布哥联邦农村大学）；Harvard University（哈佛大学）
The activation function plays a fundamental role in the artificial neural network learning process. However, there is no obvious choice or procedure to determine the best activation function , which depends on the problem. This study proposes a new artificial neuron, named global-local neuron, with a trainable activation function composed of two components, a global and a local. The global component term used here is relative to a mathematical function to describe a general feature present in all problem domain. The local component is a function that can represent a localized behavior, like a …
2021-01-15 cs.LG cs.NE
Non-linear Neurons with Human-like Apical Dendrite Activations
University of Bucharest（布加勒斯特大学）；University Politehnica of Bucharest（布加勒斯特理工大学）；University of Trento（特伦托大学）
本文提出顶端树突激活（ADA）及锥体神经元模型PyNADA，使单神经元能学习非线性决策边界，并在多个基准数据集上超越ReLU等激活函数。
2023-08-10 cs.CV cs.LG cs.NE
Explaining Deep Learning Hidden Neuron Activations using Concept Induction
Kansas State University（堪萨斯州立大学）；University of Hartford（哈特福德大学）
可解释人工智能目前面临的主要挑战之一是正确解释隐藏神经元的激活。很明显，对其的准确解释将提供对以下问题的见解：深度学习系统内部具有什么\emph{detected}作为与输入相关的，从而解除了深度学习系统的一些黑盒特征。这方面的最新技术表明，至少在某些情况下，隐藏节点的激活似乎可以以一种对人类有意义的方式进行解释。然而，能够首先假设隐藏神经元激活的解释，然后验证它的系统自动化方法大多缺失。在本文中，我们提供了这样一种方法，并证明它提供了有意义的解释。它是基于使用大规模的背景知识--一个类层次结构，大约200万个类来自维基百科概念层次结构--以及一种名为\emph{concept induction}的符号推理方法，该方法基于最初为语义Web领域的应用程序开发的描述逻辑。我们的研究结果表明，我们可以自动附加有意义的标签，从背景知识的密集层的卷积神经网络通过一个假设和验证过程中的单个神经元。
2023-01-23 cs.LG
Interpolation with deep neural networks with non-polynomial activations: necessary and sufficient numbers of neurons
University of British Columbia（不列颠哥伦比亚大学）
该研究证明只要激活函数在某点实解析且非多项式，前馈神经网络插值n个通用输入输出对仅需Θ(√(nd'))个神经元，突破了此前仅适用于特定激活函数的限制，表明可依问题自由选激活函数且不损失插值能力。
2024-09-16 cs.LG math.OC
Negative Pre-activations Differentiate Syntax
MIT（麻省理工学院）；Red Hat AI（红帽人工智能）
研究发现，Wasserstein神经元中的负预激活在句法处理中起关键作用，其删除显著影响语法性能，而其他神经元的删除影响较小。
2026-03-01 cs.LG
