Continual Learning Approaches for Anomaly Detection
University of Padova（帕多瓦大学）；Statwolf Data Science Srl（Statwolf数据科学有限公司）
针对持续学习场景下图像异常检测研究不足的问题，本文提出 SCALE 压缩回放方法，利用超分辨率模型缩放压缩图像，并构建真实像素级异常基准，验证其在保持重建质量的同时可取得最优效果。
2024-09-05 cs.CV
FETCH: A Memory-Efficient Replay Approach for Continual Learning in Image Classification
Faculty of Electrical Engineering and Information Technology, Chemnitz University of Technology（德国 Chemnitz 工业大学 电气工程与信息技术学院）；Institute for Computational Visualistics, University of Koblenz（科布伦茨大学 计算视觉学研究所）
FETCH提出两阶段压缩回放方法，在GDumb流程中评估压缩技术，通过预训练编码和压缩存储提高CIFAR10和CIFAR100的准确率，简单压缩优于深度自编码器。
2024-07-17 cs.CV cs.LG
Skeleton-based Gait Index Estimation with LSTMs
在本文中，我们提出了一种方法，估计一个序列的骨骼步态指数。我们的系统是由长短期记忆（LSTM）构成的编码器和解码器的堆栈。在编码阶段，输入的特征被自动确定并被压缩到潜在空间中。然后，解码阶段尝试根据这样的中间表示来重构输入。因此，重建误差被认为是一个弱步态指标。通过在长时间运动中结合这些弱指数，我们的系统可以提供对步态指数的良好估计。我们在一个大数据集（近十万骨架）上的实验表明，该方法给出的索引优于最近的一些步态分析工作。
2019-08-17 cs.CV
Sample Condensation in Online Continual Learning
University of Pisa（比萨大学）；Scuola Normale Superiore（比萨高等师范学院）
在线持续学习是一个具有挑战性的学习场景，模型必须从非平稳的数据流中学习，其中每个样本只看到一次。主要的挑战是在增量学习的同时避免灾难性遗忘，即在从新数据学习的同时忘记先前获得的知识的问题。在这些情况下，一个流行的解决方案是使用一个小内存来保留旧数据，并随着时间的推移排练它们。不幸的是，由于内存大小有限，内存的质量会随着时间的推移而恶化。在本文中，我们提出了OLCGM，一种新的重放为基础的持续学习策略，使用知识浓缩技术，不断压缩内存，实现更好地利用其有限的大小。样本压缩步骤压缩旧样本，而不是像其他重放策略那样删除它们。因此，实验表明，只要内存预算与数据的复杂性相比是有限的，OLCGM与最先进的重放策略相比，提高了最终的准确性。
2022-06-23 cs.AI cs.CV cs.LG
PoseAdapt: Sustainable Human Pose Estimation via Continual Learning Benchmarks and Toolkit
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
PoseAdapt通过持续学习基准和工具包实现可持续的人体姿态估计，提供持续学习方法的评估和模型适应框架，以提高模型适应性并减少重复训练需求。
2026-02-25 cs.CV
Low-Complexity Inference in Continual Learning via Compressed Knowledge Transfer
Nokia Bell Labs（诺基亚贝尔实验室）
针对持续学习中大型预训练模型推理成本高的问题，提出结合剪枝与知识蒸馏的两种类别增量学习框架，在准确率和推理复杂度间取得更优权衡。
2025-05-13 cs.AI cs.LG
CRAM: Large-scale Video Continual Learning with Bootstrapped Compression
Visual Geometry Group, University of Oxford（牛津大学视觉几何组）
针对视频持续学习的高内存需求问题，提出CRAM方法，通过在线压缩存储视频编码并定期刷新以缓解遗忘，在大型基准上以低内存实现更优性能。
2025-08-07 cs.CV cs.LG cs.PF
Neural Subspace Reallocation: Continual Learning as Retrieval-Based Subspace Memory Management
Independent Researcher（独立研究者）
提出神经子空间重分配（NSR），通过SVD压缩、相似性检索和重分配循环管理参数子空间内存，在循环环境中实现10倍恢复速度提升，并证明记忆机制比学习策略更关键。
2026-06-29 cs.AI cs.CV cs.LG
ASMa: Asymmetric Spatio-temporal Masking for Skeleton Action Representation Learning
ASMa通过非对称时空掩码策略提升骨骼动作表示学习，实现更全面的特征表示，并在资源受限设备上高效部署。
2026-02-05 cs.AI cs.CV
Ex-Model: Continual Learning from a Stream of Trained Models
University of Pisa（比萨大学）；Scuola Normale Superiore（比萨高等师范学校）
从非平稳数据流中持续学习是一个具有挑战性的研究课题，在过去的几年里越来越受欢迎。能够以高效，有效和可扩展的方式不断学习，适应和概括是人工智能系统可持续发展的基础。然而，以代理为中心的持续学习的观点需要直接从原始数据中学习，这限制了独立代理之间的交互，效率和当前方法的隐私。相反，我们认为，持续学习系统应该利用压缩信息的训练模型的形式的可用性。在本文中，我们介绍并正式命名为"前模型持续学习"（ExML），其中一个代理学习从一个序列的先前训练的模型，而不是原始数据的新范式。我们进一步贡献了三个前模型持续学习算法和经验设置，包括三个数据集（MNIST，CIFAR-10和CORe50），和八个场景，其中所提出的算法进行了广泛的测试。最后，我们突出了前模型范式的特点，我们指出有趣的未来研究方向。
2021-12-13 cs.AI cs.CV cs.LG
The Effectiveness of Memory Replay in Large Scale Continual Learning
University of Maryland（马里兰大学）；DeepMind（深度思维）
本文研究了大规模环境下的持续学习问题，其中输入序列中的任务不限于分类，输出可以是高维的。在多种最先进的方法中，我们发现vanilla experience replay（ER）在性能和可扩展性方面仍然非常具有竞争力，尽管它很简单。然而，观察到性能下降的ER与小内存。特征空间的进一步可视化揭示了中间表示经历了分布漂移。虽然现有的方法通常只重放输入输出对，但我们假设它们的正则化效果对于复杂的深度模型和重放缓冲区大小较小的各种任务来说是不够的。根据这一观察，我们建议除了输入输出对之外，还重放中间层的激活。考虑到保存原始激活图会大大增加内存和计算成本，我们提出了压缩激活重放技术，其中层激活的压缩表示保存到重放缓冲区。我们表明，这种方法可以实现优越的正则化效果，同时增加可以忽略不计的内存开销重放方法。在具有不同任务集的大型Taskonomy基准测试和标准公共数据集（Split-CIFAR和Split-miniImageNet）上的实验证明了所提出方法的有效性。
2020-10-06 cs.AI cs.CV cs.LG
Learning to Classify New Foods Incrementally Via Compressed Exemplars
Elmore School of Electrical and Computer Engineering, Purdue University（普渡大学埃尔莫尔电气与计算机工程学院）
针对食品图像分类系统因静态数据集无法适配动态食品数据、持续学习中存在灾难性遗忘且内存缓冲区容量有限的问题，提出基于持续学习的神经图像压缩方法扩展缓冲区存储更多样本，在多个数据集上提升了分类准确率，且方法可推广至其他持续学习领域。
2024-04-11 cs.CV eess.IV
SPACE: Structured Compression and Sharing of Representational Space for Continual Learning
Purdue University（普渡大学）
人类在一生中不断地适应性地、有效地学习。然而，增量学习任务会导致人工神经网络覆盖关于旧任务学习到的相关信息，导致“灾难性遗忘”。克服这种现象的努力往往利用资源不佳，例如，通过增长网络架构或需要保存参数重要性分数，或违反任务之间的数据隐私。为了解决这个问题，我们提出了SPACE，一种算法，通过将学习空间划分为核心空间和剩余空间，使网络能够持续有效地学习，核心空间作为先前学习任务的浓缩知识库，剩余空间类似于用于学习当前任务的暂存空间。在学习每个任务之后，残差被分析其自身内以及与学习的核心空间的冗余。解释当前任务所需的最小数量的额外维度被添加到核心空间，剩余的残差被释放用于学习下一个任务。我们评估我们的算法P-MNIST，CIFAR和一系列的8个不同的数据集，并实现可比的准确性，以国家的最先进的方法，同时克服灾难性遗忘。此外，我们的算法非常适合于实际使用。分区算法一次性分析所有层，确保可扩展到更深的网络。此外，对维度的分析转化为过滤器级别的稀疏性，并且由此产生的架构的结构化性质使我们在任务推理期间的能源效率比当前最先进的技术提高了5倍。
2021-02-03 cs.CV cs.LG stat.ML
Memory Efficient Continual Learning for Edge-Based Visual Anomaly Detection
University of Padova（帕多瓦大学）
针对边缘设备资源受限及数据动态变化挑战，研究视觉异常检测的持续学习问题，发现PaSTe方法结合Compressed Replay技术在提升检测性能的同时大幅降低内存开销。
2025-03-04 cs.AI cs.CV
Smaller Is Better: An Analysis of Instance Quantity/Quality Trade-off in Rehearsal-based Continual Learning
Ca’ Foscari University（威尼斯大学）
随着可用于学习系统的数据的大小和异质性的增加，能够在动态变化的环境中学习的机器和算法的设计已经成为越来越热门的问题。因此，持续学习的关键问题已经成为解决连接主义系统的稳定性-可塑性困境的问题，因为它们需要在不忘记先前获得的知识的情况下调整其模型。在这种情况下，基于排练的方法，即，的解决方案，学习者利用内存重温过去的数据，已被证明是非常有效的，导致性能在国家的最先进的。在我们的研究中，我们提出了一个分析的内存数量/质量的权衡采用各种数据减少的方法，以增加存储在内存中的实例的数量。特别是，我们研究了复杂的实例压缩技术，如深度编码器，但也有一些琐碎的方法，如图像压缩和线性降维。我们的研究结果表明，最佳的权衡是严重偏向实例数量，排练方法与几个严重压缩的实例很容易优于国家的最先进的方法与相同数量的内存在他们的处置。此外，在高存储器配置中，提取空间结构的深度方法与极限训练（$8\times8$图像的数量级）相结合产生最佳结果，而在存储器受限的配置中，由于训练中的存储器要求而无法使用深度方法，极限学习机（ELM）提供了明显的优势。
2022-04-29 cs.CV
Regularize, Expand and Compress: Multi-task based Lifelong Learning via NonExpansive AutoML
Arizona State University（亚利桑那州立大学）；University of Southern California（南加利福尼亚大学）；Samsung Research America（三星美国研究院）
终身学习，即任务按顺序到达的持续学习问题，最近在计算机视觉界引起了越来越多的关注。终身学习的目标是开发一个系统，可以学习新的任务，同时保持以前学习的任务的性能。然而，深度神经网络的终身学习存在两个障碍：灾难性遗忘和容量限制。为了解决上述问题，受到最近自动学习良好神经网络架构的突破的启发，我们通过非扩展的AutoML框架开发了一个基于多任务的终身学习，称为正则化，扩展和压缩（REC）。REC由三个阶段组成：1）通过新提出的多任务权重合并（MWC）算法，在没有已学习任务数据的情况下持续学习顺序任务; 2）通过基于网络转换的AutoML扩展网络，以帮助终身学习，从而潜在地提高模型能力和性能; 3）在学习每个新任务后压缩扩展的模型，以保持模型的效率和性能。建议MWC和REC算法实现优于其他终身学习算法在四个不同的数据集上的性能。
2019-03-20 cs.CV cs.LG
Are Current Continual Learning Methods Truly Agnostic? Introducing OPRE, a Step Toward Agnostic Continual Learning
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Univ. Savoie Mont Blanc（萨瓦大学勃朗峰分校）；CNRS（法国国家科学研究中心）；U. de Bourgogne Europe（勃艮第欧洲大学）
研究持续学习中灾难性遗忘问题，指出多数方法有先验信息非不可知。提出在线补丁冗余消除器OPRE，通过输入空间标准丢弃信息，在CIFAR 10和CIFAR - 100上性能良好，优于GDumb，为持续学习提供新视角。
2026-07-10 cs.CV cs.LG
Anytime Continual Learning for Open Vocabulary Classification
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
该研究提出面向开放词汇图像分类的随时持续学习方法，通过动态加权融合预测与注意力加权PCA特征压缩，实现任意时间灵活预测更新且低开销，性能优于现有方法。
2024-09-13 cs.CV cs.LG
Forget-free Continual Learning with Soft-Winning SubNetworks
KAIST（韩国科学技术院）
受正则化彩票假说（RLTH）的启发，该假说指出，竞争性光滑（非二进制）子网络存在于一个密集的网络中的持续学习任务，我们研究了两个建议的基于架构的持续学习方法，顺序学习和选择自适应二进制（WSN）和非二进制软子网（SoftNet）为每个任务。WSN和SoftNet共同学习与每个任务相关联的子网络的正则化模型权重和任务自适应非二进制掩码，同时尝试通过重用先前子网络的权重来选择要激活的一小组权重（中奖票）。我们提出的无线传感器网络和软网络是固有的免疫灾难性遗忘，因为每个选定的子网络模型不侵犯其他子网络的任务增量学习（TIL）。在TIL中，每个中奖彩票产生的二进制掩码被编码成一个N位二进制数字掩码，然后使用霍夫曼编码进行压缩，以使网络容量与任务数量呈次线性增长。令人惊讶的是，在推理步骤中，通过向所获取的WSN的背景注入小噪声（保持WSN的前景）而生成的软网为TIL中的未来任务提供了出色的前向传输能力。SoftNet在Few-Shot Class Incremental Learning（FSCIL）中的一些示例中显示了其在正则化参数以解决过拟合方面优于WSN的有效性。
2023-03-27 cs.AI cs.CV cs.LG
Graph-Skeleton: ~1% Nodes are Sufficient to Represent Billion-Scale Graph
The Ohio State University（俄亥俄州立大学）；Zhejiang University（浙江大学）；FinVolution Group（FinVolution集团）
针对大规模网络图挖掘的存储与计算挑战，本文提出Graph-Skeleton模型，通过提取压缩背景节点，实现用约1%节点表征十亿级图且性能高度相当，为目标节点分类提供了高效方案。
2024-03-06 cs.AI
Branch-Tuning: Balancing Stability and Plasticity for Continual Self-Supervised Learning
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Centre for Artificial Intelligence and Robotics, Hong Kong Institute of Science and Innovation, Chinese Academy of Sciences（中国科学院香港创新研究院人工智能与机器人中心）
本文提出Branch-tuning方法，通过分析批归一化与卷积层的作用，在不修改原方法或保留旧数据的前提下平衡持续自监督学习中的稳定性与可塑性。
2024-03-27 cs.CV cs.LG
LightCL: Compact Continual Learning with Low Memory Footprint For Edge Device
Xidian University（西安电子科技大学）
本文提出 LightCL，通过评估并冻结神经网络中已泛化组件、稳定特征模式，在边缘设备上以极低内存开销实现高效持续学习，最多减少 6.16 倍内存占用。
2025-03-08 cs.AI cs.CV cs.LG
Continual Gesture Learning without Data via Synthetic Feature Sampling
Carnegie Mellon University（卡内基梅隆大学）
本研究针对基于骨架的手势分类场景，提出合成特征重放（SFR）方法，通过从类别原型采样合成特征实现无数据类别增量学习，平均准确率最高提升15%，缓解新旧类别准确率失衡。
2025-03-19 cs.AI cs.CV
LifeLearner: Hardware-Aware Meta Continual Learning System for Embedded Computing Platforms
University of Cambridge（剑桥大学）；University of Southampton（南安普顿大学）；Samsung AI Center, Cambridge（三星AI中心（剑桥））
本文提出LifeLearner，一个硬件感知的元持续学习系统，通过结合元学习、重放策略及无损有损压缩技术，在确保高准确率的同时大幅降低内存、延迟和能耗，成功在资源受限的嵌入式边缘设备上实现高效持续学习。
2023-11-19 cs.AI cs.CV cs.LG
Memory-efficient Continual Learning with Prototypical Exemplar Condensation
College of Engineering and Computer Science, VinUniversity（VinUniversity工程与计算机科学学院）；Center for Environmental Intelligence, VinUniversity（VinUniversity环境智能中心）；Center for AI Research, VinUniversity（VinUniversity人工智能研究中心）；Faculty of Information Systems, Phenikaa University（Phenikaa大学信息系统学院）
本文提出通过合成和存储原型示例压缩内存，结合扰动增强机制提升持续学习性能，在大规模数据集和多任务场景中表现更优。
2026-04-10 cs.AI cs.LG
Continual Spatio-Temporal Graph Convolutional Networks
Aarhus University（奥胡斯大学）
基于图的骨架数据推理已经成为一种很有前途的人类动作识别方法。然而，先前的基于图的方法，主要采用整个时间序列作为其输入，设置在线推理的应用程序需要相当大的计算冗余。在本文中，我们通过将时空图卷积神经网络重构为连续推理网络来解决这个问题，该网络可以在时间上执行逐步预测，而无需重复帧处理。为了评估我们的方法，我们创建了一个连续版本的ST-GCN，CoST-GCN，以及两个具有不同自我注意力机制的衍生方法，CoAGCN和CoS-TR。我们研究了用于推理加速的权重转移策略和架构修改，并在NTU RGB+D 60，NTU RGB+D 120和Kinetics Skeleton 400数据集上进行了实验。在保持类似的预测准确性的情况下，我们观察到时间复杂度降低了109倍，硬件加速了26倍，在线推理期间最大分配内存减少了52%。
2023-03-24 cs.CV cs.LG
The Solution for the sequential task continual learning track of the 2nd Greater Bay Area International Algorithm Competition
Nanjing University of Science and Technology（南京理工大学）
提出一种无数据、基于参数隔离的持续学习算法，通过任务子空间、推理任务识别、梯度补充、自适应评分和掩码压缩，在任务与域增量设置下取得优异表现并获大赛二等奖。
2024-07-06 cs.CV cs.LG
Densely Distilling Cumulative Knowledge for Continual Learning
Hefei University of Technology（合肥工业大学）；Zhengzhou University（郑州大学）；Academy of Cyber（网络学院）
针对持续学习中知识蒸馏方法难蒸馏全部过往任务累积知识的问题，提出密集知识蒸馏DKD方法，通过任务池分组蒸馏、随机组选择、自适应加权平衡新旧类学习，在多基准下性能超SOTA，兼具鲁棒性与通用性。
2024-05-16 cs.CV cs.LG
SpaceNet: Make Free Space For Continual Learning
Eindhoven University of Technology（埃因霍温理工大学）；University of Twente（特文特大学）
持续学习（CL）范式旨在使神经网络能够以顺序的方式连续地学习任务。这种学习范式的根本挑战是，当模型针对新任务进行优化时，会发生灾难性遗忘先前学习的任务，特别是当它们的数据不可访问时。当前基于架构的方法旨在缓解灾难性遗忘问题，但以扩展模型的容量为代价。基于正则化的方法保持固定的模型容量;然而，以前的研究表明，当任务身份在推理过程中不可用时（例如类增量学习场景），这些方法的性能会大幅下降。在这项工作中，我们提出了一种新的基于架构的方法称为SpaceNet类增量学习的情况下，我们利用可用的固定容量的模型智能。SpaceNet以自适应的方式从头开始训练稀疏的深度神经网络，将每个任务的稀疏连接压缩到紧凑的神经元数量中。稀疏连接的自适应训练导致减少任务之间干扰的稀疏表示。实验结果表明，我们提出的方法对灾难性遗忘旧任务的鲁棒性和效率的空间网络在利用模型的可用容量，留下更多的任务学习的空间。特别是，当SpaceNet在CL的著名基准测试上进行测试时：分裂MNIST，分裂Fashion-MNIST和CIFAR-10/100，它的性能优于基于正则化的方法。此外，它实现了更好的性能比基于架构的方法没有模型扩展，并取得了类似的结果与排练为基础的方法，同时提供了一个巨大的内存减少。
2021-04-14 cs.CV cs.LG stat.ML
SCLATE: a Substrate for Continual-Learning Agent Training and Evaluation
SCLATE是一个统一事件调度与回滚引擎的基础设施，支持持续学习智能体的训练评估；实验表明附加记忆系统并非总优于原生记忆，且后训练Qwen3.5-4B显著提升性能。
2026-10-01 cs.AI cs.DC cs.LG
ProMask: Probability Mask for Skeleton Detection
School of Software Engineering, Xi’an Jiaotong University（西安交通大学软件学院）
由于自然图像中物体尺度的变化、背景的复杂性以及各种噪声的存在，使得物体骨架的检测具有挑战性。骨架是一种高度压缩的形状表示，它可以带来一些本质的优点，但也给检测带来了困难。这种骨架线占据了图像的一个罕见的比例，并且对空间位置过于敏感。受这些问题的启发，我们提出了ProMask，这是一种新的骨架检测模型。ProMask包括概率掩码和向量路由器。骨架概率掩码表示用分割信号显式地编码骨架，这可以提供更多的监督信息来学习并更多地关注地面真实骨架像素。此外，向量路由器模块具有两组在二维空间中正交的基向量，可以动态调整预测的骨架位置。我们在著名的骨架数据集上评估了我们的方法，实现了比最先进的方法更好的性能。特别是，ProMask在具有挑战性的SYM-PASCAL数据集上的表现明显优于竞争对手DeepFlux 6.2%。我们认为，我们提出的骨架概率掩模可以作为未来骨架检测的坚实基线，因为它是非常有效的，它需要大约10行代码。
2020-12-05 cs.CV
LORTSAR: Low-Rank Transformer for Skeleton-based Action Recognition
School of Engineering Science, Simon Fraser University（西蒙菲莎大学工程科学学院）
本文提出LORTSAR方法，利用奇异值分解压缩骨架动作识别Transformer模型并微调补偿，在NTU RGB+D等数据集上大幅减少参数且保持或提升精度。
2024-07-19 cs.CV
PoseBridge: Bridging the Skeletonization Gap for Zero-Shot Skeleton-Based Action Recognition
School of Computer Science and Engineering（计算机科学与工程学院）
PoseBridge通过整合姿态估计表示与骨架-文本对齐，提升零样本骨架基动作识别性能，在多个数据集上取得显著改进，尤其在野外视频数据集上表现突出。
2026-09-29 cs.CV
From General Actions to Domain-Specific Monitoring: Prior-Adaptive Transfer for Skeleton-Based Action Recognition
University of Science and Technology of China（中国科学技术大学）
研究基于骨架的动作识别模型在特定领域任务中表现不佳的问题，提出先验自适应迁移框架PATS，通过选择性保留相关先验并过滤冗余，经实验在阿尔茨海默病检测和跌倒检测任务中提升性能与效率。
2026-07-07 cs.CV
Neuron: Learning Context-Aware Evolving Representations for Zero-Shot Skeleton Action Recognition
The Hong Kong Polytechnic University（香港理工大学）；The Hong Kong University of Science and Technology（香港科技大学）；Nanyang Technological University（南洋理工大学）
针对零样本骨骼动作识别中现有方法跨模态迁移能力不足的问题，提出动态演化双骨骼-语义协同框架Neuron，通过时空微原型构建与上下文辅助信息引导，实现更细粒度跨模态对应，提升未见动作类别的泛化性能。
2024-11-26 cs.CV
SNN-Driven Multimodal Human Action Recognition via Sparse Spatial-Temporal Data Fusion
School of Information and Communication Engineering, Beijing University of Posts and Telecommunications（信息与通信工程学院，北京邮电大学）
本文提出了一种基于SNN的多模态人体动作识别框架，通过稀疏时空数据融合提升识别准确率和能效。
2025-12-22 cs.CV
