In many real-life tasks of application of supervised learning approaches, all the training data are not available at the same time. The examples are lifelong image classification or recognition of environmental objects during interaction of instrumented persons with their environment, enrichment of an online-database with more images. It is necessary to pre-train the model at a "training recording phase" and then adjust it to the new coming data. This is the task of incremental/continual learning approaches. Amongst different problems to be solved by these approaches such as introduction of new categories in the model, refining existing categories to sub-categories and extending trained classifiers over them, ... we focus on the problem of adjusting pre-trained model with new additional training data for existing categories. We propose a fast continual learning layer at the end of the neuronal network. Obtained results are illustrated on the opensource CIFAR benchmark dataset. The proposed scheme yields similar performances as retraining but with drastically lower computational cost.
CMFDFormer: Transformer-based Copy-Move Forgery Detection with Continual Learning
Beijing Electronic Science and Technology Institute（北京电子科技学院）；Jimei University（集美大学）；Xidian University（西安电子科技大学）；University of Science and Technology of China（中国科学技术大学）
Continual Learning Should Move Beyond Incremental Classification
TU Darmstadt（达姆施塔特工业大学）；Hessian Center for AI（黑森人工智能中心）；Polytechnic University of Turin（都灵理工大学）；Italian Institute of Technology（意大利技术研究院）；University of Pisa（比萨大学）；University of Cambridge（剑桥大学）；Bielefeld University（比勒费尔德大学）；University of Bremen（不来梅大学）；KU Leuven（鲁汶大学）；German Research Center for AI（德国人工智能研究中心）
Continual 3D Convolutional Neural Networks for Real-time Processing of Videos
Aarhus University（奥胡斯大学）
我们介绍了连续3D卷积神经网络（Co 3D CNN），这是一种新的时空3D CNN计算公式，其中视频是逐帧处理的，而不是按剪辑处理的。在需要逐帧预测的在线任务中，Co 3D CNN免除了常规3D CNN的计算冗余，即在重叠剪辑中出现的帧上的重复卷积。我们表明，连续3D CNN可以重用预先存在的3D-CNN权重，以减少与时间感受野成比例的预测浮点运算（FLOPs），同时保持类似的内存要求和准确性。这一点在Kinetics-400和Charades上的多个模型中得到了验证，并取得了显著的成果：CoX 3D模型在Kinetics-400上实现了最先进的复杂性/准确性权衡，与常规X3 D模型相比，FLOP减少了12.1- 15.3倍，准确性提高了2.3-3.8%，同时将峰值内存消耗减少了48%。此外，我们研究了Co 3D CNN在启动时的瞬态响应，并对公开可用的3D CNN的硬件处理特性进行了广泛的基准测试。
Continual Learning from Simulated Interactions via Multitask Prospective Rehearsal for Bionic Limb Behavior Modeling
ETH Zurich（苏黎世联邦理工学院）；University of Goettingen（戈丁根大学）；Bielefeld University（比勒菲尔德大学）；European Neuroscience Institute, Goettingen (ENI-G)（戈丁根欧洲神经科学研究所）；Qatar Computing Institute（卡塔尔计算研究所）；University Medical Center, Goettingen (UMG)（戈丁根大学医学中心）
M2RU: Memristive Minion Recurrent Unit for On-Chip Continual Learning at the Edge
NUAI Lab, Department of Electrical and Computer Engineering, University of Texas at San Antonio and Department of Electrical Engineering, University of Baghdad（NUAI实验室，电子与计算机工程系，德克萨斯大学圣安东尼奥分校和电子工程系，巴格达大学）
Resurrecting Old Classes with New Data for Exemplar-Free Continual Learning
Universitat Autònoma de Barcelona（巴塞罗那自治大学）；Computer Vision Center（计算机视觉中心）；University of Chinese Academy of Sciences（中国科学院大学）；Shenyang Institute of Automation, Chinese Academy of Sciences（中国科学院沈阳自动化研究所）
Do Deep Neural Networks Learn Facial Action Units When Doing Expression Recognition?
Beckman Institute for Advanced Science and Technology（贝克曼先进科学技术研究所）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
尽管近年来基于外观的分类器是首选，但相对较少的工作已经研究了卷积神经网络（CNN）可以在多大程度上提高公认的表情识别基准的性能，更重要的是，研究它们实际上学到了什么。在这项工作中，我们不仅展示了CNN可以实现强大的性能，而且我们还介绍了一种方法来破译面部的哪些部分影响CNN的预测。首先，我们训练面部表情数据的零偏置CNN，并在两个表情识别基准上实现了最先进的性能：扩展的Cohn-Kanade（CK+）数据集和Toronto Face Dataset（TFD）。然后，我们通过可视化最大限度地激发卷积层中不同神经元的空间模式来定性分析网络，并展示它们如何类似于面部动作单元（FAU）。最后，我们使用CK+数据集中提供的FAU标签来验证在我们的过滤器可视化中观察到的FAU确实与受试者的面部运动一致。
Practical Continual Forgetting for Pre-trained Vision Models
State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences（多模态人工智能系统国家重点实验室，自动化研究所，中国科学院）；University of Chinese Academy of Sciences（中国科学院大学）；Centre for Artificial Intelligence and Robotics, Hong Kong Institute of Science & Innovation, Chinese Academy of Sciences（人工智能与机器人中心，香港科学创新研究院，中国科学院）；SenseTime Research（商汤科技研究院）
TinyCL: An Efficient Hardware Architecture for Continual Learning on Autonomous Systems
Department of Electronics and Telecommunications, Politecnico di Torino（电子工程与电信系，都灵理工学院）；eBrain Lab, Division of Engineering, New York University Abu Dhabi（eBrain实验室，工程系，纽约大学阿布扎克分校）
Continual Weight Updates and Convolutional Architectures for Equilibrium Propagation
Centre de Nanosciences et de Nanotechnologies, Université Paris-Saclay（巴黎萨克雷大学纳米科学与纳米技术中心）；Unité Mixte de Physique, CNRS, Thales, Université Paris-Saclay（巴黎萨克雷大学、法国国家科学研究中心、泰雷兹集团联合物理单位）；Canadian Institute for Advanced Research（加拿大高等研究院）；Mila, Université de Montréal（蒙特利尔大学米拉研究所）
School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）；Key Laboratory of Computer Network and Information Integration (Southeast University), Ministry of Education（教育部计算机网络和信息集成重点实验室（东南大学））；Zhongguancun Academy（中关村科学城公司）；Zhongguancun Institute of Artificial Intelligence（中关村人工智能研究院）
Two-Stream RNN/CNN for Action Recognition in 3D Videos
Siemens AG（西门子股份公司）；Ludwig Maximilian University of Munich（慕尼黑大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Volkswagen Group（大众汽车集团）；German Aerospace Center (DLR)（德国航空航天中心）
