持续学习（Continual Learning, CL）旨在通过迁移在先前问题上获得的知识来学习一系列问题（即任务和领域），同时避免遗忘过去的问题。不同于以往聚焦于特定用例中单一 NLP 任务或领域的持续学习方法，本文在一个统一框架中处理一种更通用的持续学习设定，即从一系列问题中进行学习。我们的方法 HOP 能够在任务和领域之间跳转，并沿三个方向解决持续学习问题：（i）采用一组 adapter，使大型预训练模型能够泛化到未见过的问题；（ii）在嵌入表示的分布上计算高阶矩，以区分不同任务和领域之间相互独立及相关的统计量；（iii）使用面向每个最终问题的专用辅助头来处理这些增强信息。在 4 个 NLP 应用、5 个基准和 2 种持续学习设置上开展的大量实验，证明了 HOP 的有效性。
英文摘要：
Continual Learning (CL) aims to learn a sequence of problems (i.e., tasks and domains) by transferring knowledge acquired on previous problems, whilst avoiding forgetting of past ones. Different from previous approaches which focused on CL for one NLP task or domain in a specific use-case, in this paper, we address a more general CL setting to learn from a sequence of problems in a unique framework. Our method, HOP, permits to hop across tasks and domains by addressing the CL problem along three directions: (i) we employ a set of adapters to generalize a large pre-trained model to unseen problems, (ii) we compute high-order moments over the distribution of embedded representations to distinguish independent and correlated statistics across different tasks and domains, (iii) we process this enriched information with auxiliary heads specialized for each end problem. Extensive experimental campaign on 4 NLP applications, 5 benchmarks and 2 CL setups demonstrates the effectiveness of our HOP.
Overview of the NLPCC 2025 Shared Task 4: Multi-modal, Multilingual, and Multi-hop Medical Instructional Video Question Answering Challenge
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（深圳先进技术研究所，中国科学院）；School of Computer Science and Technology, Beijing Institute of Technology（计算机科学与技术学院，北京理工大学）；School of Engineering, Westlake University（工程学院，西湖大学）
Learn to Memorize: Scalable Continual Learning in Semiparametric Models with Mixture-of-Neighbors Induction Memory
State Key Laboratory for Multimedia Information Processing, School of Computer Science, Peking University（多媒体信息处理国家重点实验室，计算机科学学院，北京大学）；Microsoft（微软公司）；Microsoft Research Asia（微软亚洲研究院）
Lightweight Transformers for Clinical Natural Language Processing
University of Oxford（牛津大学）；NLPie Research（NLPie研究院）；University of Surrey（萨里大学）；Oxford-Suzhou Centre for Advanced Research（牛津苏州高等研究院）；Nuffield Department of Population Health, University of Oxford（牛津大学纳菲尔德人口健康系）；Pandemic Sciences Institute, University of Oxford（牛津大学流行病科学研究所）；Sharif University of Technology（谢里夫理工大学）；Infectious Diseases Data Observatory (IDDO), University of Oxford（牛津大学传染病数据观测站（IDDO））
Canonicalized Stable-List Replay for Private Federated Continual Learning over Language-Model Embeddings
Department of Computer Science, Iowa State University（爱荷华州立大学计算机科学系）；Department of Computer Science & Engineering, BRAC University（BRAC大学计算机科学与工程系）；Department of Civil, Construction & Environmental Engineering, Iowa State University（爱荷华州立大学土木、建设与环境工程系）
School of Computer Science（计算机科学学院）；Engineering, Central South University（工程学院，中南大学）；Research Center for Social Computing（社会计算研究中心）；Interactive Robotics, Harbin Institute of Technology（交互机器人研究，哈尔滨工业大学）；Department of Computer Science, University of Hong Kong（计算机科学系，香港大学）；Shenzhen International Graduate School, Tsinghua University（深圳国际研究生院，清华大学）；Department of Computer Science, University of Illinons at Chicago（计算机科学系，伊利诺伊大学香槟分校）
Continual Learning: Applications and the Road Forward
KU Leuven（鲁汶大学）；Toyota Motor Europe（丰田汽车欧洲公司）；University of Waterloo（滑铁卢大学）；Vector Institute（向量研究所）；University of Tübingen（蒂宾根大学）；University of Pisa（比萨大学）；University of Applied Sciences Fulda（富尔达应用科学大学）；NAVER LABS Europe（NAVER欧洲实验室）；University of Munich (LMU)（慕尼黑大学）；University of Rochester（罗切斯特大学）；University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）；TU Darmstadt（达姆施塔特工业大学）；Google DeepMind（谷歌DeepMind）；Université Paris-Saclay（巴黎萨克雷大学）；CEA LIST（法国原子能和替代能源委员会 LIST 研究所）；Baylor College of Medicine（贝勒医学院）；Computer Vision Center UAB（巴塞罗那自治大学计算机视觉中心）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
Towards General Purpose Medical AI: Continual Learning Medical Foundation Model
Beijing University of Posts and Telecommunications（北京邮电大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；West China Hospital, Sichuan University（四川大学华西医院）；Shanghai Jiao Tong University（上海交通大学）；Sichuan University Pittsburgh Institute（四川大学匹兹堡学院）
MuSiQue: Multihop Questions via Single-hop Question Composition
Stony Brook University（石溪大学）；Allen Institute for AI（艾伦人工智能研究所）
多跳推理仍然是一个难以捉摸的目标，因为现有的多跳基准被认为是在很大程度上可以通过捷径解决。我们能否创建一个问答（QA）数据集，通过构造，\emph{requires}适当的多跳推理？为此，我们引入了一种自下而上的方法，该方法系统地选择连接的单跳问题的可组合对，即，其中一个推理步骤严重依赖于来自另一个推理步骤的信息。这种自下而上的方法使我们能够探索广阔的问题空间，并添加严格的过滤器以及其他针对关联推理的机制。它提供了对构造过程和生成的$k$跳问题的属性的细粒度控制。我们使用这种方法来创建MuSiQue-Ans，这是一个新的多跳QA数据集，包含25 K 2-4跳问题。相对于现有的数据集，MuSiQue-Ans总体上更困难（人机差距增加了3倍），并且更难通过断开推理进行欺骗（例如，单跳模型在F1中具有30点下降）。我们进一步添加无法回答的对比问题，以产生更严格的数据集MuSiQue-Full。我们希望我们的数据集能够帮助NLP社区开发执行真正多跳推理的模型。
RECALL: REpresentation-aligned Catastrophic-forgetting ALLeviation via Hierarchical Model Merging
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Peng Cheng Laboratory（鹏城实验室）；Huazhong University of Science and Technology（华中科技大学）；Xiamen University（厦门大学）；The Hong Kong University of Science and Technology, Guangzhou（香港科技大学（广州））；School of Biomedical Engineering, Tsinghua University（清华大学生物医学工程学院）
Sequoia: A Software Framework to Unify Continual Learning Research
ElementAI, a ServiceNow Company（ElementAI（ServiceNow旗下公司））；Mila - Quebec AI Institute（Mila - 魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）；McGill University（麦吉尔大学）；HEC Montréal（蒙特利尔高等商学院）；IBM Research（IBM研究院）
