Quantifying Catastrophic Forgetting in IoT Intrusion Detection Systems
Ericsson Research(爱立信研究)
本研究提出了一种方法无关的IDS框架,通过持续学习缓解物联网入侵检测中的灾难性遗忘问题,并展示了突触智能方法在动态网络中的高效性能。
2026-02-27 cs.AI cs.LG
GCAL: Adapting Graph Models to Evolving Domain Shifts
Great Bay University(大湾区大学)
本文提出GCAL方法,通过双层优化(适应与生成记忆)解决图域适应中的持续偏移与灾难性遗忘问题,实验证明其在适应性和知识保留上优于现有方法。
2025-05-22 cs.AI cs.LG
Efficient Test-Time Model Adaptation without Forgetting
South China University of Technology(华南理工大学);Tencent AI Lab(腾讯人工智能实验室);National University of Singapore(新加坡国立大学);Pazhou Laboratory(琶洲实验室)
测试时自适应(Test-time adaptation,TTA)通过调整给定的模型来解决训练数据和测试数据之间潜在的分布偏移。任何测试样本。当测试环境频繁变化时,此任务对于深度模型尤为重要。尽管最近已经有一些尝试来处理这个任务,我们仍然面临着两个实际挑战:1)现有的方法必须对每个测试样本进行向后计算,导致许多应用程序无法承受的预测成本; 2)虽然现有的TTA解决方案可以显著提高对分布外数据的测试性能,在TTA之后,它们经常遭受分发中数据的严重性能降级(称为灾难性遗忘)。在本文中,我们指出,并不是所有的测试样本都对模型自适应做出了同等的贡献,高熵的样本可能会导致噪声梯度,从而破坏模型。基于此,我们提出了一个主动样本选择准则来识别可靠的和非冗余的样本,在此基础上更新模型以最小化测试时自适应的熵损失。此外,为了减轻遗忘问题,我们引入了Fisher正则化器来约束重要的模型参数的剧烈变化,其中Fisher重要性是从具有生成的伪标签的测试样本中估计的。在CIFAR-10-C、ImageNet-C和ImageNet-R上的大量实验验证了该方法的有效性。
2022-05-31 cs.LG
Wide Neural Networks Forget Less Catastrophically
Washington State University(华盛顿州立大学);DeepMind(深度思维)
持续学习研究的一个主要焦点领域是通过设计对分布偏移更鲁棒的新算法来减轻神经网络中的“灾难性遗忘“问题。虽然最近在持续学习文献方面的进展令人鼓舞,但我们对神经网络的哪些属性导致灾难性遗忘的理解仍然有限。为了解决这个问题,而不是专注于持续学习算法,在这项工作中,我们专注于模型本身,研究神经网络架构的“宽度”对灾难性遗忘的影响,并表明宽度对遗忘有着惊人的显著影响。为了解释这种效应,我们从各种角度研究了网络的学习动态,例如梯度正交性,稀疏性和懒惰训练机制。我们提供了潜在的解释,是一致的经验结果,在不同的架构和持续学习基准。
2022-07-14 cs.AI cs.CV cs.LG
Learning When to Recur: Token-Adaptive Recursion for Imbalanced Ophthalmic Domain Incremental Learning
针对眼科领域增量学习中的标签分布偏移与类别不平衡,提出ToRe框架,采用参数隔离与令牌自适应递归,增强少数类特征,在九个数据集上优于现有方法且近零遗忘。
2026-09-29 cs.CV cs.LG
Incremental Learning with Differentiable Architecture and Forgetting Search
Georgia Institute of Technology(佐治亚理工学院);SRI International(斯坦福国际研究院)
随着在递增扩展分类任务上训练机器学习模型(即,增量学习),下一步是将这一进展转化为行业预期。增量学习中缺少的一种技术是通过神经架构搜索(NAS)进行自动架构设计。在本文中,我们证明了利用NAS进行增量学习可以为分类任务带来强大的性能增益。具体来说,我们做出了以下贡献:首先,我们基于可区分架构搜索(DARTS)和最先进的增量学习策略创建了一个强大的增量学习基线方法,优于许多使用类似规模的流行架构训练的现有策略;其次,我们扩展了架构搜索的概念,以规范架构遗忘,提高性能超过我们提出的基线。我们评估我们的方法对RF信号和图像分类任务,并证明我们可以实现高达10%的性能提高超过国家的最先进的方法。最重要的是,我们的贡献使得能够从真实世界应用数据的连续分布中学习,其中数据分布的复杂性是未知的,或者模态较少探索(例如RF信号分类)。
2022-05-19 cs.AI cs.LG
Toward Robust and Harmonious Adaptation for Cross-modal Retrieval
College of Computer Science, Sichuan University(四川大学计算机学院);National Key Laboratory of Fundamental Algorithms and Models for Engineering Numerical Simulation, Sichuan University(四川省工程数值模拟基础算法与模型国家重点实验室)
针对通用到定制跨模态检索方法面临的查询偏移问题,本文提出REST方法,通过在线优化检索结果生成预测并设计鲁棒目标函数,结合梯度解耦模块保留通用知识,在20个基准上验证了有效性。
2025-11-18 cs.LG
Uncertainty-Calibrated Test-Time Model Adaptation without Forgetting
School of Software Engineering, South China University of Technology(华南理工大学软件工程学院);Key Laboratory of Big Data and Intelligent Robot, Ministry of Education(教育部大数据与智能机器人重点实验室);Pazhou Laboratory(琶洲实验室);Nanyang Technological University(南洋理工大学);ByteDance, China(字节跳动(中国));Tencent AI Lab(腾讯AI实验室);School of Computing, National University of Singapore(新加坡国立大学计算机学院)
针对测试时自适应(TTA)的高优化成本、分布内数据遗忘及过置信预测问题,提出EATA及EATA-C方法,通过主动样本选择、Fisher正则化、差异损失及最小-最大熵正则化器,实现高效抗遗忘且校准的TTA,提升分布外与分布内数据性能。
2025-08-26 cs.LG
Single View Seafloor Recovery from Imaging Sonar via Differentiable Rendering
California Institute of Technology(加州理工学院)
提出一种无需训练的方法,通过可微渲染在30秒内从单张声纳图像恢复海底地形,利用已知海底倾斜条件,首次实现单视图高度恢复。
2026-05-22 cs.CV cs.LG
TADA: Temporal Adversarial Data Augmentation for Time Series Data
Medical AI Co. Ltd.(医疗人工智能有限公司)
针对时间序列数据中传统对抗数据增强无法处理时间特征分布偏移的问题,提出TADA方法,利用频域相移与时域时间移位的对偶性将时间规整引入ADA使其可微,实验证明其优于现有方法并能有效模拟真实分布偏移。
2024-10-15 cs.AI cs.LG eess.SP
Tackling Distribution Shift in LLM via KILO: Knowledge-Instructed Learning for Continual Adaptation
Concordia University(康科迪亚大学)
提出KILO框架,结合动态知识图谱与指令微调,在四个领域上优于基线,有效缓解LLM持续学习中的分布偏移与灾难性遗忘。
2025-08-05 cs.CL cs.LG
Spline refinement with differentiable rendering
Deparment of Computer Science, University of Copenhagen, 2100, Denmark(计算机科学系,哥本哈根大学);Niels Bohr Institute, University of Copenhagen, 2100, Denmark(尼尔斯·玻尔研究所,哥本哈根大学)
针对计算显微学中细长重叠结构检测的样条精度问题,提出无需训练的无监督可微渲染样条细化方法,兼具高可靠性与亚像素精度,在秀丽隐杆线虫上验证了其结合两类方法优势的效果。
2025-03-15 cs.CV cs.LG eess.IV
Measuring Representational Shifts in Continual Learning: A Linear Transformation Perspective
Department of Electrical \& Electronic Engineering, Yonsei University, Seoul, South Korea;Department of Statistics;Data Science, Yonsei University, Seoul, South Korea
该研究从线性变换视角提出表征差异指标以度量持续学习中的表征遗忘,通过理论分析得出层深度、网络宽度与遗忘速度的关联规律,并在Split-CIFAR100、ImageNet1K数据集上验证了理论结论。
2025-06-12 cs.LG
Enabling Continual Learning with Differentiable Hebbian Plasticity
University of Guelph(圭尔夫大学);Vector Institute for Artificial Intelligence(矢量人工智能研究所);Uber AI
持续学习是在保护先前获得的知识的同时顺序地学习新任务或知识的问题。然而,灾难性遗忘对执行这种学习过程的神经网络提出了巨大的挑战。因此,部署在现实世界中的神经网络经常在数据分布是非平稳的(概念漂移)、不平衡的或不总是完全可用的情况下挣扎,即,罕见的边缘病例我们提出了一个微分赫布巩固模型,它是由一个微分赫布可塑性(DHP)Softmax层,增加了一个快速学习的塑料组件(压缩情景记忆)的固定(缓慢变化)参数的Softmax输出层,使学习表示保留更长的时间尺度。我们证明了我们的方法的灵活性,通过整合众所周知的特定任务的突触巩固方法,惩罚的变化,缓慢的权重是重要的每个目标任务。我们在Permuted MNIST、Split MNIST和Vision Datasets Mixture基准上评估了我们的方法,并介绍了Permuted MNIST的一个不平衡变体--一个结合了类别不平衡和概念漂移挑战的数据集。我们提出的模型不需要额外的超参数,并通过减少遗忘来优于可比基线。
2020-06-30 cs.LG cs.NE stat.ML
Make Domain Shift a Catastrophic Forgetting Alleviator in Class-Incremental Learning
School of Computer Science and Engineering, Southeast University(东南大学计算机科学与工程学院)
本文发现领域偏移能降低类增量学习中的遗忘率,据此提出基于轻量级原型池和对比学习的DisCo方法,通过分离任务间特征分布、减少参数干扰,显著提升多种现有CIL方法的性能。
2024-12-31 cs.CV cs.LG
Dynamic memory to alleviate catastrophic forgetting in continuous learning settings
Medical University of Vienna(维也纳医科大学);Massachusetts General Hospital(麻省总医院);Harvard Medical School(哈佛医学院)
在医学成像中,技术进步或诊断程序的变化导致图像外观的连续变化。扫描仪制造商、重建内核、剂量、其他协议特定设置或造影剂的管理是独立于扫描生物学影响图像内容的示例。这种领域和任务转移通过使模型随着时间的推移而过时,限制了机器学习算法在临床常规中的适用性。在这里,我们解决的问题,在连续学习的情况下,通过调整模型,以看不见的变化,在源域,同时抵消灾难性遗忘的影响。我们的方法使用一个动态的记忆,以促进排练的不同训练数据子集,以减轻遗忘。我们评估了我们的方法在两种不同的扫描仪协议和合成分类任务获得的常规临床CT数据。实验表明,动态记忆计数器灾难性遗忘在设置与多个数据移位,而不需要明确的知识,当这些移位发生。
2020-07-07 cs.CV cs.LG stat.ML
Changepoint-Aware World Models: Detecting Dynamics Shifts and Recovering by Forgetting Stale Replay in Model-Based RL
针对机器人动力学突变导致模型失效的问题,提出变点感知世界模型(CAWM),用在线CUSUM检验检测突变并遗忘陈旧回放,显著加快恢复速度,提升回报。
2026-09-17 cs.LG
FlashbackCL: Mitigating Temporal Forgetting in Federated Learning
Cloud Competency Centre, National College of Ireland, Dublin, Ireland(云竞争力中心,爱尔兰国家学院,都柏林,爱尔兰)
针对联邦学习中客户端数据分布随时间漂移导致的时间遗忘问题,提出FlashbackCL方法,通过时间衰减标签计数、类别平衡水库采样重放和服务器端主动核心集筛选,在CIFAR-10上相对Flashback提升6.9%-10.0%,时间遗忘减少68%。
2026-06-02 cs.AI cs.LG cs.PF
Dual-Phase Continual Learning: Supervised Adaptation Meets Unsupervised Retention
Mila, Concordia University(蒙特利尔大学米尔人工智能实验室);Concordia University(蒙特利尔大学);Toyota Motor Europe(丰田欧洲公司)
本文提出了一种基于无监督方法的双相持续学习框架,通过利用测试时间数据提升先前任务性能,无需存储或重播数据,有效缓解VLMs中的遗忘问题。
2026-01-30 cs.LG
DMS: Differentiable Mean Shift for Dataset Agnostic Task Specific Clustering Using Side Information
University of Oxford(牛津大学)
本文提出可微均值漂移(DMS),利用少量成对辅助信息在无需预知簇数、中心或距离度量的情况下进行任务特定聚类,并在内在与非内在数据集任务中取得最优性能。
2023-05-29 cs.AI cs.LG
Federated Learning Under Temporal Drift -- Mitigating Catastrophic Forgetting via Experience Replay
Columbia University(哥伦比亚大学)
本研究通过客户端侧经验回放方法缓解联邦学习中的时间漂移问题,实验表明该方法能有效恢复模型性能并防止灾难性遗忘。
2026-01-19 cs.DC cs.LG
Towards Eliminating Catastrophic Forgetting in the Curriculum Learning of Math Reasoning Tasks
Zhejiang University(浙江大学);Ant Group(蚂蚁集团)
本文研究课程学习中的灾难性遗忘,理论证明其源于任务最优分歧而不可完全消除,提出IV-EWC方法,通过影响函数构建验证集并动态正则化,在数学推理任务上平均减少162%遗忘。
2026-09-29 cs.LG
Demystifying Differentiable Programming: Shift/Reset the Penultimate Backpropagator
Purdue University(普渡大学)
在过去的十年里,深度学习在计算机视觉、机器翻译和游戏玩法方面取得了巨大的成功。这一成功在关键方面依赖于梯度下降优化和通过反向传播观察到的误差来学习神经网络参数的能力。然而,神经网络架构变得越来越复杂和多样化,这激发了对更一般形式的可微编程的新兴追求,其中任意参数化计算可以通过梯度下降来训练。在本文中,我们重新审视自动微分(AD)技术,特别是旨在揭开AD的反向模式形式,推广反向传播神经网络。我们发现了反向模式AD和定界延续之间的紧密联系,它允许纯粹通过运算符重载实现反向模式AD,而无需任何辅助数据结构。我们进一步展示了AD的这种公式化如何与多阶段编程(staging)有效地结合,从而实现一种高效的实现,该实现结合了基于显式具体化计算图的深度学习框架的性能优势(例如,TensorFlow)与纯库方法的表现力(例如,PyTorch)。
2019-08-29 cs.LG stat.ML
Differentiable, Bit-shifting, and Scalable Quantization without training neural network from scratch
本文提出了一种可微、位移和可扩展的量化方法,无需从头开始训练神经网络,实现了高精度的量化效果并提高了效率。
2025-12-03 cs.CV cs.LG stat.ML
From Order to Distribution: An Exact Operator Framework for Forgetting in Continual Learning
Institute of Trustworthy Embodied AI, Fudan University(复旦大学可信具身人工智能研究院);Shanghai Key Laboratory of Multimodal Embodied AI(上海多模态具身人工智能重点实验室)
本文研究持续学习中遗忘现象,通过分析任务分布的谱结构,推导遗忘量的精确算子恒等式,并建立无条件上界,揭示遗忘率与任务分布几何性质的关系。
2026-10-02 cs.AI cs.LG
Learning Under Forgetting: Statistical Support-Selective Retention in Stochastic Training Dynamics
本文提出重复强化与持续遗忘(RPF)动态框架,从理论上和实验上证明遗忘作为选择机制可产生类似MDL的压缩,提供可控归纳偏置。
2026-10-01 cs.AI cs.LG
How to Teach Large Multimodal Models New Skills
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Google DeepMind(谷歌DeepMind);Carnegie Mellon University(卡内基梅隆大学)
本文研究了如何在不丧失原有能力的前提下通过序列微调向大型多模态模型传授新技能,提出两种有效的微调方法以平衡学习与遗忘。
2026-10-23 cs.AI cs.CV cs.LG
Wasserstein Distributionally Robust Control Barrier Function using Conditional Value-at-Risk with Differentiable Convex Programming
Mississippi State University(密西西比州立大学)
本文提出分布鲁棒控制屏障函数DR-CBF,通过单层凸重构估计Wasserstein分布偏移下的CVaR,并利用可微凸规划实现前向不变性,在保持计算效率的同时提升安全控制器对分布偏移的鲁棒性。
2023-09-15 cs.LG cs.RO cs.SY
Federated-Continual Dynamic Segmentation of Histopathology guided by Barlow Continuity
Technical University of Darmstadt(达姆施塔特工业大学)
针对组织病理图像分割中的客户端漂移与灾难性遗忘,提出 Dynamic Barlow Continuity,利用公共参考数据评估客户端更新并引导联邦持续训练,显著提升 dice 分数。
2025-01-08 cs.AI cs.LG
Online Distillation with Continual Learning for Cyclic Domain Shifts
KAUST(阿卜杜拉国王科技大学)
本文针对在线蒸馏在域偏移下的灾难性遗忘问题,将多种最先进持续学习方法融入师生在线蒸馏框架,并在循环域偏移场景验证其可提升鲁棒性与准确率。
2023-04-03 cs.CV cs.LG
Robust Policy Optimization to Prevent Catastrophic Forgetting
University of Pennsylvania(宾夕法尼亚大学);University of Southern California(南加州大学)
本文提出FRPO框架,通过优化当前策略及下游适应可达的KL限制邻域内策略,提升鲁棒性,减少安全性能退化,同时保持下游任务表现。
2026-05-12 cs.LG
Space-sampled Value Decay: Forgetting Mechanisms for Non-stationary Reinforcement Learning
CITEC, Faculty of Technology, Bielefeld University(比勒费尔德大学技术学院CITEC)
受啮齿动物遗忘行为启发,提出空间采样值衰减作为显式遗忘机制,用于深度强化学习应对环境漂移,在DQN和SAC上验证效果与局限。
2026-09-30 cs.LG
DAILOC: Domain-Incremental Learning for Indoor Localization using Smartphones
Colorado State University(科罗拉多州立大学)
DAILOC提出域增量学习框架,通过解缠策略和记忆引导对齐,联合处理时间与设备域偏移,显著提升室内定位精度,平均误差降低2.74倍。
2025-06-18 cs.AI cs.LG
Does Continual Learning Equally Forget All Parameters?
University of Technology Sydney(悉尼科技大学);University of Maryland(马里兰大学)
本文通过分析持续学习中模块的训练动态,发现遗忘主要由少数任务特定模块引起,提出高效方法FPF及$k$-FPF,在大幅提升性能的同时显著降低计算开销。
2023-04-09 cs.LG
Distributionally Safe Reinforcement Learning under Model Uncertainty: A Single-Level Approach by Differentiable Convex Programming
Mississippi State University(密西西比州立大学)
针对Wasserstein分布偏移下的安全强化学习双层优化难题,提出基于对偶转换与可微凸规划的单层端到端框架,显著提升一阶和二阶系统的安全保证。
2023-10-03 cs.LG cs.RO cs.SY
Liquid Ensemble Selection for Continual Learning
University of Waterloo(滑铁卢大学)
本文针对持续学习中的集成模型动态选择问题,借鉴委托投票机制开发了一种算法,通过动态选择活跃模型进行学习与预测,有效提升了模型在数据分布变化下的准确性和抗遗忘能力。
2024-05-12 cs.AI cs.LG
Off-Policy Fitted Q-Evaluation with Differentiable Function Approximators: Z-Estimation and Inference Theory
Peking University(北京大学);Princeton University(普林斯顿大学)
非策略评估(OPE)是强化学习(RL)的基石之一。采用各种函数逼近器,特别是深度神经网络的拟合Q评估(Fitted Q Evaluation,简称QFE)已经取得了实际的成功。虽然统计分析已经证明了EEE是表格,线性和几个非参数函数族的最小最大最优,其实际性能与更一般的函数逼近器是理论上了解较少。我们专注于与一般可微函数逼近器,使我们的理论适用于神经函数逼近的CNOE。我们使用Z-估计理论来处理这个问题,并建立了以下结果:ZTE估计误差是渐近正态的,具有显式方差,其由在地面真值处的函数类的切空间、奖励结构和由于偏离策略学习而引起的分布偏移共同确定;有限样本的误差界由相同的方差项控制,也可以由函数类依赖的发散度来定界,其测量偏离策略的分布偏移如何与函数逼近器交织。此外,我们还研究了自举法估计误差分布推断和估计置信区间,伴随着一个Cramer-Rao下界,我们的上限相匹配。Z-估计分析为研究RL中的离策略估计提供了一个可推广的理论框架,并为具有可微函数逼近器的随机误差估计提供了尖锐的统计理论。
2022-02-10 cs.LG stat.ML
Meta-Learning with Less Forgetting on Large-Scale Non-Stationary Task Distributions
State University of New York at Buffalo(纽约州立大学布法罗分校);JD Explore Academy(京东探索研究院);Columbia University(哥伦比亚大学);Meta
机器智能的范式从纯粹的监督学习转移到更实际的场景,此时有许多松散相关的未标记数据可用,而标记数据稀缺。大多数现有的算法假设底层的任务分布是静态的。在这里,我们考虑一个更现实和更具挑战性的设置,任务分布随着时间的推移而演变。我们将这个问题称为具有演化任务分布的半监督元学习,简称为SETS。在这种更现实的环境中出现了两个关键挑战:(i)如何在存在大量未标记的分布外(OOD)数据的情况下使用未标记的数据;以及(ii)如何防止由于任务分布偏移而对先前学习的任务分布造成灾难性遗忘。我们提出了一个面向对象的鲁棒和知识保留的半监督元学习方法(ORDER),以解决这两个主要挑战。具体来说,我们的ORDER引入了一种新的互信息正则化来鲁棒化具有未标记的OOD数据的模型,并采用了最佳传输正则化来记住以前在特征空间中学习的知识。此外,我们在一个非常具有挑战性的数据集上测试了我们的方法:在由(至少)72 K个任务组成的大规模非平稳半监督任务分布上进行SETS。通过大量的实验,我们证明了所提出的ORDERS在不断变化的任务分布上消除了遗忘,并且比相关的强基线对OOD数据更鲁棒。
2022-09-03 cs.CV cs.LG
Audio-Visual Continual Test-Time Adaptation without Forgetting
本文提出AVReCAP方法,在测试时无需源数据即可提升模型性能,通过动态检索最佳融合层参数减少灾难性遗忘。
2026-07-21 cs.LG cs.SD
On Generalizing Beyond Domains in Cross-Domain Continual Learning
The Australian National University(澳大利亚国立大学);NEC Labs America(美国NEC实验室);Monash University(莫纳什大学);Data61(Data61研究院);Phiar Technologies(Phiar科技公司);University of California, San Diego(加州大学圣地亚哥分校)
人类有能力在不同的条件下积累新任务的知识,但深度神经网络在学习新任务后,往往会对先前学习的知识产生灾难性遗忘。许多最近的方法集中在防止灾难性遗忘的假设下,训练和测试数据遵循类似的分布。在这项工作中,我们考虑了一个更现实的情况下,持续学习域的变化,模型必须概括其推理到一个看不见的域。为此,我们鼓励学习语义上有意义的功能,通过配备类相似性度量的分类器作为学习参数,通过马氏相似性计算获得。主干表示和这些额外参数的学习以端到端的方式无缝完成。此外,我们提出了一种基于指数移动平均的参数更好的知识蒸馏的方法。我们证明,在很大程度上,现有的持续学习算法无法处理多个分布下的遗忘问题,而我们提出的方法在域转移下学习新任务,在具有挑战性的数据集上,如DomainNet和DomainHome,准确率提高了10%。
2022-03-08 cs.CV cs.LG
The First Differentiable Transfer-Based Algorithm for Discrete MicroLED Repair
Rayleigh Vision Intelligence(瑞利视觉智能)
本文提出首个基于可微转移模块的离散microLED修复算法,通过梯度优化实现更优修复性能与灵活目标设计,在2000x2000阵列上转移步数减少50%且规划时间不足2分钟。
2025-08-10 cs.LG physics.comp-ph
Empirical Comparison of Forgetting Mechanisms for UCB-based Algorithms on a Data-Driven Simulation Platform
Swjtu-Leeds Joint School, South West Jiao Tong University(西南交通大学利兹学院)
本文提出FDSW-UCB算法,通过双视角整合长期和短期机制,实证表明其在动态环境中优于传统UCB算法。
2025-11-24 cs.LG
Continual learning of longitudinal health records
Institute of Biomedical Engineering(生物医学工程研究所);Oxford University(牛津大学)
持续学习表示机器学习方法,其可以适应新的环境,同时保留和重用从过去的经验中获得的知识。这种方法解决了模型在非平稳环境中遇到的两个问题:对新数据的不可推广性,以及重新训练时对先前知识的灾难性遗忘。这是临床环境中普遍存在的问题,其中患者数据不仅在群体之间而且随着时间连续地表现出协变量偏移。然而,虽然持续学习方法在成像领域已经取得了初步的成功,但它们很少应用于重症监护患者记录的多变量顺序数据特征。在这里,我们评估了各种持续学习方法的纵向ICU数据在一系列代表性的医疗保健方案。我们发现,虽然有几种方法可以减轻短期遗忘,但在大量任务中,域转移仍然是一个具有挑战性的问题,只有基于重放的方法才能实现稳定的长期性能。复制所有实验的代码可以在https://github.com/iacobo/continual上找到
2021-12-22 cs.LG
Forget and Explain: Transparent Verification of GNN Unlearning
Chung-Ang University Department of Smart Cities Seoul Republic of Korea(Chung-Ang大学智慧城市系 首尔 大韩民国);Chung-Ang University Department of Computer Science(Chung-Ang大学计算机科学系);Chung-Ang University(Chung-Ang大学)
本文提出了一种透明的GNN去遗忘验证器,通过快照模型前后状态并利用可解释性指标验证遗忘效果,评估了不同策略在多个基准上的表现。
2025-12-08 cs.AI cs.LG
FlexFed: Mitigating Catastrophic Forgetting in Heterogeneous Federated Learning in Pervasive Computing Environments
University of Warwick(沃里克大学);University of Leeds(利兹大学)
针对普适计算HAR场景下异构联邦学习的灾难性遗忘问题,提出FlexFed方法,通过数据优先保留、动态调整离线训练频率等策略,结合新评估指标与真实框架,有效缓解遗忘并提升效率与收敛性。
2025-05-19 cs.LG
From Prediction to Simulation: AlphaFold 3 as a Differentiable Framework for Structural Biology
Department of Computer Engineering, Ma.C., Islamic Azad University(计算机工程系,伊斯兰教Azad大学);Department of Biological Sciences and Technologies, Faculty of Basic Sciences, Islamic Azad University(生物科学与技术系,基础科学学院,伊斯兰教Azad大学)
AlphaFold 3 通过多尺度 transformer 和几何感知优化,将蛋白质结构预测提升为可微分模拟框架,连接静态建模与动态分子模拟。
2025-08-25 cs.LG q-bio.BM
Layer-wise Auto-Weighting for Non-Stationary Test-Time Adaptation
Yonsei University(延世大学);Korea Institute of Science and Technology (KIST)(韩国科学技术研究院)
本文提出一种用于非平稳测试时适应的逐层自动加权算法,利用FIM设计学习权重并引入指数极小极大缩放器,在最小化遗忘和误差累积的同时显著降低计算负荷,实现高效适应。
2023-11-26 cs.CV cs.LG
Shift Detection and Adaptation for Network Intrusion Detection
University of Calgary(卡尔加里大学)
本文提出NetSight框架,通过在线持续检测和适应分布偏移,提升网络入侵检测的鲁棒性,实验表明其在F1-score上优于依赖人工标注的现有方法。
2026-05-17 cs.CR cs.LG
Dynamic Mixture of Experts Against Severe Distribution Shifts
Graduate School of AI(人工智能研究生院)
本文提出动态专家混合方法,用于持续学习和强化学习环境,通过动态增加容量来解决分布偏移问题。
2025-11-24 cs.AI cs.LG
Continual Feature Selection: Spurious Features in Continual Learning
Université de Montréal(蒙特利尔大学);MILA-Quebec AI Institute(魁北克人工智能研究所MILA)
持续学习(ContinualLearning,CL)是研究数据分布非静态时的无遗忘学习的领域。研究了虚假特征对持续学习算法的影响。我们表明,持续学习算法解决任务,选择的功能是不可推广的。我们的实验强调,持续学习算法面临两个相关的问题:(1)虚假特征和(2)局部虚假特征。第一个是由于训练和测试数据之间的协变量偏移,而第二个是由于在每个训练步骤中对数据的访问有限。我们通过一组一致的持续学习实验来研究(1),这些实验改变了伪相关量和数据分布支持。我们发现,(2)是一个主要的原因,在持续学习的性能下降,随着灾难性遗忘。本文提出了一种不同的方式来理解性能下降的持续学习突出的影响,(本地)虚假功能的算法能力。
2022-05-25 cs.AI cs.LG
Continual Learning at the Edge: Real-Time Training on Smartphone Devices
University of Bologna(博洛尼亚大学);University of Pisa(比萨大学)
个性化学习的设备上训练是一个具有挑战性的研究问题。能够在边缘快速适应深度预测模型对于更好地满足个人用户需求是必要的。然而,边缘适应对学习过程的效率和可持续性以及在不断变化的数据分布下工作的能力提出了一些问题。事实上,仅仅根据新的可用数据天真地微调预测模型会导致灾难性遗忘,即突然删除先前获得的知识。在本文中,我们详细介绍了一种混合持续学习策略(AR 1 *)在原生Android应用程序上的实现和部署,以实现实时的【形】设备上的个性化而不会忘记。我们的基准测试基于CORe50数据集的扩展,显示了我们解决方案的效率和有效性。
2021-05-24 cs.AI cs.CV cs.LG