Avalanche: A PyTorch Library for Deep Continual Learning
University of Pisa(比萨大学);University of Bologna(博洛尼亚大学);Scuola Normale Superiore(比萨高等师范学校);University of St. Gallen(圣加仑大学)
持续学习是从非平稳数据流中学习的问题,这是随着时间的推移深度神经网络可持续和有效训练的基本问题。不幸的是,深度学习库只提供用于离线训练的原语,假设模型的架构和数据是固定的。Avalanche是一个由ContinualAI非营利组织维护的开源库,它通过为动态架构、数据流以及增量训练和评估方法提供一流的支持来扩展PyTorch。Avalanche提供了大量预定义的基准测试和训练算法,易于扩展和模块化,同时支持广泛的持续学习场景。文档可在\url{https://avalanche.continualai.org}上获得。
2023-02-02 cs.LG
Ex-Model: Continual Learning from a Stream of Trained Models
University of Pisa(比萨大学);Scuola Normale Superiore(比萨高等师范学校)
从非平稳数据流中持续学习是一个具有挑战性的研究课题,在过去的几年里越来越受欢迎。能够以高效,有效和可扩展的方式不断学习,适应和概括是人工智能系统可持续发展的基础。然而,以代理为中心的持续学习的观点需要直接从原始数据中学习,这限制了独立代理之间的交互,效率和当前方法的隐私。相反,我们认为,持续学习系统应该利用压缩信息的训练模型的形式的可用性。在本文中,我们介绍并正式命名为"前模型持续学习"(ExML),其中一个代理学习从一个序列的先前训练的模型,而不是原始数据的新范式。我们进一步贡献了三个前模型持续学习算法和经验设置,包括三个数据集(MNIST,CIFAR-10和CORe50),和八个场景,其中所提出的算法进行了广泛的测试。最后,我们突出了前模型范式的特点,我们指出有趣的未来研究方向。
2021-12-13 cs.AI cs.CV cs.LG
The Future of Continual Learning in the Era of Foundation Models: Three Key Directions
Department of Computer Science, Università di Pisa(帕尔马大学计算机科学系);Institute of Information Science and Technologies, National Research Council(信息科学与技术研究所,国家研究理事会)
本文论证在基础模型时代持续学习仍不可替代,并提出持续预训练、持续微调和持续组合性三个关键方向,其中持续组合性将推动持续学习的重生。
2025-06-03 cs.AI cs.LG
The Barbados 2018 List of Open Issues in Continual Learning
我们希望在人工通用智能方面取得进展,即自主学习如何在复杂环境中胜任工作的通用代理。这份报告的目的是勾勒出一个研究大纲,分享我们面临的一些最重要的开放问题,并激发社会的进一步讨论。内容基于2018年2月在巴巴多斯举行的为期一周的研讨会上的一些讨论。
2018-11-16 cs.AI cs.LG
Task-Agnostic Experts Composition for Continual Learning
Computer Science Department, University of Pisa, Largo Bruno Pontecorvo 3, 56127, Pisa - Italy(意大利比萨大学计算机科学系)
本文提出任务无关的专家组合方法,通过零样本集成专家模型,在挑战性基准上以更低计算资源实现更高准确率,提升持续学习效率。
2025-06-18 cs.LG
Theories of synaptic memory consolidation and intelligent plasticity for continual learning
Friedrich Miescher Institute of Biomedical Research(弗里德里希·米歇尔生物医学研究所);Faculty of Science, University of Basel(巴塞尔大学理学院)
本章综述了基于突触内部状态演化和智能调控单个突触可塑性的元可塑性理论,阐明其对实现神经网络持续学习的关键作用,并总结了在深度神经网络中的应用及未来研究方向。
2024-10-18 cs.AI cs.LG cs.NE
Continual Learning in Neural Networks
University of Oxford(牛津大学)
人工神经网络在完成几个单独的任务(例如,话音识别,对象识别和视频游戏)方面已经超过了人类水平的性能。然而,与人类智能相比,这种成功仍然是有限的,人类智能可以学习和执行无限数量的任务。人类在一生中学习和积累知识的能力是其智力的一个重要方面。连续机器学习旨在通过为人工代理提供从非静态和永无止境的数据流在线学习的能力来实现更高水平的机器智能。这种永无止境的学习过程的一个关键组成部分是克服对先前看到的数据的灾难性遗忘,这是神经网络众所周知的问题。本论文的主要工作是研究神经网络中的持续学习和克服遗忘现象的方法。为了解决持续学习问题,我们首先假设一个任务增量设置,其中一次接收一个任务,并且不存储来自先前任务的数据。由于任务增量设置不能在所有的持续学习场景中假设,我们也研究了更一般的在线持续设置。我们考虑一个无限的数据流从一个非平稳分布与监督或自我监督的训练信号。本文提出的方法解决了持续学习的重要方面。他们根据不同的基准和不同的学习顺序进行评估。在持续学习的最新技术水平的进步已经显示出来,并严格确定了将持续学习付诸应用的挑战。
2019-10-18 cs.CV cs.LG stat.ML
Cross-Domain Continual Learning for Edge Intelligence in Wireless ISAC Networks
College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算与数据科学学院);School of Cyber Science and Engineering, Xi’an Jiaotong University(西安交通大学网络空间安全学院)
针对无线ISAC网络中边缘智能跨域感知面临的域依赖性和资源限制问题,提出EdgeCL框架,通过Transformer判别器和蒸馏核心集知识保留方法,实现低内存消耗下的跨域持续学习,有效缓解灾难性遗忘。
2025-04-14 cs.LG eess.SP
Neuroscience-Inspired Memory Replay for Continual Learning: A Comparative Study of Predictive Coding and Backpropagation-Based Strategies
Dartmouth College(达特茅斯学院)
本文提出一种受神经科学启发的持续学习框架,通过比较预测编码与反向传播策略,展示预测编码在提升模型保留性能方面的优势。
2025-11-29 cs.AI cs.LG
Towards General Industrial Intelligence: A Survey of Continual Large Models in Industrial IoT
Shien-Ming Wu School of Intelligent Engineering, South China University of Technology(华南理工大学伍舜德智能工程学院);School of Mechanical and Automotive Engineering, South China University of Technology(华南理工大学机械与汽车工程学院);Pazhou Lab(琶洲实验室);ZJU-UIUC Institute, Zhejiang University(浙江大学ZJU-UIUC学院);Key Laboratory of Maritime Intelligent Network Information Technology, Ministry of Education, Hohai University(河海大学海洋智能网络信息技术教育部重点实验室)
本文综述了工业物联网与大模型的融合,系统梳理语言、视觉、时间序列和多模态四类工业大模型在数据基础、训练、连接与持续演化四个生命周期阶段中的关键作用,为工业智能演进提供理论框架。
2024-12-27 cs.LG
How to Reuse and Compose Knowledge for a Lifetime of Tasks: A Survey on Continual Learning and Functional Composition
Massachusetts Institute of Technology(麻省理工学院);University of Pennsylvania(宾夕法尼亚大学)
本文针对人工智能智能体终身积累知识的需求,综述了持续学习与组合式学习的研究现状,探讨二者的关联,以推动跨领域研究发展。
2023-06-13 cs.AI cs.LG
A Comprehensive Sustainable Framework for Machine Learning and Artificial Intelligence
JPMorgan(摩根大通);Imperial College London(伦敦帝国学院)
本文提出可持续机器学习框架FPIG,通过元学习算法在训练前估计公平性、隐私、可解释性和排放四支柱,以权衡并辅助模型选择。
2024-07-17 cs.CY cs.LG
Towards Continuous Power Forecasting: Practical Continual Learning for Real-World Energy Systems in Nonstationary Time Series
University of Kassel(卡塞尔大学)
针对实际能源市场中功率预测模型面临的数据非平稳性和操作约束,提出连续功率预测范式,将预测视为持续学习问题,系统评估六种代表性持续学习方法,证明其能自适应分布漂移、积累知识并缓解灾难性遗忘。
2026-07-13 cs.LG
CLeAN: Continual Learning Adaptive Normalization in Dynamic Environments
Department of Computer Science and Engineering(计算机科学与工程系);University of Bologna(博洛尼亚大学)
本文提出CLeAN,一种针对动态环境持续学习的自适应归一化方法,通过EMA模块更新可学习参数,提升模型在新数据上的性能并减少灾难性遗忘。
2026-03-18 cs.AI cs.LG
An Inclusive and Lightweight Approach to Federated Continual Learning for Cultural Heritage
Information Technologies Institute, Centre for Research and Technology Hellas(希腊研究与技术中心信息技术研究所);School of Electronic Engineering and Computer Science, Queen Mary University of London(伦敦大学玛丽女王学院电子工程与计算机科学学院)
针对文化遗产数据分布受限且时序演变的问题,提出轻量级联邦持续学习策略FedCurv-DR,经WikiArt数据集评估可减轻遗忘,平衡性能、公平性与能效。
2026-08-21 cs.AI cs.CV cs.LG
Generative Continual Concept Learning
University of Pennsylvania(宾夕法尼亚大学);HRL Laboratories, LLC(HRL实验室有限责任公司);Stanford University(斯坦福大学)
在学习了一个概念之后,人类还能够通过只观察少数标记的实例而不干扰过去学习的知识来不断地将他们学习的概念推广到新的领域。相比之下,在持续学习环境中有效地学习概念仍然是当前人工智能算法的公开挑战,因为持续的模型再训练是必要的。受并行分布式处理学习和互补学习系统理论的启发,我们开发了一个计算模型,该模型能够使用少量标记样本有效地将先前学习的概念扩展到新的领域。我们将概念的新形式与其过去学习的形式结合在一个嵌入空间中,以实现有效的持续学习。这样做,生成分布被学习,使得它在嵌入空间中的任务之间共享,并对抽象概念进行建模。这个过程使模型能够生成伪数据点来重放过去的经验,以解决灾难性遗忘。
2019-09-07 cs.AI cs.LG stat.ML
Learning to Predict Gradients for Semi-Supervised Continual Learning
Harvard University(哈佛大学);University of Minnesota(明尼苏达大学);National University of Singapore(新加坡国立大学)
针对监督式持续学习难以利用未标记数据的问题,提出可通用的梯度预测半监督持续学习方法,通过梯度学习器预测未标记数据梯度,在多任务上取得SOTA性能,有效缓解灾难性遗忘。
2024-01-31 cs.CV cs.LG
Reinforced Continual Learning
Peking University(北京大学);Beijing Institute of Big Data Research (BIBDR)(北京大数据研究院)
大多数人工智能模型在不忘记以前获得的知识的情况下更快地解决新任务的能力有限。最近出现的持续学习范式旨在解决这个问题,其中模型以顺序的方式学习各种任务。在这项工作中,提出了一种新的持续学习方法,它通过精心设计的强化学习策略为每个即将到来的任务搜索最佳的神经结构。我们称之为强化持续学习。我们的方法不仅在防止灾难性遗忘方面有很好的性能,而且也能很好地适应新的任务。对MNIST和CIFAR-100数据集变体的顺序分类任务的实验表明,所提出的方法优于现有的深度网络持续学习替代方案。
2018-05-31 cs.CV cs.LG stat.ML
Bayesian Continual Learning via Spiking Neural Networks
生物智能的主要特征包括能源效率、持续适应能力以及通过不确定性量化进行风险管理。迄今为止,神经形态工程主要是由实现节能机器的目标驱动的,这些机器从生物大脑的基于时间的计算范式中获得灵感。在本文中,我们采取措施的神经形态系统的设计,能够适应不断变化的学习任务,同时产生校准良好的不确定性量化估计。为此,我们推导出脉冲神经网络(SNN)的贝叶斯持续学习框架内的在线学习规则。其中,每个突触权重由量化由先验知识和观测数据产生的当前认知不确定性的参数表示。所提出的在线规则更新的分布参数,在流的方式作为数据被观察。我们实例所提出的方法为实值和二进制突触权重。使用英特尔的Lava平台的实验结果表明,贝叶斯在适应能力和不确定性量化方面优于频率学习。
2022-11-01 cs.AI cs.LG cs.NE
TIMEGATE: Sustainable Time-Boxed Promotion Gates for Continual ML Adaptation Under Resource Constraints
University of California, Berkeley(加州大学伯克利分校);University of Washington(华盛顿大学)
提出TIMEGATE策略层,通过预算时间、标注、训练和评估来管理持续ML适应,实现评估计算节省且无静默错误促销。
2026-05-31 cs.AI cs.LG
COMPASS: COntinual Multilingual PEFT with Adaptive Semantic Sampling
UC Berkeley(加州大学伯克利分校)
COMPASS通过自适应语义采样策略,利用参数高效微调方法,在多语言任务中提升模型性能,减少跨语言干扰,实现持续学习框架以适应动态环境。
2026-04-22 cs.AI cs.CL cs.LG
Continual Few-Shot Learning with Adversarial Class Storage
Syracuse University(雪城大学);Northeastern University(东北大学);Colorado School of Mines(科罗拉多矿业学院)
人类有一种非凡的能力,可以快速有效地持续学习新概念,而不会忘记旧知识。虽然深度学习在各种计算机视觉任务上取得了巨大的成功,但它在实现这种人类水平的智能方面面临着挑战。在本文中,我们定义了一个新的问题,称为连续少样本学习,其中任务顺序到达,每个任务都与一些训练样本相关联。我们提出了连续元学习器(CML)来解决这个问题。CML将基于度量的分类和基于记忆的机制以及对抗学习集成到元学习框架中,这导致了理想的特性:1)它可以快速有效地学习处理新任务; 2)它克服了灾难性遗忘; 3)它是模型不可知的。我们在两个图像数据集MiniImageNet和CIFAR 100上进行了广泛的实验。实验结果表明,CML在少样本学习任务的分类准确率方面提供了最先进的性能,而没有灾难性遗忘。
2022-07-10 cs.AI cs.CV cs.LG
3rd Continual Learning Workshop Challenge on Egocentric Category and Instance Level Object Understanding
University of Bologna(博洛尼亚大学);Meta AI;KU Leuven(鲁汶大学);ServiceNow Research(ServiceNow研究院)
持续学习,也称为终身学习或增量学习,最近在人工智能研究界重新引起了人们的兴趣。最近的研究工作已经迅速导致能够减少深度神经网络中的灾难性遗忘现象的影响的新颖算法的设计。由于对该领域的兴趣激增,近年来举办了许多比赛,因为它们是激发有前途方向研究的绝佳机会。本文总结了CVPR 2022第三届持续学习计算机视觉(CLVision)研讨会上举办的挑战赛的想法、设计选择、规则和结果。本次比赛的重点是复杂的连续目标检测任务,这仍然是在文献中探索的分类任务相比。该挑战赛基于新颖的EgoObjects数据集的挑战版本,这是一个大规模的以自我为中心的对象数据集,旨在对以自我为中心的类别/实例级对象理解的持续学习算法进行基准测试,该数据集覆盖了超过100 k个视频帧中的1 k个唯一主对象和250多个类别。
2022-12-13 cs.AI cs.CV cs.LG
Adaptive Explainable Continual Learning Framework for Regression Problems with Focus on Power Forecasts
University of Kassel(卡塞尔大学)
与传统的深度学习技术相比,持续学习使深度神经网络能够持续自适应地学习。随着应用中数据量的不断增加,深度神经网络需要学习新的任务,并克服遗忘从旧任务中获得的知识。在本文中,将提出两个持续学习方案,以描述在这种情况下的潜在挑战。此外,基于我们以前的工作CLeaR框架,这是短期的持续学习回归任务,工作将进一步发展,使模型能够扩展自己和学习数据连续。研究主题涉及但不限于开发持续的深度学习算法,数据流中的非平稳检测策略,可解释和可视化的人工智能等。此外,框架和算法相关的超参数应在应用中动态更新。预测实验将根据从实际应用中收集的发电和消费数据进行。一系列的综合评价指标和可视化工具可以帮助分析实验结果。预计拟议框架将普遍适用于其他不断变化的情景。
2022-02-07 cs.LG
Sparsity and Heterogeneous Dropout for Continual Learning in the Null Space of Neural Activations
Vanderbilt University(范德堡大学);University of California, Davis(加州大学戴维斯分校);Johns Hopkins University(约翰斯·霍普金斯大学)
从非平稳输入数据流中持续/终身学习是智能的基石。尽管深度神经网络在各种各样的应用中表现出色,但在学习新信息时,它很容易忘记以前学习过的信息。这种现象被称为"灾难性遗忘",深深植根于稳定性-可塑性困境。克服深度神经网络中的灾难性遗忘已成为近年来活跃的研究领域。特别地,基于梯度投影的方法最近在克服灾难性遗忘方面显示出优异的性能。本文提出了两种基于稀疏性和异质性辍学的生物启发机制,显着提高了连续学习者在长序列任务中的表现。我们提出的方法建立在梯度投影记忆(GPM)框架。我们在神经网络的每一层中利用k-winner激活来为每个任务执行逐层稀疏激活,以及任务间的异构dropout,鼓励网络在不同任务之间使用非重叠的激活模式。此外,我们还介绍了两个新的分布式转移下的持续学习基准,即Continual Swiss Roll和ImageNet SuperDog-40。最后,我们提供了一个深入的分析,我们提出的方法,并证明了各种基准持续学习问题的显着性能提升。
2022-07-08 cs.AI cs.CV cs.LG
Continual Learning with Deep Generative Replay
Massachusetts Institute of Technology(麻省理工学院);SK T-Brain
训练一个能够解决多项任务的综合性人工智能的尝试一直受到一个被称为灾难性遗忘的慢性问题的阻碍。虽然简单地重放所有以前的数据可以解决这个问题,但它需要大量内存,甚至更糟的是,在对过去数据的访问有限的现实世界应用程序中通常是不可行的。受海马体作为灵长类动物大脑中短期记忆系统的生成本质的启发,我们提出了深度生成重播,这是一种新颖的框架,具有合作双模型架构,由深度生成模型(“生成器”)和任务求解模型组成(“求解器”)。只有这两个模型,以前任务的训练数据可以很容易地被采样,并与新任务的数据交织。我们测试我们的方法在几个连续的学习设置涉及图像分类任务。
2017-12-12 cs.AI cs.CV cs.LG
Continual Learners are Incremental Model Generalizers
Korea Advanced Institute of Science and Technology(韩国科学技术院);Microsoft Research(微软研究院);DeepAuto;Beijing Academy of Artificial Intelligence(北京人工智能研究院)
本文研究持续学习模型作为预训练器的效果,发现其表征迁移质量逐步提升,并提出无监督持续学习框架及GLAD微调方案,以增强模型泛化能力并促进对未见任务的迁移。
2023-06-21 cs.CV cs.LG
Self-Net: Lifelong Learning via Continual Self-Modeling
Georgia State University(佐治亚州立大学)
随着时间的推移学习一组任务,也称为持续学习(CL),是人工智能中最具挑战性的问题之一。虽然最近的方法在深度神经网络中实现了一定程度的CL,但它们要么(1)随着任务的数量线性增长网络参数,要么(2)需要存储来自先前任务的训练数据,要么(3)限制网络学习新任务的能力。为了解决这些问题,我们提出了一个新的框架,Self-Net,它使用自动编码器来学习一组为不同任务学习的权重的低维表示。我们证明,这些低维向量,然后可以用来生成高保真回忆的原始权重。Self-Net可以随着时间的推移整合新任务,几乎不需要重新训练,并且旧任务的性能损失最小。我们的系统不需要存储先前的训练数据,并且其参数仅随着任务的数量而几何地增长。我们证明了我们的技术在许多数据集上的表现优于当前最先进的方法--包括MNIST,CIFAR 10,CIFAR 100和Atari的连续版本--并且我们证明了我们的方法可以以连续的方式实现超过10倍的存储压缩。据我们所知,我们是第一个使用自动编码器来顺序编码网络权重集以实现持续学习的人。
2019-07-12 cs.AI cs.LG stat.ML
Semi-parametric Memory Consolidation: Towards Brain-like Deep Continual Learning
Centre for Artificial Intelligence and Robotics(人工智能与机器人中心);Hong Kong Institute of Science and Innovation(香港科学与创新研究院);Chinese Academy of Sciences(中国科学院);Department of Computer Science(计算机科学系);City University of Hong Kong(香港城市大学);The Department of Neurosurgery(神经外科部门);Peking University First Hospital(北京大学第一医院);State Key Laboratory of Multimodal Artificial Intelligence Systems(多模态人工智能系统国家重点实验室);Institute of Automation(自动化研究所);Hong Kong SAR, China(香港特别行政区,中国)
受人类记忆系统启发,提出整合半参数记忆与醒睡巩固机制的仿生持续学习框架,在ImageNet类增量学习等挑战场景中,使深度神经网络在保持旧知识的同时高效学习新任务。
2025-04-20 cs.AI cs.CV cs.LG
Continual Learning of Numerous Tasks from Long-tail Distributions
National University of Singapore(新加坡国立大学)
针对任务规模长尾且任务数量众多的持续学习场景,本文构建合成与真实数据集,并提出复用 Adam 二阶矩加权平均的方法,以低成本减少遗忘并增强现有算法。
2024-04-03 cs.LG
AI Autonomy : Self-Initiated Open-World Continual Learning and Adaptation
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Intel Labs(英特尔实验室);PAR Government Systems Corporation(PAR政府系统公司)
本文针对开放世界中AI智能体需自主持续学习并适应新颖环境的问题,提出SOLA框架,并通过实现的智能体验证可行性。
2023-04-19 cs.AI cs.CL cs.HC
M2RU: Memristive Minion Recurrent Unit for On-Chip Continual Learning at the Edge
NUAI Lab, Department of Electrical and Computer Engineering, University of Texas at San Antonio and Department of Electrical Engineering, University of Baghdad(NUAI实验室,电子与计算机工程系,德克萨斯大学圣安东尼奥分校和电子工程系,巴格达大学)
M2RU是一种用于边缘芯片持续学习的忆阻式Minion循环单元,通过混合信号架构实现高效时间处理和能效提升。
2025-12-26 cs.AI cs.ET cs.LG
Towards a General Framework for Continual Learning with Pre-training
Tsinghua University(清华大学);Tsinghua-Bosch Joint Center for ML(清华博世机器学习联合中心)
该研究提出一种带预训练的持续学习通用框架,将目标拆解为三个层级组件,结合PEFT技术与表示统计量优化,实验验证其在下游持续学习的优越性,还探索了PEFT在上游的适用性并讨论框架的神经科学基础。
2024-07-09 cs.LG
CLoG: Benchmarking Continual Learning of Image Generation Models
Peking University(北京大学)
本文提出将持续学习研究从分类任务转向生成模型持续学习(CLoG),系统分析其独特挑战,适配三类现有CL方法并构建多样化基准,为终身学习范式下的AIGC发展提供支撑。
2024-06-07 cs.AI cs.CV cs.LG
Saliency-Augmented Memory Completion for Continual Learning
Emory University(埃默里大学)
持续学习被认为是迈向下一代人工智能的关键一步。在各种方法中,基于回放的方法保持和回放先前样本的小情景记忆是对抗灾难性遗忘的最成功的策略之一。然而,由于遗忘是不可避免的有限的记忆和无限的任务,如何忘记是持续学习必须解决的问题。因此,除了简单地避免灾难性遗忘之外,一个未充分探讨的问题是如何在确保人类记忆优点的同时合理地遗忘,包括1.存储效率,2.可推广性,3。一些可解释性。为了同时实现这些,我们的论文提出了一个新的显着性增强的记忆完成框架持续学习,最近发现的记忆完成分离的认知神经科学的启发。具体而言,我们创新性地提出了通过显著图提取和记忆编码将图像中对任务最重要的部分存储在情景记忆中。当学习新任务时,来自记忆的先前数据由自适应数据生成模块修复,该模块受到人类如何完成情景记忆的启发。该模块的参数在所有任务之间共享,并且可以与持续学习分类器联合训练,作为双层优化。在多个持续学习和图像分类基准上的实验证明了该方法的有效性。
2022-12-26 cs.LG
Quantum continual learning of quantum data realizing knowledge backward transfer
South China Agricultural University(华南农业大学);Sun Yat-sen University(中山大学);Guilin University of Electronic Technology(桂林电子科技大学);Tsinghua University(清华大学)
针对量子机器学习中的灾难性遗忘问题,本文引入梯度情景记忆方法设计面向量子数据的量子持续学习方案,通过变分量子分类器实现序列量子态分类任务的持续学习,可克服遗忘并实现知识反向迁移。
2022-06-08 cs.LG quant-ph
Federated Continual Learning to Detect Accounting Anomalies in Financial Auditing
University of St.Gallen(圣加仑大学);Rutgers, The State University of New Jersey(罗格斯大学,新泽西州立大学)
《国际审计准则》要求审计员对财务报表不存在重大错报收集合理保证。与此同时,持续保证的一个核心目标是对数字会计分录进行实时评估。最近,在人工智能进步的推动下,深度学习技术已经出现在财务审计中,以检查大量的会计数据。然而,在分散和动态环境中学习高度适应性的审计模型仍然具有挑战性。它需要研究多个客户端和多个时间段上的数据分布偏移。在这项工作中,我们提出了一个联邦持续学习框架,使审计师学习审计模型从分散的客户不断。我们评估框架的能力,以检测会计异常的组织活动的常见情况。我们的实证结果,使用真实世界的数据集和联合联邦持续学习策略,证明了学习模型的能力,以检测异常的数据分布偏移的审计设置。
2022-10-26 cs.LG
Hierarchical Memory Pool Based Edge Semi-Supervised Continual Learning Method
Beijing Institute of Technology(北京理工大学)
世界的不断变化导致了神经网络性能的退化。因此,持续学习(CL)领域逐渐引起更多研究者的关注。对于边缘智能,CL模型不仅需要克服灾难性的遗忘,还需要面对资源严重有限的巨大挑战:缺乏标记资源和强大的设备。然而,现有的经典CL方法通常依赖于大量的标记样本来保持其可塑性和稳定性,而半监督学习方法往往需要付出较大的计算和内存开销来获得更高的精度。针对这些问题,本文提出了一种低成本的半监督CL方法--边缘层次记忆学习器(EdgeHML)。EdgeHML可以有效地利用大量的未标记样本和少量的标记样本。它采用分层内存池、分层存储的多级存储结构来存储和回放样本。EdgeHML通过在线和离线策略的结合实现了不同级别之间的交互。此外,为了进一步减少未标记样本的计算开销,EdgeHML利用了渐进式学习方法。它通过控制学习过程来减少未标记样本的计算周期。实验结果表明,在三个半监督CL任务上,EdgeHML与经典CL方法相比,模型精度提高了16.35%,训练迭代时间比半监督方法减少了50%以上. EdgeHML实现了一个半监督CL过程,具有高性能和低开销的边缘智能。
2023-01-17 cs.LG
SimCS: Simulation for Domain Incremental Online Continual Segmentation
Intel Labs(英特尔实验室);King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学);University of Oxford(牛津大学)
本文提出SimCS,一种无参数的在线领域增量持续分割方法,通过仿真数据正则化持续学习,解决自动驾驶等场景中无任务边界且计算受限的分割模型持续训练问题。
2024-02-15 cs.CV cs.LG
Schematic Memory Persistence and Transience for Efficient and Robust Continual Learning
Emory University(埃默里大学);George Mason University(乔治梅森大学)
持续学习被认为是迈向下一代人工智能(AI)的一个有希望的步骤,其中深度神经网络(DNN)通过持续学习类似于人类学习过程的一系列不同任务来做出决策。它仍然相当原始,现有的工作主要集中在避免(灾难性的)遗忘。然而,由于遗忘是不可避免的有限的记忆和无限的任务负载,“如何合理地忘记”是一个问题,持续学习必须解决,以减少人工智能和人类之间的性能差距,在1)记忆效率,2)概括性,和3)鲁棒性处理噪声数据。为了解决这个问题,我们提出了一个新的ScheMATic记忆持久性和短暂性(SMART)框架,持续学习与外部记忆,建立在神经科学的最新进展。一种新的长期遗忘机制和图式记忆,使用稀疏性和“向后正迁移”的限制与理论保证的错误界的效率和泛化能力提高。鲁棒增强是通过使用一种新的短期遗忘机制,灵感来自背景信息门控学习。最后,在基准数据集和真实数据集上进行了大量的实验分析,证明了该模型的有效性和效率。
2021-05-05 cs.LG
Rethinking Continual Experience Internalization for Self-Evolving LLM Agents
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学人工智能学院 Gallagher 学院);School of Software, Beihang University(北航软件学院);Meituan(美团)
本文通过经验粒度、注入模式和内化机制三个维度,提出一种稳定可持续的经验内化方法,解决多轮经验学习中的能力崩溃问题。
2026-06-03 cs.CL cs.LG
Modular Continual Learning in a Unified Visual Environment
Stanford University(斯坦福大学);Stanford Neurosciences Institute(斯坦福神经科学研究所)
人类智能的一个核心方面是快速学习新任务并灵活切换的能力。在这里,我们描述了一个模块化的连续强化学习范式的灵感来自这些能力。我们首先介绍一个可视化的交互环境,它允许许多类型的任务被统一在一个单一的框架。然后,我们描述了一个奖励地图预测方案,学习新的任务鲁棒性非常大的状态和动作空间所需的这样一个环境。我们研究了模块架构的属性如何影响任务学习的效率,表明模块基序结合特定的设计原则(如早期瓶颈,低阶多项式非线性和对称性)显着优于更标准的神经网络基序,需要更少的训练样本和更少的神经元,以实现高水平的性能。最后,我们提出了一个基于动态神经投票方案的任务切换元控制器架构,该架构允许新模块使用从以前看到的任务中学习到的信息来大幅提高自己的学习效率。
2017-12-12 cs.AI cs.LG q-bio.NC
Continual Learning for Unsupervised Anomaly Detection in Continuous Auditing of Financial Accounting Data
University of St. Gallen (HSG)(圣加仑大学(HSG))
国际审计标准要求直接评估财务报表的基本会计分录。在人工智能进步的推动下,受深度学习启发的审计技术应运而生,用于检查大量的期刊条目数据。然而,在定期审计中,大多数提出的方法都用于从相对固定的期刊条目群体中学习,例如,一个财政季度或一年。忽略审计相关分布变化在训练数据中不明显或随着时间的推移逐渐可用的情况。相比之下,在持续审计中,深度学习模型在记录的日志条目流上持续训练,例如,最后一个小时。导致以前的知识干扰新的信息,并将完全覆盖的情况。这项工作提出了一个持续的异常检测框架,以克服这两个挑战,旨在从一个流的日志条目数据的经验。该框架是基于精心设计的审计方案和两个真实世界的数据集进行评估。我们的实验结果提供了初步的证据表明,这样的学习计划提供了减少假阳性警报和假阴性决策的能力。
2022-03-31 cs.LG
Center Loss Regularization for Continual Learning
Stony Brook University(石溪大学);IIIT Hyderabad(海得拉巴国际信息技术研究所)
顺序学习不同任务的能力对人工智能的发展至关重要。一般来说,神经网络缺乏这种能力,主要障碍是灾难性遗忘。它发生在不断获取来自非平稳数据分布的增量可用信息时,破坏了模型已经学习的内容。我们的方法通过将新任务的表示投影到旧任务的表示附近来记住旧任务,同时保持决策边界不变。我们采用中心丢失作为正则化惩罚,强制新任务的特征具有与旧任务相同的类中心,并使特征具有高度的区分性。这反过来又导致对已经学习的信息的遗忘最少。这种方法易于实现,需要最小的计算和内存开销,并允许神经网络在许多顺序遇到的任务中保持高性能。我们还证明,使用中心损失与记忆重放优于其他重放为基础的战略。随着标准的MNIST变体持续学习,我们将我们的方法与Digits和PACS数据集的连续领域自适应方案。我们证明,我们的方法是可扩展的,有效的,并提供竞争力的性能相比,国家的最先进的持续学习方法。
2021-10-21 cs.CV cs.LG
A Neural Network Model of Complementary Learning Systems: Pattern Separation and Completion for Continual Learning
Georgia Institute of Technology(佐治亚理工学院)
针对神经网络灾难性遗忘问题,结合变分自编码器与现代Hopfield网络构建互补学习系统模型,实现模式补全与分离,在Split-MNIST上准确率接近90%并大幅减少遗忘。
2025-07-15 cs.LG
Selecting Related Knowledge via Efficient Channel Attention for Online Continual Learning
China University of Petroleum(中国石油大学)
持续学习的目标是通过在线学习的方式利用过去获得的知识学习一系列任务,同时能够很好地执行所有先前的任务,这种能力对于人工智能(AI)系统至关重要,因此与传统学习模式相比,持续学习更适合于大多数现实和复杂的应用场景。然而,目前的模型通常学习一个通用的表示的基础上的类标签的每一个任务,并选择一个有效的策略,以避免灾难性遗忘。我们假设,选择相关的和有用的部分,只从所获得的知识来执行每一个任务是更有效的比利用整个知识。基于这一事实,在本文中,我们提出了一个新的框架,命名为选择相关的知识在线持续学习(SRKOCL),它结合了一个额外的有效的通道注意力机制,以挑选特定的相关知识的每一个任务。我们的模型还结合了经验重放和知识蒸馏来规避灾难性遗忘。最后,在不同的基准上进行了大量的实验,具有竞争力的实验结果表明,我们提出的SRKOCL是一个有前途的方法对国家的最先进的。
2022-09-09 cs.CV cs.LG
Latent Spectral Regularization for Continual Learning
University of Modena and Reggio Emilia(摩德纳与雷焦艾米利亚大学);Ammagamma(阿马伽玛公司);Sapienza University of Rome(罗马第一大学(萨皮恩扎大学))
针对持续学习中的灾难性遗忘,提出基于潜在空间拉普拉斯谱的几何正则化器CaSpeR-IL,促进类别分区,可结合任意排练方法提升SOTA性能。
2024-07-16 cs.LG
Decision-Focused Continual Learning for Seaport Power-Logistics Scheduling: Generalization across Varying Tasks
College of Smart Energy, Shanghai Jiao Tong University(上海交通大学智能能源学院);School of Electrical and Electronic Engineering, Nanyang Technological University(南洋理工大学电子与电气工程学院);School of Electrical Engineering, Shanghai Jiao Tong University(上海交通大学电气工程学院);Dyson School of Design Engineering, Imperial College London(伦敦帝国理工学院戴森设计工程学院)
针对预测-优化框架在任务变化时泛化差的问题,提出基于Fisher信息正则化的决策聚焦持续学习框架,通过可微凸代理稳定梯度,实现跨任务决策对齐的在线学习,在裕廊港实验中提升决策性能并降低计算成本。
2026-06-23 cs.LG cs.SY eess.SY
Generative Negative Replay for Continual Learning
University of Bologna(博洛尼亚大学);University of Pisa(比萨大学)
持续学习是智力的一个重要方面,也是解决许多现实问题的必要能力。控制灾难性遗忘(持续学习的阿喀琉斯之踵)的最有效策略之一是存储部分旧数据,并与新经验交叉重放(也称为重放方法)。生成式重放(Generative replay)使用生成模型按需提供重放模式,特别有趣,然而,它主要在简化的假设下被证明是有效的,例如简单的场景和低维数据。在本文中,我们表明,虽然生成的数据通常不能提高旧类的分类精度,但它们可以有效地作为负例(或拮抗剂),以更好地学习新类,特别是当学习经验很小时,包含一个或几个类的例子。所提出的方法在复杂的类增量和数据增量持续学习场景(CORe 50和ImageNet-1000)上进行了验证,这些场景由高维数据和大量训练经验组成:现有的生成重放方法通常会失败。
2022-04-12 cs.CV cs.LG stat.ML
Digital Twin and Artificial Intelligence Incorporated With Surrogate Modeling for Hybrid and Sustainable Energy Systems
Bangladesh University of Engineering and Technology(孟加拉国工程技术大学);Ahsanullah University of Science and Technology(阿赫桑努拉科技大学);Indian Institute of Technology Delhi(印度理工学院德里分校);University of Bristol(布里斯托大学);Missouri University of Science and Technology(密苏里科技大学)
代理建模带来了科学和工程领域的计算革命。在人工智能的支持下,代理模型可以呈现高度准确的结果,并且比实际模型的计算机模拟显著减少计算时间。代理建模技术已经在科学和工程的许多分支中得到了应用,能源系统建模就是其中之一。由于混合和可持续能源系统的想法在现代世界迅速传播的智能能源转变的范例,研究人员正在探索未来的应用人工智能为基础的代理建模在分析和优化混合能源系统。用于评估能源系统适用性的有前途的技术之一是数字孪生,它可以利用代理建模。这项工作提出了一个全面的框架/审查人工智能驱动的代理建模及其应用的重点是数字孪生框架和能源系统。解释了机器学习和人工智能在构建有效的代理模型中的作用。在此基础上,提出了针对不同可持续能源的代理模型。最后,描述了数字孪生代理模型和相关的不确定性。
2022-09-30 cs.AI cs.LG
Toward Carbon-Neutral Human AI: Rethinking Data, Computation, and Learning Paradigms for Sustainable Intelligence
本文提出人类人工智能(HAI)框架,通过增量学习、碳感知优化和人在回路协作,平衡性能与生态责任,实现可持续智能。
2025-10-27 cs.AI cs.LG
Generative Feature Replay with Orthogonal Weight Modification for Continual Learning
School of Electronics Engineering and Computer Science, Peking University(北京大学电子工程与计算机科学学院)
智能代理连续学习和记住多个任务的能力对于实现人工通用智能至关重要。为了克服神经网络顺序学习过程中由于数据非独立性而导致的灾难性遗忘,人们提出了许多持续学习方法。在本文中,我们专注于类增量学习,一个具有挑战性的CL场景。对于这种情况,生成重放是一种很有前途的策略,它为以前的任务生成并重放伪数据,以减轻灾难性遗忘。然而,对于相对复杂的数据,很难连续地训练生成模型。基于最近提出的正交权重修改(OWM)算法,该算法在学习新任务时可以近似保持先前学习的特征不变,我们提出1)使用生成模型重放倒数第二层特征; 2)利用自监督辅助任务进一步增强特征的稳定性。几个数据集上的实验结果表明,我们的方法总是取得了显着的改善,而强大的OWM传统的生成重放总是导致负面影响。同时,我们的方法击败了几个强大的基线,包括一个基于真实数据存储的基线。此外,我们进行实验,研究为什么我们的方法是有效的。
2020-09-12 cs.LG stat.ML
Artificial intelligence for Sustainable Energy: A Contextual Topic Modeling and Content Analysis
Tarbiat Modares University(塔比阿特莫达雷斯大学)
在对可持续能源和人工智能解决方案的争论日益激烈的同时,世界目前正在讨论人工智能的伦理及其对社会和环境可能产生的负面影响。在这些论点中,提出了可持续的人工智能,旨在推进可持续发展的道路,例如可持续能源。本文提出了一种结合LDA、BERT和聚类的上下文主题建模方法。然后,我们将这些计算分析与相关科学出版物的内容分析相结合,以确定能源可持续人工智能科学研究中的主要学术主题、子主题和跨主题主题。我们的研究确定了八个主要主题,包括可持续建筑,基于人工智能的城市水管理DSS,气候人工智能,农业4,人工智能与物联网的融合,基于人工智能的可再生技术评估,智能校园和工程教育,以及基于人工智能的优化。然后,我们根据观察到的理论差距,推荐了14个潜在的未来研究方向。从理论上讲,这项分析有助于现有的可持续人工智能和可持续能源文献,实际上,它旨在作为能源工程师和科学家,人工智能科学家和社会科学家的一般指南,以扩大他们在人工智能和能源融合研究中的可持续性知识。
2021-10-02 cs.AI
Toward Multiphysics-Informed Machine Learning for Sustainable Data Center Operations: Intelligence Evolution with Deployable Solutions for Computing Infrastructure
本文提出多物理场指导机器学习框架,用于提升数据中心运营的可持续性,通过整合物理先验与数据驱动模型,实现碳感知IT资源配置、智能冷却控制等关键应用。
2026-02-04 cs.AI cs.LG