Mixture-of-Variational-Experts for Continual Learning
Ulm University(乌尔姆大学);Institute of Neural Information Processing(神经信息处理研究所)
机器学习算法的一个弱点是模型在不忘记先前获得的知识的情况下解决新问题的能力很差。持续学习(CL)范式已经成为一种系统地研究环境的协议,其中模型顺序观察由一系列任务生成的样本。在这项工作中,我们采取任务不可知论的观点持续学习,并制定了一个分层的信息理论的最优性原则,促进学习和遗忘之间的权衡。我们从贝叶斯的角度讨论这一原则,并显示其连接到以前的方法CL。基于这一原则,我们提出了一个神经网络层,称为混合变分专家层,通过创建一组信息处理路径通过网络,这是由门控策略,它消除了遗忘。由于基于通用效用函数的一般公式,我们可以将此最优性原则应用于各种各样的学习问题,包括监督学习,强化学习和生成式建模。我们证明了我们的方法在连续监督学习和连续强化学习中的竞争力。
2022-03-01 cs.LG stat.ML
Continual Learning via Sequential Function-Space Variational Inference
University of Oxford(牛津大学)
本文提出将持续学习建模为序贯函数空间变分推断,允许参数灵活变化并有效正则化预测,在多个任务序列上提升了神经网络的预测准确性,并减少对旧任务代表性点的依赖。
2023-12-28 cs.AI cs.LG stat.ML
Partitioned Variational Inference: A unified framework encompassing federated and continual learning
University of Sydney(悉尼大学);University of Cambridge(剑桥大学)
变分推断(VI)已成为拟合许多现代概率模型的首选方法。然而,从业者面临着一个支离破碎的文献,提供了一系列令人困惑的算法选项。第一,变分族。第二,更新的粒度,例如更新是否是每个数据点的本地更新,并采用消息传递或全局更新。第三,优化方法(定制或黑盒,封闭形式或随机更新等)。本文提出了一个新的框架,称为分区变分推断(PVI),明确承认这些算法的VI尺寸,统一不同的文献,并提供指导使用。至关重要的是,拟议的PVI框架使我们能够确定执行VI的新方法,这些方法非常适合具有挑战性的学习场景,包括联邦学习(利用分布式计算来处理非集中式数据)和持续学习(新数据和任务随着时间的推移而到达,必须快速适应)。我们通过开发贝叶斯神经网络的通信高效联邦训练和带有私有伪点的高斯过程模型的持续学习来展示这些新功能。新方法的性能明显优于最先进的方法,同时几乎与标准VI一样简单。
2018-11-27 cs.AI cs.LG stat.ML
A Fusion of Variational Distribution Priors and Saliency Map Replay for Continual 3D Reconstruction
Indian Institute of Technology Bombay(印度理工学院孟买分校);Monash University(莫纳什大学)
本文提出一种融合变分先验与显著性图回放的持续三维重建方法,以缓解灾难性遗忘并降低存储开销,实验证明其性能具有竞争力。
2024-11-21 cs.CV cs.LG
Kernel Continual Learning
University of Amsterdam(阿姆斯特丹大学);Inception Institute of Artificial Intelligence(Inception人工智能研究院)
本文介绍了核连续学习,一个简单但有效的变种,利用核方法的非参数性质来解决灾难性遗忘的连续学习。我们部署了一个情景记忆单元,它存储每个任务的样本子集,以基于核岭回归学习特定于任务的分类器。这不需要记忆重放,并且系统地避免了分类器中的任务干扰。我们进一步引入变分随机特征来学习每个任务的数据驱动内核。为此,我们制定内核持续学习作为一个变分推理问题,其中随机傅立叶基作为潜在变量。在随机傅立叶基上的变分后验分布推断出每个任务的核心集。通过这种方式,我们能够生成针对每个任务的更多信息内核,更重要的是,可以减小内核集的大小以实现更紧凑的存储器,从而基于情景记忆实现更有效的持续学习。对四个基准测试的广泛评估表明了内核用于持续学习的有效性和前景。
2021-07-14 cs.AI cs.LG
Temporal-Difference Variational Continual Learning
OATML, University of Oxford(OATML,牛津大学);OXCAV, University of Oxford(OXCAV,牛津大学)
针对持续学习中变分方法因复合近似误差导致灾难性遗忘的问题,提出整合多个先前后验估计正则化的新目标,并揭示其与时序差分方法的联系,实验证明优于现有变分方法。
2025-10-23 cs.AI cs.LG
Task Agnostic Continual Learning Using Online Variational Bayes with Fixed-Point Updates
Technion, Israel Institute of Technology(以色列理工学院);Habana-Labs(哈巴纳实验室)
背景:灾难性遗忘是神经网络在学习过程中对数据分布变化的一种臭名昭著的脆弱性。这种现象长期以来一直被认为是在现实的持续学习环境中使用学习代理的主要障碍。大量的持续学习研究假设任务边界在培训过程中是已知的。然而,只有少数作品考虑的情况下,任务边界是未知的或没有很好地定义-任务不可知的情况下。最佳贝叶斯解决方案需要一个棘手的在线贝叶斯更新后验权重。贡献:我们的目标是尽可能准确地近似在线贝叶斯更新。要做到这一点,我们得到新的不动点方程的在线变分贝叶斯优化问题,多变量高斯参数分布。通过迭代后,通过这些固定点方程,我们得到一个算法(FOO-VB)的连续学习,可以处理非平稳数据分布使用一个固定的架构,而不使用外部存储器(即不访问以前的数据)。我们证明,我们的方法(FOO-VB)优于现有的方法在任务不可知的情况下。FOO-VB Pytorch实现将在线提供。
2021-10-18 cs.LG stat.ML
Fast and Slow Variational Continual Learning
University of Bremen(不来梅大学);Jeonbuk National University(全北国立大学);TU Darmstadt(达姆施塔特工业大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);Hessian Center for AI (hessian.AI)(黑森人工智能中心);University College London(伦敦大学学院)
提出通过合并过去后验实现慢适应,在IVON优化器中无缝集成快慢更新,形成持续IVON(CoVON)优化器,在领域增量学习、持续预训练和大语言模型微调中优于现有方法。
2026-06-24 cs.AI cs.LG
Variational Bayes for Federated Continual Learning
National Engineering Research Center for Big Data Technology and System(国家大数据技术与系统工程研究中心);School of Computer Science and Technology, Huazhong University of Science and Technology(华中科技大学计算机科学与技术学院);Lehigh University(里海大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Tencent AI Lab(腾讯AI Lab)
本文提出联邦贝叶斯神经网络(FedBNN),利用变分贝叶斯持续整合局部与历史数据分布知识,在无需识别分布变化的情况下缓解灾难性遗忘,实验证明其性能达到最先进水平。
2024-05-23 cs.AI cs.DC cs.LG
Variational Density Propagation Continual Learning
Rowan University(罗文大学);Moffitt Cancer Center & Research Institute(莫菲特癌症中心与研究所)
本研究提出变分密度传播持续学习框架,通过传播分布前两阶矩优化闭式ELBO近似MDL准则,缓解持续学习中的灾难性遗忘,在多基准数据集上验证了生成低复杂度网络的效果。
2023-08-22 cs.LG stat.ML
Adaptive Variance-Penalized Continual Learning with Fisher Regularization
Indian Institute of Technology Bombay(印度理工学院孟买学院)
本文提出一种在变分学习框架中引入Fisher加权非对称方差正则化的持续学习方法,通过根据参数不确定性动态调节正则化强度,在多个标准基准上有效缓解灾难性遗忘并提升模型性能。
2025-08-15 cs.AI cs.LG
Variational Continual Test-Time Adaptation
Computer Vision Center (CVC), Universitat Autònoma de Barcelona(计算机视觉中心(CVC),巴塞罗那自治大学);New Laboratory of Pattern Recognition, State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences(模式识别新实验室,多模态人工智能系统国家重点实验室,中国科学院自动化研究所);School of Automation, Southeast University(自动化学院,东南大学);China Nuclear Power Engineering Co.,LTD(中国核电工程有限公司);School of Electronic & Engineering, Suzhou University of Science and Technology(电子与工程学院,苏州科技大学)
本文提出VCoTTA方法,通过变分贝叶斯方法解决持续测试时间适应中的不确定性问题,结合源和教师模型的先验信息以缓解误差累积。
2025-12-17 cs.LG stat.ML
Continual Learning from the Perspective of Compression
University of Groningen(格罗宁根大学);Mila(米拉人工智能研究所)
连接主义模型,如神经网络,遭受灾难性遗忘。在这项工作中,我们从信息论的角度来研究这个问题,并定义遗忘为以前的数据的描述长度的增加时,他们被压缩的顺序学习模型。此外,我们表明,持续学习方法的基础上变分后验近似和生成重放可以被认为是近似的两个prequential编码方法的压缩,即贝叶斯混合代码和最大似然(ML)插件代码。我们比较这些方法的压缩和遗忘和经验研究的原因,限制性能的持续学习方法的基础上变分后验近似。为了解决这些限制,我们提出了一种新的持续学习方法,结合ML插件和贝叶斯混合代码。
2020-06-26 cs.LG cs.NE stat.ML
Sequential Function-Space Variational Inference via Gaussian Mixture Approximation
Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院)
本文提出基于高斯混合变分分布的序列函数空间变分推断方法,以更好地近似神经网络多模态后验,实验表明其在持续学习最终平均准确率上优于其他序列变分推断方法。
2025-05-27 cs.LG stat.ML
Shared and Private VAEs with Generative Replay for Continual Learning
Indian Institute of Science(印度科学研究院)
持续学习试图在不忘记以前学过的东西的情况下学习新的任务。事实上,大多数现有的人工神经网络(ANN)模型都失败了,而人类也是通过一生记住以前的作品来做到这一点。虽然简单地存储所有过去的数据可以缓解这个问题,但它需要大量的内存,并且在最后一次数据访问受限的实际应用中通常是不可行的。我们假设不断学习解决每个任务的模型具有一些特定于任务的特性和一些任务不变的特性。我们提出了一种更适合实际场景的混合持续学习模型,以解决具有任务不变的共享变分自编码器和T个任务特定的变分自编码器的问题。我们的模型结合了生成重放和架构增长,以防止灾难性遗忘。我们证明了我们的混合模型有效地避免了遗忘,并在视觉持续学习基准测试中获得了最先进的结果,如MNIST,Permuted MNIST(QMNIST),CIFAR 100和miniImageNet数据集。我们讨论了一些数据集上的结果,如SVHN,Fashion-MNIST,EMNIST和CIFAR 10。
2021-05-17 cs.CV cs.LG
Revised Regularization for Efficient Continual Learning through Correlation-Based Parameter Update in Bayesian Neural Networks
IIT Bombay(印度理工学院孟买分校)
本文提出一种基于贝叶斯神经网络和变分推断的持续学习方法,通过参数分布学习降低存储、引入修正正则化项及重要性加权证据下界来缓解灾难性遗忘,并在多种数据集上验证了其优越性能。
2024-11-21 cs.CV cs.LG
Uncertainty-based Continual Learning with Adaptive Regularization
Sungkyunkwan University(成均馆大学)
提出了一种基于神经网络的不确定性正则化持续学习(UCL)算法,该算法基于变分推理的贝叶斯在线学习框架。我们关注最近提出的基于正则化的方法的两个显著缺点:a)用于确定每个权重正则化强度的相当大的额外内存成本和b)缺乏优雅遗忘方案,该方案可以防止学习新任务时的性能下降。在本文中,我们表明UCL可以解决这两个问题,通过引入一个新的解释的Kullback-Leibler(KL)的发散项的高斯平均场近似的变分下界。基于这种解释,我们提出了节点不确定性的概念,这大大减少了用于实现每权重正则化的附加参数的数量。此外,我们还设计了两个额外的正则化项,通过冻结过去任务的重要参数来增强稳定性,并通过控制新任务的主动学习参数来实现可塑性。通过大量的实验,我们证明了UCL不仅在流行的监督学习基准上,而且在具有挑战性的终身强化学习任务上都令人信服地优于大多数最新的最先进的基线。我们的算法的源代码可在https://github.com/csm9493/UCL上获得。
2019-11-14 cs.LG stat.ML
Selective Amnesia: A Continual Learning Approach to Forgetting in Deep Generative Models
National University of Singapore(新加坡国立大学);Smart Systems Institute, National University of Singapore(新加坡国立大学智能系统研究所)
针对文本到图像模型可能被滥用以生成有害内容的问题,提出基于持续学习的“选择性遗忘”方法,实现可控遗忘,可应用于变分自编码器和扩散模型,实验证明能有效遗忘多种概念。
2023-10-17 cs.AI cs.LG
Bayesian Structure Adaptation for Continual Learning
Indian Institute of Technology, Kanpur(印度理工学院坎普尔分校)
持续学习是一种学习范式,其中学习系统通过顺序或流式任务进行训练。在神经网络持续学习的最新进展中,有两个值得注意的方向是($i$)通过学习先前任务的先验知识进行基于变分贝叶斯的正则化,以及($ii$)学习深度网络的结构以适应新任务。到目前为止,这两种方法是正交的。我们提出了一种基于学习深度神经网络结构的持续学习贝叶斯方法,解决了这两种方法的缺点。该模型通过学习要使用的权重来学习每个任务的深层结构,并通过不同任务学习的不同稀疏权重子集的重叠来支持任务间的转移。在有监督和无监督基准测试上的实验结果表明,我们的模型在持续学习环境中的性能优于或优于最近的进展。
2020-02-21 cs.LG stat.ML
C$^{2}$INet: Realizing Incremental Trajectory Prediction with Prior-Aware Continual Causal Intervention
Aerospace Information Research Institute, Chinese Academy of Sciences(中国科学院空天信息创新研究院);Capital Normal University(首都师范大学);Tsinghua University(清华大学)
本文提出C$^{2}$INet方法,在持续学习框架下通过变分推断对齐环境先验与混杂因子后验、结合记忆队列持续去偏和剪枝策略,实现可泛化的多智能体轨迹预测并缓解灾难性遗忘。
2024-11-19 cs.CV cs.LG
Continual Classification Learning Using Generative Models
University of Geneva(日内瓦大学);Geneva School of Business Administration, HES-SO(瑞士西部高等专业学院日内瓦工商管理学院)
持续学习是一种通过容纳知识同时保留先前学到的经验来随着时间顺序学习的能力。神经网络可以在联合训练时学习多个任务,但当一次呈现一个任务时,无法保持先前学习的任务的性能。这个问题被称为灾难性遗忘。在这项工作中,我们提出了一个分类模型,从连续观察的任务,同时防止灾难性遗忘不断学习。我们建立在[10]的终身生成能力的基础上,并通过推导联合对数似然$\log p(x; y)$的新变分界限将其扩展到分类设置。
2018-10-24 cs.LG stat.ML
Statistical Mechanical Analysis of Catastrophic Forgetting in Continual Learning with Teacher and Student Networks
Japan Science and Technology Agency(日本科学技术振兴机构)
当一个计算系统从不断变化的环境中不断学习时,它会迅速忘记过去的经验。这种现象被称为灾难性遗忘。虽然已经提出了一系列的研究,以避免灾难性的遗忘,大多数的方法是基于对现象的直观见解,其性能已通过使用基准数据集的数值实验进行了评估。因此,在本研究中,我们提供了一个理论框架来分析灾难性遗忘的师生学习。师生学习是一个框架,其中我们引入了两个神经网络:一个神经网络是监督学习中的目标函数,另一个是学习神经网络。为了分析教师-学生框架下的持续学习,我们引入了目标函数的输入分布相似性和输入-输出关系相似性作为任务相似性。在这个理论框架中,我们还提供了一个定性的理解如何单层线性学习神经网络忘记任务。通过分析发现,当输入分布之间的相似性较小,而目标函数的输入输出关系的相似性较大时,该网络能够避免灾难性遗忘。分析还表明,系统经常表现出一种称为过冲的特征现象,这意味着即使学习网络曾经经历过灾难性的遗忘,在进一步学习当前任务后,网络也可能表现得相当好。
2021-05-16 cs.LG stat.ML
Biologically-Inspired Continual Learning of Human Motion Sequences
Starmind AG(Starmind公司);University of Zurich(苏黎世大学)
这项工作提出了一个模型,持续学习的任务,涉及时间序列,特别是人类的运动。它通过构建一个生物启发的条件时间变分自编码器(BI-CTVAE)来改进最近提出的大脑启发的重放模型(BI-R),BI-CTVAE实例化潜在的高斯混合用于类表示。我们研究了一种新的连续学习生成(CL 2Gen)的情况下,该模型生成不同类别的运动序列。该模型的生成精度进行了测试,在一组任务。在顺序学习所有动作类后,BI-CTVAE对人体运动数据集的最终分类准确率为78%,比使用无重放高63%,仅比最先进的离线训练GRU模型低5.4%。
2023-03-15 cs.AI cs.CV cs.LG
Generative Kernel Continual learning
University of Amsterdam(阿姆斯特丹大学);Inception Institute of Artificial Intelligence(起源人工智能研究院)
核持续学习的\citet{derakhshani2021kernel}最近出现作为一个强大的连续学习器,由于其非参数能力,以解决任务干扰和灾难性遗忘。不幸的是,它的成功是以牺牲显式记忆来存储来自过去任务的样本为代价的,这阻碍了具有大量任务的持续学习设置的可扩展性。在本文中,我们介绍了生成内核持续学习,探索和利用生成模型和内核之间的协同作用,持续学习。生成式模型能够产生用于核学习的代表性样本,这消除了核持续学习对存储器的依赖。此外,由于我们只在生成模型上重放,因此与需要在整个模型上重放的先前方法相比,我们避免了任务干扰,同时计算效率更高。我们进一步引入了监督对比正则化,这使我们的模型能够生成更具鉴别力的样本,以获得更好的基于核的分类性能。我们对三个广泛使用的持续学习基准进行了广泛的实验,以证明我们的贡献的能力和好处。最值得注意的是,在具有挑战性的SplitCIFAR100基准测试中,仅使用一个简单的线性内核,我们就可以获得与具有变化随机特征的内核持续学习相同的精度,而内存的十分之一,或者对于相同的内存预算,精度增益为10.1%。
2021-12-26 cs.AI cs.LG
Multiband VAE: Latent Space Alignment for Knowledge Consolidation in Continual Learning
Warsaw University of Technology(华沙理工大学);Jagiellonian University(雅盖隆大学);Tooploox
我们提出了一种新的无监督生成式持续学习方法,通过调整变分自动编码器的潜在空间。深度生成模型与其他神经结构一样,也会遭受灾难性遗忘。最近的生成式持续学习工作解决了这个问题,并试图从新的数据中学习,而不会忘记以前的知识。然而,这些方法通常专注于人工场景,其中示例在后续数据部分之间几乎没有相似性-这一假设在持续学习的实际应用中是不现实的。在这项工作中,我们确定了这一限制,并将生成性持续学习的目标作为知识积累的任务。我们通过不断调整新数据的潜在表示来解决这个问题,我们称之为额外潜在空间中的条带,其中示例独立于其源任务进行编码。此外,我们还介绍了一种控制遗忘过去数据的方法,该方法简化了这一过程。在标准的持续学习基准之上,我们提出了一种新的具有挑战性的知识整合方案,并表明所提出的方法在所有实验和额外的现实生活中的评估中的表现都超过了最先进的两倍。据我们所知,多波段VAE是第一种显示生成式持续学习中向前和向后知识转移的方法。
2022-06-03 cs.CV cs.LG
Bayesian Flow Networks in Continual Learning
IDEAS NCBR(IDEAS国家计算智能研究中心);Jagiellonian University(雅盖隆大学);Warsaw University of Technology(华沙理工大学);Autonomous University of Barcelona(巴塞罗那自治大学)
本文探究贝叶斯流网络(BFN)在持续学习中的适用性,通过实验验证其在非平稳数据上的生成能力。
2023-10-18 cs.CV cs.LG stat.ML
Continual Learning with Adaptive Weights (CLAW)
University of Cambridge(剑桥大学);Carnegie Mellon University(卡内基梅隆大学);Microsoft Research(微软研究院)
持续学习的方法旨在成功地学习一系列以在线方式完成的相关任务。最近,已经开发了几个框架,使深度学习能够部署在这种学习场景中。一个关键的建模决策是架构应该在多大程度上跨任务共享。一方面,对每个任务单独建模可以避免灾难性遗忘,但它不支持迁移学习,并导致大型模型。另一方面,严格指定一个共享组件和一个特定于任务的部分,使任务转移,并限制了模型的大小,但它是容易发生灾难性的遗忘,并限制了可能发生的任务转移的形式。理想情况下,网络应该自适应地识别以数据驱动的方式共享网络的哪些部分。在这里,我们介绍这样一种方法,称为自适应权重的连续学习(CLAW),这是基于概率建模和变分推断。实验表明,CLAW在六个基准测试中实现了最先进的性能,包括整体持续学习性能(通过分类准确性衡量)和解决灾难性遗忘问题。
2020-06-16 cs.LG stat.ML
Hierarchical Indian Buffet Neural Networks for Bayesian Continual Learning
University of Oxford(牛津大学);Amazon Adelaide(亚马逊阿德莱德分公司)
我们把一个印度巴菲特过程(IBP)之前的贝叶斯神经网络(BNN)的结构,从而使BNN的复杂性自动增加和减少。我们进一步扩展了这个模型,使每个隐藏层的结构上的先验全局共享所有层,使用分层IBP(H-IBP)。我们将此模型应用于持续学习(CL)中的资源分配问题,其中新任务的出现和网络需要额外的资源。我们的模型使用在线变分推断与重新参数化的伯努利和β分布,这构成了IBP和H-IBP先验。当我们自动学习BNN每层中的权重时,过拟合和欠拟合问题在很大程度上得到了克服。我们的经验表明,我们的方法提供了竞争优势,在CL现有的方法。
2021-08-02 cs.LG stat.ML
Adapt & Align: Continual Learning with Generative Models Latent Space Alignment
Warsaw University of Technology(华沙理工大学);NCBR Ideas;Tooploox
提出Adapt & Align方法,通过生成模型潜在空间对齐,分两步更新模型以缓解持续学习中的灾难性遗忘,并可用于分类等下游任务。
2023-12-21 cs.LG
BooVAE: Boosting Approach for Continual Learning of VAE
University of Amsterdam(阿姆斯特丹大学);Vrije Universiteit(阿姆斯特丹自由大学);Skoltech(斯科尔科沃科学技术学院);AIRI(人工智能研究院)
变分自编码器(VAE)是一种用于无监督学习的深度生成模型,允许将观察编码到有意义的潜在空间中。当任务顺序到达时,VAE容易发生灾难性遗忘,并且只有当前任务的数据可用。我们解决这个问题的持续学习的VAE。众所周知,在非连续环境中,潜空间上先验分布的选择对于VAE是至关重要的。我们认为,这也有助于避免灾难性遗忘。我们学习聚合后验的近似值作为每个任务的先验。这种近似被参数化为由在可训练伪输入处评估的编码器引起的分布的加性混合。我们使用一种贪婪的提升式方法和熵正则化来学习组件。这种方法鼓励组件的多样性,这是必不可少的,因为我们的目标是用尽可能少的组件记住当前的任务。基于可学习的先验知识,我们引入了一种端到端的VAE持续学习方法,并对常用基准(MNIST、Fashion MNIST、NotMNIST)和CelebA数据集提供实证研究。对于每个数据集,所提出的方法以全自动的方式避免了灾难性遗忘。
2021-11-03 cs.LG stat.ML
Hierarchically Structured Task-Agnostic Continual Learning
Ulm University(乌尔姆大学)
当前机器学习算法的一个显著弱点是模型在不忘记先前获得的知识的情况下解决新问题的能力很差。持续学习范式已经成为一种系统地研究环境的协议,其中模型顺序地观察由一系列任务生成的样本。在这项工作中,我们采取任务不可知论的观点持续学习,并制定了一个分层的信息理论的最优性原则,促进学习和遗忘之间的权衡。我们从贝叶斯的角度推导出这一原则,并展示了它与以前的持续学习方法的联系。基于这一原则,我们提出了一个神经网络层,称为混合变分专家层,通过创建一组信息处理路径通过网络,这是由门控策略,它消除了遗忘。每个路径都配备了一组不同的专门参数,可以被视为一个不同的子网络,学习解决任务。为了改善专家分配,我们引入了多样性目标,我们在额外的消融研究中进行了评估。重要的是,我们的方法可以以任务不可知的方式操作,即,它不像许多现有的持续学习算法那样需要特定于任务的知识。由于基于通用效用函数的一般公式,我们可以将此最优性原则应用于各种各样的学习问题,包括监督学习,强化学习和生成式建模。我们证明了我们的方法在连续强化学习和MNIST,CIFAR-10和CIFAR-100数据集的变体上的竞争性能。
2022-11-14 cs.LG stat.ML
Learning to Continually Learn Rapidly from Few and Noisy Data
The Australian National University(澳大利亚国立大学);Monash University(莫纳什大学);CSIRO(澳大利亚联邦科学与工业研究组织);University of Turku(图尔库大学)
神经网络遭受灾难性遗忘,并且在数据分布中没有保证平稳性的情况下无法顺序地学习新任务。持续学习可以通过重放来实现--在学习新任务的同时同时训练外部存储的旧数据。然而,当每个过去的任务分配较少的内存时,重放变得不那么有效。为了克服这个困难,我们补充了重放机制与元学习快速知识获取。通过采用元学习者,即\textit{learns a learning rate per parameter per past task},我们发现,基础学习者产生强大的结果时,较少的内存可用。此外,我们的方法继承了持续学习的几个元学习优势:它表现出很强的鲁棒性,在噪声的存在下不断学习,并在较少的更新中获得更高的准确性。
2021-03-06 cs.LG
Learning Curves for Continual Learning in Neural Networks: Self-Knowledge Transfer and Forgetting
National Institute of Advanced Industrial Science and Technology (AIST)(国立先进工业科学技术研究院(产业技术综合研究所))
从任务到任务的顺序训练正在成为深度学习应用(如持续学习和迁移学习)的主要目标之一。然而,目前还不清楚在什么条件下训练模型的性能会提高或下降。为了加深我们对顺序训练的理解,本研究提供了一个理论分析的泛化性能在一个可解决的情况下的持续学习。我们认为神经网络在神经正切核(NTK)制度,不断学习目标函数从任务到任务,并研究通过使用一个既定的统计力学分析内核无脊回归的泛化。我们首先展示了从正迁移到负迁移的特征性转变。在特定的临界值以上,更相似的目标可以为随后的任务实现积极的知识转移,而灾难性的遗忘即使非常相似的目标也会发生。接下来,我们研究了一种持续学习的变体,它假设在多个任务中具有相同的目标函数。即使对于相同的目标,训练后的模型也会根据每个任务的样本量表现出一定的迁移和遗忘。我们可以保证,推广误差单调递减任务相同的样本量,而不平衡的样本量恶化的推广。我们将这些改善和恶化分别称为自我知识转移和遗忘,并在深度神经网络的实际训练中进行了经验验证。
2022-03-18 cond-mat.dis-nn cs.LG stat.ML
A Neural Network Model of Complementary Learning Systems: Pattern Separation and Completion for Continual Learning
Georgia Institute of Technology(佐治亚理工学院)
针对神经网络灾难性遗忘问题,结合变分自编码器与现代Hopfield网络构建互补学习系统模型,实现模式补全与分离,在Split-MNIST上准确率接近90%并大幅减少遗忘。
2025-07-15 cs.LG
Demonstrating the Continual Learning Capabilities and Practical Application of Discrete-Time Active Inference
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
本文提出基于主动推理的离散时间持续学习框架,推导变分与期望自由能公式并构建自学习智能体,实验证明其能在变化环境中高效更新模型,适用于金融、医疗等复杂领域。
2024-09-30 cs.AI cs.LG
Unified Probabilistic Deep Continual Learning through Generative Replay and Open Set Recognition
Goethe University(歌德大学);The University of Texas at Austin(得克萨斯大学奥斯汀分校);Yonsei University(延世大学)
众所周知,现代深度神经网络在面对未知数据实例时是脆弱的,并且识别后者仍然是一个挑战。虽然持续学习系统不可避免地会遇到这些看不见的概念,但相应的文献似乎主要集中在减轻对学习表征的灾难性干扰上。在这项工作中,我们引入了一种概率方法,该方法基于变分推理在单个深度自动编码器模型中连接这些观点。具体而言,我们建议通过在正确分类的数据点的基础上拟合高密度区域来约束近似后验。这些界限具有双重目的:可以将看不见的未知分布数据与已经训练的已知任务区分开来,以实现强大的应用程序。同时,为了保留已经获得的知识,生成重放过程可以被缩小到严格分布内的样本,以便显著减轻灾难性干扰。
2022-04-01 cs.CV cs.LG cs.NE
Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning
The Australian Institute for Machine Learning(澳大利亚机器学习研究所);The University of Adelaide(阿德莱德大学);The University of New South Wales(新南威尔士大学)
持续学习(CL)方法旨在使机器学习模型能够学习新任务,而不会对先前已经掌握的任务造成灾难性遗忘。现有的CL方法通常保留先前看到的样本的缓冲区,执行知识蒸馏,或使用正则化技术来实现此目标。尽管他们表现出色,但他们仍然受到跨任务干扰的影响,这导致了灾难性遗忘。为了改善这个问题,我们建议在任何阶段只激活和选择稀疏神经元来学习当前和过去的任务。这样可以为以后的任务预留更多的参数空间和模型容量。这最大限度地减少了不同任务的参数之间的干扰。为此,我们提出了一个用于持续学习的稀疏神经网络(SNCL),它采用变分贝叶斯稀疏先验对所有层中的神经元的激活。全经验重放(FER)在学习不同层中的神经元的稀疏激活方面提供有效的监督。一个丢失感知的采样策略,以维护内存缓冲区。所提出的方法是不可知的网络结构和任务边界。在不同数据集上的实验表明,我们的方法在减轻遗忘方面达到了最先进的性能。
2022-02-21 cs.CV cs.LG
Continual Invariant Risk Minimization
NEC Laboratories Europe(NEC欧洲实验室);Vrije Universiteit of Amsterdam(阿姆斯特丹自由大学);University of Stuttgart(斯图加特大学)
本文将不变风险最小化(IRM)推广至环境顺序观察的场景,基于变分贝叶斯和双层框架提出持续不变风险最小化方法,并利用ADMM变体求解,实证表明其性能优于或媲美现有方法。
2023-10-21 cs.IT cs.LG math.IT
Active Continual Learning with Metaplastic Binary Bayesian Neural Networks
Universit \'e Paris-Saclay, CNRS, Centre de Nanosciences et de Nanotechnologies, Palaiseau, France
针对边缘系统持续学习中的后验饱和与可塑性冻结问题,提出基于有界记忆变分目标的BiMU方法,通过不确定性依赖步长和先验松弛维持非退化后验,实现无缓冲主动查询,在Permuted-MNIST和OpenLORIS-Object上显著减少标签与更新次数。
2026-05-28 cs.LG
Continual Learning with Dirichlet Generative-based Rehearsal
Hong Kong University of Science and Technology(香港科技大学);Hong Kong Institute of Science & Innovation, Chinese Academy of Sciences(中国科学院香港创新研究院)
提出Dirichlet持续学习(DCL)方法,利用Dirichlet分布建模CVAE潜变量并引入JSKD知识蒸馏,有效解决面向任务对话系统持续学习中的灾难性遗忘问题。
2023-09-13 cs.AI cs.CL cs.LG
Quantum continual learning of quantum data realizing knowledge backward transfer
South China Agricultural University(华南农业大学);Sun Yat-sen University(中山大学);Guilin University of Electronic Technology(桂林电子科技大学);Tsinghua University(清华大学)
针对量子机器学习中的灾难性遗忘问题,本文引入梯度情景记忆方法设计面向量子数据的量子持续学习方案,通过变分量子分类器实现序列量子态分类任务的持续学习,可克服遗忘并实现知识反向迁移。
2022-06-08 cs.LG quant-ph
Continual Learning for fMRI-Based Brain Disorder Diagnosis via Functional Connectivity Matrices Generative Replay
Nanyang Technological University(南洋理工大学);VU Amsterdam(阿姆斯特丹大学);UiT The Arctic University of Norway(北欧大学)
本文提出首个针对异构临床站点的fMRI诊断持续学习框架,通过生成对抗网络生成真实功能性连接矩阵,并结合多级知识蒸馏策略和分层上下文老虎机方案,有效缓解灾难性遗忘问题。
2026-04-15 cs.LG eess.IV q-bio.TO
Cooperative data-driven modeling
Delft University of Technology(代尔夫特理工大学);Brown University(布朗大学)
针对人工神经网络的灾难性遗忘问题阻碍力学协同建模的难题,提出一种可用于固体力学的持续学习方法,能顺序学习多个本构定律且遗忘少、数据效率更高,助力力学界协同解决复杂问题。
2024-03-08 cond-mat.mtrl-sci cs.LG cs.NA
Solving Statistical Mechanics Using Variational Autoregressive Networks
Peking University(北京大学);Institute of Physics, Chinese Academy of Sciences(中国科学院物理研究所);University of Chinese Academy of Sciences(中国科学院大学);Songshan Lake Materials Laboratory(松山湖材料实验室);Institute of Theoretical Physics, Chinese Academy of Sciences(中国科学院理论物理研究所)
我们提出了一个解决有限尺寸系统的统计力学的一般框架。该方法扩展了著名的变分平均场方法,使用自回归神经网络,支持直接采样和精确计算的归一化概率的配置。它计算变分自由能,估计物理量,如熵,磁化和相关性,并产生不相关的样本一次。网络的训练采用强化学习中的策略梯度方法,该方法无偏地估计变化参数的梯度。我们将我们的方法应用于几个经典的系统,包括二维伊辛模型,Hopfield模型,Sherrington-Kirkpatrick模型,和逆伊辛模型,以证明其优于现有的变分平均场方法。我们的方法揭示了使用现代深度生成神经网络解决统计物理问题。
2019-02-18 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Statistical Mechanics of Online Learning of Drifting Concepts : A Variational Approach
我们回顾了应用统计力学方法研究在线学习的漂移的概念在大系统的极限。分析了前馈网络从同一体系结构的时间依赖教师生成的示例中学习的模型。最好的可能的泛化能力是通过使用变分方法确定的。构造性变分方法还提出了一种学习算法。然而,它取决于一些不可用的量,如学生目前的表现。这些数量的估计器的建设允许实施一个非常有效的,高度自适应的算法。其他几种算法也进行了研究,与最优界和自适应算法进行比较,对于不同类型的时间演化的规则。
1998-01-28 cond-mat.dis-nn cond-mat.stat-mech
Solving Statistical Mechanics on Sparse Graphs with Feedback Set Variational Autoregressive Networks
Institute of Theoretical Physics, Chinese Academy of Sciences(中国科学院理论物理研究所);University of Chinese Academy of Sciences(中国科学院大学)
提出了一种求解定义在稀疏图上的统计力学问题的方法。它从稀疏图中提取一个小的反馈顶点集(FVS),将稀疏系统转换为一个更小的系统,该系统具有多体和密集的相互作用,在FVS的每个配置上具有有效能量,然后使用神经网络学习参数化的变分分布来近似原始玻尔兹曼分布。该方法是能够估计自由能,计算可观,并通过直接采样无自相关产生无偏样本。大量的实验表明,我们的方法是更准确的稀疏自旋玻璃比现有的方法。在随机图和真实世界的网络上,我们的方法显着优于稀疏系统的标准方法,如置信传播算法;在结构化稀疏系统,如二维网格上,我们的方法比最近提出的变分自回归网络使用卷积神经网络显着更快,更准确。
2020-05-22 cond-mat.dis-nn cond-mat.stat-mech cs.LG
A dialectical view of the variational principles of mechanics
本文的目的是为物理学的变分原理提供一种可能的哲学动机,并为统一力学理论的公理化提供一种可能的途径。这部作品的主旨是辩证地看待世界:自然界中任何平滑的运动都是运动中相对元素之间相互作用和动态平衡的结果。我们强调,这里的相反性质不同于通常意义上的相反元素(具有冲突的外观,但具有相同的性质),例如两个物体之间的作用/反作用力。相反的元素在这里是不相容的,相互排斥的性质,与对比和互补的特点,如主动/被动,无序/秩序,曲率/平面度等的动态平衡是由一个不变的变分关系定义的所有对相反的元素活跃在所考虑的运动。从这一思想出发,除了导出现有的几个力学变分原理外,还提出了量子力学的公理化。
2008-12-05 cond-mat.stat-mech physics.hist-ph
Solving Quantum Statistical Mechanics with Variational Autoregressive Networks and Quantum Circuits
我们扩展了酉量子线路的能力,它与经典的自回归神经网络接口。组合模型将变分密度矩阵参数化为量子纯态的经典混合,其中自回归网络生成比特串样本作为量子线路的输入状态。针对量子统计力学问题,我们设计了一种有效的变分算法来联合优化经典神经网络和量子线路。人们可以得到热观测量,如变分自由能、熵和比热。作为副产品,该算法还提供了访问低能量激发态。我们展示了应用程序的热性能和激发光谱的量子伊辛模型的资源,是可行的近期量子计算机。
2019-12-24 cond-mat.stat-mech cond-mat.str-el quant-ph
Perturbation and Variational Methods in Nonextensive Tsallis Statistics
本文给出了基于Tsallis熵的广义统计力学的摄动法和变分法的统一表述。在变分方法的情况下,Bogoliubov不等式以非常自然的方式推广,遵循通常统计力学的Feynman证明。这个不等式对于熵指数$q$是形式不变的。用经典力学中的一个简单例子说明了该方法。这里开发的形式主义,预计将是有用的非广泛系统的讨论。
1998-04-08 cond-mat.stat-mech
Statistical Mechanics of Semiflexible Chains: A Meanfield Variational Approach
我们描述了一个简单的平均场变分方法来研究一些性质的固有刚性链,这是适当的模型为一大类生物聚合物。我们提出的计算端到端的距离分布和刚性链在拉伸下的弹性响应使用这种方法。在前一个例子中,我们发现,简单的表达式几乎定量地符合计算机模拟的结果。对于受拉刚性链的情况,我们用解析方法恢复了所有已知的极限.我们与最近关于DNA拉伸的实验取得了定量一致。我们的方法的局限性进行了讨论。
1997-05-20 cond-mat.soft cond-mat.stat-mech
Maximum caliber is a general variational principle for nonequilibrium statistical mechanics
寻找非平衡统计力学的一般变分原理一直是人们的兴趣所在。我们给出的证据表明,最大口径(最大Cal)是这样一个原则。Max Cal是Maximum Entropy的一个变体,它通过最大化路径熵来预测动态分布函数,该路径熵受到动态约束,例如平均通量。我们首先表明,最大Cal导致标准的近平衡的结果-包括绿色久保关系,Onsager的相互关系的耦合流,和普里高津的最小熵产生原理-在一种特别简单的方式。更重要的是,由于Max Cal不需要任何“局部平衡”的概念,也不需要任何熵耗散的概念,甚至不需要对材料物理学的任何限制,因此它比许多传统方法更普遍。我们开发了一些推广的Onsager和Prigogine的结果,适用于任意远离平衡。Max Cal不仅适用于材料和流体;它还适用于更广泛的网络上的流动和贩运。
2015-05-20 cond-mat.stat-mech
Cavity approach to variational quantum mechanics
本文提出了一种局部和分布式算法来寻找量子系统中最小化哈密顿期望的最优试探波函数。为此,该系统的量子态连接到一个经典系统的吉布斯态的耦合集发挥变分参数的作用。平均能量写在复制对称近似和最佳参数获得的启发式消息传递算法的基础上的贝特近似。这种近似算法的性能取决于试验波函数的结构和质量;从经典的孤立元系统开始,即平均场近似,并通过考虑高阶多体相互作用来改进。将该方法应用于横场中的无序量子伊辛模型,并与小系统的精确结果进行了比较。
2012-03-28 cond-mat.stat-mech quant-ph
Variational principle for the Pareto power law
提出了幂律分布在各种复杂系统中出现的机理。研究表明,在由不同自由度的子系统组成的保守力学系统中,由于子系统的正则平衡能量密度的某种叠加,能量的平衡分布会出现鲁棒的幂律尾部。推导过程中只使用了基于玻尔兹曼熵的变分原理,没有正则平衡统计力学框架之外的假设。两个例子进行了讨论,自由扩散的复杂网络和动力学模型的财富交换。该机制说明在一般情况下,通过一个完全可解的力学模型的尺寸异质系统。
2009-11-16 cond-mat.stat-mech physics.data-an
Systems, variational principles and interconnections in nonequilibrium thermodynamics
本文提出基于互连概念的非平衡热力学建模方法,通过扩展哈密顿变分原理,将系统视为互连的物理元件,为统一描述现代科学各领域提供新方向。
2023-06-21 cond-mat.stat-mech math-ph math.DS