Freezing Sub-Models During Incremental Process Discovery: Extended Version
Fraunhofer Institute for Applied Information Technology FIT(弗劳恩霍夫应用信息技术研究所(FIT));RWTH Aachen University(亚琛工业大学)
流程发现的目的是从观察到的流程行为中学习流程模型。从用户的角度来看,大多数发现算法就像一个黑盒子。除了参数调整之外,用户和算法之间没有交互。交互式过程发现允许用户利用领域知识并指导发现过程。以前,已经引入了增量式发现方法,其中被认为是正在构造中的模型通过用户选择的进程行为进行增量式扩展。本文介绍了一种新的方法,另外还允许用户冻结正在构建的模型中的模型零件。当新行为添加到模型中时,增量方法不会更改冻结的子模型。因此,用户可以操纵发现算法。我们的实验表明,冻结子模型可以导致更高质量的模型。
2021-07-31 cs.DB cs.HC cs.LG
Continual Learning with Gated Incremental Memories for sequential data processing
University of Pisa(比萨大学)
在动态、非平稳环境中学习而不忘记先前知识的能力,也称为持续学习(CL),是自适应解决方案可扩展和可信赖部署的关键推动因素。虽然持续学习的重要性在机器视觉和强化学习问题中得到了广泛的认可,但对于序列处理任务,这一点大多没有得到充分的证明。这项工作提出了一个循环神经网络(RNN)模型CL,能够处理输入分布中的概念漂移,而不会忘记以前获得的知识。我们还在两种不同类型的RNN上实现和测试了一种流行的CL方法,弹性权重合并(EWC)。最后,我们在一组标准CL基准测试中比较了我们的增强型架构与EWC和RNN的性能,这些测试适用于顺序数据处理场景。结果显示了我们架构的卓越性能,并强调了为解决RNN中的CL而设计的特殊解决方案的必要性。
2020-04-08 cs.LG cs.NE stat.ML
From Path Signatures to Sequential Modeling: Incremental Signature Contributions for Offline RL
TUM School of CIT Technical University of Munich Munich, Germany(慕尼黑技术大学计算机信息学院)
本文提出ISC方法,通过分解路径签名以显式表示时间演化,结合Transformer架构实现离线强化学习,提升对时间敏感控制任务的处理能力。
2026-02-12 cs.LG
Sequential Randomized Matrix Factorization for Gaussian Processes: Efficient Predictions and Hyper-parameter Optimization
United Technologies Research Center(联合技术研究中心)
本文提出了一种序列随机低秩矩阵分解方法,使用高斯过程框架增量预测未知函数在测试点处的值。众所周知,在高斯过程框架中,计算瓶颈是(正则化)核矩阵的求逆和定义核的超参数的计算。本文的主要贡献是双重的。首先,我们形式化了一种在流媒体场景中使用随机矩阵分解算法计算核矩阵逆的方法,即,数据是随着时间递增地生成的。所提出的方法的准确性和计算效率的指标进行比较,对一个批处理方法的基础上使用的随机矩阵分解和现有的流方法的基础上近似高斯过程的一组有限的基向量。其次,我们扩展的顺序因式分解方法的一类核函数的超参数可以有效地优化。所有结果都在两个公开的数据集上得到了证明。
2017-11-19 cs.LG stat.ML
Sequential Targeting: an incremental learning approach for data imbalance in text classification
Korea University(高丽大学);NAVER;Yonsei University(延世大学);Naver Corp.(Naver公司);TU Kaiserslautern(凯泽斯劳滕工业大学);Korea Institute of Science and Technology Europe Forschungsgesellschaft mbH(韩国科学技术研究院欧洲研究所有限公司)
分类任务需要数据的均衡分布,以确保学习者被训练为在所有类上进行概括。然而,在现实世界的数据集中,实例的数量在类之间有很大的差异。这通常会导致学习者由于其主导属性而促进对多数群体的偏见。因此,处理不平衡数据集的方法对于减轻分布偏斜和充分利用代表性不足的数据至关重要,特别是在文本分类中。在解决文本数据不平衡的问题时,大多数方法都是利用抽样方法对数据进行数值表示,这限制了其表示效率。我们提出了一种新的训练方法,顺序定向(ST),独立的表示方法的有效性,它通过将数据分成互斥的子集和自适应地训练学习者来执行增量学习设置。为了解决增量学习中出现的问题,我们应用了弹性权重合并。我们证明了我们的方法的有效性,通过实验模拟基准数据集(IMDB)和NAVER收集的数据。
2020-11-23 cs.CL cs.IR cs.LG
Layered State Discovery for Incremental Autonomous Exploration
University of Southern California(南加利福尼亚大学);Meta
我们研究了Lim & Auer(2012)提出的自主探索(AX)问题。在这种设置中,目标是发现一组$ε$ -最优策略,其达到一组$\mathcal{S}_L^{\rightarrow}$的递增式$L$ -可控状态。我们引入了一种新的分层分解的增量$L$可控状态的状态扩展算子的迭代应用程序的基础上。我们利用这些结果来设计分层自主探索(LAE),AX的一种新算法,达到$\tilde{\mathcal{O}}(LS^{\rightarrow}_{L(1+ε)}Γ_{L(1+ε)} A \ln^{12}(S^{\rightarrow}_{L(1+ε)})/ε^2)$的样本复杂度,其中$S^{\rightarrow}_{L(1+ε)}$是递增$L(1+ε)$可控的状态数,$A$是动作数,$Γ_{L(1+ε)}$是这些状态上的转换的分支因子。LAE通过$L^2$因子改进了Tarbouriech等人(2020 a)的算法,并且它是在可数无限状态空间中工作的AX的第一个算法。此外,我们证明了,在一定的可识别性假设下,LAE实现了$\tilde{\mathcal{O}}(LS^{\rightarrow}_{L}A\ln^{12}(S^{\rightarrow}_{L})/ε^2)$的最小最优样本复杂度,优于现有算法,并首次匹配Cai等人证明的下限。(2022)对数因子。
2023-02-07 cs.LG
A method for incremental discovery of financial event types based on anomaly detection
Jilin University(吉林大学)
金融领域的事件数据集往往是基于实际应用场景构建的,其事件类型受场景约束,可重用性较弱;同时,海量多样的新型金融大数据也不能局限于针对特定场景定义的事件类型。这种有限的事件类型并不能满足我们对更复杂任务的研究需求,例如对重大金融事件的预测和对金融事件的连锁反应的分析。在本文中,提出了一个三阶段的方法来实现事件类型的增量发现。对于现有的带注释的金融事件数据集,三阶段方法包括:对于具有原始和未知事件类型的混合的金融事件数据集,首先应用具有异常检测的半监督深度聚类模型将数据分类为正常和异常事件,其中异常事件是不属于已知类型的事件;则用适当的事件类型标记正常事件,并且合理地聚类异常事件。最后,使用聚类关键字提取方法为新的事件聚类推荐事件的类型名称,从而增量地发现新的事件类型。所提出的方法是有效的增量发现新的事件类型的真实数据集。
2023-02-16 cs.AI cs.DB cs.LG
MARLIN: Multi-Agent Reinforcement Learning for Incremental DAG Discovery
本文提出MARLIN方法,通过多智能体强化学习实现高效增量DAG学习,采用DAG生成策略和两个RL智能体以发现因果关系,并利用分因动作空间提升并行效率,实验表明其在效率和效果上优于现有方法。
2026-03-19 cs.AI cs.LG
Sequential Outlier Detection based on Incremental Decision Trees
Bilkent University(比尔肯特大学)
我们引入了一个在线离群点检测算法来检测序列观测数据流中的离群点。为此,我们使用两阶段过滤及对冲方法。在第一阶段,我们构造一个多模态的概率密度函数来模拟正态样本。在第二阶段,给定一个新的观测值,如果上述密度函数的值在新观测点处低于指定的阈值,则将其标记为异常。为了构造我们的多模态密度函数,我们使用增量决策树来构造观测空间的一组子空间。我们训练一个指数族的单分量密度函数使用的意见,其中落在每个子空间表示的树。这些单组分密度函数,然后自适应地组合,以产生我们的多模态密度函数,这是实现的最佳凸组合的子空间上定义的密度函数的性能。当我们观察到更多的样本时,我们的树会增长并产生更多的子空间。因此,我们的建模能力随着时间的推移而增加,同时减轻了过拟合问题。为了选择我们的阈值水平来标记观察结果,我们使用自适应阈值方案。我们表明,我们的自适应阈值水平达到了最佳的预先固定的阈值水平,它知道在事后的观察标签的性能。我们的算法提供了显着的性能改进,在我们广泛的实验,涉及合成以及真实的数据。
2018-03-09 cs.LG
Class-Incremental Lifelong Learning in Multi-Label Classification
Suzhou University of Science and Technology(苏州科技大学);Suzhou Institute of Trade & Commerce(苏州经贸职业技术学院);Tianjin University(天津大学)
现有的班级增量式终身学习研究数据都是单标签的,这限制了其对多标签数据的适应性。本文研究了终身多标签(LML)分类方法,该方法在序列多标签分类数据流中建立一个在线类增量分类器。在LML分类中,对带有部分标签的数据进行训练可能会导致旧类中更严重的灾难性遗忘。为了解决这个问题,该研究提出了一个增强的图卷积网络(AGCN)的增强相关矩阵(ACM)的顺序部分标签任务。两个基准测试的结果表明,该方法是有效的LML分类和减少遗忘。
2022-07-16 cs.AI cs.LG
Direct then Diffuse: Incremental Unsupervised Skill Discovery for State Covering and Goal Reaching
Meta AI;Sorbonne University(索邦大学);Inria Scool(法国国家信息与自动化研究所Scool项目组);Ubisoft La Forge(育碧La Forge实验室)
在没有奖励的情况下学习有意义的行为是强化学习中的一个难题。一个理想的和具有挑战性的无监督目标是学习一组不同的技能,这些技能在被引导的同时提供对状态空间的全面覆盖,即,可靠地到达环境的不同区域。在本文中,我们建立在互信息框架的技能发现和介绍UPSIDE,它解决了覆盖导向的权衡在以下方面:1)我们设计的政策与定向技能的解耦结构,训练到达一个特定的区域,其次是扩散部分,诱导局部覆盖。2)我们通过在每个策略到达环境的不同区域的约束下最大化它们的数量来优化策略(即,它们是充分可辨别的)并且证明这用作原始互信息目标的下界。3)最后,我们将学习到的定向技能组合成一棵自适应覆盖环境的生长树。我们在几个导航和控制环境中说明了UPSIDE学习的技能如何比现有基线更好地解决稀疏奖励下游任务。
2022-04-30 cs.LG
Controllable Discovery of Intents: Incremental Deep Clustering Using Semi-Supervised Contrastive Learning
Uniphore(尤尼福尔(Uniphore))
本文提出可控意图发现(CDI)框架,通过无监督对比学习、半监督微调、迭代伪标签优化及无遗忘学习,实现人在回路的增量式意图发现,在CLINC和BANKING上显著优于现有方法。
2024-10-18 cs.AI cs.CL cs.LG
Autoencoder-Based Incremental Class Learning without Retraining on Old Data
Seoul National University(首尔大学);Massachusetts Institute of Technology(麻省理工学院)
增量类学习是一种持续学习环境中的场景,其中类及其训练数据被顺序地和不连续地观察,挑战了被广泛称为灾难性遗忘的问题。在这项工作中,我们提出了一种新的增量类学习方法,可以显着减少内存开销相比,以前的方法。除了使用softmax的传统分类方案之外,我们的模型基于自动编码器来提取给定输入的原型,因此不需要改变其输出单元。它只存储每个类的原型的平均值来执行基于度量的分类,不像排练方法依赖于大内存或生成模型。为了减轻灾难性遗忘,正则化方法应用于我们的模型,当遇到一个新的任务。我们通过在CIFAR-100和CUB-200-2011上进行实验来评估我们的方法,并表明其性能与最先进的方法相当,并且额外的内存成本要低得多。
2019-07-18 cs.LG stat.ML
YOLOOC: YOLO-based Open-Class Incremental Object Detection with Novel Class Discovery
针对开放世界目标检测中新类发现与增量学习问题,提出基于YOLO架构的YOLOOC检测器,通过引入标签平滑防止新类误判,并构建仅推理阶段遇新类的基准验证了有效性。
2024-04-22 cs.AI cs.CV cs.LG
One After Another: Learning Incremental Skills for a Changing World
New York University(纽约大学)
在任务监督稀缺或昂贵的环境中,无奖励、无监督的技能发现是一种有吸引力的替代方案,可以解决手工设计奖励的瓶颈。然而,目前的技能预训练方法,像许多强化学习技术一样,在训练过程中做了一个基本的假设-静态环境。传统的方法是同时学习所有的技能,这使得他们很难快速适应环境的变化,并且在这种适应之后不会忘记以前的技能。另一方面,在一个不断发展或扩大的环境中,技能学习必须能够快速适应新的环境情况,同时不忘记以前学到的技能。这两个条件使得经典技能发现很难在不断变化的环境中做得很好。在这项工作中,我们提出了一个新的框架,技能发现,技能是一个接一个地学习,在一个渐进的方式。该框架允许新学习的技能适应新的环境或代理动态,而固定的旧技能确保代理不会忘记学习的技能。我们通过实验证明,在不断发展和静态的环境中,增量技能在技能质量和解决下游任务的能力方面都显着优于当前最先进的技能发现方法。学习技能和代码的视频在https://notmahi.github.io/disk上公开
2022-03-21 cs.AI cs.LG cs.RO
Automatic Attack Discovery for Few-Shot Class-Incremental Learning via Large Language Models
School of Computer and Communication Engineering(计算机与通信工程学院);School of Information and Communication(信息与通信学院);University of Electronic Science and Technology of China(电子科学与技术大学);Department of Strategic and Advanced Interdisciplinary Research(战略与先进跨学科研究部);Pengcheng Laboratory(鹏城实验室)
本文提出ACraft方法,利用大语言模型自动发现针对少样本类增量学习的最优攻击方法,有效提升攻击性能并降低成本。
2025-12-03 cs.LG
Bayesian Incremental Learning for Deep Neural Networks
AI Centre, Samsung Research Russia(三星俄罗斯研究院人工智能中心);Moscow State University(莫斯科国立大学);National Research University Higher School of Economics(俄罗斯高等经济研究大学);University of Amsterdam(阿姆斯特丹大学)
在工业机器学习管道中,数据通常以部分形式到达。特别是在深度神经网络的情况下,每次从头开始训练模型可能太昂贵了,所以人们宁愿使用以前学习的模型和新数据来提高性能。然而,与完整数据集相比,当仅在新数据上训练时,深度神经网络容易陷入次优解决方案。我们的工作重点是一个持续的学习设置,其中任务总是相同的,新的数据部分顺序到达。我们应用贝叶斯方法来更新后验近似与每一个新的数据,并发现这种方法优于传统的方法在我们的实验。
2018-03-27 cs.LG stat.ML
Sequential Transfer in Multi-armed Bandit with Finite Set of Models
Carnegie Mellon University(卡内基梅隆大学);INRIA Lille - Nord Europe(法国国家信息与自动化研究所里尔-北欧分部)
从先前的任务中学习,并将这些经验转移到提高未来的表现上,对于构建终身学习代理至关重要。虽然监督学习和强化学习的结果表明迁移可以显着提高学习性能,但大多数关于迁移的文献都集中在批量学习任务上。在本文中,我们研究的问题\textit{sequential transfer in online learning},特别是在多臂强盗框架,其目标是尽量减少累积遗憾的一系列任务,通过逐步转移知识,从以前的任务。我们介绍了一种新的强盗算法的基础上的矩量法的方法估计的可能的任务,并获得遗憾的界限。
2013-07-25 cs.LG stat.ML
Large-scale Pre-trained Models are Surprisingly Strong in Incremental Novel Class Discovery
University of Trento(特伦托大学);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);University of Aberdeen(阿伯丁大学);University of Nottingham(诺丁汉大学)
本文提出一种连续且真正无监督的类发现学习范式,利用强自监督预训练模型的丰富先验,构建由冻结PTM主干和可学习线性分类器组成的简单基线,在众多基准上表现出优于复杂最新方法的有效性。
2024-08-23 cs.CV cs.LG
Continuous Learning in a Single-Incremental-Task Scenario with Spike Features
Boise State University(博伊西州立大学);University of Delaware(特拉华大学)
深度神经网络(DNN)有两个关键缺陷,它们依赖于高精度计算,并且无法执行顺序学习,也就是说,当DNN在第一个任务上训练时,同一个DNN在下一个任务上训练时,它会忘记第一个任务。这种忘记先前任务的现象也被称为灾难性遗忘。另一方面,哺乳动物大脑在能源效率和顺序学习能力方面优于DNN,而不会发生灾难性的遗忘。在这里,我们在具有瞬时神经元的网络的特征提取层中使用生物启发的尖峰定时依赖可塑性(STDP)来提取有意义的特征。在网络的分类部分,我们使用修改后的突触智能,我们称之为每突触成本度量作为正则化器,以使网络免受单增量任务场景(SIT)中的灾难性遗忘。在本研究中,我们使用MNIST手写数字数据集,分为五个子任务。
2020-05-03 cs.LG cs.NE
GoalLadder: Incremental Goal Discovery with Vision-Language Models
University of Oxford(牛津大学)
GoalLadder利用视觉语言模型在视觉环境中通过增量目标发现提升RL智能体性能,实现高成功率。
2025-12-12 cs.LG
The Solution for the sequential task continual learning track of the 2nd Greater Bay Area International Algorithm Competition
Nanjing University of Science and Technology(南京理工大学)
提出一种无数据、基于参数隔离的持续学习算法,通过任务子空间、推理任务识别、梯度补充、自适应评分和掩码压缩,在任务与域增量设置下取得优异表现并获大赛二等奖。
2024-07-06 cs.CV cs.LG
Towards Robust Incremental Learning under Ambiguous Supervision
School of Software Technology, Zhejiang University(浙江大学软件学院);Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security(杭州高新区(滨江)区块链与数据安全研究院);College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);School of Computer Science and Engineering, Southeast University(东南大学计算机科学与工程学院)
本文提出增量偏标签学习范式及原型引导消歧与回放算法PGDR,利用类别原型、动量伪标签和记忆回放同时解决标签模糊与灾难性遗忘问题,实验验证其优越性。
2025-05-07 cs.LG
Incremental Transformer Neural Processes
University of Cambridge(剑桥大学)
本文提出增量变换器神经过程(incTNP),通过因果掩码、键值缓存和高效自回归训练策略,在保持预测性能的同时将更新计算复杂度从二次降低到线性,从而在序列推理中实现显著的速度提升,并保持流式推理的一致性。
2026-06-03 cs.LG
Robust Time Series Chain Discovery with Incremental Nearest Neighbors
George Mason University(乔治梅森大学);Google(谷歌);University of Texas Rio Grande Valley(德克萨斯大学里奥格兰德谷分校)
时间序列模体发现是识别时间序列中有意义重复模式的基础性工作。最近,时间序列链被引入作为时间序列模体的扩展,以识别时间序列数据中的连续演化模式。非正式地,时间序列链(TSC)是时间序列连续性的时间有序集合,其中每个子序列都与它之前的子序列相似,但最后一个和第一个可以是任意不相似的。TSC能够揭示时间序列中潜在的连续演化趋势,并识别复杂系统中异常事件的前兆。尽管其有前途的可解释性,不幸的是,我们已经观察到,现有的TSC定义缺乏准确覆盖时间序列的演变部分的能力:发现的链可以很容易地被噪声切断,并可以包括非演变模式,使它们在现实世界中的应用不切实际。最近的工作,跟踪时间序列子序列的最近邻如何随时间变化的启发,我们引入了一个新的TSC定义,这是更强大的数据中的噪声,在这个意义上,他们可以更好地定位不断发展的模式,同时排除非发展的。我们进一步提出了两个新的质量指标来排名发现的链。通过广泛的经验评估,我们证明了所提出的TSC定义比现有技术对噪声的鲁棒性要高得多,并且发现的排名靠前的链可以在各种现实世界的数据集中揭示有意义的信息。
2022-11-03 cs.AI cs.IR cs.LG
Skopus: Mining top-k sequential patterns under leverage
Nanjing University of Information Science and Technology(南京信息工程大学);Aalto University(阿尔托大学);Monash University(莫纳什大学)
本文提出了一个在杠杆作用下精确发现top-k序列模式的框架。它结合了(1)序列模式的预期支持度的新定义-大多数兴趣度度量直接依赖的概念-与(2)SkOPUS:一种新的分支定界算法,用于在给定的兴趣度量下精确发现前k个序列模式。我们的兴趣度测量采用分区方法。一个模式之所以有趣,是因为它的出现频率要比通过假设任何一对模式之间的独立性所能解释的要高。与独立性下的期望相比,支持度越大,模式越有趣。我们建立在这两个元素上,以准确地提取具有最高杠杆的k个序列模式,这与我们对预期支持的定义一致。我们对具有已知模式的合成数据和真实世界的数据集进行实验;这两个实验都证实了我们的方法与最新技术水平的一致性和相关性。这篇文章发表在数据采掘和知识发现上,可以在http://dx.doi.org/10.1007/s10618-016-0467-9上访问。
2018-02-05 cs.AI cs.LG stat.ML
Multi-View Incremental Learning with Structured Hebbian Plasticity for Enhanced Fusion Efficiency
Fuzhou University(福州大学);Guangdong Institute of Intelligence Science and Technology(广东智能科学与技术研究院);University of Electronic Science and Technology of China(电子科技大学);Tsinghua University(清华大学);Dalian University of Technology(大连理工大学)
提出受生物神经启发的多视图增量框架MVIL,利用结构化赫布可塑性和突触分区学习实现细粒度融合,在六个基准数据集上优于现有方法。
2024-12-17 cs.CV cs.LG
Collaborative Intelligence in Sequential Experiments: A Human-in-the-Loop Framework for Drug Discovery
University of California Berkeley(加州大学伯克利分校);Shanghai Jiao Tong University(上海交通大学);University of Washington(华盛顿大学)
本文提出一种人在环序贯实验框架,将人类专家知识与深度学习算法结合用于药物发现,实验证明其优于纯人类或纯算法基线,并能显著加速新药和疫苗开发。
2024-05-07 cs.AI cs.HC cs.LG
ImageNet Challenging Classification with the Raspberry Pi: An Incremental Local Stochastic Gradient Descent Algorithm
Sorbonne University(索邦大学);Pierre and Marie Curie University - Paris 6(皮埃尔和玛丽·居里大学-巴黎第六大学)
随着功能强大、低成本的嵌入式设备不断涌现,边缘计算已成为越来越受欢迎的选择。在本文中,我们提出了一种新的增量局部随机梯度下降(SGD),该算法在Raspberry Pi上定制,以处理大型ImageNet ILSVRC 2010数据集,该数据集包含1,261,405个图像,1,000个类。局部SGD利用$k$均值算法将数据块划分为$k$分区,然后在每个数据分区中并行学习SGD模型,对数据进行局部分类。增量本地SGD顺序加载训练数据集的小数据块以学习本地SGD模型。在Imagenet数据集上的数值测试结果表明,我们使用Raspberry Pi 4的增量本地SGD算法比在PC Intel(R)Core i7-4790 CPU,3.6 GHz,4核上运行的最先进的线性SVM更快,更准确。
2022-08-21 cs.CV cs.LG
Discovery of Crime Event Sequences with Constricted Spatio-Temporal Sequential Patterns
Warsaw University of Technology(华沙理工大学);Carnegie Mellon University(卡内基梅隆大学)
在这篇文章中,我们介绍了一种新类型的时空序列模式称为压缩时空序列(CSTS)模式,并深入分析其性质。我们证明了CSTS模式集是一个简洁的表示所有时空序列模式,可以发现在一个给定的数据集。为了测量所发现的CSTS模式的重要性,我们采用了参与指数测量。我们还提供了CSTS-Miner:一种发现事件数据中所有参与指数强CSTS模式的算法。我们实验评估所提出的算法使用两个犯罪相关的数据集:匹兹堡警察事件日志数据集和波士顿犯罪事件报告数据集。在实验中,CSTS-Miner算法与其他四个最先进的算法:STS-Miner,CSTPM,STBFM和CST-SPMiner进行了比较。实验结果表明,该算法发现的模式比其他选定的算法少得多。最后,我们提供了有趣的犯罪相关模式发现的建议CSTS-Miner算法的例子。
2021-12-03 cs.AI cs.DB cs.LG
FG-OrIU: Towards Better Forgetting via Feature-Gradient Orthogonality for Incremental Unlearning
College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院)
FG-OrIU通过特征和梯度正交约束实现深度不可逆的增量遗忘,解决现有方法中残留信息可恢复的问题。
2026-01-20 cs.CV cs.LG
Incremental Learning for End-to-End Automatic Speech Recognition
JD AI Research(京东人工智能研究院)
在本文中,我们提出了一种增量学习方法的端到端的自动语音识别(ASR),使ASR系统,以执行新的任务,同时保持其原来学习的性能。为了减轻增量学习过程中的灾难性遗忘,我们为ASR模型设计了一种新的基于可解释性的知识蒸馏,它与基于响应的知识蒸馏相结合,以保持原始模型的预测和预测的“原因”。我们的方法在不访问原始任务的训练数据的情况下工作,这解决了以前的数据不再可用或联合训练成本高昂的情况。多阶段序列训练任务的结果表明,我们的方法在减轻遗忘方面优于现有的方法。此外,在两个实际场景中,与目标参考联合训练方法相比,我们的方法的性能下降为0.02%的字符错误率(CER),比基线方法的下降小97%。
2021-09-16 cs.CL cs.LG cs.SD
SMCEvolve: Principled Scientific Discovery via Sequential Monte Carlo Evolution
Department of Computer Science and Engineering(计算机科学与工程系);The Ohio State University(俄亥俄州立大学)
SMCEvolve通过将程序搜索视为从奖励倾斜的目标分布中采样,并利用序列蒙特卡洛采样器近似该分布,提出三种核心机制:自适应父采样、变异与接受的混合、自动收敛控制,从而在数学、算法效率、符号回归和端到端ML研究基准中超越现有系统。
2026-05-14 cs.AI cs.LG cs.MA
Recommendation of data-free class-incremental learning algorithms by simulating future data
Université Paris-Saclay(巴黎-萨克雷大学);CEA(法国原子能和替代能源委员会);CentraleSupélec(中央高等电力学院)
针对无数据类增量学习算法选择难题,提出通过生成模型模拟未来数据流并评估推荐最佳算法的方法,其性能接近预言机,促进了增量学习的实际部署。
2024-03-26 cs.AI cs.CV cs.LG
Batchwise Probabilistic Incremental Data Cleaning
University of São Paulo(圣保罗大学);University of Londrina(隆德里纳大学);University of Waterloo(滑铁卢大学)
缺乏数据和数据质量问题是阻碍许多组织进一步采用人工智能的主要瓶颈之一,迫使数据科学家在能够回答分析问题之前花费大部分时间清理数据。因此,需要更有效和高效的数据清理解决方案,这并不奇怪,充满了理论和工程问题。此报告解决了增量执行整体数据清理的问题,给定固定的规则集和连续批量获取的不断发展的分类关系数据集。据我们所知,我们的贡献组成了第一个增量框架,该框架可以(i)独立于用户干预来清理数据,(ii)不需要关于传入数据集的知识,例如每个属性的类的数量,以及(iii)整体上,使多个错误类型能够同时修复,从而避免冲突修复。大量的实验表明,我们的方法优于竞争对手的修复质量,执行时间和内存消耗。
2020-11-09 cs.DB cs.LG
TKIL: Tangent Kernel Approach for Class Balanced Incremental Learning
University of Washington(华盛顿大学)
当以顺序的方式学习新任务时,深度神经网络往往会忘记它们以前学习过的任务,这种现象称为灾难性遗忘。类增量学习方法的目的是解决这个问题,保持记忆的一些样本从以前学习的任务,并从中提取知识。然而,现有的方法很难在类之间平衡性能,因为它们通常使模型过拟合到最新的任务。在我们的工作中,我们提出了一种新的方法,切线内核增量学习(TKIL),实现类平衡的性能,以解决这些挑战。该方法保留了跨类的表示,并平衡了每个类的准确性,因此实现了更好的整体准确性和方差。TKIL方法是基于神经切线核(NTK)的,NTK将神经网络的收敛行为描述为无限宽极限下的核函数。在TKIL中,特征层之间的梯度被视为这些层的表示之间的距离,并且可以被定义为切线核损失(GTK损失),使得它与平均权重一起被最小化。这使得TKIL能够自动识别任务,并在推理过程中快速适应它。在具有各种增量学习设置的CIFAR-100和ImageNet数据集上的实验表明,这些策略使TKIL的性能优于现有的最先进的方法。
2022-06-17 cs.AI cs.LG q-bio.NC
RPS: A Generic Reservoir Patterns Sampler
EPITA Research Laboratory (LRE)(EPITA研究实验室(LRE));University of Tours(图尔大学)
针对复杂数据流模式采样研究不足的问题,提出通用加权水库模式采样算法RPS,可处理多种模式并解决时间偏差,在真实数据集上实现了序列数据在线分类器准确率媲美离线基线的效果。
2024-10-31 cs.AI cs.LG math.CO
Dataset Knowledge Transfer for Class-Incremental Learning without Memory
Université Paris-Saclay(巴黎-萨克雷大学);CEA(法国原子能和替代能源委员会);IMT Atlantique(大西洋电信学院);West University of Timisoara(蒂米什瓦拉西部大学)
增量学习使人工智能能够从序列数据中学习。虽然通过利用深度神经网络取得了重要进展,但增量学习仍然非常具有挑战性。当不允许对过去的数据进行记忆并且灾难性遗忘具有强烈的负面影响时,情况尤其如此。我们通过调整预测偏差校正来解决没有记忆的类增量学习,这种方法使过去和新类的预测更具可比性。它被提议当一个内存是允许的,不能直接使用没有内存,因为过去的类的样本是必需的。我们引入了一个两步学习过程,该过程允许在参考数据集和目标数据集之间转移偏差校正参数。偏差校正首先在具有相关联的验证存储器的参考数据集上离线优化。然后将获得的校正参数传输到目标数据集,对于这些目标数据集没有可用的存储器。第二个贡献是通过学习每个增量状态的参数来引入偏差校正的更精细建模,而不是通常的过去与新类建模。所提出的数据集知识转移适用于任何无需记忆的增量方法。我们测试其有效性,将其应用到四个现有的方法。使用四个目标数据集和不同配置进行的评估显示出一致的改进,几乎没有计算和内存开销。
2021-10-16 cs.CV cs.LG
On Learning the Geodesic Path for Incremental Learning
The Australian National University(澳大利亚国立大学);Monash University(莫纳什大学);Data61-CSIRO(Data61-澳大利亚联邦科学与工业研究组织)
众所周知,神经网络遭受灾难性遗忘的问题,即在获取新知识时忘记过去知识的现象。克服灾难性遗忘对于模拟“增量学习”过程具有重要意义,其中模型能够以有效和鲁棒的方式从顺序经验中学习。增量学习的最新技术利用知识蒸馏来防止灾难性遗忘。其中,更新网络,同时确保网络对先前看到的概念的响应在整个更新期间保持稳定。实际上,这是通过以某种方式最小化网络的当前响应和先前响应之间的差异来实现的。我们的工作为蒸馏技术提供了一种新方法。与以前的现有技术相比,我们建议首先为以前和当前的响应构建低维流形,并沿着连接流形的测地线将响应之间的差异最小化。这导致了一个更强大的知识蒸馏与光滑的属性,更有效地保留了过去的知识,我们的综合实证研究观察。
2021-04-17 cs.CV cs.LG
Convergence of uncertainty estimates in Ensemble and Bayesian sparse model discovery
University of Washington(华盛顿大学);Imperial College(帝国理工学院)
本文理论分析基于bootstrap的序贯阈值最小二乘集成稀疏模型发现,证明其变量选择错误率指数收敛,并能高效实现趋近真实值的不确定性量化。
2023-04-26 cs.LG math.DS stat.ME
Case-Guided Sequential Assay Planning in Drug Discovery
Decision Science, Merck & Co., Inc., USA(决策科学,默克公司,美国);MSD Czech Republic(MSD捷克共和国);Pharmacokinetics, Dynamics, Metabolism & Bioanalytical, Merck & Co., Inc., USA(药代动力学、动力学、代谢与生物分析,默克公司,美国)
IBMDP通过基于案例的隐式模型和集合MCTS规划,在无模拟器环境下实现高效药物发现实验顺序设计。
2026-01-21 cs.AI cs.CE cs.LG
Incremental Knowledge Tracing from Multiple Schools
Nanyang Technological University(南洋理工大学);Institute for Infocomm Research (I2R), A-STAR(新加坡科技研究局资讯通信研究院)
知识追踪是根据学习者的表现历史来预测学习者未来表现的任务。目前的知识追踪模型是基于从多个学校收集的大量数据建立的。然而,由于数据隐私和PDPA政策,不可能汇集所有学校的学习者数据。因此,本文探讨了建立知识追踪模型的可行性,同时保护各自学校内的学习者数据的隐私。本研究使用ASSISTment 2009数据集的一部分进行,来自多所学校的数据被视为持续学习框架中的独立任务。结果表明,使用自注意知识跟踪(SAKT)算法顺序学习能够实现与将所有数据汇集在一起的性能相当相似的性能。
2022-01-07 cs.AI cs.CY cs.LG
Backdoor Attacks Against Incremental Learners: An Empirical Evaluation Study
Harbin Institute of Technology(哈尔滨工业大学);Tsinghua University(清华大学)
本文实证评估了11种增量学习器在3种场景下对基于投毒的后门攻击的脆弱性,揭示了极低投毒比例(低至0.1%)下的跨任务攻击与后门知识泛化效应,并验证了基于激活聚类的防御机制可有效检测触发模式以缓解安全风险。
2023-05-28 cs.AI cs.CR cs.LG