Dealing with Drift of Adaptation Spaces in Learning-based Self-Adaptive Systems using Lifelong Self-Adaptation
Katholieke Universiteit Leuven(鲁汶大学);Linnaeus University(林奈大学)
本文针对基于学习的自适应系统中适应空间漂移问题,提出引入终身机器学习层的终身自适应方法,通过持续跟踪环境、识别新任务并更新学习模型,以应对适应选项质量变化导致的决策失效或新机会出现,并在DeltaIoT上验证了有效性。
2024-01-13 cs.AI cs.LG cs.NE
A Lightweight Concept Drift Detection and Adaptation Framework for IoT Data Streams
Western University(西安大略大学)
近年来,随着“智能技术”的日益普及,物联网(IoT)设备和系统的数量大幅激增。各种物联网服务和功能都基于物联网流数据的分析。然而,由于物联网系统的动态特性和物联网数据流不断变化的模式,物联网数据分析面临着概念漂移的挑战。在本文中,我们提出了一个自适应物联网流数据分析框架,用于基于优化的LightGBM和概念漂移适应的异常检测用例。提出了一种新的漂移自适应方法优化自适应滑动窗口(OASW),以适应在线物联网数据流的模式变化。在两个公共数据集上的实验表明,与其他最先进的方法相比,我们提出的自适应LightGBM模型具有较高的准确性和效率。所提出的自适应LightGBM模型可以在没有人为干预的情况下对物联网数据流进行连续学习和漂移适应。
2021-04-21 cs.AI cs.LG
A Model Drift Detection and Adaptation Framework for 5G Core Networks
Western University(西安大略大学)
针对5G核心网中机器学习模型因网络动态变化而发生性能退化的问题,本文提出并原型验证了一个模型漂移检测与适配框架,可识别用户行为漂移并触发修复。
2022-08-08 cs.LG cs.NI
Concept-drifting Data Streams are Time Series; The Case for Continuous Adaptation
从数据流中学习是数据采掘、机器学习和一般人工智能中越来越重要的主题。数据流文献中的一个主要焦点是设计可以处理概念漂移的方法,这是一个生成分布随时间变化的挑战。在大多数文献中的一个一般假设是,实例独立地分布在流中。在这项工作中,我们表明,在概念漂移的背景下,这个假设是矛盾的,概念漂移的存在必然意味着时间依赖性,从而某种形式的时间序列。这对模型设计和部署具有重要意义。我们探索和突出这些影响,并表明,Hoeffding树为基础的合奏,这是非常流行的学习流,不自然适合学习\emph{within}漂移,并可以在这种情况下,只有在显着的计算成本的破坏性适应。另一方面,我们开发和参数化的梯度下降方法,并演示他们如何可以执行\emph{continuous}适应没有明确的漂移检测机制,提供的准确性和效率方面的主要优势。作为我们的理论讨论和实证观察的结果,我们概述了一些建议部署方法的概念漂移流。
2018-10-04 cs.LG stat.ML
RDumb++: Drift-Aware Continual Test-Time Adaptation
Department of Computer Science(计算机科学系);University of British Columbia(不列颠哥伦比亚大学)
针对持续测试时自适应中分布快速变化或长期漂移导致性能崩溃的问题,提出RDumb++方法,通过熵和KL散度漂移检测机制与自适应重置策略,在CCC基准上实现约3%的绝对准确率提升。
2026-01-22 cs.AI cs.LG
Cluster-Specific Localized Drift Detection for Efficient Batch Model Adaptation under Controlled Distribution Shift
University of Brighton(布莱顿大学);University of Lancashire(兰开夏大学)
提出聚类诱导分布漂移模拟框架,将静态表格数据转换为受控演化数据流,并系统评估六种适应策略,实验覆盖多种模型和任务。
2026-06-23 cs.AI cs.LG
Concept Drift Detection and Adaptation with Weak Supervision on Streaming Unlabeled Data
当数据特征或目标的统计属性随时间变化时,学习和分类中的概念漂移就会发生;漂移的证据已经出现在搜索数据,医学研究,恶意软件,网络数据和视频中。漂移自适应尚未解决高维,噪声,低上下文数据,如流文本,视频或图像,由于这些领域存在的独特挑战。我们提出了一个双重的方法来处理这些领域的概念漂移:一个基于密度的聚类方法来处理虚拟概念漂移(功能的统计特性的变化)和一个弱监督步骤来处理真正的概念漂移(目标的统计特性的变化)。我们的基于密度的集群避免了维度灾难带来的问题,以创建实时数据空间的不断发展的“地图”,从而解决特征中的虚拟漂移。我们的弱监督步骤利用高置信度标签(oracle或启发式标签)来生成加权训练集,以泛化和更新现有的深度学习器,以适应不断变化的决策边界(真实漂移),并为数据空间中不可见的区域创建新的深度学习器。我们的研究结果表明,我们的双重方法在2018年表现良好,精度>90%,在2014年首次部署四年后,没有任何人为干预。
2019-10-02 cs.LG stat.ML
Diverse Instances-Weighting Ensemble based on Region Drift Disagreement for Concept Drift Adaptation
概念漂移是指底层数据分布的变化,是数据流演化的固有属性。具有动态分类器的包围学习已被证明是处理概念漂移的有效方法。然而,最好的方式来创建和保持集成多样性与不断变化的流仍然是一个具有挑战性的问题。与通过输入、输出或分类器参数估计多样性相反,我们提出了一种基于集合成员是否同意区域分布变化概率的多样性测量。在我们的方法中,区域分布变化的估计被用作实例权重。通过不同的方案构造不同的区域集合将导致不同的漂移估计结果,从而产生多样性。选择最不同意的分类器以最大化多样性。因此,基于实例的集成学习算法,称为不同的实例加权集成(DiwE),开发解决数据流分类问题的概念漂移。各种合成和真实世界的数据流基准的评估表明,该算法的有效性和优势。
2020-04-13 cs.LG stat.ML
Concept drift detection and adaptation for federated and continual learning
Universidade da Coruña(拉科鲁尼亚大学);Universidade de Santiago de Compostela(圣地亚哥德孔波斯特拉大学)
智能设备(如智能手机、可穿戴设备、机器人等)可以从其环境中收集大量数据。这些数据适用于训练机器学习模型,可以显著改善其行为,从而改善用户体验。联邦学习是一个年轻而流行的框架,它允许多个分布式设备协同训练深度学习模型,同时保护数据隐私。然而,这种方法可能不是最佳的情况下,数据分布是不相同的参与者或随着时间的推移而变化,导致所谓的概念漂移。虽然在这方面的研究还很少,但这种情况在现实生活中非常常见,并对持续学习和联邦学习提出了新的挑战。因此,在这项工作中,我们提出了一种新的方法,称为概念漂移感知联邦平均(CDA-FedAvg)。我们的建议是最流行的联邦算法,联邦平均(FedAvg)的扩展,增强其持续适应下的概念漂移。我们经验证明常规FedAvg的弱点,并证明CDA-FedAvg在这种情况下优于它。
2021-07-15 cs.LG
Not All Drift Is a Mechanism: Tracing Prompt Adaptation in LLMs
该研究分析了离散提示优化、提示调优和前缀调优对不同类型大语言模型处理过程的影响,指出需区分表示漂移中与任务计算对齐的部分,为提示适配方法的选择评估提供指导。
2026-10-14 cs.AI cs.CL cs.LG
Concept Drift Adaptation by Exploiting Historical Knowledge
University of Science and Technology of China(中国科学技术大学);Shenzhen University(深圳大学);The University of Birmingham(伯明翰大学)
具有概念漂移的增量学习通常通过集成方法来解决,其中过去内置的的模型可以重新训练以获得当前数据的新模型。在开发用于具有概念漂移的增量学习的集成方法时需要解决两个设计问题,即,其中历史的(即,先前训练的)模型以及如何利用它们。提出了一种新的集成学习方法,即基于多样性和迁移的集成学习(DTEL)。给定新到达的数据,DTEL使用每个保存的历史模型作为初始模型,并通过迁移学习用新数据进一步训练它。此外,DTEL保留了一组不同的历史模型,而不是一组仅在分类准确性方面准确的历史模型。对15个合成数据流和4个真实数据流(均存在概念漂移)的实验研究表明,DTEL方法比其他4种方法更能有效地处理概念漂移。
2017-02-12 cs.LG
MADCAT: Combating Malware Detection Under Concept Drift with Test-Time Adaptation
MADCAT是一种自监督的编码器-解码器方法,通过测试时训练编码器,在Android恶意软件检测中有效应对概念漂移,持续优于基线方法。
2025-05-24 cs.CR cs.LG
METER: A Dynamic Concept Adaptation Framework for Online Anomaly Detection
Beijing Institute of Technology(北京理工大学);National University of Singapore(新加坡国立大学);Zhejiang University(浙江大学)
针对现有在线异常检测方法应对概念漂移能力不足、适配慢的问题,提出基于超网络动态参数调整与证据深度学习漂移检测的METER框架,实验证明其性能显著优于现有方法。
2023-12-28 cs.LG
Employing chunk size adaptation to overcome concept drift
Wrocław University of Science and Technology(弗罗茨瓦夫理工大学)
现代分析系统必须准备好处理流数据并正确响应数据分布变化。数据分布的变化现象被称为概念漂移,它可能会损害所使用的模型的质量。此外,概念漂移出现的可能性导致所使用的算法必须准备好模型对变化的数据分布的持续适应。这项工作的重点是非平稳数据流分类,其中使用的分类器集成。为了使集成模型保持最新,新的基本分类器在传入数据块上进行训练并添加到集成中,同时从集成中删除过时的模型。这种类型的模型的问题之一是对数据分布变化的快速反应。我们提出了一个新的块自适应恢复框架,可以适应任何基于块的数据流分类算法。该算法在概念漂移检测的情况下调整数据块大小,以最大限度地减少变化对所用模型预测性能的影响。实验研究表明,块自适应恢复算法可以显著缩短模型的恢复时间。
2021-10-25 cs.LG
Robust Outlier Detection and Low-Latency Concept Drift Adaptation for Data Stream Regression: A Dual-Channel Architecture
School of Mathematical Sciences(数学科学学院);School of Future Science and Engineering(未来科学与工程学院)
本文提出了一种双通道架构,用于数据流回归中的鲁棒异常检测和低延迟概念漂移适应,通过EWMAD-DT检测器实现对突发和渐进漂移的区分。
2025-12-13 cs.LG stat.ME
Domain Adaptation Extreme Learning Machines for Drift Compensation in E-nose Systems
Chongqing University(重庆大学);The Hong Kong Polytechnic University(香港理工大学)
本文从机器学习的角度研究了电子鼻中传感器漂移的非线性动力学特性。传统的漂移补偿方法由于气体样品重新校准的频繁采集和标记过程而费力且昂贵。极限学习机(ELMs)已被证实是模式识别和回归的高效学习技术。然而,ELMs主要集中在单域(即源域)的监督,半监督和无监督学习问题。据我们所知,ELM的跨域学习能力从来没有被研究过。提出了一种统一的领域自适应极限学习机(DAELM)框架,该框架利用目标域中有限数量的标记数据学习一个鲁棒的分类器,用于电子鼻系统中的漂移补偿和气体识别,而不损失传统ELM的计算效率和学习能力。在统一的框架下,本文分别提出了两种算法DAELM-S和DAELM-T。为了说明ELM、DAELM-S和DAELM-T之间的区别,提供了两个注释。对电子鼻系统采集的多批次传感器漂移数据进行实验,结果表明,该方法在不增加繁琐措施的情况下,显著优于现有的漂移补偿方法,为电子鼻漂移补偿方法的研究带来了新的前景。
2015-05-24 cs.LG
Concept Drift Adaptation Using Self-Supervised and Reinforcement Learning In Android Malware Detection
Birzeit University(巴伊兹大学);University of Central Florida(中央佛罗里达大学)
提出一个基于自监督学习和强化学习的框架,通过冻结编码器测量潜在漂移并轻量适配,同时利用PPO控制器在成本约束下选择维护动作,以应对Android恶意软件检测中的概念漂移。
2026-05-22 cs.AI cs.CR cs.LG
Online detection and infographic explanation of spam reviews with data drift adaptation
University of Vigo(维戈大学);Universidade Portucalense(波尔图大学);ISEP, Polytechnic of Porto(波尔图理工学院ISEP);Institute for Systems and Computer Engineering, Technology and Science(系统与计算机工程、技术与科学研究所)
针对在线平台垃圾评论泛滥、数据流场景下垃圾检测研究不足且缺乏透明度的问题,本文提出融合增量画像、数据漂移检测自适应与机器学习识别的在线垃圾评论检测方案,搭配信息图式可解释机制,最优垃圾评论F值达87%。
2024-06-21 cs.AI cs.CL cs.LG
PWPAE: An Ensemble Framework for Concept Drift Adaptation in IoT Data Streams
Western University(韦仕敦大学)
随着物联网(IoT)设备和系统数量的激增,物联网数据分析技术已被开发用于检测恶意网络攻击和保护物联网系统;然而,物联网数据分析中经常出现概念漂移问题,因为物联网数据通常是随时间变化的动态数据流,导致模型退化和攻击检测失败。这是因为传统的数据分析模型是静态模型,无法适应数据分布的变化。在本文中,我们提出了一个性能加权概率平均增强(PWPAE)框架,通过物联网数据流分析进行漂移自适应物联网异常检测。在两个公共数据集上的实验表明,我们提出的PWPAE方法相比,国家的最先进的方法的有效性。
2021-09-10 cs.AI cs.CR cs.LG
Concept Drift Detection and Adaptation with Hierarchical Hypothesis Testing
University of Florida(佛罗里达大学);Robert Bosch Research and Technology Center(罗伯特·博世研究与技术中心);University of Illinois at Chicago(伊利诺伊大学芝加哥分校);MZ Inc.(MZ公司);Central China Normal University(华中师范大学)
流媒体环境中的统计分类模型的一个基本问题是预测变量和响应变量之间的联合分布随时间变化(也称为概念漂移的现象),使得它们的分类性能急剧恶化。在本文中,我们首先提出了一个分层的假设检验(HHT)框架,可以检测并适应各种概念漂移类型(例如,周期性或不规则、渐进性或突然性),即使存在不平衡的数据标签。一个新的概念漂移检测器,即分层线性四速率(HLFR),实现下的HHT框架。通过用自适应训练策略取代广泛认可的再训练方案,我们进一步证明了HLFR的概念漂移适应能力可以显着提高。对HLFR的I类和第二类错误进行了理论分析。在模拟和真实数据集上的实验表明,我们的方法在检测精度、检测延迟以及对不同概念漂移类型的适应性方面优于最先进的方法。
2019-02-08 cs.LG stat.ML
Zero-shot Task Adaptation using Natural Language
University of Texas at Austin(德克萨斯大学奥斯汀分校)
模仿学习和模仿跟随是将用户意图传达给学习代理的两种常见方法。然而,随着任务复杂性的增加,使用演示和语言与代理进行通信可能是有益的。在这项工作中,我们提出了一种新的设置,代理人都给出了演示和描述,必须结合信息从这两种方式。具体来说,给定任务(源任务)的演示,以及所演示任务与相关但不同的任务(目标任务)之间差异的自然语言描述,我们的目标是训练智能体完成目标任务在零射击(zero-shot)设置中,即不对目标任务进行任何演示。为此,我们引入了辅助奖励和价值适应(LARVA),给出了源演示和语言描述的目标任务如何不同,学习输出一个奖励/价值函数,准确地描述了目标任务。我们的实验表明,在一组不同的适应,我们的方法是能够完成超过95%的目标任务时,使用基于模板的描述,超过70%时,使用自由形式的自然语言。
2021-06-05 cs.AI cs.CL cs.LG
HYDRA: Proactive Android Malware Drift Adaptation via Hierarchical Graph Contrastive Learning
University of Technology Sydney(悉尼科技大学);Yunnan University(云南大学);University of New South Wales(新南威尔士大学)
针对安卓恶意软件概念漂移,提出HYDRA框架,利用层次图对比学习对齐历史与目标数据分布,统一特征学习与域对齐,显著降低误报率并减少最多87.5%标注需求。
2026-09-23 cs.CR cs.LG
Proactive Model Adaptation Against Concept Drift for Online Time Series Forecasting
Shanghai Jiao Tong University(上海交通大学)
Proceed 提出一种前瞻性模型适应框架,通过估计和转换概念漂移,提升在线时间序列预测对概念漂移的抗性。
2025-12-18 cs.AI cs.CE cs.LG
Continuous Domain Adaptation with Variational Domain-Agnostic Feature Replay
Imagia;Montreal Institute for Learning Algorithms (MILA), University of Montreal(蒙特利尔学习算法研究所(MILA),蒙特利尔大学);Dalhousie University(达尔豪西大学);Canadian Institute for Advanced Research (CIFAR)(加拿大高级研究所(CIFAR))
非平稳环境下的学习是机器学习面临的最大挑战之一。非平稳性可以由任务漂移引起,即,给定输入数据的标签的条件分布中的漂移,或域漂移,即,输入数据的边缘分布的漂移。本文的目的是解决这一挑战的背景下,连续领域自适应,其中模型需要学习新的任务,适应新的领域在一个非平稳的环境,同时保持以前学到的知识。为了处理这两个漂移,我们提出变分域不可知特征重放,一种方法,由三个组成部分:一个推理模块,过滤的输入数据域不可知表示,生成模块,促进知识转移,和求解器模块,应用过滤和可转移的知识来解决查询。我们解决了两个基本的情况下,在连续的领域自适应,证明了我们提出的方法的有效性,为实际使用。
2020-03-09 cs.CV cs.LG stat.ML
Minimax Classification under Concept Drift with Multidimensional Adaptation and Performance Guarantees
BCAM-Basque Center for Applied Mathematics(巴斯克应用数学中心);University of the Basque Country UPV/EHU(巴斯克大学UPV/EHU)
在实际的监督分类场景中,实例-标签对的统计特性经常随时间而变化。传统的学习技术通过仔细选择的学习率、遗忘因子或窗口大小来适应这种考虑标量变化率的概念漂移。然而,常见场景中的时间变化是多维的,即,不同的统计特征通常以不同的方式变化。本文提出了自适应极小极大风险分类器(AMRC),占多维时间变化的多变量和高阶跟踪随时间变化的底层分布。此外,与传统技术不同,AMRC可以提供可计算的严格性能保证。在多个基准数据集上的实验表明,与现有技术相比,AMRC的分类性能有所提高,并且所提出的性能保证具有可靠性。
2022-05-31 cs.LG stat.ML
Meta Adaptation using Importance Weighted Demonstrations
University of Southern California(南加州大学)
提出一种基于重要性加权过去示范的元适应算法,解决任务分布动态变化下的模仿学习泛化问题,并在视觉导航任务上验证了其少样本适应能力。
2023-07-03 cs.AI cs.LG stat.ML
Model adaptation and unsupervised learning with non-stationary batch data under smooth concept drift
IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心);Robert Bosch LLC(罗伯特·博世有限责任公司)
大多数预测模型假设训练和测试数据是从一个平稳的过程中生成的。然而,这一假设在实践中并不成立。在本文中,我们考虑的情况下,逐渐的概念漂移由于潜在的非平稳的数据源。虽然以前的工作已经在监督学习和适应条件下研究了这种情况,但很少有人解决标签仅在训练期间可用的常见现实情况。我们提出了一种新的,迭代算法的预测模型的无监督适应。我们表明,我们的批适应预测算法的性能优于其相应的非适应版本。所提出的算法提供了类似的(或更好的,在大多数情况下)的性能显着更少的运行时间相比,其他国家的最先进的方法。我们验证了我们的主张,通过广泛的数值模拟的合成和真实数据。
2020-02-10 cs.LG stat.AP stat.ML
DDG-DA: Data Distribution Generation for Predictable Concept Drift Adaptation
University of Wisconsin–Madison(威斯康星大学麦迪逊分校);Microsoft Research(微软研究院)
在许多现实场景中,我们经常处理随着时间的推移顺序收集的流数据。由于环境的非平稳性质,流数据分布可能以不可预测的方式改变,这被称为概念漂移。为了处理概念漂移,以前的方法首先检测概念漂移发生的时间/地点,然后调整模型以适应最新数据的分布。然而,仍然有许多情况下,一些潜在的环境演变的因素是可预测的,使得有可能模拟未来的概念漂移趋势的流数据,而这样的情况下,没有充分探讨在以前的工作。本文提出了一种新的方法DDG-DA,它可以有效地预测数据分布的演变,提高模型的性能。具体来说,我们首先训练一个预测器来估计未来的数据分布,然后利用它来生成训练样本,最后在生成的数据上训练模型。我们在三个真实世界的任务(股票价格趋势预测,电力负荷和太阳辐照度)进行了实验,并在多个广泛使用的模型上获得了显着的改进。
2022-06-05 cs.AI cs.LG q-fin.GN
What Does It Take For A Generalist Robot Policy To Adapt Using Minimal Data?
Carnegie Mellon University(卡内基梅隆大学)
本文提出MiDAS算法,结合离线行为克隆与在线强化学习,实现机器人策略仅用1次演示即可完成任务适配,性能优于基线且能泛化,为机器人自主学习提供可行方案。
2026-10-23 cs.LG cs.RO
Federated Learning Clients Clustering with Adaptation to Data Drifts
Harvard University(哈佛大学);Northwestern University(西北大学);Amazon(亚马逊公司);Johns Hopkins University(约翰霍普金斯大学);Google(谷歌公司)
FIELDING通过适应数据漂移的CFL框架提升模型准确性并加速收敛
2026-02-08 cs.CR cs.LG
Neural Task Success Classifiers for Robotic Manipulation from Few Real Demonstrations
University of Lincoln(林肯大学);Lincoln Institute for Agri-Food Technology(林肯农业食品技术研究所)
机器人从少量的演示中学习新的操作任务在不同的领域越来越多地被要求。评估动作质量的分类器模型可以预测任务的成功完成,智能代理可以使用该模型进行动作选择。本文提出了一种新的分类器,学习分类任务完成只有从几个示范。我们对不同的神经分类器进行了全面的比较,例如基于全连接的,基于全卷积的,基于序列2序列的和基于领域自适应的分类。我们还提出了一个新的数据集,包括五个机器人操作任务,这是公开的。我们使用我们的数据集和MIME数据集比较了我们的新分类器和现有模型的性能。结果表明,领域自适应和基于时间的功能,提高成功的预测。我们的新模型,即具有领域自适应和时序特征的全卷积神经网络,在两个数据集中的任务中实现了97.3%和95.5%的平均分类准确率,而没有领域自适应和时序特征的最先进的分类器分别仅实现了82.4%和90.3%。
2021-07-01 cs.AI cs.LG cs.RO
Generative Active Adaptation for Drifting and Imbalanced Network Intrusion Detection
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Chicago(芝加哥大学)
针对网络入侵检测中概念漂移和数据不平衡导致性能下降且标注困难的问题,提出生成式主动适应框架NetGuard,通过密度感知先验选择和深度生成模型合成样本,显著提升了罕见攻击检测的F1分数并降低了标注成本。
2025-08-14 cs.CR cs.LG cs.NI
On the Adaptation to Concept Drift for CTR Prediction
点击率(CTR)预测是网络搜索、推荐系统和在线广告显示中的一项重要任务。在实际应用中,CTR模型往往服务于高速用户生成的数据流,其底层分布随时间快速变化。这些流数据不可避免地存在概念漂移问题,这会导致性能下降,由于时效性问题。为了保证模型的新鲜度,增量学习在现实世界的生产系统中被广泛采用。然而,增量更新很难实现CTR模型在捕捉快速变化趋势的适应性和保留公共知识的泛化能力之间的平衡。在本文中,我们提出了自适应混合专家模型(AdaMoE),一个新的框架,以减轻概念漂移问题的统计加权政策的数据流中的CTR预测。在基准测试和真实工业数据集上进行的大量离线实验以及在线A/B测试表明,我们的AdaMoE显著优于所有考虑的增量学习框架。
2023-02-23 cs.AI cs.IR cs.LG
MemDA: Forecasting Urban Time Series with Memory-based Drift Adaptation
The University of Tokyo(东京大学);Tencent Corporation(腾讯公司)
针对城市时间序列预测中的概念漂移问题,提出MemDA模型,通过考虑数据周期性编码漂移并利用元动态网络进行实时调整,显著优于现有方法且能泛化至现有预测骨干网络。
2023-09-25 cs.AI cs.LG
Evolving Machine Learning in Non-Stationary Environments: A Unified Survey of Drift, Forgetting, and Adaptation
School of Architecture, Technology and Engineering, University of Brighton(建筑、技术与工程学院,布里奇顿大学);Department of Mathematics and Computer Science, Eindhoven University of Technology(数学与计算机科学系,埃因霍温理工大学)
本文综述了非平稳环境中进化机器学习的核心挑战与方法,分析了数据漂移、概念漂移、灾难性遗忘等关键问题,并探讨了自适应神经架构等技术在应对动态数据中的作用。
2026-01-25 cs.LG
Federated Learning under Distributed Concept Drift
Carnegie Mellon University(卡内基梅隆大学);Microsoft Research(微软研究院);Apple(苹果公司)
分布式概念漂移下的联邦学习是一个尚未被探索的领域。虽然概念漂移本身是一个很好的研究现象,它提出了特殊的挑战,外语,因为漂移出现交错的时间和空间(跨客户端)。据我们所知,这项工作是第一个明确研究数据异质性的两个维度。我们首先证明,以前的解决方案,漂移适应,使用一个单一的全球模型是不适合交错漂移,需要多个模型的解决方案。我们确定的漂移自适应问题作为一个随时间变化的聚类问题,我们提出了两个新的聚类算法的反应漂移的基础上本地漂移检测和层次聚类。实证评估表明,我们的解决方案实现了显着更高的准确性比现有的基线,并与理想化的算法与甲骨文知识的地面真理聚类的客户端的概念,在每个时间步。
2023-02-28 cs.LG
Incremental Learning of Retrievable Skills For Efficient Continual Task Adaptation
Sungkyunkwan University(成均馆大学);Carnegie Mellon University(卡内基梅隆大学)
针对持续模仿学习中适配器方法限制知识共享的问题,提出IsCiL框架,通过增量学习可共享技能并基于原型记忆检索,实现非平稳环境下的样本高效任务适应,实验验证了其稳健性能。
2025-01-21 cs.AI cs.LG
An Offline Adaptation Framework for Constrained Multi-Objective Reinforcement Learning
Sun Yat-sen University(中山大学)
本研究提出一种离线适配框架,无需人工设定目标偏好,仅通过演示即可隐式推断多目标强化学习的预期策略,还可扩展至满足安全约束,经实验验证效果良好。
2024-09-16 cs.AI cs.LG
Towards Robust Endogenous Reasoning: Unifying Drift Adaptation in Non-Stationary Tuning
Australian Artificial Intelligence Institute (AAII)(澳大利亚人工智能研究所);Faculty of Engineering and Information Technology(工程与信息技术学院)
本文提出CPO++框架,解决多模态大语言模型在内生推理中的漂移问题,通过反事实推理与领域知识结合,提升推理连贯性和决策精度,适用于医疗诊断和自动驾驶等安全关键领域。
2026-04-17 cs.LG
Online Federated Learning via Non-Stationary Detection and Adaptation amidst Concept Drift
Purdue University(普渡大学);King Abdullah University Of Science And Technology(阿卜杜拉国王科技大学)
针对联邦学习在概念漂移下性能退化的问题,提出结合FedAvg与FedOMD理论保证及非平稳检测与自适应的多尺度框架,实现了动态遗憾界,提升了泛化性能。
2023-05-06 cs.AI cs.LG cs.SY
Adaptation Strategies for Automated Machine Learning on Evolving Data
Eindhoven University of Technology(埃因霍温理工大学)
自动机器学习(AutoML)系统已被证明可以有效地为新数据集构建良好的模型。然而,当数据随着时间的推移而变化时,他们的适应能力如何往往并不清楚。本研究的主要目标是了解数据流挑战(如概念漂移)对AutoML方法性能的影响,以及可以采用哪些自适应策略使其更加健壮。为此,我们提出了6种概念漂移适应策略,并评估了它们在不同AutoML方法上的有效性。我们为各种AutoML方法构建机器学习管道,包括那些利用贝叶斯优化,遗传编程和随机搜索自动堆叠。这些经验评估现实世界和合成数据流与不同类型的概念漂移。基于这种分析,我们提出了开发更复杂和更强大的AutoML技术的方法。
2022-05-10 cs.LG stat.ML
Autoencoder-based Anomaly Detection in Streaming Data with Incremental Learning and Concept Drift Adaptation
KIOS Research and Innovation Center of Excellence(KIOS卓越研究与创新中心);University of Cyprus(塞浦路斯大学)
本文提出基于自编码器的增量学习与漂移检测方法strAEm++DD,用于流式数据异常检测,在严重类别不平衡下显著优于现有方法。
2023-09-05 cs.LG cs.SY eess.SY
Unsupervised Unlearning of Concept Drift with Autoencoders
Bielefeld University(比勒费尔德大学);KIOS Research and Innovation Center of Excellence(KIOS卓越研究与创新中心);University of Cyprus(塞浦路斯大学)
本文提出一种基于自编码器的无监督、模型无关的全局概念漂移适应方法,通过“遗忘”漂移避免重训练或调整模型,并在供水网络和图像任务中验证其有效性。
2023-09-19 cs.AI cs.LG
From drift to adaptation to the failed ml model: Transfer Learning in Industrial MLOps
University College London(伦敦大学学院);The Alan Turing Institute(艾伦·图灵研究所);Univeristy of Engineering and Technology(工程与技术大学);Sahiwal Coal Fired Power Plant(萨希瓦尔燃煤发电厂)
本文通过工业案例研究,比较了三种迁移学习方法在处理失败ML模型数据漂移时的性能,发现ETL在小批量数据下表现更优,而ALTL适用于大批量数据更新。
2026-02-01 cs.LG
Online Feature Screening for Data Streams with Concept Drift
Florida State University(佛罗里达州立大学)
筛选特征选择方法通常用作预处理步骤,用于在训练步骤之前减少变量的数量。传统的筛选方法只关注于处理完整的高维数据集。现代数据集不仅具有更高的维数和更大的样本量,而且具有流输入、稀疏性和概念漂移等特性。因此近年来出现了大量的在线特征选择方法来处理这类问题。在线筛选方法是在线特征选择方法的一种。我们在本研究中提出的方法能够处理上述三种情况。我们的研究重点是分类数据集。我们的实验表明,所提出的方法可以产生相同的特征重要性,他们的离线版本,更快的速度和更少的存储消耗。此外,实验结果表明,在具有概念漂移特性的数据流上,集成模型自适应的在线筛选方法比没有模型自适应的方法具有更高的真实特征检测率。在两个潜在具有概念漂移性质的大型真实数据集中,具有模型自适应的在线筛选方法在节省计算时间和空间、降低模型复杂度或提高预测精度方面显示出优势。
2021-04-07 cs.LG stat.ML
Fast Lifelong Adaptive Inverse Reinforcement Learning from Demonstrations
Georgia Institute of Technology(佐治亚理工学院)
提出快速终身自适应逆强化学习框架FLAIR,通过构建策略混合实现对新演示的快速适应与个性化,在终身部署中按需扩展模型,在多项控制任务中显著提升回报与建模效率。
2025-05-27 cs.LG cs.RO
Concept Drift Adaptation in Text Stream Mining Settings: A Systematic Review
Instituto Federal de Santa Catarina(圣卡塔琳娜联邦教育、科学和技术学院);Pontifícia Universidade Católica do Paraná (PUCPR)(巴拉那天主教大学);Instituto Federal de São Paulo(圣保罗联邦教育、科学和技术学院);Universidade de Campinas(坎皮纳斯大学);École de Technologie Supérieure, Université du Québec(魁北克大学高等技术学院);Universidade Estadual de Ponta Grossa(庞塔格罗萨州立大学)
本文对2018-2024年8月48篇论文进行系统综述,分析文本流挖掘场景中概念漂移适应的漂移类别、检测类型、模型更新机制等,还讨论漂移可视化与模拟,指出开放挑战与未来方向。
2024-11-25 cs.CL cs.IR cs.LG
Switching Scheme: A Novel Approach for Handling Incremental Concept Drift in Real-World Data Sets
KIT(卡尔斯鲁厄理工学院)
机器学习模型如今在商业和工业中的许多应用中发挥着至关重要的作用。然而,模型只有在部署到生产环境中时才开始增加价值。部署模型的一个挑战是随着时间的推移而改变数据的影响,这通常用术语概念漂移来描述。由于其性质,概念漂移会严重影响机器学习系统的预测性能。在这项工作中,我们分析了在现实世界的数据集的背景下的概念漂移的影响。为了有效的概念漂移处理,我们引入了切换方案,它结合了重新训练和更新的机器学习模型的两个原则。此外,我们系统地分析了现有的定期适应以及触发适应策略。切换方案是在纽约市出租车数据上实例化的,这在很大程度上受到随时间变化的需求模式的影响。我们可以证明,切换方案优于所有其他基线,并提供有前途的预测结果。
2020-11-05 cs.LG
LoRA-RC: Reservoir Computing with Low-Rank Adaptation
University of New Mexico(新墨西哥大学)
LoRA-RC通过低秩校正在线适应储层循环矩阵,在保证稳定性的同时,将漂移后预测误差降低56%,优于固定RC和仅读出适应。
2026-09-14 cs.AI cs.LG cs.SY
Learning under Concept Drift: A Review
概念漂移描述了流数据的底层分布随时间的不可预见的变化。概念漂移研究涉及漂移检测、理解和适应的方法和技术的发展。数据分析表明,如果不解决概念漂移问题,那么概念漂移环境中的机器学习将导致较差的学习结果。为了帮助研究人员确定哪些研究主题是重要的,以及如何在数据分析任务中应用相关技术,有必要对概念漂移领域的当前研究进展和趋势进行高质量,有指导意义的回顾。此外,由于近年来概念漂移的快速发展,概念漂移下的学习方法已经变得非常系统,揭示了一个在文献中没有提到的框架。本文回顾了130多篇概念漂移相关研究的文献,分析了概念漂移研究方法和技术的最新进展,建立了概念漂移下的学习框架,包括概念漂移检测、概念漂移理解和概念漂移适应三个主要部分。本文列出并讨论了10个流行的合成数据集和14个公开可用的基准数据集,用于评估针对处理概念漂移的学习算法的性能。此外,概念漂移相关的研究方向涵盖和讨论。通过提供最先进的知识,这项调查将直接支持研究人员在他们的理解在概念漂移下的学习领域的研究进展。
2020-04-13 cs.LG stat.ML
Gradient-free Policy Architecture Search and Adaptation
University of California Berkeley(加州大学伯克利分校);Max Plank Institute for Informatics(马克斯·普朗克信息学研究所);Saarland Informatics Campus(萨尔兰信息学园区)
我们开发了一种通过无梯度优化进行策略架构搜索和自适应的方法,该方法可以学习执行自动驾驶任务。通过从示范和环境奖励中学习,我们开发了一个模型,可以学习相对较少的早期灾难性故障。我们首先学习一个适当的复杂性的架构,以感知世界状态的专家演示相关的方面,然后通过调整在源域中演示的策略来减轻部署过程中域转移的影响,以获得在目标环境中的奖励。我们表明,我们的方法允许更安全的学习比基线方法,提供了一个减少累计崩溃指标在代理的生命周期,因为它学会了在一个现实的模拟环境中驾驶。
2017-10-16 cs.AI cs.CV cs.LG
FARM: Few-shot Adaptive Malware Family Classification under Concept Drift
Centre for Secure Information Technologies (CSIT)(安全信息科技中心)
本文提出FARM框架,用于检测和适应Windows PE恶意软件家族分类中的协变量漂移和标签漂移。通过三元组自编码器和动态阈值检测,实现少样本适应和重训练,提升分类性能。
2026-03-13 cs.CR cs.LG
DIDA: Denoised Imitation Learning based on Domain Adaptation
National Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室);School of Artificial Intelligence, Nanjing University(南京大学人工智能学院);School of ZZZ(ZZZ学院)
针对从含噪演示中学习(LND)时传统模仿学习方法鲁棒性不足的问题,本文提出DIDA,通过双判别器区分噪声与专业程度并学习域不变任务表示,在MuJoCo多种噪声任务上优于多数基线。
2024-04-04 cs.AI cs.LG
Distributional Drift Adaptation with Temporal Conditional Variational Autoencoder for Multivariate Time Series Forecasting
School of Medical Technology, Beijing Institute of Technology(北京理工大学医学技术学院);School of Computer Science and Technology, Beijing Institute of Technology(北京理工大学计算机科学与技术学院);Department of Computer Science, Tongji University(同济大学计算机科学系);University of Technology Sydney(悉尼科技大学);DataX Research Centre, School of Computing, Macquarie University(麦考瑞大学计算学院DataX研究中心)
本文提出时序条件变分自编码器TCVAE,通过时序Hawkes注意力、门控注意力机制和条件连续归一化流建模多元时间序列的动态分布依赖,有效应对分布漂移,在六个真实数据集上验证了其优越的鲁棒性和预测性能。
2024-04-02 cs.LG