Diverse Instances-Weighting Ensemble based on Region Drift Disagreement for Concept Drift Adaptation
概念漂移是指底层数据分布的变化，是数据流演化的固有属性。具有动态分类器的包围学习已被证明是处理概念漂移的有效方法。然而，最好的方式来创建和保持集成多样性与不断变化的流仍然是一个具有挑战性的问题。与通过输入、输出或分类器参数估计多样性相反，我们提出了一种基于集合成员是否同意区域分布变化概率的多样性测量。在我们的方法中，区域分布变化的估计被用作实例权重。通过不同的方案构造不同的区域集合将导致不同的漂移估计结果，从而产生多样性。选择最不同意的分类器以最大化多样性。因此，基于实例的集成学习算法，称为不同的实例加权集成（DiwE），开发解决数据流分类问题的概念漂移。各种合成和真实世界的数据流基准的评估表明，该算法的有效性和优势。
2020-04-13 cs.LG stat.ML
Handling Concept Drift for Predictions in Business Process Mining
Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）
如今，预测服务在所有业务部门中都发挥着重要作用。然而，部署的机器学习模型受到随着时间推移而改变的数据流的挑战，这被描述为概念漂移。模型的预测质量在很大程度上受到这种现象的影响。因此，概念漂移通常通过重新训练模型来处理。然而，目前的研究缺乏一个建议，哪些数据应该被选择用于重新训练的机器学习模型。因此，在这项工作中，我们系统地分析了不同的数据选择策略。随后，我们实例化我们的发现在过程挖掘的用例，这是强烈的概念漂移的影响。我们可以证明，我们可以提高精度从0.5400到0.7010的概念漂移处理。此外，我们描述了不同的数据选择策略的效果。
2020-05-18 cs.LG stat.ML
Concept Drift Detection and Adaptation with Weak Supervision on Streaming Unlabeled Data
当数据特征或目标的统计属性随时间变化时，学习和分类中的概念漂移就会发生;漂移的证据已经出现在搜索数据，医学研究，恶意软件，网络数据和视频中。漂移自适应尚未解决高维，噪声，低上下文数据，如流文本，视频或图像，由于这些领域存在的独特挑战。我们提出了一个双重的方法来处理这些领域的概念漂移：一个基于密度的聚类方法来处理虚拟概念漂移（功能的统计特性的变化）和一个弱监督步骤来处理真正的概念漂移（目标的统计特性的变化）。我们的基于密度的集群避免了维度灾难带来的问题，以创建实时数据空间的不断发展的“地图”，从而解决特征中的虚拟漂移。我们的弱监督步骤利用高置信度标签（oracle或启发式标签）来生成加权训练集，以泛化和更新现有的深度学习器，以适应不断变化的决策边界（真实漂移），并为数据空间中不可见的区域创建新的深度学习器。我们的研究结果表明，我们的双重方法在2018年表现良好，精度>90%，在2014年首次部署四年后，没有任何人为干预。
2019-10-02 cs.LG stat.ML
STUDD: A Student-Teacher Method for Unsupervised Concept Drift Detection
University of Waikato（怀卡托大学）；Télécom ParisTech（巴黎高科电信学院）；Dalhousie University（达尔豪斯大学）
概念漂移检测是数据流演化环境中的一项重要任务。设计用于解决该问题的大多数最先进的方法监视预测模型的损失。然而，这种方法在许多现实世界的场景中是不够的，在这些场景中，真实的标签并不容易用于计算损失。在这种情况下，人们越来越关注以无监督方式执行概念漂移检测的方法，即，而无法接触到真正的标签。我们提出了一种新的方法，无监督的概念漂移检测的基础上，学生-教师学习范式。从本质上讲，我们创建了一个辅助模型（学生）来模仿主模型（教师）的行为。在运行时，我们的方法是使用教师预测新的实例，并监测模仿学生的概念漂移检测损失。在一组使用19个数据流的实验中，我们表明，所提出的方法可以检测概念漂移，并提出了一个竞争的行为相对于国家的最先进的方法。
2021-03-01 cs.LG stat.ML
Enhash: A Fast Streaming Algorithm For Concept Drift Detection
Indian Institute of Technology Delhi（印度理工学院德里分校）；Indraprastha Institute of Information Technology, Delhi（德里英德拉普拉斯塔信息技术学院）
我们提出了Enhash，一个快速集成学习器，检测数据流中的\textit{concept drift}。流可以由突然的、渐进的、虚拟的或重复的事件组成，或者由各种类型的漂移的混合物组成。Enhash使用投影哈希来插入传入的样本。我们的经验表明，该方法具有竞争力的性能，现有的集成学习器在更短的时间。此外，Enhash有适度的资源需求。在6个人工数据集和4个由各种类型漂移组成的真实数据集上进行了性能比较相关的实验。
2020-11-07 cs.LG stat.ML
From XAI to MLOps: Explainable Concept Drift Detection with Profile Drift Detection
Eskisehir Technical University（埃斯克谢希尔技术大学）
本文提出轮廓漂移检测方法，利用可解释AI工具部分依赖性轮廓图，通过新的漂移度量标准检测概念漂移并理解其原因，实验表明其在保持预测性能的同时有效平衡了漂移信号的敏感性和稳定性。
2026-04-06 cs.LG stat.ML
Handling Concept Drifts in Regression Problems -- the Error Intersection Approach
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；inovex GmbH（inovex有限公司）；University of Lübeck（吕贝克大学）
机器学习模型在大数据预测中无处不在。部署模型的一个挑战是数据随时间的变化，这种现象称为概念漂移。如果处理不当，概念漂移会导致严重的预测错误。我们探索了一种新的概念漂移处理方法，它描述了一种策略，用于在回归任务的简单和复杂机器学习模型的应用之间切换。我们假设该方法发挥了每个模型的各自优势，如果发生漂移，则切换到更简单的模型，并在典型情况下切换回复杂的模型。我们实例化的方法在纽约市的出租车需求，这是很容易发生多种漂移，例如，暴风雪的天气现象，导致出租车需求突然减少的真实世界的数据集。我们能够表明，我们建议的方法明显优于所有考虑的基线。
2020-04-01 cs.LG stat.ML
Identifying and Alleviating Concept Drift in Streaming Tensor Decomposition
University of California Riverside（加州大学河滨分校）
张量分解用于从社交网络到医疗应用的各种数据采掘应用中，并且在发现数据中的潜在结构或概念方面非常有用。许多现实世界的应用程序本质上是动态的，它们的数据也是如此。为了处理数据的这种动态性质，存在各种在线张量分解算法。所有这些算法的一个核心假设是，潜在概念的数量在整个流中保持固定。然而，情况不必如此。流中的每个传入批次可能具有不同数量的潜在概念，并且从一个张量批次到另一个张量批次的潜在概念的差异可以提供对我们在特定应用中的发现如何随着时间的推移而表现和偏离的见解。在本文中，我们定义“概念”和“概念漂移”的上下文中的流张量分解，作为整个流的潜在概念的可变性的表现。此外，我们介绍了SeekAndDestroy，一种算法，检测流张量分解中的概念漂移，并能够产生对该漂移具有鲁棒性的结果。据我们所知，这是第一个研究流张量分解中概念漂移的工作。我们在合成数据集上广泛评估了SeekAndDestroy，这些数据集表现出各种各样的现实漂移。我们的实验证明了SeekAndDestroy在检测概念漂移和减轻其影响方面的有效性，产生的结果与一次性分解整个张量的质量相似。此外，在真实数据集中，SeekAndDestroy的性能优于其他流基线，同时发现了新的有用组件。
2018-11-10 cs.LG stat.ML
Concept-drifting Data Streams are Time Series; The Case for Continuous Adaptation
从数据流中学习是数据采掘、机器学习和一般人工智能中越来越重要的主题。数据流文献中的一个主要焦点是设计可以处理概念漂移的方法，这是一个生成分布随时间变化的挑战。在大多数文献中的一个一般假设是，实例独立地分布在流中。在这项工作中，我们表明，在概念漂移的背景下，这个假设是矛盾的，概念漂移的存在必然意味着时间依赖性，从而某种形式的时间序列。这对模型设计和部署具有重要意义。我们探索和突出这些影响，并表明，Hoeffding树为基础的合奏，这是非常流行的学习流，不自然适合学习\emph{within}漂移，并可以在这种情况下，只有在显着的计算成本的破坏性适应。另一方面，我们开发和参数化的梯度下降方法，并演示他们如何可以执行\emph{continuous}适应没有明确的漂移检测机制，提供的准确性和效率方面的主要优势。作为我们的理论讨论和实证观察的结果，我们概述了一些建议部署方法的概念漂移流。
2018-10-04 cs.LG stat.ML
Concept Drift Detection for Streaming Data
Johns Hopkins University（约翰斯·霍普金斯大学）；Robert Bosch LLC Research and Technology Center North America（罗伯特·博世有限责任公司北美研究与技术中心）
常见的统计预测模型通常需要并假设数据的平稳性。然而，在许多实际应用中，随着时间的推移，经常观察到的响应和预测变量的关系的变化，导致这些模型的预测性能的恶化。本文提出了线性四率（LFR），这是一个用于检测这些概念漂移并随后识别属于新概念的数据点（用于重新学习模型）的框架。与传统的概念漂移检测方法不同，LFR可以应用于批处理和流数据;不受响应变量的分布特性的限制（例如，具有不平衡标签的数据集）;独立于底层的几何模型;并且使用直观可理解的用户指定的参数。LFR的性能进行比较，基准方法使用模拟和常用的公共数据集，跨越色域的概念漂移类型。结果表明，LFR在召回率，准确率和延迟检测跨数据集的概念漂移方面显着优于基准方法。
2015-05-03 cs.LG stat.ML
Concept Drift Detection via Equal Intensity k-means Space Partitioning
数据流给统计分类任务带来了额外的挑战，因为训练样本和目标样本的分布可能会随着时间的推移而不同。流数据中的这种分布变化被称为概念漂移。已经提出了许多基于直方图的分布变化检测方法来检测漂移。大多数直方图都是基于网格或树的空间划分算法，这使得空间划分任意，无法解释，并可能导致漂移盲点。需要在无监督设置下提高基于直方图的方法的漂移检测精度。为了解决这个问题，我们提出了一个基于聚类的直方图，称为等强度k-means空间分区（EI-kMeans）。此外，还介绍了一种提高漂移检测灵敏度的探试法。提高灵敏度的基本思想是最小化在分布偏移区域中创建分区的风险。皮尔逊卡方检验被用作统计假设检验，以便检验统计量保持独立于样本分布。箱的数量和它们的形状，这强烈影响的能力，检测漂移，动态确定从样本的基础上的渐近约束的卡方检验。相应地，开发了三种算法来实现概念漂移检测，包括贪婪质心初始化算法、簇放大-收缩算法和漂移检测算法。对于漂移自适应，我们建议在检测到漂移时重新训练学习器。在合成数据集和真实数据集上的实验结果表明了EI-kMeans的优势，并显示了其在检测概念漂移方面的有效性。
2020-04-24 cs.LG stat.ML
Concept Drift Detection: Dealing with MissingValues via Fuzzy Distance Estimations
在数据流中，在不同时间点到达的观测值的数据分布可能会发生变化-这种现象称为概念漂移。虽然检测概念漂移是一个相对成熟的研究领域，但对由具有缺失值的观测值引入的不确定性的解决方案仅单独研究。还没有人探索这些解决方案是否或如何影响漂移检测性能。然而，我们认为，数据填补方法实际上可能会增加数据的不确定性，而不是减少它。我们还推测，填补可能会在漂移检测过程中估计分布变化的过程中引入偏差，这可能会使训练学习模型变得更加困难。我们的想法是专注于估计观测值之间的距离，而不是估计缺失值，并定义隶属函数，根据估计误差将观测值分配到直方图箱。我们的解决方案包括一个新的屏蔽远程学习（MDL）算法，以减少由迭代估计每个缺失值在一个观察和模糊加权频率（FWF）的方法，用于识别数据分布的差异所造成的累积误差。本文提出的概念漂移检测算法是一种能够处理缺失值的奇异统一算法，而不是一种与概念漂移检测算法相结合的插补算法。在模拟数据集和真实数据集上的实验表明了该方法的优点，并显示了其在检测缺失值数据漂移方面的鲁棒性。这些发现表明，缺失值对概念漂移检测产生了深远的影响，但使用模糊集理论来建模观察可以产生比插补更可靠的结果。
2020-08-09 cs.LG stat.ML
Automating concept-drift detection by self-evaluating predictive model degradation
Politecnico di Torino（都灵理工大学）
自动化预测性机器学习的一个关键方面需要正确触发训练模型更新的能力。为此，必须设计合适的自动解决方案来自我评估原始训练集和新数据之间的预测质量和数据分布漂移。在本文中，我们提出了一种新的方法来自动检测由于基于类的概念漂移而导致的机器学习模型的预测质量下降，即，当新数据包含不符合当前训练的预测模型已知的类别标签集的样本时。在合成和真实公共数据集上的实验表明，该方法能够有效地自动检测和描述由类标签数据分布变化引起的概念漂移.
2019-07-18 cs.LG stat.ML
Autoregressive based Drift Detection Method
CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；I3S（I3S研究所）
针对现实场景中概念漂移导致模型性能下降的问题，提出可集成到各类机器学习算法的自回归基漂移检测方法ADDM，其性能优于现有方法且有理论保障，还配套了基于漂移严重程度的适配方法。
2023-06-11 cs.LG stat.ML
Concept Drift Detection and Adaptation with Hierarchical Hypothesis Testing
University of Florida（佛罗里达大学）；Robert Bosch Research and Technology Center（罗伯特·博世研究与技术中心）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；MZ Inc.（MZ公司）；Central China Normal University（华中师范大学）
流媒体环境中的统计分类模型的一个基本问题是预测变量和响应变量之间的联合分布随时间变化（也称为概念漂移的现象），使得它们的分类性能急剧恶化。在本文中，我们首先提出了一个分层的假设检验（HHT）框架，可以检测并适应各种概念漂移类型（例如，周期性或不规则、渐进性或突然性），即使存在不平衡的数据标签。一个新的概念漂移检测器，即分层线性四速率（HLFR），实现下的HHT框架。通过用自适应训练策略取代广泛认可的再训练方案，我们进一步证明了HLFR的概念漂移适应能力可以显着提高。对HLFR的I类和第二类错误进行了理论分析。在模拟和真实数据集上的实验表明，我们的方法在检测精度、检测延迟以及对不同概念漂移类型的适应性方面优于最先进的方法。
2019-02-08 cs.LG stat.ML
A Decision-Based Dynamic Ensemble Selection Method for Concept Drift
Federal University of Amazonas（亚马逊联邦大学）；Federal Institute of Amazonas（亚马逊联邦研究所）；École de Technologie Supérieure（高等技术学院）
提出了一种基于动态分类器集成选择的在线概念漂移检测方法.该方法通过提高分类器成员间的多样性来生成集成池，并根据全局先验精度值选择专家集成。与只使用本地知识边缘来选择每个实例的最有能力的集成的Currentdynamic集成选择方法不同，我们的方法侧重于考虑到decisionspace的选择。因此，它很好地适应于数据流问题中的漂移检测的上下文。实验结果表明，在不同类型漂移的人工数据集上，该方法具有最高的检测精度和最低的虚警率，且分类准确率具有竞争力.此外，它在分类准确性方面优于基线，无论实际问题数据集如何。
2019-09-26 cs.LG stat.ML
How well does Classification Accuracy capture Concept Drift Detection Quality? An overview of Concept Drift Detection evaluation
Department of Systems and Computer Networks（系统与计算机网络系）
本文综述了概念漂移检测质量度量与分类性能之间的关系，通过七种合成数据流工具研究八种漂移检测质量度量，旨在确定最具信息量的度量集。
2026-05-29 cs.LG
Handling Adversarial Concept Drift in Streaming Data
University of Louisville（路易斯维尔大学）
在动态的真实世界环境中运行的分类器很容易受到对抗活动的影响，这会导致数据分布随时间而变化。这些变化传统上被称为概念漂移，并且在文献中已经开发了几种方法来处理漂移处理和检测的问题。然而，大多数概念漂移处理技术，接近它作为一个域独立的任务，使它们适用于广泛的反应系统。这些技术是从对抗不可知论的角度开发的，它们是天真的，并假设漂移是一种良性的变化，可以通过更新模型来修复。然而，当活跃的对手试图逃避部署的分类系统时，情况并非如此。在这样的环境中，概念漂移的性质是独特的，因为漂移旨在使系统降级，并且同时被设计为避免通过传统概念漂移检测技术进行检测。这种特殊类别的漂移被称为对抗性漂移，本文分析了其特点和影响，在流媒体环境中。提出了一种用于处理对抗性概念漂移的新框架，称为预测检测流框架。在生成的对抗性漂移数据流上对该框架进行的实验评估表明，该框架能够提供可靠的无监督漂移指示，并且能够迅速从漂移中恢复。虽然传统的部分标记概念漂移检测方法无法检测到对抗性漂移，但所提出的框架能够检测到此类漂移，并且平均使用<6%的标记数据。此外，该框架提供了主动学习在不平衡的数据流的好处，通过先天地提供特征空间蜜罐，少数类对抗样本可以被捕获。
2018-03-24 cs.CR cs.LG stat.ML
DriftMoE: A Mixture of Experts Approach to Handle Concept Drifts
University College Dublin（都柏林大学）
本文提出在线混合专家架构 DriftMoE，通过神经路由器与增量 Hoeffding 树专家的协同训练和正确性反馈，实现非平稳数据流中的概念漂移适应。
2025-07-24 cs.LG stat.ML
Counterfactual Explanations of Concept Drift
Bielefeld University（比勒费尔德大学）
概念漂移的概念是指观察到的数据的分布随时间变化的现象;因此，机器学习模型可能变得不准确，需要调整。虽然确实存在检测概念漂移或在存在观测漂移的情况下调整模型的方法，但迄今为止几乎没有考虑解释漂移的问题。这个问题是重要的，因为它使最突出的特点，漂移表现出来的检查;因此，它使人类理解的必要性变化，它增加了接受终身学习模式。在本文中，我们提出了一种新的技术，其特征的概念漂移的特征变化的空间特征所代表的典型例子的基础上反事实的解释。我们建立了一个正式的定义，这个问题，推导出一个有效的算法解决方案的基础上反事实的解释，并证明其有用的几个例子。
2020-06-23 cs.LG stat.ME stat.ML
A comprehensive analysis of concept drift locality in data streams
Virginia Commonwealth University（弗吉尼亚联邦大学）
该研究针对数据流概念漂移检测缺乏考虑局部性的标准化评估的问题，提出新的漂移分类方法，构建2760个基准问题，对比9种前沿检测器的性能，给出优化策略与研究建议，并公开相关资源。
2023-12-09 cs.LG
Online Feature Screening for Data Streams with Concept Drift
Florida State University（佛罗里达州立大学）
筛选特征选择方法通常用作预处理步骤，用于在训练步骤之前减少变量的数量。传统的筛选方法只关注于处理完整的高维数据集。现代数据集不仅具有更高的维数和更大的样本量，而且具有流输入、稀疏性和概念漂移等特性。因此近年来出现了大量的在线特征选择方法来处理这类问题。在线筛选方法是在线特征选择方法的一种。我们在本研究中提出的方法能够处理上述三种情况。我们的研究重点是分类数据集。我们的实验表明，所提出的方法可以产生相同的特征重要性，他们的离线版本，更快的速度和更少的存储消耗。此外，实验结果表明，在具有概念漂移特性的数据流上，集成模型自适应的在线筛选方法比没有模型自适应的方法具有更高的真实特征检测率。在两个潜在具有概念漂移性质的大型真实数据集中，具有模型自适应的在线筛选方法在节省计算时间和空间、降低模型复杂度或提高预测精度方面显示出优势。
2021-04-07 cs.LG stat.ML
Concept Drift Monitoring and Diagnostics of Supervised Learning Models via Score Vectors
Northwestern University（西北大学）；Virginia Commonwealth University（弗吉尼亚联邦大学）
监督学习模型是最基本的一类模型。从概率的角度来看监督学习，通常假设模型所拟合的训练数据集遵循平稳分布。然而，这种平稳性假设经常在称为概念漂移的现象中被违反，概念漂移是指协变量$\mathbf{X}$和响应变量$Y$之间的预测关系随时间的变化，并且可以使训练模型次优或过时。我们开发了一个全面的和计算效率的框架，用于检测，监测和诊断概念漂移。具体而言，我们使用多元指数加权移动平均的形式来监测Fisher评分向量，定义为拟合模型的对数似然的梯度，该形式监测随机向量的平均值的一般变化。尽管大量的性能优势，我们证明了流行的错误为基础的方法，一个分数为基础的方法以前没有被认为是概念漂移监测。所提出的分数为基础的框架的优点包括适用于任何参数模型，更强大的检测的变化，如在理论和实验中所示，和固有的诊断能力，以帮助确定的性质的变化。
2022-09-13 cs.LG stat.ML
CURIE: A Cellular Automaton for Concept Drift Detection
TECNALIA（泰克纳利亚研究院）；Basque Research and Technology Alliance (BRTA)（巴斯克研究与技术联盟）；University of the Basque Country UPV/EHU（巴斯克地区大学）；Basque Center for Applied Mathematics (BCAM)（巴斯克应用数学中心）；ParisTech（巴黎高科）；The University of Waikato（怀卡托大学）；Andalusian Research Institute in Data Science and Computational Intelligence (DaSCI)（安达卢西亚数据科学与计算智能研究所）；University of Granada（格拉纳达大学）
数据流挖掘是从大量快速连续流动的数据（数据流）中提取信息。它们通常会受到数据分布变化的影响，从而产生一种称为概念漂移的现象。因此，学习模型必须检测和适应这种变化，以便在漂移发生后表现出良好的预测性能。在这方面，有效的漂移检测算法的发展成为数据流挖掘的关键因素。在这项工作中，我们提出了CU RIE，漂移检测器依赖于细胞自动机。具体地，在CU RIE中，数据流的分布在元胞自动机的网格中表示，然后可以利用元胞自动机的邻域规则来检测流上可能的分布变化。计算机模拟和讨论表明，CU RIE，当与其他基础学习者杂交，呈现出竞争行为的检测指标和分类精度。CU RIE与成熟的漂移检测器相比，在不同的漂移特性的合成数据集。
2020-09-21 cs.LG stat.ML
Diagnosing Concept Drift with Visual Analytics
Tsinghua University（清华大学）；Microsoft（微软）；Bloomberg L.P.（彭博有限合伙企业）；Arizona State University（亚利桑那州立大学）
本文提出可视化分析方法DriftVis，结合分布漂移检测与流式散点图，帮助分析人员识别、检查并修正流数据中的概念漂移。
2020-09-15 cs.HC cs.LG stat.ML
Exponentially Weighted Moving Average Charts for Detecting Concept Drift
Imperial College（帝国理工学院）
对流数据进行分类需要开发计算效率高并且能够应对流的底层分布变化的方法，这种现象在文献中称为概念漂移。我们提出了一种新的方法来检测概念漂移，使用指数加权移动平均（EWMA）图来监测流分类器的错误分类率。我们的方法是模块化的，因此可以与任何底层分类器并行运行，以提供额外的概念漂移检测层。此外，我们的方法是计算效率与开销O（1）和工作在一个完全在线的方式，不需要在内存中存储数据点。与许多现有的概念漂移检测方法不同，我们的方法允许假阳性检测的速率随着时间的推移而被控制并保持恒定。
2012-12-25 cs.LG stat.AP stat.ML
Investigating the Robustness of Knowledge Tracing Models in the Presence of Student Concept Drift
WPI（威斯理安理工学院）
针对在线学习平台中学生概念漂移问题，评估四种知识追踪模型在五个学年数据上的表现，发现BKT模型鲁棒性最强，而基于注意力的复杂模型性能下降更快。
2025-11-04 cs.LG stat.ML
Understanding Concept Drift
Monash University（莫纳什大学）；University of Antwerp（安特卫普大学）
概念漂移是一个严重影响机器学习实际应用准确性和可靠性的主要问题。我们认为，要解决概念漂移，重要的是要发展的能力来描述和分析it.We为此目的提出了工具，主张在边际分布漂移的定量描述的重要性。我们提出了定量漂移分析技术以及交流其结果的方法。我们证明了它们的有效性，应用到三个现实世界的学习任务。
2017-04-02 cs.LG
A Novel Incremental Clustering Technique with Concept Drift Detection
正在从生活的各个方面收集数据。这些数据通常会以块/批的形式到达。传统的静态聚类算法不适用于动态数据集，即，当数据以块/批的流到达时。如果我们在组合数据集上应用传统的聚类技术，那么每次新的一批数据到来时，这个过程可能会很慢而且浪费。此外，由于其不断增加的大小，将组合数据集存储在内存中可能具有挑战性。因此，已经提出了各种增量聚类技术。这些技术需要在新批次到达时有效地更新当前聚类结果，以使当前聚类结果/解决方案与最新数据相适应。这些技术还需要在新批次的聚类模式与旧批次显著不同时检测概念漂移的能力。有时，聚类模式可能会在单个批次中暂时漂移，而下一个批次不会出现漂移。因此，增量聚类技术需要能够检测暂时漂移和持续漂移。在本文中，我们提出了一个有效的增量聚类算法称为UIClust。它被设计成集群数据块流，即使存在暂时或持续的概念漂移。我们评估UIClust的性能进行比较，它与最近发表的，高品质的增量聚类算法。我们使用真实和合成数据集。我们比较的结果，使用著名的聚类评价标准：熵，平方误差（SSE）和执行时间。我们的结果表明，UIClust优于现有的技术在我们所有的实验。
2020-03-30 cs.LG stat.ML
Handling Concept Drift via Model Reuse
Nanjing University（南京大学）
在许多实际应用中，数据往往是以流的形式收集的，因此其分布往往是变化的，这在文献中被称为概念漂移。我们提出了一种新的和有效的方法来处理概念漂移通过模型重用，利用以前的知识重用模型。每个模型与表示其对当前数据的可重用性的权重相关联，并且根据模型性能自适应地调整权重。我们提供概括和遗憾分析。实验结果也验证了我们的方法在合成和真实世界的数据集上的优越性。
2018-09-08 cs.AI cs.LG stat.ML
Request-and-Reverify: Hierarchical Hypothesis Testing for Concept Drift Detection with Expensive Labels
Nokia Bell Labs（诺基亚贝尔实验室）；University of Florida（佛罗里达大学）
常见分类模型的一个重要假设是数据的平稳性。然而，在现实世界的流媒体应用中，由特征和标签的联合分布表示的数据概念不是静止的，而是随着时间漂移的。概念漂移检测旨在检测这种漂移并调整模型，以减轻模型预测性能的任何恶化。不幸的是，大多数现有的概念漂移检测方法依赖于一个强大的和过于乐观的条件，真正的标签是立即为所有已经分类的实例。本文提出了一种新的分层假设测试框架，该框架采用请求-再验证策略，仅在必要时请求标签来检测概念漂移。在此框架下，分别提出了两种基于分类不确定性的层次假设检验（HHT-CU）和基于属性拟合优度的层次假设检验（HHT-AG）。在基准数据集的实验中，我们的方法表现出压倒性的优势，超过最先进的无监督漂移检测器。更重要的是，当我们使用更少的标签时，我们的方法甚至优于DDM（广泛使用的监督漂移检测器）。
2018-06-28 cs.AI cs.LG stat.ML
Multi-Source Transfer Learning for Non-Stationary Environments
University of Leicester（莱斯特大学）；University of Birmingham（伯明翰大学）
在数据流挖掘中，预测模型通常会由于概念漂移而导致预测性能下降。由于必须收集表示新概念的足够数据以使新概念被很好地学习，因此现有模型的预测性能通常需要一些时间来从概念漂移中恢复。为了提高数据流挖掘中概念漂移的恢复速度和预测性能，提出了一种新的非静态环境下的多源在线迁移学习方法（Melanie）。Melanie是第一种能够在非静态环境中的多个数据流源之间传输知识的方法。它创建了几个子分类器，随着时间的推移从不同的源和目标概念中学习不同的方面。识别与当前目标概念匹配良好的子分类器，并将其用于组成用于从目标概念预测示例的集成。我们评估梅兰妮几个合成数据流包含不同类型的概念漂移和现实世界的数据流。实验结果表明，Melanie算法能够处理多种数据流漂移，并通过利用多个数据源提高预测性能。
2019-03-22 cs.LG stat.ML
A Systematic Study of Online Class Imbalance Learning with Concept Drift
The University of Birmingham（伯明翰大学）；University of Leicester（莱斯特大学）
作为一个新兴的研究课题，在线班级不平衡学习往往结合了班级不平衡和概念漂移的挑战。它处理具有非常偏斜的类分布的数据流，其中可能发生概念漂移。它最近得到了越来越多的研究关注，但是，很少有工作解决的组合问题，类不平衡和概念漂移共存。作为第一个系统的研究处理类不平衡数据流中的概念漂移，本文首先提供了一个全面的回顾，目前在该领域的研究进展，包括当前的研究热点和开放的挑战。然后，进行了深入的实验研究，目的是了解如何最好地克服概念漂移的在线学习类不平衡。在此基础上，提出了一个有效的算法开发的一般准则。
2017-03-20 cs.LG
Concept Drift Learning with Alternating Learners
GE Global Research（通用电气全球研究院）
数据驱动的预测分析目前在许多工业应用中使用，但模型训练和测试数据分布之间的相似性要求阻碍了进一步的集成。本文讨论了从可能的非平稳数据流中学习的需要，或在概念漂移，在实际应用中常见的现象。提出了一种简单的双学习器集成策略-交替学习器框架。长记忆模型从一个长的相关时间窗口学习稳定的概念，而短记忆模型从一个小的最近窗口学习瞬时概念。这两个模型的预测性能的差异进行监测，并诱导一个交替的政策来选择，更新和重置两个模型。该方法的特点是在线更新机制，以保持整体精度，和一个概念依赖的触发器，专注于相关数据。通过实证研究表明，该方法在蒸汽数据发生突变和/或渐变时，可以有效地进行跟踪和预测。
2017-10-18 cs.LG stat.ML
Feature Relevance Analysis to Explain Concept Drift -- A Case Study in Human Activity Recognition
University of Oulu（奥卢大学）
本文研究如何发现和解释概念漂移。人类活动识别被用作一个案例研究，连同一个在线批量学习的情况下，在模型更新过程中使用的标签的质量开始下降。漂移检测基于识别漂移模型与已知准确的模型之间具有最大相关性差异的一组特征，并监视这些特征的相关性如何随时间变化。作为本文的主要结果，它表明，特征相关性分析不仅可以用来检测概念漂移，但也可以解释漂移的原因时，有限数量的典型原因的概念漂移是预定义的。为了解释概念漂移的原因，研究了这些预定义的原因对特征相关性的影响。事实上，它表明，这些都有一个独特的影响功能的相关性，这些可以用来解释概念漂移的原因。
2023-01-20 cs.LG
Ensuring Learning Guarantees on Concept Drift Detection with Statistical Learning Theory
Institute of Mathematics and Computer Science, University of São Paulo（圣保罗大学数学与计算机科学学院）
概念漂移（CD）检测旨在不断识别数据流行为的变化，支持研究人员对现实世界现象的研究和建模。由于当前CD算法缺乏学习保证，我们决定利用统计学习理论（Statistical Learning Theory，缩写为STE）来形式化必要的要求，以确保概率学习边界，因此漂移将指数据的实际变化，而不是偶然的。正如本文所讨论的那样，为了依赖CD边界，必须持有一组数学假设，这在CD场景中尤其有争议。基于这个问题，我们提出了一种方法来解决这些假设在CD场景，从而确保学习保证。补充，我们评估了一组相关的和已知的CD算法，从文献中，我们的方法。作为主要贡献，我们希望这项工作能够支持研究人员，同时设计和评估CD算法在不同的领域。
2020-06-24 cs.LG stat.ML
A Framework for Evaluating and Benchmarking Concept Drift Detection Methods
University of Coimbra（科英布拉大学）；Victoria University of Wellington（惠灵顿维多利亚大学）；Commerzbank（德国商业银行）；University of Waikato（怀卡托大学）；AI Institute, University of Waikato（怀卡托大学人工智能研究所）
提出一个包含漂移模拟、时序感知评估和超参数优化协议的基准测试框架，在7个真实数据集上评估14种漂移检测方法，揭示其优劣并建立基线性能。
2026-06-05 cs.LG stat.ML
Federated Learning under Distributed Concept Drift
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research（微软研究院）；Apple（苹果公司）
分布式概念漂移下的联邦学习是一个尚未被探索的领域。虽然概念漂移本身是一个很好的研究现象，它提出了特殊的挑战，外语，因为漂移出现交错的时间和空间（跨客户端）。据我们所知，这项工作是第一个明确研究数据异质性的两个维度。我们首先证明，以前的解决方案，漂移适应，使用一个单一的全球模型是不适合交错漂移，需要多个模型的解决方案。我们确定的漂移自适应问题作为一个随时间变化的聚类问题，我们提出了两个新的聚类算法的反应漂移的基础上本地漂移检测和层次聚类。实证评估表明，我们的解决方案实现了显着更高的准确性比现有的基线，并与理想化的算法与甲骨文知识的地面真理聚类的客户端的概念，在每个时间步。
2023-02-28 cs.LG
Minimax Classification under Concept Drift with Multidimensional Adaptation and Performance Guarantees
BCAM-Basque Center for Applied Mathematics（巴斯克应用数学中心）；University of the Basque Country UPV/EHU（巴斯克大学UPV/EHU）
在实际的监督分类场景中，实例-标签对的统计特性经常随时间而变化。传统的学习技术通过仔细选择的学习率、遗忘因子或窗口大小来适应这种考虑标量变化率的概念漂移。然而，常见场景中的时间变化是多维的，即，不同的统计特征通常以不同的方式变化。本文提出了自适应极小极大风险分类器（AMRC），占多维时间变化的多变量和高阶跟踪随时间变化的底层分布。此外，与传统技术不同，AMRC可以提供可计算的严格性能保证。在多个基准数据集上的实验表明，与现有技术相比，AMRC的分类性能有所提高，并且所提出的性能保证具有可靠性。
2022-05-31 cs.LG stat.ML
Evaluation of concept drift adaptation for acoustic scene classifier based on Kernel Density Drift Detection and Combine Merge Gaussian Mixture Model
Okayama University（冈山大学）
根据实验结果，所有的概念漂移类型都有各自的超参数配置。简单概念漂移和渐进概念漂移具有相似的模式，其所需的α值小于重复概念漂移，因为在这种类型的漂移中，新概念不断出现，因此需要高频模型自适应。然而，在重复出现的概念中，新的概念可能在未来重复出现，因此较低的频率适应更好。此外，高频模型自适应可能导致过拟合问题。实现CMGMM组件剪枝机制有助于控制活跃组件的数量，提高模型性能。
2021-05-27 cs.LG cs.SD eess.AS
MORPH: Towards Automated Concept Drift Adaptation for Malware Detection
Rochester Institute of Technology（罗切斯特理工学院）
针对恶意软件检测中的概念漂移问题，提出面向神经网络的伪标签自训练方法 MORPH，并在 Android 与 Windows 数据集上验证其可减少标注并显著提升适应效果。
2024-01-23 cs.LG
Identifying Predictions That Influence the Future: Detecting Performative Concept Drift in Data Streams
Utrecht University（乌得勒支大学）
研究流学习中模型预测引发的概念漂移（执行性漂移），提出CB-PDD检测方法，在合成与半合成数据集上验证其高效性、低误检率及对内在漂移的弹性。
2025-04-01 cs.CR cs.LG stat.ML
Reactive Soft Prototype Computing for Concept Drift Streams
University for Applied Sciences Würzburg-Schweinfurt（维尔茨堡-施韦因富特应用科学大学）
自本世纪初以来，信息系统中代理之间的实时通信量迅速增加。这是因为使用这些系统，e。G.社交媒体，在当今社会已经变得司空见惯。这需要分析算法来实时学习和预测这种信息流。这些系统的性质是非静态的，除其他外，可以用趋势的快节奏来解释。这就创造了一个算法必须识别变化并适应的环境。最近的工作显示了该领域的重要研究，但主要是在模型自适应过程中缺乏稳定的性能。在这项工作中，提出了一个概念漂移检测策略，然后基于原型的适应策略。通过对各种典型非静态数据的实验结果进行验证，我们的解决方案在变化时提供稳定和快速的调整。
2020-07-10 cs.LG stat.ML
Model Based Explanations of Concept Drift
Bielefeld University（比勒费尔德大学）
概念漂移的概念是指产生观测数据的分布随时间变化的现象。如果存在漂移，机器学习模型可能会变得不准确，需要调整。虽然确实存在检测概念漂移或在存在观察到的漂移的情况下调整模型的方法，但解释漂移的问题，即，以人类可理解的方式描述分布的潜在复杂和高维变化，迄今为止几乎没有被考虑。这个问题是重要的，因为它能够检查的最突出的特点，如何和在漂移表现自己。因此，它使人类能够理解这种变化，并增加对终身学习模式的接受。在本文中，我们提出了一种新的技术来表征概念漂移的空间特征的特性变化的基础上，各种解释技术。为此，我们提出了一种方法来减少概念漂移的解释，以适当的方式提取有关漂移的相关信息训练的模型的解释。这样就有了各种各样的解释方案。这样，就可以为当前的漂移解释问题选择一种合适的方法。我们概述了这种方法的潜力，并在几个例子中证明了它的实用性。
2023-03-16 cs.LG
DriftGAN: Using historical data for Unsupervised Recurring Drift Detection
University of Passau（帕绍大学）
针对实际场景中反复出现的概念漂移问题，提出基于GAN的无监督DriftGAN方法，可检测漂移并识别其是否出现过，减少模型恢复时间与数据量，在多数数据集及天体物理实际用例中性能优于现有方法。
2024-07-09 cs.LG
Are Concept Drift Detectors Reliable Alarming Systems? -- A Comparative Study
TU Delft（代尔夫特理工大学）；Leibniz University Hannover（汉诺威莱布尼茨大学）
随着机器学习模型越来越多地取代生产系统中的传统业务逻辑，其生命周期管理正成为一个重要的问题。一旦部署到生产中，机器学习模型就会在新的流数据上不断进行评估。给定连续的数据流，移位数据，也称为概念漂移，在这样的设置中是普遍存在的。概念漂移通常会影响机器学习模型的性能，因此，需要识别概念漂移发生的时刻。通过概念漂移检测器识别概念漂移。在这项工作中，我们评估了概念漂移检测器的可靠性，通过探索他们报告漂移的时间有多晚以及他们发出了多少假警报来及时识别漂移。我们比较了属于两个不同概念的漂移检测器组，基于出错率的检测器和基于数据分布的检测器的最流行的漂移检测器的性能。我们评估他们的表现在合成和真实世界的数据。在合成数据的情况下，我们研究了检测器识别两种类型的概念漂移，突然和渐进的性能。我们的研究结果旨在帮助从业者了解在不同情况下应该使用哪种漂移检测器，为了实现这一目标，我们分享了整个研究中最重要的观察结果，这些观察结果可以作为实际使用的指导方针。此外，根据我们的实证结果，我们分析了每个概念漂移检测组作为报警系统的适用性。
2022-11-23 cs.AI cs.LG
Tackling Time-Series Forecasting Generalization via Mitigating Concept Drift
Georgia Institute of Technology（佐治亚理工学院）
本文提出ShifTS框架，通过统一处理时间序列中的时间漂移和概念漂移，提升预测准确性。
2026-03-25 cs.LG
Class Distribution Monitoring for Concept Drift Detection
Politecnico di Milano（米兰理工大学）
我们介绍类分布监测（CDM），一个有效的概念漂移检测计划，监测类条件分布的数据流。特别是，我们的解决方案利用了基于QuantTree的在线和非参数变化检测算法的多个实例。CDM在检测到任何类别中的分布变化之后报告概念漂移，从而识别哪些类别受到概念漂移的影响。这可能是诊断和适应的宝贵信息。我们对合成数据流和真实数据流的实验表明，当概念漂移影响少数几个类时，CDM优于监控整体数据分布的算法，而当漂移影响所有类时，CDM实现了类似的检测延迟。此外，CDM优于监测分类误差的可比方法，特别是当变化不是很明显时。最后，我们证明了CDM继承了底层变化检测器的属性，从而有效地控制了误报前的预期时间或平均运行长度（ARL $_0$）。
2022-10-16 cs.LG
Proceedings of the IJCAI 2017 Workshop on Learning in the Presence of Class Imbalance and Concept Drift (LPCICD'17)
随着机器学习算法在现实世界中的广泛应用，类不平衡和概念漂移已经成为关键的学习问题。当数据类别没有被平等地表示时，就会发生类不平衡，即，与其他类别相比，至少有一个类别属于少数群体。它会导致学习偏向多数类和泛化能力差。概念漂移是问题的潜在分布的变化，特别是在从数据流中学习时是一个重要的问题。它要求学习者能够适应动态变化。类别不平衡和概念漂移会严重阻碍预测性能，当它们同时发生时，问题变得特别具有挑战性。这一挑战的产生是因为一个问题可能影响到对另一个问题的处理。例如，基于传统分类误差的漂移检测算法可能对不平衡程度敏感并且变得不太有效;并且类别不平衡技术需要适应变化的不平衡率，否则接收优先处理的类别可能不是当前时刻正确的少数类别。因此，在算法设计时，应考虑类不平衡和概念漂移的相互影响。本次研讨会的目的是汇集来自班级不平衡学习和概念漂移领域的研究人员，以鼓励讨论和新的合作，解决班级不平衡和概念漂移的综合问题。它为国际研究人员和从业者提供了一个论坛，分享和讨论他们的原创作品，以解决班级不平衡学习，概念漂移以及班级不平衡和概念漂移的综合问题中的新挑战和研究问题。会议记录包括关于这些主题的8篇论文。
2017-07-28 cs.LG
Domain Specific Concept Drift Detectors for Predicting Financial Time Series
University of Naples（那不勒斯大学）
概念漂移检测器允许学习系统在非平稳数据流上保持良好的准确性。金融时间序列是非平稳数据流的一个实例，其概念漂移（市场阶段）对影响全球投资决策非常重要。本文研究了概念漂移检测器在应用于金融时间序列时的表现。一般结果是：a）概念漂移检测器通常比连续学习提高运行时间，b）它们的计算成本通常是甚至基本学习器的学习和预测步骤的一小部分，c）结合它们将操作的学习系统来研究概念漂移检测器是重要的，以及d）概念漂移检测器可以直接应用于原始金融数据的时间序列，而不仅仅应用于模型的精度。此外，该研究介绍了三个简单的概念漂移检测器，适合于金融时间序列，并表明，其中两个可以至少作为最先进的应用时，从最先进的金融时间序列有效。目前已提交模式识别
2021-09-01 cs.LG q-fin.ST
Detecting Concept Drift in the Presence of Sparsity -- A Case Study of Automated Change Risk Assessment System
Walmart Global Tech（沃尔玛全球技术）
缺失值在文献中被广泛称为\textit{sparsity}，是许多真实世界数据集的共同特征。许多填补方法已经提出来解决这个问题的数据不完整或稀疏。然而，对于数据集中的给定特征或一组特征的数据填补方法的准确性高度依赖于特征值的分布及其与其他特征的相关性。困扰机器学习（ML）解决方案的行业部署的另一个问题是概念漂移检测，这在存在缺失值的情况下变得更具挑战性。虽然数据填补和概念漂移检测已经被广泛研究，但很少有工作尝试对这两种现象进行联合研究，即，在稀疏性存在下的概念漂移检测。在这项工作中，我们进行了以下系统的研究：（i）不同模式的缺失值，（ii）各种统计和ML为基础的数据填补方法不同种类的稀疏性，（iii）几种概念漂移检测方法，（iv）实际分析的各种漂移检测指标，（v）选择最佳的概念漂移检测器给定的数据集与缺失值的基础上的不同的度量。我们首先在合成数据和公开数据集上进行分析，最后将结果扩展到我们部署的自动变更风险评估系统解决方案中。我们的实证研究的主要发现之一是，在所有相关指标中，任何一种概念漂移检测方法都没有至高无上的地位。因此，我们采用基于多数投票的概念漂移检测器的合奏突然和逐渐的概念漂移。我们的实验表明，最佳或接近最佳的性能可以实现这种集成方法在所有的指标。
2022-07-27 cs.LG
CONDA-PM -- A Systematic Review and Framework for Concept Drift Analysis in Process Mining
Institute for Databases and Information Systems, Ulm University（乌尔姆大学数据库与信息系统研究所）；Faculty of Computers and Information, Mansoura University（曼苏拉大学计算机与信息学院）；Faculty of Media Engineering and Technology, German University in Cairo（开罗德国大学媒体工程与技术学院）
业务流程随着时间的推移而发展，以适应不断变化的业务环境。这需要持续监控业务流程，以了解它们是否符合预期设计或偏离预期设计。当业务流程在分析过程中发生变化时，这种情况被称为概念漂移。它的分析涉及研究业务流程如何变化，检测和定位变化并研究后者的影响。概念漂移分析是至关重要的，使早期检测和管理的变化，也就是说，是否促进变化，成为一个改进的过程的一部分，或拒绝变化，并作出决定，以减轻其影响。尽管它的重要性，目前还没有一个全面的框架来分析概念漂移类型，受影响的过程的角度来看，和粒度级别的业务流程。本文提出了流程挖掘中的概念漂移分析（CONDA-PM）框架，描述了概念漂移分析方法的阶段和要求。CONDA-PM源自对分析概念漂移的当前方法的系统性文献综述（SLR）。我们将CONDA-PM框架应用于当前的概念漂移分析方法，并评估其成熟度。应用CONDA-PM框架突出了需要研究以补充现有努力的领域。
2020-09-08 cs.AI cs.LG cs.SE
A Remark on Concept Drift for Dependent Data
Bielefeld University（比勒费尔德大学）
针对现有流数据概念漂移研究多假设数据独立、不适用于依赖数据的问题，本文指出时间依赖性会影响采样过程，修正相关定义并提出替代方案，经数值实验验证其可描述可观测学习行为。
2023-12-15 cs.LG
Learner-based Concept Drift Detection: Analysis and Evaluation
Department of Computer Science, University of Regina（里贾纳大学计算机科学系）
本文从理论上分析概念漂移特征，并评估多种漂移检测算法在合成和真实数据集上的性能，旨在增强对漂移检测器行为及其适用性的理解。
2026-06-19 cs.AI cs.LG
