Intervention analysis for integer-valued autoregressive models
研究了具有Poisson新息的整值自回归模型中干预效应产生的各种异常值问题。我们专注于离群值进入动态，可以被看作是非常事件的影响。我们考虑三种不同的情况，即在已知时间检测已知类型的干预效果，在已知时间检测未知类型的干预效果，以及在类型和时间都未知时检测干预效果。我们为第一种情况开发了F检验和评分检验。对于第二种和第三种情况，我们依赖于不同F型或分数统计量的最大值。所提出的方法的实用性说明使用每月的数据在希腊的人类布鲁氏菌病感染。
2023-03-14 stat.ME
Multiple changepoint detection for periodic autoregressive models with an application to river flow analysis
在河流流量分析和预测中，为了获得可靠的结果，需要考虑一些关键因素。例如，季节性经常在统计模型中考虑，因为每年发生的气候振荡对河流流量有明显的影响。进一步的变化来源可能是由于油藏管理、仪器仪表的变化，甚至是气候条件的意外变化。如果忽略这些变化，统计结果可能会产生很大的误导。本文发展了一个自动估计周期自回归模型中变点个数和位置的方法。后者已被广泛用于水文，气候学，经济学和电气工程的季节性建模，但也有很少的论文致力于变点检测，而且被限制在平均值或方差的变化。在我们的建议中，我们允许作为一个整体的模型结构的变化，估计是通过优化的目标函数来自信息准则，使用遗传算法。以3条河流为例，建立了具有可能变点的模型，并通过均方根误差、平均绝对误差和平均绝对百分误差评价了模型的预测精度。过去几年的数据集已从选择和估计程序中删除，然后用于预测。与河流流量预测文献的比较证实了我们的建议的效率。
2018-01-05 stat.AP
Supervised Anomaly Detection based on Deep Autoregressive Density Estimators
NTT Communication Science Laboratories（NTT通信科学实验室）；NTT Secure Platform Laboratories（NTT安全平台实验室）
我们提出了一种基于神经密度估计的监督异常检测方法，其中的负对数似然用于异常得分。密度估计已被广泛用于无监督异常检测。通过深度学习的最新进展，密度估计性能已经大大提高。然而，神经密度估计器不能利用异常标签信息，这将是有价值的，以提高异常检测性能。该方法通过训练神经密度估计器有效地利用了异常标签信息，使得正常实例的似然最大化，异常实例的似然低于正常实例的似然。我们采用自回归模型的神经密度估计，这使我们能够准确地计算的可能性。通过对16个数据集的实验，证明了该方法在少量标记异常实例的情况下提高了异常检测性能，并取得了比现有的无监督和有监督异常检测方法更好的性能。
2019-04-12 cs.LG stat.ML
Adversarial Attacks for Drift Detection
Bielefeld University（比勒费尔德大学）
本文研究常用漂移检测方案的缺陷，提出构造可绕过检测的漂移对抗样本，并给出常见方案下所有可能对抗样本的理论分析与实证验证。
2025-02-06 cs.LG stat.ML
From XAI to MLOps: Explainable Concept Drift Detection with Profile Drift Detection
Eskisehir Technical University（埃斯克谢希尔技术大学）
本文提出轮廓漂移检测方法，利用可解释AI工具部分依赖性轮廓图，通过新的漂移度量标准检测概念漂移并理解其原因，实验表明其在保持预测性能的同时有效平衡了漂移信号的敏感性和稳定性。
2026-04-06 cs.LG stat.ML
Online Semi-Supervised Concept Drift Detection with Density Estimation
Monash University（莫纳什大学）
概念漂移被正式定义为一组输入变量X和一个目标变量y的联合分布的变化。广泛研究的两种类型的漂移是真实漂移和虚拟漂移，其中前者是后验概率p（y）的变化|后者是X的分布变化，而不影响后验概率。关于概念漂移检测的许多方法要么假设数据标签y的完全可用性，要么仅处理虚拟漂移。在流环境中，数据标签y的完全可用性的假设受到质疑。另一方面，处理虚拟漂移的方法未能解决真实漂移。本文提出了一个半监督的框架来解决上述问题，而不是改进现有的方法。所提出的框架的目标是从具有有限数据标签的流环境中学习，并同时检测实际漂移。本文提出了一种新的概念漂移检测方法，利用后验概率密度的部分标记的流媒体环境。在合成数据集和真实数据集上的实验结果表明，我们提出的半监督框架能够检测这种环境中的概念漂移，同时实现与最先进方法相当的预测性能。
2019-11-11 cs.LG stat.ML
Beta Distribution Drift Detection for Adaptive Classifiers
TU Darmstadt（达姆施塔特工业大学）
随着今天丰富的数据流，我们唯一可以依赖的常数是变化。对于流分类算法来说，需要适应概念漂移。这可以通过监视模型误差并在发生变化时触发反措施来实现。在本文中，我们提出了一种漂移检测机制，它将beta分布拟合到模型误差，并将异常行为视为漂移。它适用于任何给定的模型，利用有关此模型的先验知识，并允许设置特定于应用程序的置信度阈值。实验证实，它表现良好，特别是当漂移突然发生。
2018-11-27 cs.LG stat.ML
Concept Drift Detection via Equal Intensity k-means Space Partitioning
数据流给统计分类任务带来了额外的挑战，因为训练样本和目标样本的分布可能会随着时间的推移而不同。流数据中的这种分布变化被称为概念漂移。已经提出了许多基于直方图的分布变化检测方法来检测漂移。大多数直方图都是基于网格或树的空间划分算法，这使得空间划分任意，无法解释，并可能导致漂移盲点。需要在无监督设置下提高基于直方图的方法的漂移检测精度。为了解决这个问题，我们提出了一个基于聚类的直方图，称为等强度k-means空间分区（EI-kMeans）。此外，还介绍了一种提高漂移检测灵敏度的探试法。提高灵敏度的基本思想是最小化在分布偏移区域中创建分区的风险。皮尔逊卡方检验被用作统计假设检验，以便检验统计量保持独立于样本分布。箱的数量和它们的形状，这强烈影响的能力，检测漂移，动态确定从样本的基础上的渐近约束的卡方检验。相应地，开发了三种算法来实现概念漂移检测，包括贪婪质心初始化算法、簇放大-收缩算法和漂移检测算法。对于漂移自适应，我们建议在检测到漂移时重新训练学习器。在合成数据集和真实数据集上的实验结果表明了EI-kMeans的优势，并显示了其在检测概念漂移方面的有效性。
2020-04-24 cs.LG stat.ML
DriftSurf: A Risk-competitive Learning Algorithm under Concept Drift
Iowa State University（爱荷华州立大学）；Carnegie Mellon University（卡内基梅隆大学）
当从流数据中学习时，数据分布的变化（也称为概念漂移）可能会导致先前学习的模型不准确，并需要训练新模型。我们提出了一种自适应学习算法，扩展了以前的漂移检测为基础的方法，将漂移检测到一个更广泛的稳定状态/反应状态的过程。我们的方法的优点是，我们可以在稳态中使用积极的漂移检测来实现高检测率，但是通过对真实漂移快速反应的反应状态来减轻独立漂移检测的误报率，同时消除大多数误报。该算法在其基本学习器中是通用的，并且可以应用于各种监督学习问题。我们的理论分析表明，该算法的风险是有竞争力的算法与预言知识时（突然）漂移发生。在具有概念漂移的合成数据集和真实数据集上的实验证实了我们的理论分析。
2020-08-02 cs.LG stat.ML
STUDD: A Student-Teacher Method for Unsupervised Concept Drift Detection
University of Waikato（怀卡托大学）；Télécom ParisTech（巴黎高科电信学院）；Dalhousie University（达尔豪斯大学）
概念漂移检测是数据流演化环境中的一项重要任务。设计用于解决该问题的大多数最先进的方法监视预测模型的损失。然而，这种方法在许多现实世界的场景中是不够的，在这些场景中，真实的标签并不容易用于计算损失。在这种情况下，人们越来越关注以无监督方式执行概念漂移检测的方法，即，而无法接触到真正的标签。我们提出了一种新的方法，无监督的概念漂移检测的基础上，学生-教师学习范式。从本质上讲，我们创建了一个辅助模型（学生）来模仿主模型（教师）的行为。在运行时，我们的方法是使用教师预测新的实例，并监测模仿学生的概念漂移检测损失。在一组使用19个数据流的实验中，我们表明，所提出的方法可以检测概念漂移，并提出了一个竞争的行为相对于国家的最先进的方法。
2021-03-01 cs.LG stat.ML
A Framework for Evaluating and Benchmarking Concept Drift Detection Methods
University of Coimbra（科英布拉大学）；Victoria University of Wellington（惠灵顿维多利亚大学）；Commerzbank（德国商业银行）；University of Waikato（怀卡托大学）；AI Institute, University of Waikato（怀卡托大学人工智能研究所）
提出一个包含漂移模拟、时序感知评估和超参数优化协议的基准测试框架，在7个真实数据集上评估14种漂移检测方法，揭示其优劣并建立基线性能。
2026-06-05 cs.LG stat.ML
Partial Wasserstein and Maximum Mean Discrepancy distances for bridging the gap between outlier detection and drift detection
MathInf GmbH（MathInf有限公司）
随着机器学习和基于深度学习的应用在实践中的兴起，监控（即验证这些在规范内操作）已成为重要的实际问题。这种监测的一个重要方面是检查输入（或中间体）是否偏离了它们被验证的分布，这可能使测试期间获得的性能保证无效。对此有两种常见的方法。也许，更经典的是离群值检测或新颖性检测，其中，对于单个输入，我们询问它是否是离群值，即极不可能源自参考分布。第二种方法，可能是最近的方法，是考虑大量的输入，并将其分布与参考分布（例如在测试期间采样）进行比较。这在标签漂移检测下完成。在这项工作中，我们通过将给定数量的输入与自动选择的参考分布部分进行比较，弥合了离群值检测和漂移检测之间的差距。
2021-06-28 cs.LG stat.ML
Concept Drift Detection: Dealing with MissingValues via Fuzzy Distance Estimations
在数据流中，在不同时间点到达的观测值的数据分布可能会发生变化-这种现象称为概念漂移。虽然检测概念漂移是一个相对成熟的研究领域，但对由具有缺失值的观测值引入的不确定性的解决方案仅单独研究。还没有人探索这些解决方案是否或如何影响漂移检测性能。然而，我们认为，数据填补方法实际上可能会增加数据的不确定性，而不是减少它。我们还推测，填补可能会在漂移检测过程中估计分布变化的过程中引入偏差，这可能会使训练学习模型变得更加困难。我们的想法是专注于估计观测值之间的距离，而不是估计缺失值，并定义隶属函数，根据估计误差将观测值分配到直方图箱。我们的解决方案包括一个新的屏蔽远程学习（MDL）算法，以减少由迭代估计每个缺失值在一个观察和模糊加权频率（FWF）的方法，用于识别数据分布的差异所造成的累积误差。本文提出的概念漂移检测算法是一种能够处理缺失值的奇异统一算法，而不是一种与概念漂移检测算法相结合的插补算法。在模拟数据集和真实数据集上的实验表明了该方法的优点，并显示了其在检测缺失值数据漂移方面的鲁棒性。这些发现表明，缺失值对概念漂移检测产生了深远的影响，但使用模糊集理论来建模观察可以产生比插补更可靠的结果。
2020-08-09 cs.LG stat.ML
Enhash: A Fast Streaming Algorithm For Concept Drift Detection
Indian Institute of Technology Delhi（印度理工学院德里分校）；Indraprastha Institute of Information Technology, Delhi（德里英德拉普拉斯塔信息技术学院）
我们提出了Enhash，一个快速集成学习器，检测数据流中的\textit{concept drift}。流可以由突然的、渐进的、虚拟的或重复的事件组成，或者由各种类型的漂移的混合物组成。Enhash使用投影哈希来插入传入的样本。我们的经验表明，该方法具有竞争力的性能，现有的集成学习器在更短的时间。此外，Enhash有适度的资源需求。在6个人工数据集和4个由各种类型漂移组成的真实数据集上进行了性能比较相关的实验。
2020-11-07 cs.LG stat.ML
Adversarial Concept Drift Detection under Poisoning Attacks for Robust Data Stream Mining
Virginia Commonwealth University（弗吉尼亚联邦大学）
从流数据中进行连续学习是当代机器学习中最具挑战性的课题之一。在这一领域，学习算法不仅要能够处理大量快速到达的数据，而且要使自己适应潜在的新兴变化。数据流的演化性质的现象被称为概念漂移。虽然有大量的方法用于检测其发生，但所有这些方法都假设漂移与数据源的潜在变化有关。但是，必须考虑恶意注入虚假数据以模拟概念漂移的可能性。这种对抗性的设置假设可能进行中毒攻击，以便通过强制适应错误数据来破坏底层的分类系统。现有的漂移检测器不能区分真实的和敌对的概念漂移。在本文中，我们提出了一个强大的概念漂移检测框架中存在的对抗性和中毒攻击。我们介绍了两种类型的对抗性概念漂移的分类，以及一个强大的可训练漂移检测器。它是基于增强的限制玻尔兹曼机与改进的梯度计算和能量函数。我们还介绍了鲁棒性的相对损失-一种新的措施，用于评估中毒攻击下的概念漂移检测器的性能。大量的计算实验，进行充分和稀疏标记的数据流，证明了高鲁棒性和效率的漂移检测框架在对抗性的情况下。
2020-09-20 cs.LG stat.ML
CURIE: A Cellular Automaton for Concept Drift Detection
TECNALIA（泰克纳利亚研究院）；Basque Research and Technology Alliance (BRTA)（巴斯克研究与技术联盟）；University of the Basque Country UPV/EHU（巴斯克地区大学）；Basque Center for Applied Mathematics (BCAM)（巴斯克应用数学中心）；ParisTech（巴黎高科）；The University of Waikato（怀卡托大学）；Andalusian Research Institute in Data Science and Computational Intelligence (DaSCI)（安达卢西亚数据科学与计算智能研究所）；University of Granada（格拉纳达大学）
数据流挖掘是从大量快速连续流动的数据（数据流）中提取信息。它们通常会受到数据分布变化的影响，从而产生一种称为概念漂移的现象。因此，学习模型必须检测和适应这种变化，以便在漂移发生后表现出良好的预测性能。在这方面，有效的漂移检测算法的发展成为数据流挖掘的关键因素。在这项工作中，我们提出了CU RIE，漂移检测器依赖于细胞自动机。具体地，在CU RIE中，数据流的分布在元胞自动机的网格中表示，然后可以利用元胞自动机的邻域规则来检测流上可能的分布变化。计算机模拟和讨论表明，CU RIE，当与其他基础学习者杂交，呈现出竞争行为的检测指标和分类精度。CU RIE与成熟的漂移检测器相比，在不同的漂移特性的合成数据集。
2020-09-21 cs.LG stat.ML
Context-Aware Drift Detection
Seldon Technologies（Seldon技术公司）
在监控机器学习系统时，同质性的双样本测试形成了现有漂移检测方法的基础。它们用于测试最近部署数据的分布与历史参考数据的分布不同的证据。然而，通常情况下，各种因素（如时间引起的相关性）意味着最近部署数据的批次预计不会形成i.i.d.。从历史数据分布中抽取样本。相反，我们可能希望测试分布的差异，条件是允许改变的\textit{context}。为了促进这一点，我们借用机械因果推断域开发一个更一般的漂移检测框架的基础上建立的双样本测试的条件分布处理效应。我们建议一个特定的实例框架的基础上最大条件均值差异。然后，我们提供了一个实证研究，证明其有效性的各种漂移检测问题的实际利益，如检测漂移的分布基本亚群的数据的方式，是不敏感的各自的患病率。该研究还证明了对ImageNet规模视觉问题的适用性。
2022-08-02 cs.LG stat.ML
Concept Drift Detection for Streaming Data
Johns Hopkins University（约翰斯·霍普金斯大学）；Robert Bosch LLC Research and Technology Center North America（罗伯特·博世有限责任公司北美研究与技术中心）
常见的统计预测模型通常需要并假设数据的平稳性。然而，在许多实际应用中，随着时间的推移，经常观察到的响应和预测变量的关系的变化，导致这些模型的预测性能的恶化。本文提出了线性四率（LFR），这是一个用于检测这些概念漂移并随后识别属于新概念的数据点（用于重新学习模型）的框架。与传统的概念漂移检测方法不同，LFR可以应用于批处理和流数据;不受响应变量的分布特性的限制（例如，具有不平衡标签的数据集）;独立于底层的几何模型;并且使用直观可理解的用户指定的参数。LFR的性能进行比较，基准方法使用模拟和常用的公共数据集，跨越色域的概念漂移类型。结果表明，LFR在召回率，准确率和延迟检测跨数据集的概念漂移方面显着优于基准方法。
2015-05-03 cs.LG stat.ML
Automating concept-drift detection by self-evaluating predictive model degradation
Politecnico di Torino（都灵理工大学）
自动化预测性机器学习的一个关键方面需要正确触发训练模型更新的能力。为此，必须设计合适的自动解决方案来自我评估原始训练集和新数据之间的预测质量和数据分布漂移。在本文中，我们提出了一种新的方法来自动检测由于基于类的概念漂移而导致的机器学习模型的预测质量下降，即，当新数据包含不符合当前训练的预测模型已知的类别标签集的样本时。在合成和真实公共数据集上的实验表明，该方法能够有效地自动检测和描述由类标签数据分布变化引起的概念漂移.
2019-07-18 cs.LG stat.ML
Concept Drift Detection and Adaptation with Weak Supervision on Streaming Unlabeled Data
当数据特征或目标的统计属性随时间变化时，学习和分类中的概念漂移就会发生;漂移的证据已经出现在搜索数据，医学研究，恶意软件，网络数据和视频中。漂移自适应尚未解决高维，噪声，低上下文数据，如流文本，视频或图像，由于这些领域存在的独特挑战。我们提出了一个双重的方法来处理这些领域的概念漂移：一个基于密度的聚类方法来处理虚拟概念漂移（功能的统计特性的变化）和一个弱监督步骤来处理真正的概念漂移（目标的统计特性的变化）。我们的基于密度的集群避免了维度灾难带来的问题，以创建实时数据空间的不断发展的“地图”，从而解决特征中的虚拟漂移。我们的弱监督步骤利用高置信度标签（oracle或启发式标签）来生成加权训练集，以泛化和更新现有的深度学习器，以适应不断变化的决策边界（真实漂移），并为数据空间中不可见的区域创建新的深度学习器。我们的研究结果表明，我们的双重方法在2018年表现良好，精度>90%，在2014年首次部署四年后，没有任何人为干预。
2019-10-02 cs.LG stat.ML
Sequential Drift Detection in Deep Learning Classifiers
IBM Research, Israel（IBM研究院（以色列））；IBM Research, USA（IBM研究院（美国））
我们利用神经网络嵌入检测数据漂移制定一个适当的顺序决策框架内的漂移检测。这使得能够控制误报警率，尽管重复应用统计测试。由于变化检测算法自然面临着避免误报和快速正确检测之间的权衡，我们引入了一个损失函数，评估算法的能力，以平衡这两个问题，我们使用它在一系列的实验。
2020-07-31 cs.LG stat.AP stat.ML
On the Reliable Detection of Concept Drift from Streaming Unlabeled Data
University of Louisville（路易斯维尔大学）
部署在现实世界中的分类器在动态环境中运行，其中数据分布可能会随时间而变化。这些变化，被称为概念漂移，可能会导致分类器的预测性能随着时间的推移而下降，从而使其过时。为了真正发挥作用，这些分类器需要检测漂移，并能够随着时间的推移适应它们。传统上，检测漂移被视为一项监督任务，标记数据不断用于验证学习模型。尽管这些技术在检测漂移方面是有效的，但是这些技术是不切实际的，因为标记是困难的、昂贵的和耗时的活动。另一方面，无监督的变化检测技术是不可靠的，因为它们产生大量的假警报。无监督技术的无效性源于从检测过程中排除学习分类器的特征。在本文中，我们提出了边缘密度漂移检测（MD3）算法，它跟踪分类器的不确定区域中的样本数量，作为检测漂移的度量。MD3算法是一种独立于分布、独立于应用程序、独立于模型、无监督和增量的算法，用于可靠地检测数据流中的漂移。对来自网络安全领域的6个漂移引起的数据集和4个附加数据集的实验评估表明，MD3方法可以可靠地检测漂移，与基于无监督特征的漂移检测器相比，误报显著减少。减少的假警报使得仅当漂移最可能影响分类性能时才能用信号通知漂移。因此，MD3方法导致检测方案是可信的，标签有效的和一般的适用性。
2017-03-31 cs.AI cs.LG stat.ML
A method to benchmark high-dimensional process drift detection
University of Applied Sciences Kempten（肯普滕应用科学大学）
本文提出高维过程漂移检测的基准测试方法，构建受控合成过程曲线的理论框架与时间曲线下面积评估指标，并通过实验发现现有算法在多漂移片段场景下表现不佳。
2024-12-05 cs.AI cs.LG stat.ML
Flexible and Efficient Drift Detection without Labels
针对真实标签延迟或缺失场景下的概念漂移监控难题，提出基于统计过程控制的无标签高效检测算法，并构建半监督框架整合先前检测结果，实验显示统计功效优于已有方法。
2025-09-29 cs.LG stat.AP stat.ML
Request-and-Reverify: Hierarchical Hypothesis Testing for Concept Drift Detection with Expensive Labels
Nokia Bell Labs（诺基亚贝尔实验室）；University of Florida（佛罗里达大学）
常见分类模型的一个重要假设是数据的平稳性。然而，在现实世界的流媒体应用中，由特征和标签的联合分布表示的数据概念不是静止的，而是随着时间漂移的。概念漂移检测旨在检测这种漂移并调整模型，以减轻模型预测性能的任何恶化。不幸的是，大多数现有的概念漂移检测方法依赖于一个强大的和过于乐观的条件，真正的标签是立即为所有已经分类的实例。本文提出了一种新的分层假设测试框架，该框架采用请求-再验证策略，仅在必要时请求标签来检测概念漂移。在此框架下，分别提出了两种基于分类不确定性的层次假设检验（HHT-CU）和基于属性拟合优度的层次假设检验（HHT-AG）。在基准数据集的实验中，我们的方法表现出压倒性的优势，超过最先进的无监督漂移检测器。更重要的是，当我们使用更少的标签时，我们的方法甚至优于DDM（广泛使用的监督漂移检测器）。
2018-06-28 cs.AI cs.LG stat.ML
Fault detection in propulsion motors in the presence of concept drift
Norsk Regnesentral（挪威计算中心）；ABB（ABB集团）
提出一种机器学习方法用于检测船舶推进电机定子绕组过热，该方法在概念漂移发生期间和之后均能提供早期检测，且无需完整的模型重训练。
2025-01-28 cs.LG stat.AP stat.ML
McDiarmid Drift Detection Methods for Evolving Data Streams
University of Ottawa（渥太华大学）；National Research Council（加拿大国家研究委员会）
物联网（IoT）领域（例如传感器网络、智能城市和社交网络）越来越多地产生大量数据。这些数据不仅是无限的，而且是快速发展的。相反，其内容随着时间的推移而动态演变，往往以不可预见的方式。这些变化是由于所谓的概念漂移，由底层数据生成机制的变化引起的。在分类设置中，概念漂移导致先前学习的模型变得不准确、不安全甚至不可用。因此，需要尽快发现和处理概念漂移。例如，在医疗应用和应急响应环境中，应近实时地检测行为变化，以避免潜在的生命损失。为此，我们介绍了McDiarmid漂移检测方法（MDDM），它利用McDiarmid的不等式，以检测概念漂移。MDDM方法通过在预测结果上滑动窗口来进行，并将窗口条目与权重相关联。最近的条目被赋予更高的权重，以强调其重要性。当处理实例时，检测算法将滑动窗口内的元素的加权平均值与迄今为止观察到的最大加权平均值进行比较。两个加权平均值之间的显着差异，上限由McDiarmid不等式，意味着概念漂移。我们对合成数据流和真实数据流的大量实验表明，我们的新方法优于最先进的。具体来说，MDDM产生更短的检测延迟以及更低的假阴性率，同时保持高的分类精度。
2018-01-17 cs.DB cs.LG stat.ML
Bayesian Autoregressive Online Change-Point Detection with Time-Varying Parameters
Università di Siena（锡耶纳大学）；Scuola Normale Superiore（高等正常学院）；Dipartimento di Matematica（数学系）
本文提出一种贝叶斯自回归在线变点检测方法，通过任意阶自回归、状态内时变方差与相关性及状态长度后验分布，提升单变量时间序列的估计与预测效果。
2025-09-29 cs.LG stat.ME stat.ML
Detection of data drift and outliers affecting machine learning model performance over time
IBM Research（IBM研究院）
一个经过训练的ML模型被部署在另一个“测试”数据集上，其中目标特征值（标签）是未知的。漂移是训练数据和部署数据之间的分布变化，这与模型性能是否发生变化有关。例如，对于猫/狗图像分类器，部署期间的漂移可能是兔子图像（新类）或具有变化特征的猫/狗图像（分布变化）。我们希望检测这些更改，但如果没有部署数据标签，则无法测量准确性。相反，我们通过非参数化测试模型预测置信度变化的分布来间接检测漂移。这概括了我们的方法和回避特定领域的功能表示。我们使用变点模型（CPM;参见Adams and Ross 2012）解决重要的统计问题，特别是序贯检验中的1型错误控制。我们还使用非参数离群值方法来显示用户可疑的观察模型诊断，因为之前/之后的变化置信分布重叠显着。在证明鲁棒性的实验中，我们对MNIST数字类的子集进行训练，然后插入漂移（例如，看不见的数字类）在各种设置（漂移比例的逐渐/突然变化）中的部署数据中。引入一种新的损失函数来比较漂移检测器在不同水平的漂移类污染下的性能（检测延迟、1型和2型误差）。
2022-09-06 cs.LG stat.AP stat.ML
Identifying Predictions That Influence the Future: Detecting Performative Concept Drift in Data Streams
Utrecht University（乌得勒支大学）
研究流学习中模型预测引发的概念漂移（执行性漂移），提出CB-PDD检测方法，在合成与半合成数据集上验证其高效性、低误检率及对内在漂移的弹性。
2025-04-01 cs.CR cs.LG stat.ML
