Detecting model drift using polynomial relations
IBM Research（IBM研究院）
机器学习模型具有关键功能，例如将贷款申请人分类为好风险或坏风险。每个模型都是在假设训练和现场使用的数据来自相同的潜在未知分布的情况下进行训练的。这种假设在实践中常常被打破。需要确定何时发生这种情况，以尽量减少对模型性能的影响。我们提出了一种新的方法来检测数据分布的变化，通过识别数据特征之间的多项式关系。我们使用其R平方值来衡量每个已识别关系的强度。强多项式关系捕获了数据的一个重要特征，如果数据分布不改变，该特征应该保持稳定。因此，我们使用一组学习的强多项式关系来识别漂移。对于一组强于给定阈值的多项式关系，我们计算该关系所观察到的漂移量。通过计算基线数据与现场数据的多项式关系似然的贝叶斯因子来测量漂移量。我们通过模拟一系列变化来经验验证该方法，并使用多项式关系似然变化的贝叶斯因子来识别漂移。
2021-12-22 cs.AI cs.LG
Detecting and Explaining Drifts in Yearly Grant Applications
University of Antwerp（安特卫普大学）；Université Libre de Bruxelles（布鲁塞尔自由大学）
在业务流程的生命周期中，可以对工作流、所需资源、所需文档等进行更改。. . .因此，由于这些更改，单个日志文件中来自同一业务流程的不同跟踪可能会有很大的不同。我们提出了一种方法，能够检测概念漂移的多变量日志文件与十几个属性。我们在BPI Challenge 2018数据上测试了我们的方法，这些数据包括来自德国农民的欧盟直接支付申请，我们使用它来检测概念漂移。与其他方法相比，我们的算法不需要手动选择用于检测漂移的特征。我们的方法首先创建一个模型，该模型捕获属性之间以及不同时间步长的事件之间的关系。然后使用该模型对每个事件和跟踪进行评分。这些分数可用于检测离群情况和概念漂移。由于分数的可分解性，我们能够执行详细的根本原因分析。
2018-10-16 cs.AI cs.LG
An Empirical Study of Uncertainty Estimation Techniques for Detecting Drift in Data Streams
TU Darmstadt（达姆施塔特工业大学）
本文实证评估了在七个真实数据集上结合ADWIN检测器使用五种不确定性估计方法替代错误率来检测数据流概念漂移的效果，发现SWAG校准更优但各方法整体检测准确率差异不大，为安全关键应用提供了实用见解。
2023-11-22 cs.LG
Uncovering Drift in Textual Data: An Unsupervised Method for Detecting and Mitigating Drift in Machine Learning Models
Amazon（亚马逊）
提出一种无监督两步漂移检测方法，利用MMD距离比较生产与训练数据分布并定位漂移根因，用高漂移样本重训模型以提升在线体验指标。
2023-09-07 cs.AI cs.CL cs.LG
Investigating the Suitability of Concept Drift Detection for Detecting Leakages in Water Distribution Networks
Bielefeld University（比勒费尔德大学）
本研究探讨了基于模型损失和分布的漂移检测方法在供水管网泄漏检测中的适用性，并提出了应对时间依赖性的方案及一种基于漂移检测的泄漏定位技术。
2024-01-03 cs.LG
Detecting covariate drift in text data using document embeddings and dimensionality reduction
本文研究TF-IDF、Doc2Vec和BERT等文档嵌入结合LSA、PCA降维及KS、MMD检测方法在文本协变量漂移检测中的效果，发现特定组合表现更优，为提升文本分析模型可靠性提供依据。
2023-09-17 cs.CL cs.LG
An Adaptive Sampling Framework for Detecting Localized Concept Drift under Label Scarcity
H. Milton Stewart School of Industrial & Systems Engineering（H. Milton Stewart工业与系统工程学院）；Georgia Institute of Technology（佐治亚理工学院）；EDF Trading（EDF交易）
针对动态工业环境中标签稀缺和局部概念漂移问题，提出结合基于残差的探索与利用及EWMA监控的自适应采样框架，在标注预算约束下高效提升了漂移检测准确性与标签效率。
2025-11-04 cs.LG stat.ML
Detecting Interpretable Subgroup Drifts
Politecnico di Torino（托里尼理工大学）；University of California, Santa Cruz（加州大学圣克鲁兹分校）
针对全局漂移监测难以发现细粒度数据子群漂移的问题，提出子群级漂移检测方法，训练时识别相关子群并全周期监测，可检测量化表征子群漂移，实验证实能发现全局层面未显现的漂移，助力构建更鲁棒自适应的模型。
2024-08-26 cs.LG
On the Connection between Concept Drift and Uncertainty in Industrial Artificial Intelligence
TECNALIA, Basque Research and Technology Alliance (BRTA)（泰克纳利亚，巴斯克研究与技术联盟（BRTA））；University of the Basque Country (UPV/EHU)（巴斯克大学（UPV/EHU））
基于人工智能的数字孪生处于工业4.0革命的前沿，物联网和实时数据分析在技术上赋予了它们权力。从工业资产收集的信息以连续的方式产生，产生必须在严格的时间限制下处理的数据流。这些数据流通常存在非平稳现象，导致数据流的数据分布可能发生变化，因此用于数据分析的模型所捕获的知识可能变得过时（导致所谓的概念漂移效应）。变化（漂移）的早期检测对于更新模型的知识至关重要，这在与流数据相关联的地面实况不容易获得的情况下尤其具有挑战性。在许多其他技术中，模型置信度的估计在一些研究中被胆怯地建议作为在无监督环境中检测漂移的标准。这份手稿的目的是确认和揭露坚实的模型的信心，其输出和存在的概念漂移之间的联系，展示它的实验和倡导的一个主要考虑不确定性估计的比较研究，以报告在未来。
2023-03-14 cs.AI cs.LG
Exponentially Weighted Moving Average Charts for Detecting Concept Drift
Imperial College（帝国理工学院）
对流数据进行分类需要开发计算效率高并且能够应对流的底层分布变化的方法，这种现象在文献中称为概念漂移。我们提出了一种新的方法来检测概念漂移，使用指数加权移动平均（EWMA）图来监测流分类器的错误分类率。我们的方法是模块化的，因此可以与任何底层分类器并行运行，以提供额外的概念漂移检测层。此外，我们的方法是计算效率与开销O（1）和工作在一个完全在线的方式，不需要在内存中存储数据点。与许多现有的概念漂移检测方法不同，我们的方法允许假阳性检测的速率随着时间的推移而被控制并保持恒定。
2012-12-25 cs.LG stat.AP stat.ML
Automatically detecting data drift in machine learning classifiers
IBM Research（IBM研究院）
分类器和其他基于分类学的机器学习（ML）技术基于训练数据的各种统计属性来概括或学习。导致理论或经验性能保证的统计ML的基本假设是训练数据的分布代表生产数据分布。这种假设经常会被打破;例如，数据的统计分布可能会发生变化。我们将影响ML性能的变化称为“数据漂移”或“漂移”。许多分类技术在其结果中计算置信度。此度量可能无法反映实际的ML性能。一个著名的例子是熊猫图片，它被正确地分类为这样，置信度约为60%，但当添加噪声时，它被错误地分类为Giovanni，置信度超过99%。然而，我们在这里报告的工作表明，分类器的置信度测量可以用于检测数据漂移的目的。我们提出了一种方法，完全基于分类器建议的标签和他们的信心，对数据分布或特征空间的变化，可能会导致数据漂移的警报。我们的方法识别模型性能的退化，并且不需要在生产中标记数据，而这些数据通常是缺乏或延迟的。我们的实验与三个不同的数据集和分类器证明了这种方法在检测数据漂移的有效性。这是特别令人鼓舞的，因为分类本身可能正确也可能不正确，并且不需要模型输入数据。我们进一步探索了序贯变点检验的统计方法，以自动确定所需的数据量，以便在控制假阳性率（1型错误）的同时识别漂移。
2021-11-10 cs.LG
Early Concept Drift Detection via Prediction Uncertainty
Australian Artificial Intelligence Institute (AAII)（澳大利亚人工智能研究所（AAII））；University of Technology Sydney（悉尼科技大学）
本文提出基于预测不确定性的PU-index及其检测器PUDD，用于在错误率不变时早期检测概念漂移，理论证明其敏感性，并在合成和真实数据上验证有效性。
2024-12-15 cs.LG
Detecting Dataset Drift and Non-IID Sampling via k-Nearest Neighbors
MIT（麻省理工学院）；Cleanlab
本文提出一种基于k-最近邻的统计检验方法，用于检测数据集中的分布漂移和非独立同分布采样问题，适用于多种数据类型，并能发现比现有方法更广泛的IID违反情况。
2023-05-25 cs.LG
A DNN Framework for Learning Lagrangian Drift With Uncertainty
Datlas（Datlas公司）；Université de Toulon（土伦大学）；Aix Marseille Univ（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）；Mediterranean Institute of Oceanography（地中海海洋研究所）；IRD（法国发展研究院）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Grenoble INP（格勒诺布尔国立理工学院）；Hydro Matters（Hydro Matters公司）
提出一种纯数据驱动的DNN框架，通过模拟初始位置不确定性生成概率轨迹并训练漂移模拟器，在已知与不完美输入下均实现合理预测。
2023-05-24 cs.LG
Detecting Concept Drift in Evolving Malware Families Using Rule-Based Classifier Representations
Faculty of Information Technology Czech Technical University（捷克技术大学信息科技学院）；Department of Computer Science, San Jose State University（圣何塞州立大学计算机科学系）
本文提出利用决策树规则集检测恶意软件分类中的概念漂移，通过时间窗口和特征重要性等指标评估，发现固定两个月窗口和特征皮尔逊相关性是最可靠配置，所有家族对均产生正漂移-准确率相关性。
2026-04-24 cs.CR cs.LG
FMMO: Detecting the Divergence Between Local Attribution and Global Drift
Toronto Metropolitan University（多伦多城市大学）；St. Clair College（圣克莱尔学院）
针对部署后漂移导致的无声故障，提出FMMO框架，结合全局替代模型与利用率测量，检测局部归因稳定与全局漂移的分歧，以发现标准局部XAI忽视的公平性恶化。
2026-09-09 cs.LG
On the Reliable Detection of Concept Drift from Streaming Unlabeled Data
University of Louisville（路易斯维尔大学）
部署在现实世界中的分类器在动态环境中运行，其中数据分布可能会随时间而变化。这些变化，被称为概念漂移，可能会导致分类器的预测性能随着时间的推移而下降，从而使其过时。为了真正发挥作用，这些分类器需要检测漂移，并能够随着时间的推移适应它们。传统上，检测漂移被视为一项监督任务，标记数据不断用于验证学习模型。尽管这些技术在检测漂移方面是有效的，但是这些技术是不切实际的，因为标记是困难的、昂贵的和耗时的活动。另一方面，无监督的变化检测技术是不可靠的，因为它们产生大量的假警报。无监督技术的无效性源于从检测过程中排除学习分类器的特征。在本文中，我们提出了边缘密度漂移检测（MD3）算法，它跟踪分类器的不确定区域中的样本数量，作为检测漂移的度量。MD3算法是一种独立于分布、独立于应用程序、独立于模型、无监督和增量的算法，用于可靠地检测数据流中的漂移。对来自网络安全领域的6个漂移引起的数据集和4个附加数据集的实验评估表明，MD3方法可以可靠地检测漂移，与基于无监督特征的漂移检测器相比，误报显著减少。减少的假警报使得仅当漂移最可能影响分类性能时才能用信号通知漂移。因此，MD3方法导致检测方案是可信的，标签有效的和一般的适用性。
2017-03-31 cs.AI cs.LG stat.ML
Detecting Concept Drift in the Presence of Sparsity -- A Case Study of Automated Change Risk Assessment System
Walmart Global Tech（沃尔玛全球技术）
缺失值在文献中被广泛称为\textit{sparsity}，是许多真实世界数据集的共同特征。许多填补方法已经提出来解决这个问题的数据不完整或稀疏。然而，对于数据集中的给定特征或一组特征的数据填补方法的准确性高度依赖于特征值的分布及其与其他特征的相关性。困扰机器学习（ML）解决方案的行业部署的另一个问题是概念漂移检测，这在存在缺失值的情况下变得更具挑战性。虽然数据填补和概念漂移检测已经被广泛研究，但很少有工作尝试对这两种现象进行联合研究，即，在稀疏性存在下的概念漂移检测。在这项工作中，我们进行了以下系统的研究：（i）不同模式的缺失值，（ii）各种统计和ML为基础的数据填补方法不同种类的稀疏性，（iii）几种概念漂移检测方法，（iv）实际分析的各种漂移检测指标，（v）选择最佳的概念漂移检测器给定的数据集与缺失值的基础上的不同的度量。我们首先在合成数据和公开数据集上进行分析，最后将结果扩展到我们部署的自动变更风险评估系统解决方案中。我们的实证研究的主要发现之一是，在所有相关指标中，任何一种概念漂移检测方法都没有至高无上的地位。因此，我们采用基于多数投票的概念漂移检测器的合奏突然和逐渐的概念漂移。我们的实验表明，最佳或接近最佳的性能可以实现这种集成方法在所有的指标。
2022-07-27 cs.LG
Time to Retrain? Detecting Concept Drifts in Machine Learning Systems
Concordia University（康科德大学）
针对机器学习系统因概念漂移导致性能下降的问题，本文提出模型无关的CDSeer检测方法，在减少99%标注下精确率提升57.1%，性能媲美全监督方法。
2025-08-03 cs.LG
Identifying Predictions That Influence the Future: Detecting Performative Concept Drift in Data Streams
Utrecht University（乌得勒支大学）
研究流学习中模型预测引发的概念漂移（执行性漂移），提出CB-PDD检测方法，在合成与半合成数据集上验证其高效性、低误检率及对内在漂移的弹性。
2025-04-01 cs.CR cs.LG stat.ML
Beyond the Norms: Detecting Prediction Errors in Regression Models
International Laboratory on Learning Systems (ILLS)（国际学习系统实验室）
本文形式化定义回归模型的不可靠性，通过概率建模估计差异密度并提出统计相异性度量，生成数据驱动的不确定性分数，从而在多个回归任务上提升预测误差检测效果。
2024-06-11 cs.AI cs.LG
Post-hoc Uncertainty Calibration for Domain Drift Scenarios
Technical University of Munich（慕尼黑工业大学）；Siemens AG（西门子股份公司）；German Cancer Consortium（德国癌症联盟）；German Cancer Research Center Heidelberg（海德堡德国癌症研究中心）；Frankfurt University（法兰克福大学）
我们解决不确定度校准的问题。虽然标准深度神经网络通常产生未校准的预测，但可以使用事后校准方法来实现表示预测的真实可能性的校准置信度分数。然而，迄今为止，这些方法的重点一直是在域内校准。我们的贡献是双重的。首先，我们表明，现有的事后校准方法产生高度过度自信的预测下域转移。其次，我们引入了一个简单的策略，在执行事后校准步骤之前，将扰动应用于验证集中的样本。在广泛的实验中，我们证明了这种扰动步骤导致在广泛的架构和建模任务的域偏移下更好的校准。
2021-06-23 cs.AI cs.LG stat.ML
Uncertainty Prediction for Deep Sequential Regression Using Meta Models
IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
为序贯回归生成高质量的不确定性估计，特别是深度递归网络，仍然是一个具有挑战性和开放性的问题。现有的方法往往作出限制性的假设（如平稳性），但在实践中仍然表现不佳，特别是在现实世界的非平稳信号和漂移的存在。本文介绍了一种灵活的方法，可以产生对称和非对称的不确定性估计，不作任何假设平稳性，并优于漂移和非漂移情况下的竞争基线。这项工作有助于使序贯回归在现实世界的应用中更加有效和实用，并且是一般序贯不确定性量化建模工具箱的强大新添加。
2021-07-22 cs.LG stat.ML
The Geometric Canary: Predicting Steerability and Detecting Drift via Representational Stability
Prashant C. Raju
本文提出通过表征稳定性预测语言模型的可操控性并检测漂移，展示了监督和非监督稳定性在不同任务中的互补作用。
2026-04-25 cs.CL cs.LG stat.ML
Detecting OODs as datapoints with High Uncertainty
University of Pennsylvania（宾夕法尼亚大学）；SRI International（SRI国际）
众所周知，深度神经网络（DNN）会对分布外输入（OOD）产生非常高置信度的错误预测。这种限制是在自动驾驶、空中交通管理和医疗诊断等高保证系统中采用DNN的关键挑战之一。这一挑战最近受到了极大的关注，已经开发了几种技术来检测模型预测不可信的输入。这些技术检测OOD作为具有高认识不确定性或高任意不确定性的数据点。我们证明了这些技术的检测能力的差异，并提出了一个集成的方法检测的OODs的数据点具有很高的不确定性（认识或任意）。我们在具有多个DNN架构的视觉数据集上进行实验，在大多数情况下获得了最先进的结果。
2021-08-13 cs.LG
Drift Detection: Introducing Gaussian Split Detector
University of Bordeaux（波尔多大学）；CNRS（法国国家科学研究中心）；Bordeaux INP（波尔多国立综合理工学院）；LaBRI（波尔多计算机科学研究实验室）
针对漂移检测阶段真实标签未知的问题，提出批处理模式的高斯分裂检测器GSD，利用高斯混合模型监测决策边界变化，可处理多维数据流，在真实与合成数据集上的漂移检测及误报规避表现优于现有最优方法。
2024-05-14 cs.DC cs.LG
Explaining Concept Drift through the Evolution of Group Counterfactuals
Poznan University of Technology（波兹南技术大学）
本文提出通过分析群体反事实解释的时间演化来揭示概念漂移的成因，构建三层框架以区分数据偏移与概念重标注，实现更全面的漂移诊断。
2025-09-11 cs.AI cs.LG
Cluster Analysis and Concept Drift Detection in Malware
本文提出基于聚类的方法检测恶意软件中的概念漂移，通过KronoDroid数据集子集分析，利用轮廓系数识别漂移时间点，实验表明基于轮廓系数阈值的漂移感知重训练在分类准确性和效率上均优于传统方法。
2025-02-19 cs.CR cs.LG
Online Detection of Water Contamination Under Concept Drift
KIOS Research and Innovation Center of Excellence（KIOS研究与创新中心卓越中心）；Department of Electrical and Computer Engineering（电气与计算机工程系）；University of Cyprus（塞浦路斯大学）
本文提出AD&DD方法，结合双阈值漂移检测与LSTM-VAE，在概念漂移下实现供水管网污染的实时无监督检测与定位，并在两个真实管网中验证其优于现有方法。
2025-01-03 cs.AI cs.LG
Generalized Incremental Learning under Concept Drift across Evolving Data Streams
Australian Artificial Intelligence Institute (AAII), \ of Technology Sydney Sydney NSW Australia；Australian Artificial Intelligence Institute (AAII), \ of Technology Sydney
本文提出CSFA框架，通过原型校准和可靠替代缺口锐化算法，解决数据流中概念漂移带来的适应性挑战，提升开放环境下的稳定适应能力。
2026-03-23 cs.AI cs.LG
FLAME: Adaptive and Reactive Concept Drift Mitigation for Federated Learning Deployments
Digital Catapult（数字 Catapult）；University of Bristol（布里斯托尔大学）；Toshiba Europe Ltd.（东芝欧洲有限公司）
针对联邦学习物联网环境中的概念漂移挑战，提出新型方案FLAME，依托联邦学习架构贴合真实流水线，在带宽与隐私约束下维持模型性能，显著降低计算与通信开销，在大规模IoT部署中F1分数与资源利用率表现优于现有轻量级方法。
2024-10-07 cs.AI cs.LG
Detecting Out-of-distribution Samples via Variational Auto-encoder with Reliable Uncertainty Estimation
Southern University of Science and Technology（南方科技大学）；Chongqing Jiaotong University（重庆交通大学）；Tsinghua University（清华大学）；China Automotive Engineering Research Institute（中国汽车工程研究院股份有限公司）；Dalian University of Technology（大连理工大学）；Zhejiang University（浙江大学）
变分自编码器（Variational autoencoder，VAE）是一种基于深度神经网络结构和贝叶斯方法的具有丰富表示能力的生成模型。然而，VAE模型有一个弱点，即分配更高的可能性外的分布（OOD）的输入比分布（ID）的输入。为了解决这个问题，一个可靠的不确定性估计被认为是深入了解面向对象设计输入的关键。在这项研究中，我们提出了一种改进的噪声对比先验（INCP），能够集成到编码器的VAE，称为INCPVAE。INCP具有可扩展性、可训练性和与VAE的兼容性，并且在不确定性估计中吸收了INCP的优点。在不同数据集上的实验表明，与标准VAE相比，我们的模型在OOD数据的不确定性估计方面具有优势，并且在异常检测任务中具有鲁棒性。INCPVAE模型获得了OOD输入的可靠的不确定性估计，解决了VAE模型中的OOD问题。
2021-11-01 cs.LG stat.ML
Uncertainty-Based Out-of-Distribution Detection in Deep Reinforcement Learning
LMU Munich（慕尼黑大学）；MaibornWolff（迈博恩沃尔夫公司）
我们考虑在深度强化学习中检测分布外（OOD）样本的问题。在基于值的强化学习设置中，我们建议直接在代理的值估计神经网络上使用不确定性估计技术来检测OOD样本。我们工作的重点在于分析近似贝叶斯推理方法和相关的集成技术，产生不确定性估计的适用性。虽然先前的工作已经表明，基于丢弃的变分推理技术和基于引导的方法可以用于建模认知不确定性，但在深度强化学习中检测OOD样本的适用性仍然是一个悬而未决的问题。我们的研究结果表明，不确定性估计可以用来区分在分布外的样本。在强化学习代理的整个训练过程中，与基于丢弃的方法相比，基于引导的方法倾向于产生更可靠的认知不确定性估计。
2019-01-08 cs.AI cs.LG stat.ML
Precise Change Point Detection using Spectral Drift Detection
University of Cyprus（塞浦路斯大学）；Bielefeld University（比勒费尔德大学）
概念漂移的概念是指数据生成分布随时间变化的现象;因此，机器学习模型可能变得不准确并需要调整。在本文中，我们考虑的问题，检测这些变化点的无监督学习。许多无监督方法依赖于两个时间窗口的样本分布之间的差异。该过程对于小窗口是有噪声的，因此易于引起假阳性并且不能处理窗口中的多于一个漂移事件。在本文中，我们依赖于漂移引起的信号的结构特性，它使用分布的核嵌入的谱特性。在此基础上，我们推导出一个新的无监督漂移检测算法，研究其数学性质，并在几个实验中证明其实用性。
2022-05-13 cs.LG
Concept Drift Detection: Dealing with MissingValues via Fuzzy Distance Estimations
在数据流中，在不同时间点到达的观测值的数据分布可能会发生变化-这种现象称为概念漂移。虽然检测概念漂移是一个相对成熟的研究领域，但对由具有缺失值的观测值引入的不确定性的解决方案仅单独研究。还没有人探索这些解决方案是否或如何影响漂移检测性能。然而，我们认为，数据填补方法实际上可能会增加数据的不确定性，而不是减少它。我们还推测，填补可能会在漂移检测过程中估计分布变化的过程中引入偏差，这可能会使训练学习模型变得更加困难。我们的想法是专注于估计观测值之间的距离，而不是估计缺失值，并定义隶属函数，根据估计误差将观测值分配到直方图箱。我们的解决方案包括一个新的屏蔽远程学习（MDL）算法，以减少由迭代估计每个缺失值在一个观察和模糊加权频率（FWF）的方法，用于识别数据分布的差异所造成的累积误差。本文提出的概念漂移检测算法是一种能够处理缺失值的奇异统一算法，而不是一种与概念漂移检测算法相结合的插补算法。在模拟数据集和真实数据集上的实验表明了该方法的优点，并显示了其在检测缺失值数据漂移方面的鲁棒性。这些发现表明，缺失值对概念漂移检测产生了深远的影响，但使用模糊集理论来建模观察可以产生比插补更可靠的结果。
2020-08-09 cs.LG stat.ML
Detecting Audio Attacks on ASR Systems with Dropout Uncertainty
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
最近开发了各种对抗性音频攻击来欺骗自动语音识别（ASR）系统。我们在这里提出了一个防御这种攻击的基础上引入的不确定性神经网络中的辍学。我们表明，我们的防御能够检测到通过最先进的端到端ASR系统上的优化扰动和频率掩蔽创建的攻击。此外，可以使防御对不受噪声降低影响的攻击是鲁棒的。我们在Mozilla的CommonVoice数据集，UrbanSound数据集和LibriSpeech数据集的摘录上测试了我们的防御，表明它在广泛的场景中实现了高检测精度。
2020-09-15 cs.CR cs.LG cs.SD
Frouros: A Python library for drift detection in machine learning systems
Instituto de Física de Cantabria (IFCA), CSIC-UC（坎塔布里亚物理研究所（IFCA），西班牙国家研究委员会-坎塔布里亚大学）
本文介绍开源 Python 库 Frouros，它集成经典与新型概念漂移及数据漂移算法，具备框架兼容性、易适配性、可维护性和可扩展性。
2023-07-23 cs.LG
Semantic Energy: Detecting LLM Hallucination Beyond Entropy
Tianjin University（天津大学）；Baidu Inc.（百度公司）；A*STAR Centre for Frontier AI Research (CFAR)（A*STAR前沿人工智能研究中心）；Beijing University of Posts and Telecommunications（北京邮电大学）；University of Chinese Academy of Sciences（中国科学院大学）
语义能量通过直接操作LLM最后层logits，结合语义聚类和能量分布，提升幻觉检测和不确定性估计的可靠性。
2025-12-01 cs.LG
Detecting and Mitigating Test-time Failure Risks via Model-agnostic Uncertainty Learning
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）
在部署生产数据时，可靠地预测机器学习（ML）系统的潜在故障风险是值得信赖的AI的一个重要方面。本文介绍了Risk Advisor，一种新的事后元学习器，用于估计任何已经训练好的黑盒分类模型的失败风险和预测不确定性。除了提供风险评分外，风险顾问还将不确定性估计分解为任意和认知不确定性分量，从而对引起故障的不确定性来源提供信息性见解。因此，Risk Advisor可以区分由数据可变性、数据偏移和模型限制引起的故障，并就缓解措施（例如，收集更多数据以对抗数据移位）。在各种黑盒分类模型系列以及涵盖常见ML故障场景的真实世界和合成数据集上进行的广泛实验表明，Risk Advisor可以可靠地预测所有场景中的部署时故障风险，并优于强大的基线。
2021-09-09 cs.IR cs.LG stat.ML
Detecting Concept Drift for the reliability prediction of Software Defects using Instance Interpretation
Faculty of Computer Engineering, K.N. Toosi University of Technology（K.N.图西工业大学计算机工程学院）
本文提出通过识别无标签简化和重采样数据解释中的变化来直接检测概念漂移点，以构建可靠的JIT-SDP模型，并在重平衡数据和简单数据上分别与阈值无关和阈值依赖基线方法表现出更高兼容性。
2023-05-06 cs.LG cs.SE
Uncertainty-Aware Velocity Correction for Proprioceptive Vehicle Localization using Evidential Mamba
AImotion Bavaria, Technische Hochschule Ingolstadt（巴伐利亚AImotion公司，英戈尔施塔特技术应用大学）；Technische Universität München（慕尼黑工业大学）
针对智能车辆在GNSS信号缺失时定位难题，提出EVC-Mamba架构，利用车载传感器数据转化为虚拟速度传感器校正IMU漂移，经曼巴模型捕捉动态、证据深度学习量化不确定性，实现高精度定位且支持实时车载部署。
2026-07-08 cs.LG cs.RO
Class Distribution Monitoring for Concept Drift Detection
Politecnico di Milano（米兰理工大学）
我们介绍类分布监测（CDM），一个有效的概念漂移检测计划，监测类条件分布的数据流。特别是，我们的解决方案利用了基于QuantTree的在线和非参数变化检测算法的多个实例。CDM在检测到任何类别中的分布变化之后报告概念漂移，从而识别哪些类别受到概念漂移的影响。这可能是诊断和适应的宝贵信息。我们对合成数据流和真实数据流的实验表明，当概念漂移影响少数几个类时，CDM优于监控整体数据分布的算法，而当漂移影响所有类时，CDM实现了类似的检测延迟。此外，CDM优于监测分类误差的可比方法，特别是当变化不是很明显时。最后，我们证明了CDM继承了底层变化检测器的属性，从而有效地控制了误报前的预期时间或平均运行长度（ARL $_0$）。
2022-10-16 cs.LG
Understanding Knowledge Drift in LLMs through Misinformation
Technical University of Munich（慕尼黑工业大学）
本研究聚焦大语言模型接触错误信息引发的知识漂移问题，通过熵、困惑度等指标评估发现，错误信息会先提升模型答错时的不确定性，反复接触则会降低不确定性并扭曲知识，为提升模型可靠性提供参考。
2024-09-11 cs.CL cs.LG
Detecting Adversarial Examples for Speech Recognition via Uncertainty Quantification
Ruhr University Bochum（波鸿鲁尔大学）
机器学习系统，特别是自动语音识别（ASR）系统容易受到对抗性攻击，其中攻击者恶意地改变输入。在ASR系统的情况下，最有趣的情况是有针对性的攻击，其中攻击者的目的是迫使系统识别任意音频样本中的给定目标传输。越来越多的复杂的，准不可察觉的攻击提出了对策的问题。在本文中，我们专注于混合ASR系统，并比较了四种声学模型在攻击下指示不确定性的能力：前馈神经网络和三个专门为不确定性量化设计的神经网络，即贝叶斯神经网络，蒙特卡洛辍学和深度合奏。我们采用声学模型的不确定性度量来构建一个简单的一类分类模型，用于评估输入是良性的还是敌对的。基于这种方法，我们能够检测到接收算子曲线得分超过0.99的对抗性示例。用于不确定性量化的神经网络同时减少了对攻击的脆弱性，这反映在与标准混合ASR系统相比恶意目标文本的识别准确性较低。
2020-08-02 cs.CR cs.LG cs.SD
Machine Learning Model Drift Detection Via Weak Data Slices
IBM Research（IBM研究院）
检测机器学习（ML）模型的性能漂移是一个公认的挑战。为了使ML模型成为业务应用程序的一个组成部分，必须检测ML模型何时偏离可接受的操作。然而，通常情况下，实际的标签很难获得，而且价格昂贵，例如，因为它们需要专家判断。因此，需要在没有标记的情况下检测ML操作中可能的劣化的方法。我们提出了一种方法，利用特征空间规则，称为数据切片，漂移检测。我们提供的实验表明，我们的方法可能会识别出ML模型可能会根据底层数据的变化而改变性能。
2021-08-11 cs.LG stat.AP
The Window Dilemma: Why Concept Drift Detection is Ill-Posed
Utrecht University（乌得勒支大学）
本文指出概念漂移检测存在根本性问题，因漂移感知源于窗口化而非数据生成过程，且实际验证漂移事件不可行，传统批量学习方法表现更优。
2026-02-06 cs.LG
Automating concept-drift detection by self-evaluating predictive model degradation
Politecnico di Torino（都灵理工大学）
自动化预测性机器学习的一个关键方面需要正确触发训练模型更新的能力。为此，必须设计合适的自动解决方案来自我评估原始训练集和新数据之间的预测质量和数据分布漂移。在本文中，我们提出了一种新的方法来自动检测由于基于类的概念漂移而导致的机器学习模型的预测质量下降，即，当新数据包含不符合当前训练的预测模型已知的类别标签集的样本时。在合成和真实公共数据集上的实验表明，该方法能够有效地自动检测和描述由类标签数据分布变化引起的概念漂移.
2019-07-18 cs.LG stat.ML
Bayesian Autoencoders for Drift Detection in Industrial Environments
Institute for Manufacturing University of Cambridge Cambridge, United Kingdom
自编码器是无监督模型，已用于检测多传感器环境中的异常。一个典型的应用包括使用来自正常条件下运行的传感器的数据训练预测模型，并使用该模型检测异常。异常可能来自环境的真实变化（真实漂移），也可能来自错误的传感设备（虚拟漂移）;然而，尚未考虑使用自动编码器来区分不同的异常。为此，我们首先提出了贝叶斯自动编码器的发展，以量化认识和任意的不确定性。然后，我们使用现实世界的工业数据集进行液压状态监测测试贝叶斯自动编码器。该系统被注入噪声和漂移，我们已经发现的认知不确定性是不太敏感的传感器扰动相比，重建损失。通过观察重构信号的不确定性，我们获得了可解释的见解，这些不确定性提供了一个潜在的途径来区分真实和虚拟的漂移。
2021-07-28 cs.LG
Wat zei je? Detecting Out-of-Distribution Translations with Variational Transformers
University of Oxford（牛津大学）
我们使用Transformer模型的贝叶斯深度学习等价物检测神经机器翻译中的训练分布外句子。为此，我们开发了一种新的不确定性测量方法，专门用于离散随机变量的长序列，即输出句子中的单词。我们的新措施的不确定性解决了一个主要的棘手问题，在天真的应用现有的方法对长句。我们使用我们的新措施上的Transformer模型训练辍学近似推理。在使用WMT13和Europarl进行德英翻译的任务中，我们证明了在辍学不确定性的情况下，我们的措施能够识别何时使用与德语相同的单词类型的荷兰语源句子，而不是德语。
2020-06-08 cs.CL cs.LG stat.ML
DriftGAN: Using historical data for Unsupervised Recurring Drift Detection
University of Passau（帕绍大学）
针对实际场景中反复出现的概念漂移问题，提出基于GAN的无监督DriftGAN方法，可检测漂移并识别其是否出现过，减少模型恢复时间与数据量，在多数数据集及天体物理实际用例中性能优于现有方法。
2024-07-09 cs.LG
Uncertainty Quantification in Detecting Choroidal Metastases on MRI via Evolutionary Strategies
Memorial Sloan Kettering Cancer Center（纪念斯隆凯特琳癌症中心）
针对放射学小数据场景，本研究采用深度神经进化训练CNN进行眼部MRI脉络膜转移瘤二分类，通过保存的高准确率模型构建集成方法实现不确定性量化，发现高不确定性影像与放射科医生识别的主观特征相关，验证了其在AI放射分析中的价值。
2024-04-12 cs.CV cs.LG cs.NE
GIT: Detecting Uncertainty, Out-Of-Distribution and Adversarial Samples using Gradients and Invariance Transformations
Robert Bosch GmbH（罗伯特·博世有限公司）；University of Lübeck（吕贝克大学）
本文提出GIT方法，通过结合梯度信息与不变性变换来整体检测由泛化误差导致的错误分类，实验证明其在多种架构和扰动类型下优于现有方法。
2023-07-05 cs.CV cs.LG
A Hybrid Framework for Real-Time Data Drift and Anomaly Identification Using Hierarchical Temporal Memory and Statistical Tests
Global AI Accelerator, Ericsson（爱立信全球人工智能加速器）
本文提出结合HTM和SPRT的新型混合框架用于实时数据漂移检测与异常识别，并扩展了HTM在多维监督场景下的应用，实验证明其在准确性、适应性和计算效率上优于传统方法。
2025-04-24 cs.LG
Geometric Uncertainty for Detecting and Correcting Hallucinations in LLMs
Department of Engineering Science, University of Oxford（牛津大学工程科学系）；GlaxoSmithKline（葛兰素史克）；Oxford Suzhou Centre for Advanced Research（牛津苏黎世高级研究中心）
本文提出几何框架用于检测和纠正大语言模型中的幻觉，通过几何体积和几何怀疑方法提升响应可靠性。
2026-09-24 cs.CL cs.LG
