ROSFD: Robust Online Streaming Fraud Detection with Resilience to Concept Drift in Data Streams
National Institute of Technology（印度国家理工学院）
针对传统批处理难以捕捉流数据中欺诈模式快速演变的问题，提出ROSFD框架，通过离线模型初始化解决冷启动问题，结合实时漂移检测实现模型自适应，在五个数据集中的四个取得最高AUC，减少重新训练次数且不影响性能。
2025-04-14 cs.LG
Automatic Generation of Product Concepts from Positive Examples, with an Application to Music Streaming
KU Leuven（鲁汶大学）；Tunify
基于互联网的业务和产品（例如电子商务，音乐流媒体）每天都变得越来越复杂，越来越注重提高客户满意度。他们实现这一目标的一个核心方法是通过使用导航栏将产品结构化并提供推荐，从而为客户提供轻松访问产品的机会。我们将这些目录称为产品概念，例如电子商务网站上的产品类别，音乐流媒体平台上的公共播放列表。这些产品概念通常包含通过一些共同特征（例如同一艺术家的歌曲播放列表）相互链接的产品。对于不同的产品，它们在系统后端的定义方式可能不同。在这项工作中，我们表示使用数据库查询的产品概念，并解决两个学习问题。首先，给定所有属于同一未知产品概念的产品集合，我们学习表示该产品概念的数据库查询。第二，当给定的产品集与多个产品概念相关联时，我们学习产品概念及其相应的查询。为了实现这些目标，我们提出了两种方法，结合PU学习的概念与决策树和聚类。我们的实验表明，通过一个音乐流媒体服务的模拟设置，我们的方法是有效的，在解决这些问题。
2023-01-15 cs.AI cs.IR cs.LG
Online Semi-Supervised Concept Drift Detection with Density Estimation
Monash University（莫纳什大学）
概念漂移被正式定义为一组输入变量X和一个目标变量y的联合分布的变化。广泛研究的两种类型的漂移是真实漂移和虚拟漂移，其中前者是后验概率p（y）的变化|后者是X的分布变化，而不影响后验概率。关于概念漂移检测的许多方法要么假设数据标签y的完全可用性，要么仅处理虚拟漂移。在流环境中，数据标签y的完全可用性的假设受到质疑。另一方面，处理虚拟漂移的方法未能解决真实漂移。本文提出了一个半监督的框架来解决上述问题，而不是改进现有的方法。所提出的框架的目标是从具有有限数据标签的流环境中学习，并同时检测实际漂移。本文提出了一种新的概念漂移检测方法，利用后验概率密度的部分标记的流媒体环境。在合成数据集和真实数据集上的实验结果表明，我们提出的半监督框架能够检测这种环境中的概念漂移，同时实现与最先进方法相当的预测性能。
2019-11-11 cs.LG stat.ML
Binary Anomaly Detection in Streaming IoT Traffic under Concept Drift
National Institute of Informatics（日本国立信息机构）；Technical University of Munich（慕尼黑技术大学）
本研究针对概念漂移下的流式物联网流量二分类异常检测问题，对比批量与流式学习方法，证实基于树的流式算法在保证检测性能的同时可大幅降低计算成本，也指出现有数据集存在流量异构性不足的局限。
2025-10-31 cs.CR cs.LG
Learning Parameter Distributions to Detect Concept Drift in Data Streams
University of Tuebingen（图宾根大学）
流环境中的数据分布通常不是静止的。为了始终保持高预测质量，在线学习模型需要适应分布变化，这被称为概念漂移。概念漂移的及时和鲁棒的识别可能是困难的，因为我们永远无法访问流数据的真实分布。在这项工作中，我们提出了一个新的框架，用于检测真正的概念漂移，称为ERICS。通过将预测模型的参数视为随机变量，我们证明了概念漂移对应于最优参数分布的变化。为此，我们采用信息论的共同措施。所提出的框架是完全模型不可知的。通过选择一个合适的基础模型，ERICS也能够检测输入级的概念漂移，这是一个显着的优势，现有的方法。几个合成和真实世界的数据集的评价表明，所提出的框架识别概念漂移更有效，更准确地比各种现有的作品。
2020-10-19 cs.LG stat.ML
K-means for Evolving Data Streams
Basque Center for Applied Mathematics（巴斯克应用数学中心）
目前，世界范围内产生的数据量正在以无法衡量的方式增长，因此必须不断处理大量无监督数据。无监督数据分析的主要方法之一是聚类。在流数据场景中，数据由不断增加的批量样本序列组成，其中可能会发生概念漂移现象。在本文中，我们正式定义的流$K$ -手段（S $K$ M）的问题，这意味着重新启动的错误功能时，发生的概念漂移。我们提出了一个替代误差函数，不依赖于概念漂移检测。我们证明，代理是一个很好的近似S $K$ M错误。因此，我们建议一种算法，最大限度地减少这种替代错误每次一个新的批次到达。我们提出了一些初始化技术的流数据的情况下，以及。除了提供理论结果外，实验证明了非平凡初始化方法的收敛误差的改善。
2021-09-17 cs.LG stat.ML
MemStream: Memory-Based Streaming Anomaly Detection
National University of Singapore（新加坡国立大学）；IIT Bombay（印度理工学院孟买分校）；Harvard University（哈佛大学）
在一个存在概念漂移的多维数据环境中，随着时间的推移，给定一个条目流，我们如何检测异常活动？大多数现有的无监督异常检测方法寻求以离线方式检测异常事件，并且需要大量的数据用于训练。这在现实生活中是不切实际的，因为我们以流的方式接收数据，并且事先不知道流的大小。因此，我们需要一种数据高效的方法，可以在线检测和适应不断变化的数据趋势或概念漂移。在这项工作中，我们提出了MemStream，一个流异常检测框架，使我们能够检测到不寻常的事件，因为它们发生的同时具有弹性的概念漂移。我们利用去噪自动编码器的功能来学习表示，并利用内存模块来学习数据中动态变化的趋势，而无需标签。我们证明了有效的漂移处理所需的最佳内存大小。此外，MemStream使用两种架构设计选择来抵抗内存中毒。实验结果表明，我们的方法相比，国家的最先进的流基线使用$2$合成数据集和$11$真实世界的数据集的有效性。
2022-03-04 cs.AI cs.LG
cPNN: Continuous Progressive Neural Networks for Evolving Streaming Time Series
DEIB, Politecnico di Milano（DEIB，米兰理工学院）
cPNN通过连续渐进神经网络有效处理流时间序列中的概念漂移和时间依赖性，避免灾难性遗忘，提升模型适应性与鲁棒性。
2026-03-03 cs.AI cs.LG
Exponentially Weighted Moving Average Charts for Detecting Concept Drift
Imperial College（帝国理工学院）
对流数据进行分类需要开发计算效率高并且能够应对流的底层分布变化的方法，这种现象在文献中称为概念漂移。我们提出了一种新的方法来检测概念漂移，使用指数加权移动平均（EWMA）图来监测流分类器的错误分类率。我们的方法是模块化的，因此可以与任何底层分类器并行运行，以提供额外的概念漂移检测层。此外，我们的方法是计算效率与开销O（1）和工作在一个完全在线的方式，不需要在内存中存储数据点。与许多现有的概念漂移检测方法不同，我们的方法允许假阳性检测的速率随着时间的推移而被控制并保持恒定。
2012-12-25 cs.LG stat.AP stat.ML
ATL: Autonomous Knowledge Transfer from Many Streaming Processes
Nanyang Technological University（南洋理工大学）；Johannes Kepler University（约翰内斯·开普勒大学）；University of Technology Sydney（悉尼科技大学）
跨多个流过程的知识转移在现有文献中仍然是一个未知的领域，并具有独特的特征：没有标记的目标域的实例，源和目标域的协变量偏移，在源和目标域的不同时期的漂移。本文提出了一种灵活的深度学习方法--自主迁移学习（ATL），用于解决跨多个流处理的在线无监督迁移学习问题。ATL提供了一个在线的领域自适应策略，通过生成和判别阶段，结合基于KL散度的优化策略，以产生一个领域不变的网络，同时提出了一个弹性的网络结构。它会在有/没有地面实况的情况下从头开始自动进化其网络结构，以克服源和目标域中的独立概念漂移。严格的数值评估已经进行了与最近出版的作品进行比较。ATL表现出更好的性能，同时显示出比同行更快的训练速度。
2019-10-19 cs.LG stat.ML
On the Reliable Detection of Concept Drift from Streaming Unlabeled Data
University of Louisville（路易斯维尔大学）
部署在现实世界中的分类器在动态环境中运行，其中数据分布可能会随时间而变化。这些变化，被称为概念漂移，可能会导致分类器的预测性能随着时间的推移而下降，从而使其过时。为了真正发挥作用，这些分类器需要检测漂移，并能够随着时间的推移适应它们。传统上，检测漂移被视为一项监督任务，标记数据不断用于验证学习模型。尽管这些技术在检测漂移方面是有效的，但是这些技术是不切实际的，因为标记是困难的、昂贵的和耗时的活动。另一方面，无监督的变化检测技术是不可靠的，因为它们产生大量的假警报。无监督技术的无效性源于从检测过程中排除学习分类器的特征。在本文中，我们提出了边缘密度漂移检测（MD3）算法，它跟踪分类器的不确定区域中的样本数量，作为检测漂移的度量。MD3算法是一种独立于分布、独立于应用程序、独立于模型、无监督和增量的算法，用于可靠地检测数据流中的漂移。对来自网络安全领域的6个漂移引起的数据集和4个附加数据集的实验评估表明，MD3方法可以可靠地检测漂移，与基于无监督特征的漂移检测器相比，误报显著减少。减少的假警报使得仅当漂移最可能影响分类性能时才能用信号通知漂移。因此，MD3方法导致检测方案是可信的，标签有效的和一般的适用性。
2017-03-31 cs.AI cs.LG stat.ML
Don't Look Back in Anger: MAGIC Net for Streaming Continual Learning with Temporal Dependence
MAGIC Net通过结合持续学习策略与循环神经网络，解决流式持续学习中的概念漂移、时间依赖性和灾难性遗忘问题，提升模型对新概念的适应能力并减少遗忘。
2026-03-09 cs.AI cs.LG
Autoencoder-based Anomaly Detection in Streaming Data with Incremental Learning and Concept Drift Adaptation
KIOS Research and Innovation Center of Excellence（KIOS卓越研究与创新中心）；University of Cyprus（塞浦路斯大学）
本文提出基于自编码器的增量学习与漂移检测方法strAEm++DD，用于流式数据异常检测，在严重类别不平衡下显著优于现有方法。
2023-09-05 cs.LG cs.SY eess.SY
A Probabilistic Framework for Adapting to Changing and Recurring Concepts in Data Streams
University of Auckland（奥克兰大学）；Eindhoven University of Technology（埃因霍温理工大学）；University of Waikato（怀卡托大学）；Télécom Paris（巴黎电信学院）；IP-Paris（巴黎IP学院）
针对流数据概念漂移与复现场景下现有方法的不足，提出概率方法SELeCT，通过维护各概念独立状态、结合贝叶斯算法评估过往经验相关性，实现变化环境下的有效学习。
2024-08-18 cs.LG
DDG-DA: Data Distribution Generation for Predictable Concept Drift Adaptation
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；Microsoft Research（微软研究院）
在许多现实场景中，我们经常处理随着时间的推移顺序收集的流数据。由于环境的非平稳性质，流数据分布可能以不可预测的方式改变，这被称为概念漂移。为了处理概念漂移，以前的方法首先检测概念漂移发生的时间/地点，然后调整模型以适应最新数据的分布。然而，仍然有许多情况下，一些潜在的环境演变的因素是可预测的，使得有可能模拟未来的概念漂移趋势的流数据，而这样的情况下，没有充分探讨在以前的工作。本文提出了一种新的方法DDG-DA，它可以有效地预测数据分布的演变，提高模型的性能。具体来说，我们首先训练一个预测器来估计未来的数据分布，然后利用它来生成训练样本，最后在生成的数据上训练模型。我们在三个真实世界的任务（股票价格趋势预测，电力负荷和太阳辐照度）进行了实验，并在多个广泛使用的模型上获得了显着的改进。
2022-06-05 cs.AI cs.LG q-fin.GN
CodeX: Bit-Flexible Encoding for Streaming-based FPGA Acceleration of DNNs
University of California San Diego（加利福尼亚大学圣地亚哥分校）
本文提出了CodeX，一个端到端的框架，有利于编码，位宽定制，微调，并在FPGA平台上实现神经网络。CodeX将非线性编码结合到神经网络的计算流中以节省内存。与原始全精度激活值相比，编码功能需要的存储量明显更低;因此，CodeX硬件引擎的执行流程完全在FPGA内使用片内流缓冲区执行，无需访问片外DRAM。我们进一步提出了一种受强化学习启发的全自动算法，该算法确定了跨网络层的自定义编码位宽。CodeX全栈框架包括一个编译器，它采用任意神经网络架构的高级Python描述。然后，编译器从CodeX硬件库中实例化相应的元素以用于FPGA实现。在MNIST、SVHN和CIFAR-10数据集上进行的概念验证评估表明，与独立权重编码相比，吞吐量平均提高了4.65倍。我们进一步将CodeX与ImageNet上现有的六个全精度DNN加速器进行了比较，结果显示吞吐量和性能功耗比分别平均提高了3.6倍和2.54倍。
2019-01-17 cs.LG stat.ML
Diversity of Ensembles for Data Stream Classification
University of Passau（帕绍大学）
在构造分类器集成时，基分类器之间的多样性是重要特征之一。已经在标准静态数据的背景下进行了一些研究，特别是在分析高集合预测性能与其组成部分的多样性之间的关系时。此外，学习机的集成已经执行的概念漂移的存在下学习，并适应它。然而，多样性措施没有得到太多的研究兴趣，在不断发展的数据流。只有少数研究者直接考虑促进多样性，同时构建一个合奏或重建他们在检测漂移的时刻。在本文中，我们提出了一个不同的多样性措施的理论分析，并将它们与流数据的集成学习算法的成功。分析提供了一个更深入的理解的概念的多样性和在线集成学习的概念漂移的存在下，它的影响。更确切地说，我们有兴趣回答以下研究问题;哪些常用的多样性措施中使用的静态数据集成的背景下，他们在多大程度上适用于流数据集成的背景下？
2019-02-22 cs.LG stat.ML
Learner-based Concept Drift Detection: Analysis and Evaluation
Department of Computer Science, University of Regina（里贾纳大学计算机科学系）
本文从理论上分析概念漂移特征，并评估多种漂移检测算法在合成和真实数据集上的性能，旨在增强对漂移检测器行为及其适用性的理解。
2026-06-19 cs.AI cs.LG
When to Retrain: An Empirical Study of Retraining Policies for Streaming ML Under Concept Drift, Budget, and Latency Constraints
该研究对比三种模型刷新策略与不重新训练基准，发现增量学习是关键，无增量时定期重新训练在多数场景优于反应式策略，还揭示反应式策略失效模式及延迟预算交互问题。
2026-08-21 cs.LG
Instance exploitation for learning temporary concepts from sparsely labeled drifting data streams
Virginia Commonwealth University（弗吉尼亚联邦大学）
由于在线工具和系统数量的增加，从流数据源的持续学习变得越来越流行。处理动态和持久的问题提出了新的挑战，传统的基于批处理的离线算法在计算时间和预测性能方面是不够的。最关键的限制之一是，我们不能假设可以访问有限和完整的数据集-我们必须随时准备好可能补充我们模型的新数据。这就提出了一个关键的问题，提供标签的潜在无限的流。在现实世界中，我们被迫处理非常严格的预算限制，因此，我们将很可能面临注释实例的稀缺性，这在监督学习中是必不可少的。在我们的工作中，我们强调这个问题，并提出了一种新的实例开发技术。我们表明，当：（i）数据的特征在于临时的非平稳概念，（ii）跨越很长时间范围的标签很少，实际上更好的做法是冒过拟合的风险，通过利用我们仅有的标记实例来更积极地适应模型，而不是坚持标准的学习模式并遭受严重的欠拟合。我们提出了不同的策略和配置，我们的方法，以及合奏算法，试图保持一个甜蜜点之间的风险和正常的适应。最后，我们使用与给定问题相关的最先进的流算法对我们的方法进行了复杂的深入比较分析。
2020-09-20 cs.LG stat.ML
InQMAD: Incremental Quantum Measurement Anomaly Detection
MindLab（思维实验室）；Universidad Nacional de Colombia（哥伦比亚国立大学）
流异常检测是指在数据流中检测异常数据样本的问题。这个问题带来了经典和深度异常检测方法无法应对的挑战，例如概念漂移和持续学习。现有技术的流异常检测方法依赖于使用散列函数或最近邻的固定存储器，其可能无法像移动平均中那样约束高频值或移除无缝离群值，并且无法在端到端深度学习架构中进行训练。我们提出了一种新的增量异常检测方法，该方法基于随机傅立叶特征和量子测量机制以及可以被视为指数移动平均密度的密度矩阵进行连续密度估计。它可以处理潜在的无限数据，其更新复杂度是常数$O(1)$。针对12个最先进的流异常检测算法，使用12个流数据集的系统评价。
2022-10-11 cs.LG stat.ML
Event Detection in Noisy Streaming Data with Combination of Corroborative and Probabilistic Sources
Georgia Institute of Technology（佐治亚理工学院）
全球物理事件检测传统上依赖于世界各地物理传感器的密集覆盖;虽然这是一项昂贵的工作，但直到最近才有替代方案。现场无处不在的社交网络和人类传感器提供了大量关于世界各地真实物理事件的实时实时数据。然而，虽然这样的人类传感器数据已经被用于回顾性的大规模事件检测，如飓风或地震，但它们在利用这种丰富的资源进行一般物理事件检测方面一直受到限制，没有成功。先前的实现方法已经遭受概念漂移现象，其中真实世界数据在其数据分布中表现出恒定的、未知的、无界的变化，使得静态机器学习模型长期无效。我们提出并实现了一个端到端的协作漂移自适应系统，该系统集成了确证和概率源，以提供实时预测。此外，我们的系统是自适应的概念漂移，并执行自动持续学习，以保持高性能。我们展示了我们的方法在实时演示在线滑坡灾害检测，可扩展到其他现实世界的物理事件，如洪水，野火，飓风和地震。
2019-11-21 cs.LG cs.SI cs.SY
A Lightweight Concept Drift Detection and Adaptation Framework for IoT Data Streams
Western University（西安大略大学）
近年来，随着“智能技术”的日益普及，物联网（IoT）设备和系统的数量大幅激增。各种物联网服务和功能都基于物联网流数据的分析。然而，由于物联网系统的动态特性和物联网数据流不断变化的模式，物联网数据分析面临着概念漂移的挑战。在本文中，我们提出了一个自适应物联网流数据分析框架，用于基于优化的LightGBM和概念漂移适应的异常检测用例。提出了一种新的漂移自适应方法优化自适应滑动窗口（OASW），以适应在线物联网数据流的模式变化。在两个公共数据集上的实验表明，与其他最先进的方法相比，我们提出的自适应LightGBM模型具有较高的准确性和效率。所提出的自适应LightGBM模型可以在没有人为干预的情况下对物联网数据流进行连续学习和漂移适应。
2021-04-21 cs.AI cs.LG
Weakly Supervised Deep Learning Approach in Streaming Environments
Nanyang Technological University（南洋理工大学）
现有的数据流算法的可行性往往受到数据流的弱监督条件的阻碍。提出了一种自进化的深度神经网络，即Parsimonious Network（ParsNet），用于解决各种弱监督数据流问题。提出了一种带套期保值的自标记策略（SLASH），它的自校正机制处理了影响模型泛化能力的\textit{the accumulation of mistakes}。ParsNet是从自进化生成和判别训练过程的闭环配置开发的，利用共享参数，其结构灵活地增长和收缩，以克服有/无标签的概念漂移问题。数值评估已经进行了两个具有挑战性的问题，即零星访问地面真理和无限延迟访问地面真理。我们的数值研究显示了ParsNet的优势，在高维数据流和无限延迟模拟协议方面与同行有很大的差距。为了支持可重复的研究计划，ParsNet的源代码以及补充材料可在https://bit.ly/2qNW7p4上获得。
2020-08-24 cs.LG eess.SP stat.ML
Network Sampling: From Static to Streaming Graphs
Purdue University（普渡大学）
网络抽样是社会、信息和生物网络分析不可或缺的一部分。由于许多现实世界的网络规模庞大，不断发展，和/或分布的性质，网络结构往往是抽样，以方便研究。基于这些原因，对网络抽样有一个更全面和更完整的理解对于支持网络科学领域至关重要。在本文中，我们概述了网络抽样的一般问题的框架，通过突出不同的目标，人口和感兴趣的单位，以及网络抽样方法的类。此外，我们提出了一个频谱的计算模型的网络采样方法，从传统的研究模型的基础上假设的静态域的一个更具挑战性的模型，适合于流域。我们设计了一个家庭的采样方法的基础上的概念，图归纳概括了整个频谱的计算模型（从静态到流式），同时有效地保留了许多输入图的拓扑属性。此外，我们演示了如何传统的静态采样算法可以修改为图形流的三个主要类的采样方法：节点，边缘，和基于拓扑的采样。我们的实验结果表明，我们提出的家庭的采样方法更准确地保留了静态和流图的图形的基本属性。最后，我们研究了网络抽样算法对关系分类算法的参数估计和性能评估的影响。
2012-11-14 cs.DS cs.LG cs.SI
Estimation of Video Streaming KQIs for Radio Access Negotiation in Network Slicing Scenarios
Universidad de Málaga（马拉加大学）
近年来，多媒体内容的使用大幅增加，成为移动网络用户最重要的服务之一。因此，网络运营商努力优化其基础设施，以支持最佳的视频服务供应。作为一个额外的挑战，5G引入了网络切片的概念，作为一种新的范式，它呈现了一种完全不同的网络配置和优化视图。该方案的主要挑战是确定哪些特定资源将为使用切片的用户提供必要的服务质量。为了解决这个问题，目前的工作提出了一个完整的框架，通过估计提供的视频流传输关键质量指标（KQI），这是从网络低层配置参数和指标计算的切片协商过程的支持。建议的估计，然后在一个真正的蜂窝场景进行评估。
2020-06-16 cs.LG cs.NI eess.SP
DriftSurf: A Risk-competitive Learning Algorithm under Concept Drift
Iowa State University（爱荷华州立大学）；Carnegie Mellon University（卡内基梅隆大学）
当从流数据中学习时，数据分布的变化（也称为概念漂移）可能会导致先前学习的模型不准确，并需要训练新模型。我们提出了一种自适应学习算法，扩展了以前的漂移检测为基础的方法，将漂移检测到一个更广泛的稳定状态/反应状态的过程。我们的方法的优点是，我们可以在稳态中使用积极的漂移检测来实现高检测率，但是通过对真实漂移快速反应的反应状态来减轻独立漂移检测的误报率，同时消除大多数误报。该算法在其基本学习器中是通用的，并且可以应用于各种监督学习问题。我们的理论分析表明，该算法的风险是有竞争力的算法与预言知识时（突然）漂移发生。在具有概念漂移的合成数据集和真实数据集上的实验证实了我们的理论分析。
2020-08-02 cs.LG stat.ML
Accelerating Deep Reinforcement Learning With the Aid of Partial Model: Energy-Efficient Predictive Video Streaming
University of Southampton（南安普顿大学）；Beihang University（北京航空航天大学）
预测功率分配被设想用于使用深度强化学习的移动网络上的节能视频流。目标是在避免视频回放中断的约束下，最小化每个基站在完整视频流会话上的累积能量消耗。为了处理连续的状态空间和动作空间，我们采用深度确定性策略梯度（DDPG）算法来解决问题。与先前的预测性功率分配策略（首先利用历史数据预测未来信息，然后基于预测的信息优化功率分配）相比，所提出的策略以在线和端到端的方式操作。通过明智地设计仅依赖于缓慢变化的平均信道增益的动作和状态，我们减少了边缘服务器和基站之间的信令开销，并且使得更容易学习好的策略。为了进一步避免整个学习过程中的播放中断，提高收敛速度，我们利用部分已知的系统动力学模型，通过将安全层，决策后状态和虚拟体验的概念集成到基本的DDPG算法。我们的仿真结果表明，所提出的政策收敛到最优的政策，这是基于完美的大规模信道预测和预测误差的存在下优于第一预测，然后优化的政策。通过利用部分已知的模型，可以显着提高收敛速度。
2020-11-05 cs.LG cs.NI eess.SP
Hybrid Active-Online Learning Framework for Label-Efficient Concept Drift Adaptation in Optical Network Failure Detection
提出混合主动在线学习框架，通过基于间隔的选择性标记仅查询3.4%的流样本，实现接近上限的准确率和AUC，且延迟开销可忽略。
2026-06-29 cs.LG eess.SP
Expected Similarity Estimation for Large-Scale Batch and Streaming Anomaly Detection
University of Ulm（乌尔姆大学）；Ravensburg-Weingarten University of Applied Sciences（拉芬斯堡-魏恩加腾应用科学大学）；The University of Sydney（悉尼大学）
我们提出了一种新的算法异常检测非常大的数据集和数据流。该方法称为期望相似性估计（EXPoSE），是基于核的，能够有效地计算新数据点和规则数据分布之间的相似性。该估计被制定为一个再生核希尔伯特空间嵌入的内积，并没有假设的类型或形状的基础数据分布。我们证明了使用EXPoSE的离线（批量）学习可以在线性时间内完成，而在线（增量）学习每个实例和模型更新需要恒定的时间。此外，EXPoSE可以在恒定的时间内进行预测，而它只需要恒定的内存。此外，我们提出了不同的方法，概念漂移适应不断变化的数据流。在几个真实的数据集上，我们证明了我们的方法可以与最先进的异常检测算法竞争，同时比大多数其他方法快一个数量级。
2016-06-06 cs.AI cs.LG
TRACE: Temporal Risk Assessment and Concept Editing for Safer Language Generation
University of Calgary（卡尔加里大学）；Dalhousie University（达尔豪斯大学）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）
TRACE是一种用于更安全语言生成的框架，通过跟踪生成过程中的有害风险、选择性编辑令牌激活并提供可审计记录，在提升流F1值的同时降低了攻击成功率。
2026-10-14 cs.AI cs.LG
Pitfalls of Unlabeled Disagreement-Based Drift Detection in Streaming Tree Ensembles
GECAD, ISEP, Polytechnic of Porto（GECAD，ISEP，波尔图理工大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
研究探讨了在高速数据流中使用未标记数据进行漂移检测的挑战，发现基于不一致的不确定性方法在集成增量决策树中表现欠佳，归因于IDTs的固有刚性。
2026-05-12 cs.LG
Adversarial Concept Drift Detection under Poisoning Attacks for Robust Data Stream Mining
Virginia Commonwealth University（弗吉尼亚联邦大学）
从流数据中进行连续学习是当代机器学习中最具挑战性的课题之一。在这一领域，学习算法不仅要能够处理大量快速到达的数据，而且要使自己适应潜在的新兴变化。数据流的演化性质的现象被称为概念漂移。虽然有大量的方法用于检测其发生，但所有这些方法都假设漂移与数据源的潜在变化有关。但是，必须考虑恶意注入虚假数据以模拟概念漂移的可能性。这种对抗性的设置假设可能进行中毒攻击，以便通过强制适应错误数据来破坏底层的分类系统。现有的漂移检测器不能区分真实的和敌对的概念漂移。在本文中，我们提出了一个强大的概念漂移检测框架中存在的对抗性和中毒攻击。我们介绍了两种类型的对抗性概念漂移的分类，以及一个强大的可训练漂移检测器。它是基于增强的限制玻尔兹曼机与改进的梯度计算和能量函数。我们还介绍了鲁棒性的相对损失-一种新的措施，用于评估中毒攻击下的概念漂移检测器的性能。大量的计算实验，进行充分和稀疏标记的数据流，证明了高鲁棒性和效率的漂移检测框架在对抗性的情况下。
2020-09-20 cs.LG stat.ML
Concept Drift Detection and Adaptation with Hierarchical Hypothesis Testing
University of Florida（佛罗里达大学）；Robert Bosch Research and Technology Center（罗伯特·博世研究与技术中心）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；MZ Inc.（MZ公司）；Central China Normal University（华中师范大学）
流媒体环境中的统计分类模型的一个基本问题是预测变量和响应变量之间的联合分布随时间变化（也称为概念漂移的现象），使得它们的分类性能急剧恶化。在本文中，我们首先提出了一个分层的假设检验（HHT）框架，可以检测并适应各种概念漂移类型（例如，周期性或不规则、渐进性或突然性），即使存在不平衡的数据标签。一个新的概念漂移检测器，即分层线性四速率（HLFR），实现下的HHT框架。通过用自适应训练策略取代广泛认可的再训练方案，我们进一步证明了HLFR的概念漂移适应能力可以显着提高。对HLFR的I类和第二类错误进行了理论分析。在模拟和真实数据集上的实验表明，我们的方法在检测精度、检测延迟以及对不同概念漂移类型的适应性方面优于最先进的方法。
2019-02-08 cs.LG stat.ML
Unsupervised Concept Drift Detection based on Parallel Activations of Neural Network
Wrocław University of Science and Technology（弗罗茨瓦夫理工大学）
针对真实数据流中标签获取困难的概念漂移检测问题，提出一种利用未训练神经网络输出的无监督Parallel Activations Drift Detector，实验证明其具备与最先进方法相当的竞争力。
2024-10-01 cs.LG
Concept Drift Detection using Ensemble of Integrally Private Models
Umeå University（于默奥大学）
本文提出积分私有漂移检测（IPDD）集成方法，利用积分私有深度神经网络在无需标签的情况下私有检测流式数据中的概念漂移，实验表明其效用可比或优于 ADWIN 及差分私有模型。
2024-06-07 cs.CR cs.LG
Concept Drift Detection via Equal Intensity k-means Space Partitioning
数据流给统计分类任务带来了额外的挑战，因为训练样本和目标样本的分布可能会随着时间的推移而不同。流数据中的这种分布变化被称为概念漂移。已经提出了许多基于直方图的分布变化检测方法来检测漂移。大多数直方图都是基于网格或树的空间划分算法，这使得空间划分任意，无法解释，并可能导致漂移盲点。需要在无监督设置下提高基于直方图的方法的漂移检测精度。为了解决这个问题，我们提出了一个基于聚类的直方图，称为等强度k-means空间分区（EI-kMeans）。此外，还介绍了一种提高漂移检测灵敏度的探试法。提高灵敏度的基本思想是最小化在分布偏移区域中创建分区的风险。皮尔逊卡方检验被用作统计假设检验，以便检验统计量保持独立于样本分布。箱的数量和它们的形状，这强烈影响的能力，检测漂移，动态确定从样本的基础上的渐近约束的卡方检验。相应地，开发了三种算法来实现概念漂移检测，包括贪婪质心初始化算法、簇放大-收缩算法和漂移检测算法。对于漂移自适应，我们建议在检测到漂移时重新训练学习器。在合成数据集和真实数据集上的实验结果表明了EI-kMeans的优势，并显示了其在检测概念漂移方面的有效性。
2020-04-24 cs.LG stat.ML
Streaming Anomaly Detection
National University of Singapore（新加坡国立大学）
异常检测对于在无数系统中发现可疑行为至关重要。我们需要实时检测异常情况，即在收到数据后立即确定传入实体是否异常，以最大限度地减少恶意活动的影响并尽快开始恢复。因此，能够以流式方式检测异常的在线算法至关重要。我们首先提出了MIDAS，它使用一个计数最小的草图，以在线的方式检测动态图中的异常边缘，使用恒定的时间和内存。然后，我们提出了两个变体，MIDAS-R，它结合了时间和空间的关系，和MIDAS-F，其目的是过滤掉异常的边缘，以防止它们从负面影响的内部数据结构。然后，我们将计数最小草图扩展到高阶草图，以捕获图数据中的复杂关系，并将检测可疑稠密子图问题减少到在恒定时间内找到稠密子矩阵。使用这个草图，我们提出了四个流式方法来检测边缘和子图异常。接下来，我们将图形设置扩展到多方面数据。我们提出了MStream检测多方面数据流中可解释的异常。我们进一步提出了MStream-PCA，MStream-IB和MStream-AE，以纳入特征之间的相关性。最后，我们考虑多维数据流与概念漂移，并提出MemStream。MemStream利用去噪自动编码器的强大功能来学习表示，并利用内存模块来学习数据中动态变化的趋势，而无需标签。我们证明了有效的漂移处理的内存大小的理论界。此外，当到达流变得与训练数据充分不同时，我们允许快速再训练。此外，MemStream使用两种架构设计选择来抵抗内存中毒。
2023-01-30 cs.AI cs.LG
Request-and-Reverify: Hierarchical Hypothesis Testing for Concept Drift Detection with Expensive Labels
Nokia Bell Labs（诺基亚贝尔实验室）；University of Florida（佛罗里达大学）
常见分类模型的一个重要假设是数据的平稳性。然而，在现实世界的流媒体应用中，由特征和标签的联合分布表示的数据概念不是静止的，而是随着时间漂移的。概念漂移检测旨在检测这种漂移并调整模型，以减轻模型预测性能的任何恶化。不幸的是，大多数现有的概念漂移检测方法依赖于一个强大的和过于乐观的条件，真正的标签是立即为所有已经分类的实例。本文提出了一种新的分层假设测试框架，该框架采用请求-再验证策略，仅在必要时请求标签来检测概念漂移。在此框架下，分别提出了两种基于分类不确定性的层次假设检验（HHT-CU）和基于属性拟合优度的层次假设检验（HHT-AG）。在基准数据集的实验中，我们的方法表现出压倒性的优势，超过最先进的无监督漂移检测器。更重要的是，当我们使用更少的标签时，我们的方法甚至优于DDM（广泛使用的监督漂移检测器）。
2018-06-28 cs.AI cs.LG stat.ML
QSMVM: QoS-aware and social-aware multimetric routing protocol for video-streaming services over MANETs
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；University of Vigo（维戈大学）
本研究针对MANET视频流服务的网络社交化需求，改进MMDSR协议，将关系强度（TS）社交度量纳入转发决策，在QoS不受显著影响的前提下提升路径信任水平，提出QSMVM多度量路由协议。
2023-12-12 cs.LG cs.NI
Real-Time Energy Pricing in New Zealand: An Evolving Stream Analysis
University of Waikato（怀卡托大学）；Victoria University of Wellington（惠灵顿维多利亚大学）；Télécom Paris（巴黎电信学院）；IP Paris（巴黎理工学院）
本文引入了来自新西兰EMI网站的新颖能源价格实时流数据集，以解决流回归学习任务的数据稀缺问题，并通过广泛的回归、概念漂移检测等实验验证了其效用。
2024-08-29 cs.AI cs.LG
A Graph-based Framework for Online Time Series Anomaly Detection Using Model Ensemble
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Nanjing Normal University（南京师范大学）
本文提出GDME框架，通过动态图结构和模型集成实现在线时间序列异常检测，实验显示其在检测性能和计算效率上均优于现有方法。
2026-01-04 cs.AI cs.LG
Real-time Drift Detection on Time-series Data
Advanced Applied AI Research（高级应用人工智能研究院）；Palo Alto Networks（帕洛阿尔托网络公司）
涉及时间序列数据的实际机器学习应用程序（例如用于主动检测异常行为的防火墙日志分析）涉及流数据的实时的分析。因此，我们需要更新ML模型，因为这些数据的统计特征可能会随着时间的推移而频繁变化。文献中探索的一种替代方法是，每当观察到模型准确性降低时，就使用更新的数据重新训练模型。然而，这些方法依赖于地面实况的近实时的可用性，这很少实现。此外，在季节性数据的应用中，时间概念漂移会受到季节性变化的干扰。在这项工作中，我们提出了一种称为无监督时间漂移检测器（UTDD）的方法，可以灵活地考虑季节性变化，在没有地面事实的情况下有效地检测时间序列数据中的时间概念漂移，并随后使我们的ML模型适应概念漂移，以实现更好的泛化。
2021-10-12 cs.LG
fSEAD: a Composable FPGA-based Streaming Ensemble Anomaly Detection Library
The University of Sydney（悉尼大学）
本文提出基于FPGA的流式集成异常检测库fSEAD，通过部分可重构区域、HLS和DFX实现可组合、可扩展的异常检测器集成，在四个数据集上相比CPU实现获得3到8倍加速。
2024-06-10 cs.AI cs.AR cs.LG
Early Concept Drift Detection via Prediction Uncertainty
Australian Artificial Intelligence Institute (AAII)（澳大利亚人工智能研究所（AAII））；University of Technology Sydney（悉尼科技大学）
本文提出基于预测不确定性的PU-index及其检测器PUDD，用于在错误率不变时早期检测概念漂移，理论证明其敏感性，并在合成和真实数据上验证有效性。
2024-12-15 cs.LG
Adaptive Model Pooling for Online Deep Anomaly Detection from a Complex Evolving Data Stream
UIUC（伊利诺伊大学厄巴纳-香槟分校）；KAIST（韩国科学技术院）；University of Vermont（佛蒙特大学）
数据流的在线异常检测对于许多应用程序的安全性至关重要，但由于物联网设备和基于云的基础设施的复杂和不断变化的数据流，它正面临着严峻的挑战。不幸的是，现有的方法对于这些挑战来说太短了;在线异常检测方法承担着处理复杂性的负担，而离线深度异常检测方法则受到不断变化的数据分布的影响。本文提出了一个在线深度异常检测框架ARCUS，它可以用任何基于自动编码器的深度异常检测方法来实例化。它处理复杂和不断变化的数据流使用自适应模型池的方法与两个新的技术：概念驱动的推理和漂移感知模型池更新;前者检测异常的组合模型最适合的复杂性，后者适应模型池动态地适应不断变化的数据流。在对10个高维和概念漂移的数据集进行的综合实验中，ARCUS将最先进的基于自动编码器的方法和最先进的流异常检测方法的流变体的异常检测精度分别提高了22%和37%。
2022-06-09 cs.AI cs.DB cs.LG
Resilient Class-Incremental Learning: on the Interplay of Drifting, Unlabelled and Imbalanced Data Streams
KIOS Research and Innovation Center of Excellence, University of Cyprus（希腊塞浦路斯大学KIOS研究中心）；Department of Electrical and Computer Engineering, University of Cyprus（塞浦路斯大学电气与计算机工程系）
SCIL通过整合自编码器和多层感知机，利用双损失策略和校正伪标签，有效应对数据漂移、无标签和类别不平衡问题，提升动态环境下的学习鲁棒性。
2026-02-10 cs.AI cs.LG
Risk-Calibrated Bayesian Streaming Intrusion Detection with SRE-Aligned Decisions
Independent Researcher（独立研究者）
提出一种结合BOCPD与SRE错误预算对齐阈值的风险校准流式入侵检测方法，在UNSW-NB15和CIC-IDS2017上优于无监督基线，提升精确率-召回率和校准性能。
2026-09-16 cs.CR cs.LG
Concept-Aware Denoising Graph Neural Network for Micro-Video Recommendation
Wuhan University（武汉大学）；Kuaishou Technology Co., Ltd.（快手科技有限公司）
最近，快手、抖音等微视频分享平台成为人们生活的主要信息来源。由于这些服务的大流量，短视频寿命和流媒体时尚，它已经变得越来越迫切，以提高现有的推荐系统，以适应这些挑战，在一个具有成本效益的方式。提出了一种新的概念感知去噪图神经网络（CONDE）微视频推荐方法。CONDE由三个阶段的图卷积过程组成，以获得用户和微视频表示：预热传播，图去噪和偏好细化。通过将用户节点与视频节点连接，以及将视频节点与从视频的字幕和评论中提取的相关联的概念节点连接，来构造异构三分图。为了解决图中的噪声信息，我们引入了面向用户的图去噪阶段，以提取更能反映用户偏好的子图。尽管本文的主要重点是微视频推荐，但我们也表明，我们的方法可以推广到其他类型的任务。因此，我们还进行了一个著名的公共电子商务数据集的实证研究。实验结果表明，建议CONDE实现显着更好的推荐性能比现有的国家的最先进的解决方案。
2021-09-28 cs.IR cs.LG
Time to Retrain? Detecting Concept Drifts in Machine Learning Systems
Concordia University（康科德大学）
针对机器学习系统因概念漂移导致性能下降的问题，本文提出模型无关的CDSeer检测方法，在减少99%标注下精确率提升57.1%，性能媲美全监督方法。
2025-08-03 cs.LG
Imbalanced Data Stream Classification using Dynamic Ensemble Selection
针对非平稳不平衡数据流中的概念漂移与类别重叠问题，提出融合数据预处理与动态集成选择的框架，并在多组人工漂移数据流上验证其显著提升分类准确率。
2023-09-28 cs.AI cs.LG
Learning Unbiased Cluster Descriptors for Interpretable Imbalanced Concept Drift Detection
School of Computer Science and Technology, Guangdong University of Technology（广东工业大学计算机科学与技术学院）；Department of Computer Science, Hong Kong Baptist University（香港 Baptist 大学计算机科学系）；Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China, Xiamen University（中国教育部多媒体可信感知与高效计算重点实验室，厦门大学）；School of Mathematics and Statistics, Guangdong University of Technology（广东工业大学数学与统计学院）
ICD3通过无偏的聚类描述符检测不平衡数据中的概念漂移，提高可解释性和鲁棒性。
2026-03-06 cs.AI cs.LG
Online Boosting Adaptive Learning under Concept Drift for Multistream Classification
University of Technology Sydney（悉尼科技大学）
针对多流分类中的概念漂移问题，提出在线提升自适应学习（OBAL）方法，通过双阶段机制自适应学习流间动态相关性，有效利用多源正向知识，提升目标流预测性能与稳定性。
2024-01-01 cs.AI cs.LG
Drift-Aware Variational Autoencoder-based Anomaly Detection with Two-level Ensembling
KIOS Research and Innovation Center of Excellence（基奥斯研究与创新中心）；University of Cyprus（塞浦路斯大学）；Department of Electrical and Computer Engineering（电气与计算机工程系）
本文提出VAE++ESDD方法，通过增量学习和双层集成，有效应对概念漂移问题，提升异常检测性能。
2026-02-13 cs.AI cs.LG
