Adaptive Model Pooling for Online Deep Anomaly Detection from a Complex Evolving Data Stream
UIUC(伊利诺伊大学厄巴纳-香槟分校);KAIST(韩国科学技术院);University of Vermont(佛蒙特大学)
数据流的在线异常检测对于许多应用程序的安全性至关重要,但由于物联网设备和基于云的基础设施的复杂和不断变化的数据流,它正面临着严峻的挑战。不幸的是,现有的方法对于这些挑战来说太短了;在线异常检测方法承担着处理复杂性的负担,而离线深度异常检测方法则受到不断变化的数据分布的影响。本文提出了一个在线深度异常检测框架ARCUS,它可以用任何基于自动编码器的深度异常检测方法来实例化。它处理复杂和不断变化的数据流使用自适应模型池的方法与两个新的技术:概念驱动的推理和漂移感知模型池更新;前者检测异常的组合模型最适合的复杂性,后者适应模型池动态地适应不断变化的数据流。在对10个高维和概念漂移的数据集进行的综合实验中,ARCUS将最先进的基于自动编码器的方法和最先进的流异常检测方法的流变体的异常检测精度分别提高了22%和37%。
2022-06-09 cs.AI cs.DB cs.LG
In a Streaming World, Should You Stand Still? A Comprehensive Benchmark of Anomaly Detection in Streams
EDF R&D(法国电力集团研发部);ENS, PSL University, CNRS, Inria(巴黎高等师范学院,巴黎文理研究大学,法国国家科学研究中心,法国国家信息与自动化研究所);DI ENS, ENS, PSL University, CNRS, Inria(巴黎高等师范学院计算机科学系,巴黎高等师范学院,巴黎文理研究大学,法国国家科学研究中心,法国国家信息与自动化研究所)
本研究通过大规模统一基准比较流式与静态时间序列异常检测方法,发现静态方法在多数流式场景中显著更优,并提出了分布漂移数据集TSB-drift,揭示现有流式方法设计与实际需求间的关键差距。
2026-10-01 cs.AI cs.LG
MemStream: Memory-Based Streaming Anomaly Detection
National University of Singapore(新加坡国立大学);IIT Bombay(印度理工学院孟买分校);Harvard University(哈佛大学)
在一个存在概念漂移的多维数据环境中,随着时间的推移,给定一个条目流,我们如何检测异常活动?大多数现有的无监督异常检测方法寻求以离线方式检测异常事件,并且需要大量的数据用于训练。这在现实生活中是不切实际的,因为我们以流的方式接收数据,并且事先不知道流的大小。因此,我们需要一种数据高效的方法,可以在线检测和适应不断变化的数据趋势或概念漂移。在这项工作中,我们提出了MemStream,一个流异常检测框架,使我们能够检测到不寻常的事件,因为它们发生的同时具有弹性的概念漂移。我们利用去噪自动编码器的功能来学习表示,并利用内存模块来学习数据中动态变化的趋势,而无需标签。我们证明了有效的漂移处理所需的最佳内存大小。此外,MemStream使用两种架构设计选择来抵抗内存中毒。实验结果表明,我们的方法相比,国家的最先进的流基线使用$2$合成数据集和$11$真实世界的数据集的有效性。
2022-03-04 cs.AI cs.LG
Expected Similarity Estimation for Large-Scale Batch and Streaming Anomaly Detection
University of Ulm(乌尔姆大学);Ravensburg-Weingarten University of Applied Sciences(拉芬斯堡-魏恩加腾应用科学大学);The University of Sydney(悉尼大学)
我们提出了一种新的算法异常检测非常大的数据集和数据流。该方法称为期望相似性估计(EXPoSE),是基于核的,能够有效地计算新数据点和规则数据分布之间的相似性。该估计被制定为一个再生核希尔伯特空间嵌入的内积,并没有假设的类型或形状的基础数据分布。我们证明了使用EXPoSE的离线(批量)学习可以在线性时间内完成,而在线(增量)学习每个实例和模型更新需要恒定的时间。此外,EXPoSE可以在恒定的时间内进行预测,而它只需要恒定的内存。此外,我们提出了不同的方法,概念漂移适应不断变化的数据流。在几个真实的数据集上,我们证明了我们的方法可以与最先进的异常检测算法竞争,同时比大多数其他方法快一个数量级。
2016-06-06 cs.AI cs.LG
InQMAD: Incremental Quantum Measurement Anomaly Detection
MindLab(思维实验室);Universidad Nacional de Colombia(哥伦比亚国立大学)
流异常检测是指在数据流中检测异常数据样本的问题。这个问题带来了经典和深度异常检测方法无法应对的挑战,例如概念漂移和持续学习。现有技术的流异常检测方法依赖于使用散列函数或最近邻的固定存储器,其可能无法像移动平均中那样约束高频值或移除无缝离群值,并且无法在端到端深度学习架构中进行训练。我们提出了一种新的增量异常检测方法,该方法基于随机傅立叶特征和量子测量机制以及可以被视为指数移动平均密度的密度矩阵进行连续密度估计。它可以处理潜在的无限数据,其更新复杂度是常数$O(1)$。针对12个最先进的流异常检测算法,使用12个流数据集的系统评价。
2022-10-11 cs.LG stat.ML
Interpretable Anomaly Detection with Mondrian P{ó}lya Forests on Data Streams
University of Warwick(华威大学);University of Cambridge(剑桥大学);Amazon(亚马逊)
大规模异常检测是一个极具挑战性和实用性的问题。当数据很大且高维时,很难检测出哪些观测结果不符合预期行为。最近的工作已经结合了(随机)$k$ \emph{d-trees}的变化,以总结异常检测的数据。然而,这些方法依赖于不容易解释的ad-hoc评分函数,使得难以评估检测到的异常的严重性或在没有标记的异常的情况下选择合理的阈值。为了解决这些问题,我们将这些方法置于一个概率框架中,我们称之为蒙德里安\Polya{}森林,用于估计生成数据的潜在概率密度函数,并使其比以前的工作具有更大的可解释性。此外,我们开发了一个内存效率的变种,能够在现代流媒体环境中运行。我们的实验表明,这些方法实现了最先进的性能,同时提供统计上可解释的异常分数。
2020-08-04 cs.LG stat.ML
Correlated Anomaly Detection from Large Streaming Data
Drexel University(德雷塞尔大学);Temple University(天普大学);Amazon Inc.(亚马逊公司)
流数据的相关异常检测(CAD)是一种群体异常检测,是僵尸网络检测、金融事件检测、工业过程监控等实时数据采掘应用中的一项重要任务。在以往的研究中,这类检测的主要方法是通过计算相关矩阵的顶部特征值,例如Lanczos算法。然而,本文提出了大数据集的主分数退化现象,然后从数学和实践上证明,即使相关异常的数量随着数据大小以合理的速度增长,当前基于PS的方法也可能在大规模流数据上失败;在现实中,异常往往是数据的少数,并且这个问题可能会更严重。我们提出了一个框架,两个新的随机算法rPS和gPS更好地检测相关的各种相关强度的大型流数据的异常。实验表明,高和平衡的召回率和估计的准确性,我们的框架异常检测从一个大型的服务器日志数据集和美国股票每日价格数据集相比,直接的主要得分评估和其他一些最近的群体异常检测算法。此外,我们的技术显着提高了计算效率和可扩展性的主要得分计算。
2019-01-14 cs.LG stat.ML
Evaluating Real-time Anomaly Detection Algorithms - the Numenta Anomaly Benchmark
Numenta, Inc.(Numenta公司)
世界上的大部分数据都是流式的时间序列数据,其中异常在关键情况下提供了重要信息;在金融,IT,安全,医疗和能源等领域的例子比比皆是。然而,检测流数据中的异常是一项艰巨的任务,需要检测器实时的【形】处理数据,而不是批量处理数据,并在进行预测的同时进行学习。没有基准来充分测试和评分实时的【形】异常检测器的有效性。在这里,我们提出了Numenta Anomaly Benchmark(NAB),它试图提供一个受控的和可重复的开源工具环境,以测试和测量流数据上的异常检测算法。完美的检测器将尽快检测到所有异常,不会触发错误警报,处理各种领域的真实时间序列数据,并自动适应不断变化的统计数据。奖励这些特征在NAB中被正式化,使用为流数据设计的评分算法。NAB在具有标记的真实时间序列数据的基准数据集上评估检测器。我们提出了这些组件,并给出了几个开源的,商业使用的算法的结果和分析。NAB的目标是提供一个标准的开源框架,研究社区可以使用该框架比较和评估用于检测流数据中异常的不同算法。
2015-11-17 cs.AI cs.LG
STREAM-VAE: Dual-Path Routing for Slow and Fast Dynamics in Vehicle Telemetry Anomaly Detection
STREAM-VAE通过双路径路由分离慢和快动态,提升车辆telemetry异常检测的鲁棒性。
2026-08-05 cs.AI cs.LG
Abuse and Fraud Detection in Streaming Services Using Heuristic-Aware Machine Learning
Netflix(网飞公司)
这项工作提出了一个欺诈和滥用检测框架流媒体服务建模用户流媒体行为。目标是发现异常和可疑事件,并通过创建描述用户行为的模型来扩展调查工作。我们研究了使用半监督以及监督的异常检测方法。在半监督方法中,通过仅利用一组经过验证的无异常数据样本,我们展示了使用一类分类算法以及自动编码器深度神经网络进行异常检测。在有监督的异常检测任务中,我们提出了一个所谓的统计感知的数据标记策略,用于创建标记的数据样本。我们执行二进制分类以及多类多标签分类任务,不仅用于检测异常样本,还用于识别与每个异常样本相关的潜在异常行为。最后,使用一个系统的特征重要性研究,我们提供了一套基本的功能,表征不同的流欺诈类别的见解。据我们所知,这是第一篇使用机器学习方法在真实世界规模的流媒体服务中进行欺诈和滥用检测的论文。
2022-03-04 cs.AI cs.LG
Unsupervised Anomaly Detection in Stream Data with Online Evolving Spiking Neural Networks
Warsaw University of Technology(华沙理工大学);TECNALIA(泰克纳利亚);University of the Basque Country (UPV/EHU)(巴斯克大学(UPV/EHU))
流数据中的无监督异常发现是一个具有实际应用价值的研究课题。然而,在许多情况下,不容易收集具有标记的异常的足够训练数据用于异常检测器的监督学习,以便稍后部署它来识别流数据中的真实异常。因此,重要的是设计能够在不访问标记的训练数据的情况下正确地检测异常的异常检测器。我们的想法是适应在线进化脉冲神经网络(OeSNN)分类器的异常检测任务。因此,我们提供了一个在线进化的脉冲神经网络的无监督异常检测算法(OeSNN-UAD),它,不像OeSNN,工作在一个无监督的方式,不分离输出神经元到不相交的决策类。OeSNN-UAD使用我们提出的新的两步异常检测方法。此外,我们推导出OeSNN的神经元模型和输入层编码的新的理论性质,这使得我们的OeSNN-UAD方法能够更有效地检测异常。所提出的OeSNN-UAD检测器与Numenta Anomaly Benchmark和Yahoo Anomaly Datasets存储库中的流数据中的异常的最先进的无监督和半监督检测器进行了实验比较。我们的方法优于文献中提供的其他解决方案的情况下,从Numenta异常基准存储库的数据流。此外,在雅虎异常基准存储库的真实数据文件的情况下,OeSNN-UAD优于其他选定的算法,而在雅虎异常基准合成数据文件的情况下,它提供了有竞争力的结果,最近在文献中报道的结果。
2021-03-08 cs.AI cs.LG cs.NE
Fast Wireless Sensor Anomaly Detection based on Data Stream in Edge Computing Enabled Smart Greenhouse
Qufu Normal University(曲阜师范大学);Weifang University of Science and Technology(潍坊科技学院);Nanjing University of Science and Technology(南京理工大学);Shandong First Medical University (Shandong Academy Of Medical Sciences)(山东第一医科大学(山东省医学科学院))
基于边缘计算的智能温室是物联网技术的代表性应用,它可以实时的监测环境信息,并利用这些信息进行智能决策。在此过程中,无线传感器数据的异常检测起着重要的作用。然而,传统的异常检测算法主要针对静态数据的异常检测,没有考虑无线传感器产生的数据流的无限性、相关性和概念漂移等固有特性,这给基于数据流的异常检测带来了很大的挑战,导致检测精度和效率较低。首先,数据流通常是快速生成的,这意味着它是无限的和巨大的,所以任何传统的离线异常检测算法,试图存储整个数据集或扫描数据集多次异常检测将耗尽内存空间。其次,不同数据流之间存在相关性,传统算法很少考虑这一点。第三,底层数据生成过程或数据分布可能会随时间而改变。因此,传统的异常检测算法如果不进行模型更新,将失去其有效性。针对这些问题,本文提出了一种基于局部敏感散列和时间窗技术的DLSHiForest方法,在实现准确高效检测的同时解决了这些问题。综合实验使用真实世界的农业温室数据集,以证明我们的方法的可行性。实验结果表明,我们的建议是切实可行的,在解决传统的异常检测的挑战,同时确保准确性和效率。
2021-07-28 cs.AI cs.LG eess.SP
Collaborative Streaming Anomaly Detection with Interactive Explanations and Ensemble Consensus
GECAD, ISEP, Polytechnic of Porto(波尔图理工学院,ISEP,GECAD);SISTRADE Software Consulting(SISTRADE软件咨询公司)
该系统通过异构检测器加权共识与替代模型解释,将人类分析师纳入决策循环,在工业数据流上实现稳健异常检测与可操作交互。
2026-09-22 cs.LG
Isconna: Streaming Anomaly Detection with Frequency and Patterns
National University of Singapore(新加坡国立大学)
边流是动态网络的一种常见表示形式。它可以随着时间的推移而演变,不断添加新类型的节点或边。用于异常检测的现有方法依赖于边缘出现计数或比较在历史记录中发现的模式片段。在这项工作中,我们提出了Isconna,它侧重于边缘记录的频率和模式。突发检测组件以各个时间戳之间的异常为目标,而模式检测组件突出显示跨时间戳段的异常。这两个分量一起产生三个中间分数,其被聚合成最终异常分数。Isconna并不主动探索或维护模式片段;而是测量边缘记录的连续存在和不存在。Isconna算法是一种在线算法,它不保留原始的边记录信息,只在少量的count-min sketches(CMS)中保留统计值。Isconna的空间复杂度$O(rc)$由两个用户特定的参数确定,即CMS的大小。在最坏的情况下,Isconna的时间复杂度可以达到$O(rc)$,但它可以在实践中摊销。实验表明,Isconna在六个真实世界的数据集上的性能优于五个最先进的基于频率和/或模式的基线,这些数据集具有多达2000万条边缘记录。
2021-12-01 cs.AI cs.LG
On the Runtime-Efficacy Trade-off of Anomaly Detection Techniques for Real-Time Streaming Data
MZ Inc.(MZ公司)
不断增长的数据量和速度,加上终端用户注意力的持续下降,突出了对实时分析的迫切需求。在这方面,异常检测作为一种应用程序以及验证数据保真度的手段起着关键作用。虽然异常检测的主题已经在许多学科中研究了100多年,例如但不限于天文学,统计学,制造业,计量经济学,市场营销,大多数现有技术不能像在实时数据流上那样使用。此外,生产数据集缺乏对性能的表征-实时性和准确性,使得模型选择非常具有挑战性。为此,我们提出了一个深入的分析,面向实时流数据,异常检测技术。考虑到实时性和准确性的要求,本文提出的分析应作为选择“最佳”异常检测技术的指导。据我们所知,这是异常检测技术的第一个特征,提出了非常不同的领域,使用生产数据集对应于广泛的应用领域。
2017-10-12 cs.IR cs.LG eess.SP
Concept Drift and Anomaly Detection in Graph Streams
Università della Svizzera italiana(瑞士意大利语大学);Politecnico di Milano(米兰理工大学);University of Exeter(埃克塞特大学)
图形表示提供了强大而直观的方法来描述众多应用领域中的数据。在这里,我们认为随机过程生成的图形,并提出了一种方法来检测这种过程的平稳性的变化。该方法是通用的,并考虑了一个过程中产生的属性图与一个可变数量的顶点/边,而不需要假设一对一的对应关系,在不同的时间步长的顶点之间。该方法通过将流的每个图嵌入到向量域中来起作用,其中可以容易地应用传统的多变量变化检测过程。我们通过证明几个理论结果来证明我们的建议的合理性。此外,我们提供了一个具体的实施方法,并评估其有效性的几个检测问题,涉及属性图代表生物分子和图纸。实验结果与合适的基线方法进行了对比,证明了我们的方法的有效性。
2018-02-09 cs.LG stat.ML
Anomaly and Change Detection in Graph Streams through Constant-Curvature Manifold Embeddings
Università della Svizzera italiana(意大利语区大学(瑞士提契诺大学));University of Exeter(埃克塞特大学);Politecnico di Milano(米兰理工大学)
将复杂的输入数据映射到合适的低维流形是机器学习中的常见过程。该步骤主要由于两个原因是有益的:(1)它降低了数据维度,以及(2)它提供了可能以方便的几何属性为特征的新的数据表示。欧几里得空间是迄今为止使用最广泛的嵌入空间,这要归功于它们的结构和大量可用的统一推理方法。然而,最近的研究表明,许多类型的复杂数据(例如,表示为图形的那些)实际上由非欧几里德几何更好地描述。在这里,我们研究如何嵌入图的常曲率流形(超球面和双曲流形)的能力,以检测属性图序列的变化的影响。所提出的方法包括将图形嵌入到几何空间中,并通过传统的数值流方法进行变化检测。空间的曲率是一个参数,我们学习它来重现原始应用程序相关图空间的几何形状。初步的实验结果表明,通过弯曲的流形,特别是变化和异常检测问题的图形表示的潜在能力。
2018-05-03 cs.LG stat.ML
A Graph-based Framework for Online Time Series Anomaly Detection Using Model Ensemble
Nanjing University of Aeronautics and Astronautics(南京航空航天大学);Nanjing Normal University(南京师范大学)
本文提出GDME框架,通过动态图结构和模型集成实现在线时间序列异常检测,实验显示其在检测性能和计算效率上均优于现有方法。
2026-01-04 cs.AI cs.LG
Anomaly Detection in Hierarchical Data Streams under Unknown Models
Cornell University(康奈尔大学);University of California, Davis(加利福尼亚大学戴维斯分校)
我们考虑的问题中检测大量的分层数据流中的几个目标。数据流被建模为具有未知和潜在重尾分布的随机过程。我们的目标是一个积极的推理策略,确定,顺序,收集样本的数据流,以尽量减少样本的复杂性下的可靠性约束。我们提出了一种主动推理策略,诱导有偏随机游走的树结构的层次结构的基础上的样本统计量的置信界。然后,我们根据搜索空间的大小(即,数据流的数量)和可靠性要求。结果发现应用在分层重击检测,嘈杂的群体测试,自适应采样的主动学习,分类和随机根查找。
2017-09-11 cs.LG
Federated Anomaly Detection over Distributed Data Streams
FEUP(波尔图大学工程学院);INESC TEC(葡萄牙国家能源与电网研究所);FCUP(波尔图大学理学院);FEP(波尔图大学经济学院)
例如,由于隐私立法和法规以及其他重要的道德问题,即使在高聚合水平上,电信网络数据的共享如今也受到高度限制。它导致数据分散在机构、地区和州之间,抑制了人工智能方法的使用,否则这些方法可以大规模利用数据。它需要建立一个平台来控制这些数据,建立模型或执行计算。在这项工作中,我们提出了一种方法来建立异常检测,联邦学习和数据流之间的桥梁。这项工作的首要目标是在分布式数据流上检测联邦环境中的异常。这项工作通过在异常检测的联邦学习设置中调整数据流算法,并通过提供一个强大的框架和在真实世界的分布式部署场景中演示实际可行性,补充了最先进的技术。
2022-05-17 cs.DC cs.LG
Online anomaly detection using statistical leverage for streaming business process events
Ulsan National Institute of Science and Technology (UNIST)(蔚山国家科学技术研究所)
虽然最近在文献中出现了几种用于在离线设置中检测事件日志中的跟踪级异常的技术,但目前缺乏在线设置的这种技术。在线设置中的事件日志异常检测对于发现流程执行中的异常至关重要,一旦异常发生,就可以立即采取早期纠正措施。本文介绍了一种新的方法,事件日志异常检测的事件流,使用统计杠杆。杠杆作用已被广泛用于统计,以制定措施,以确定离群值,它已在本文中的事件流数据的特定场景。所提出的方法已在人工和真实事件流上进行了评估。
2021-03-01 cs.LG stat.CO
An Efficient Anomaly Detection Approach using Cube Sampling with Streaming Data
IIT Indore(印度理工学院印多尔分校)
异常检测在入侵检测、健康监测、故障诊断、传感器网络事件检测等领域都有着重要的应用。隔离森林(或iForest)方法是用于检测异常的众所周知的技术。然而,当处理动态流数据时,它是无效的,这在当今各种各样的应用领域中变得越来越普遍。在这项工作中,我们提出了一个有效的基于iForest的方法,使用立方体采样,是有效的流数据的异常检测扩展我们以前的工作。在初始阶段使用立方体抽样来选择接近平衡的样本,在保持效率的同时显著降低存储要求。在此之后,通过滑动窗口技术来解决数据的流性质,该技术生成连续的数据块以进行系统处理。本文的创新之处在于在iForest中应用Cube抽样并计算包含概率。所提出的方法在检测异常方面与现有的最先进的方法同样成功,需要显著更少的存储和时间复杂度。我们使用标准数据集对所提出的方法进行了实证评估,并证明它在ROC曲线下面积(AUC-ROC)方面优于传统方法,并且可以处理高维流数据。
2021-10-05 cs.LG
Time Series Anomaly Detection; Detection of anomalous drops with limited features and sparse examples in noisy highly periodic data
Google, Inc.(谷歌公司)
Google使用来自行业合作伙伴的连续数据流,以便向用户提供准确的结果。意外的流量下降可能是潜在问题的指示,也可能是需要采取补救措施的早期警告。检测这样的丢弃是不平凡的,因为流是可变的和有噪声的,在流量数据中具有大致规则的尖峰(以许多不同的形状)。我们研究了我们是否可以预测这些数据流中的异常的问题。我们的目标是利用机器学习和统计方法对周期性但有噪声的流量模式中的异常下降进行分类。由于我们没有大量的标记示例来直接应用监督学习进行异常分类,因此我们分两部分处理这个问题。首先,我们使用TensorFlow来训练我们的各种模型,包括DNN、RNN和LSTM,以执行回归并预测时间序列中的期望值。其次,我们创建了异常检测规则,将实际值与预测值进行比较。由于这个问题需要找到持续的异常,而不仅仅是数据中的短暂延迟或瞬间不活动,因此我们的两种检测方法专注于连续的活动部分,而不仅仅是单个点。我们尝试了模型和规则的多种组合,发现使用两种异常检测方法的交集被证明是检测几乎所有模型异常的有效方法。在这个过程中,我们还发现并非所有数据都符合我们的实验假设,因为一个数据流没有周期性,因此没有基于时间的模型可以预测它。
2017-08-11 cs.LG stat.ML
Sentinel: Scheduling Live Streams with Proactive Anomaly Detection in Crowdsourced Cloud-Edge Platforms
College of Intelligence and Computing, Tianjin University(天津大学智能与计算学院);Faculty of Digital Economics and Managements, Tianjin University of Finance and Economics(天津财经大学数字经济与管理学院);College of Computer Science and Software Engineering, Shenzhen University(深圳大学计算机科学与软件工程学院)
本文提出Sentinel框架,通过两阶段预后调度范式实现主动异常检测,解决众包云边平台直播流调度中的异常问题,显著提升收入与调度速度并降低异常频率。
2025-05-29 cs.LG
Real-Time Anomaly Detection in Edge Streams
National University of Singapore(新加坡国立大学);Carnegie Mellon University(卡内基梅隆大学);KAIST(韩国科学技术院)
给定来自动态图的图边缘流,我们如何以在线方式为边缘分配异常分数,以检测异常行为,使用恒定的时间和内存?现有的方法旨在检测个别令人惊讶的边缘。在这项工作中,我们提出了MIDAS,它专注于检测微簇异常,或突然到达的可疑相似的边缘组,如锁步行为,包括拒绝服务攻击的网络流量数据。我们进一步提出MIDAS-F,以解决异常被纳入算法的内部状态的问题,创造一个“中毒”的效果,可以让未来的异常通过未被发现的。MIDAS-F引入了两个修改:1)我们修改了异常评分函数,旨在减少新到达的边缘的“中毒”效应; 2)我们引入了一个条件合并步骤,该步骤在每次滴答之后更新算法的数据结构,但仅当异常评分低于阈值时,也可以减少“中毒”效应。实验结果表明,MIDAS-F具有明显高于MIDAS的准确性。MIDAS具有以下特性:(a)它检测微簇异常,同时提供关于其假阳性概率的理论保证;(b)它是在线的,因此在恒定的时间和恒定的内存中处理每个边缘,并且还比最先进的方法更快地处理数据数量级;(c)它提供比最先进的方法高62%的ROC-AUC。
2022-04-25 cs.LG cs.SI stat.ML
Mahalanobis PatchCore: Covariance-Aware and Streaming-Compatible Industrial Anomaly Detection
Department of Engineering, University of Ferrara(费拉拉大学工程学院)
提出马氏距离 PatchCore,通过协方差估计和流式处理改进 PatchCore,在保持性能的同时降低峰值内存并提升工业检测精度。
2026-05-26 cs.AI cs.CV cs.LG
Explainable Anomaly Detection for Industrial IoT Data Streams
GECAD/LASI, Polytechnic of Porto(GECAD/LASI,葡萄牙波尔图理工学院);SISTRADE Software Consulting, S.A.(SISTRADE软件咨询公司)
本文提出一种结合无监督异常检测和人机协同学习的框架,用于工业物联网数据流的实时维护决策支持。
2025-12-09 cs.LG
Multi-Aspect Mining and Anomaly Detection for Heterogeneous Tensor Streams
SANKEN, The University of Osaka(SANKEN大学)
HeteroComp通过建模异构张量流的潜在群体和时序动态,实现对群体异常的高效检测。
2026-02-04 cs.LG
Structure-based Anomaly Detection and Clustering
本文提出多种基于结构的无监督异常检测与聚类方法,覆盖静态、流式数据及网络安全场景,在精度、效率等方面优于现有方法,部分已落地应用。
2025-05-19 cs.AI cs.CV cs.LG
fSEAD: a Composable FPGA-based Streaming Ensemble Anomaly Detection Library
The University of Sydney(悉尼大学)
本文提出基于FPGA的流式集成异常检测库fSEAD,通过部分可重构区域、HLS和DFX实现可组合、可扩展的异常检测器集成,在四个数据集上相比CPU实现获得3到8倍加速。
2024-06-10 cs.AI cs.AR cs.LG
Low Latency Anomaly Detection and Bayesian Network Prediction of Anomaly Likelihood
我们开发了一个有监督的机器学习模型,可以实时的检测系统中的异常。我们的模型将无限的数据流处理成时间序列,然后形成低延迟异常检测模型的基础。此外,我们扩展我们的初步目标,只是异常检测到同步异常预测。我们通过开发一个贝叶斯网络框架来解决这个非常具有挑战性的问题,该框架捕获了在我们方法的第一部分中校准的滞后回归量的参数信息,并使用该结构来学习局部条件概率分布。
2016-11-11 cs.LG stat.ML
Sketch-Based Anomaly Detection in Streaming Graphs
TurboML;National University of Singapore(新加坡国立大学);Snap Inc.(Snap公司);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
针对动态图流中边与子图异常难以同时在线检测的问题,本文扩展 count-min sketch 以保留稠密子图结构,并提出4种常数内存与时间的在线算法,在4个真实数据集上超过现有基线。
2023-07-13 cs.AI cs.DS cs.LG
Discovering Emerging Topics in Social Streams via Link Anomaly Detection
Institute of Industrial Science(产业技术研究所);The University of Tokyo(东京大学)
由于社交网络的快速增长,对新兴主题的检测现在重新受到关注。传统的基于词频的方法在这种情况下可能不合适,因为交换的信息不仅是文本,而且是图像、URL和视频。我们专注于这些网络的社会方面。也就是说,用户之间的链接是通过回复、提及和转发有意或无意地动态生成的。我们提出了一个概率模型的社交网络用户的提及行为,并建议检测一个新的主题的出现,通过该模型测量的异常。我们提出的提及异常分数与最近提出的基于顺序贴现归一化极大似然(SDNML)的变点检测技术相结合,或与Kleinberg的突发模型。聚集数百名用户的异常分数,我们表明,我们可以检测到新兴的主题,仅基于社交网络帖子中的回复/提及关系。我们展示了我们的技术在一些真实的数据集,我们从Twitter收集。实验结果表明,所提出的基于提及异常的方法可以检测新的主题至少早于传统的基于词频的方法,有时更早,当关键字是不明确的。
2011-10-13 cs.LG cs.SI physics.soc-ph
Binary Anomaly Detection in Streaming IoT Traffic under Concept Drift
National Institute of Informatics(日本国立信息机构);Technical University of Munich(慕尼黑技术大学)
本研究针对概念漂移下的流式物联网流量二分类异常检测问题,对比批量与流式学习方法,证实基于树的流式算法在保证检测性能的同时可大幅降低计算成本,也指出现有数据集存在流量异构性不足的局限。
2025-10-31 cs.CR cs.LG
Anomaly detection and classification for streaming data using PDEs
McGill University(麦吉尔大学);University of Minnesota(明尼苏达大学)
非支配排序,也被称为Pareto深度分析(PDA),被广泛用于多目标优化,最近发现在多准则异常检测的重要应用。最近,一个偏微分方程(PDE)连续极限被发现的非支配排序导致一个非常快速的近似排序算法,称为偏微分方程为基础的排名。在本文中,我们提出了一个快速的实时流版本的PDA算法的异常检测,利用PDE连续极限的计算优势。此外,我们推导出新的PDE连续极限排序点内的非支配层,并显示如何新的PDE可以用来分类异常的基础上,该标准更显着违反。我们还证明了基于偏微分方程的排名的统计收敛速度,并提出了合成和真实数据的数值实验结果。
2017-03-15 cs.CV cs.DB cs.LG
Online Isolation Forest
Politecnico di Milano(米兰理工大学);University of Waikato(怀卡托大学)
针对流式异常检测中离线方法需反复访问数据、在线方法依赖周期重训的问题,提出 Online-iForest 以持续跟踪数据分布,并在保持检测性能的同时显著提升效率。
2025-05-14 cs.AI cs.LG stat.ML
Active Anomaly Detection via Ensembles
Washington State University(华盛顿州立大学)
在异常检测的关键应用中,包括计算机安全和欺诈预防,异常检测器必须可由分析人员配置,以最大限度地减少误报。配置异常检测器的一个重要方法是为少数实例提供真实标签。我们研究了标签有效的主动学习自动调整异常检测集成的问题,并作出了四个主要贡献。首先,我们提出了一个重要的见解异常检测器合奏自然适合主动学习。这种见解使我们能够将贪婪查询策略与不确定性采样联系起来,并对标签效率产生影响。其次,我们提出了一种新的形式主义,称为紧凑的描述来描述所发现的异常,并表明它也可以用来提高多样性的实例呈现给分析师没有损失的异常发现率。第三,我们提出了一种新的数据漂移检测算法,不仅检测漂移鲁棒,而且还允许我们采取纠正措施,以适应检测器的原则性方式。第四,我们提出了广泛的实验,以评估我们的见解和算法在批处理和流设置。我们的研究结果表明,除了发现显着更多的异常比国家的最先进的无监督基线,我们的主动学习算法下的流数据设置与批量设置具有竞争力。
2018-09-17 cs.LG stat.ML
TRACE-C: Rank-Calibrated Relational Anomaly Detection for Multi-Stream Operational Telemetry
该研究针对多流运行遥测异常检测问题,提出TRACE-C秩校准检测器,经英国电网数据验证,可有效识别风暴等异常事件,同时明确了方法的解释限制。
2026-08-24 cs.LG stat.ML
CyberCScope: Mining Skewed Tensor Streams and Online Anomaly Detection in Cybersecurity Systems
SANKEN, Osaka University(大阪大学 SANKEN)
提出流式方法CyberCScope,通过混合偏斜无限与有限维分解处理高阶张量流,实现网络安全中多类型入侵的实时检测与特征总结。
2025-03-02 cs.AI cs.CR cs.LG
Efficient Anomaly Detection via Matrix Sketching
Stanford University(斯坦福大学);VMware Research(威睿研究院)
我们认为,在高维数据中使用流行的PCA异常分数发现异常的问题。用于计算这些分数的朴素算法显式地计算协方差矩阵的PCA,其在数据的维度中使用空间二次。我们给出了第一个流算法,使用的空间是线性或次线性的维度。我们证明一般结果表明,\emph{any}草图的矩阵,满足一定的运营商规范的保证,可以用来近似这些分数。我们实例化这些结果与强大的矩阵素描技术,如频繁的方向和随机投影,以获得有效和实用的算法,这些问题,我们验证了现实世界的数据集。我们的主要技术贡献是证明了这些测度计算中产生的算子的矩阵扰动不等式。
2018-11-27 cs.AI cs.LG stat.ML
CALM: A Framework for Continuous, Adaptive, and LLM-Mediated Anomaly Detection in Time-Series Streams
Google(谷歌)
本文提出 CALM 框架,基于 Apache Beam 与 TimesFm,通过持续微调闭环和 LLM-as-a-Judge 语义筛选,使时间序列流异常检测适应概念漂移,并在 TSB-UAD 上提升多数数据集 ROC AUC。
2025-08-29 cs.LG
GeoTrackNet-A Maritime Anomaly Detector using Probabilistic Neural Network Representation of AIS Tracks and A Contrario Detection
IMT Atlantique(大西洋国立高等矿业电信学校);CLS: Collect Localisation Satellites(CLS:卫星定位数据收集公司)
表示海上交通模式并从中检测异常是船舶监测和海上态势感知的关键。我们提出了一种新的方法-称为GeoTrackNet -海事异常检测AIS数据流。我们的模型利用国家的最先进的神经网络计划学习AIS的轨迹和一个contrario检测的概率表示检测异常事件。神经网络提供了一种新的手段来捕获血管行为中的复杂和异质模式,而\textit{a contrario}检测器考虑了学习的分布可能是位置相关的这一事实。一个真正的AIS数据集,包括超过420万AIS消息的实验表明,与国家的最先进的计划相比,所提出的方法的相关性。
2021-02-08 cs.AI cs.LG stat.ML
RePAD: Real-time Proactive Anomaly Detection for Time Series
Norwegian University of Science and Technology(挪威科技大学);Simula Research Laboratory(Simula研究实验室)
在过去的十年中,许多异常检测方法已被引入到不同的领域,如网络监控,欺诈检测和入侵检测。然而,它们需要理解数据模式,并且通常需要很长的离线时间来为目标数据构建模型或网络。在没有人工干预和领域知识的情况下为流式时间序列提供实时的和主动的异常检测是非常有价值的,因为它大大减少了人工努力,并且使得能够在灾难性损坏、故障或其他有害事件发生之前采取适当的对策。然而,这一问题尚未得到很好的研究。为了解决这个问题,本文提出了RePAD,这是一种基于长短期记忆(LSTM)的流时间序列实时的主动异常检测算法。RePAD利用短期历史数据点来预测和确定即将到来的数据点是否是异常可能在不久的将来发生的迹象。通过随时间动态调整检测阈值,RePAD能够容忍时间序列中的微小模式变化,并主动或及时检测异常。基于从Numenta Anomaly Benchmark收集的两个时间序列数据集的实验表明,RePAD能够主动检测异常并在没有人为干预和领域知识的情况下实时的提供早期预警。
2023-01-09 cs.LG stat.ML
A Multi-Step Comparative Framework for Anomaly Detection in IoT Data Streams
Alwasl University(阿尔瓦斯勒大学);Western University(西安大略大学)
针对物联网异常检测中预处理与模型交互研究不足的问题,提出多步比较框架,在IoTID20上评估三种算法,发现GBoosting准确率最高,为实际应用提供指导。
2025-05-22 cs.LG
Deep Graph Stream SVDD: Anomaly Detection in Cyber-Physical Systems
University of Central Florida(中佛罗里达大学)
我们的工作重点是网络物理系统中的异常检测。现有文献有三个局限性:(1)未能捕获系统异常中的长延迟模式;(2)忽略传感器连接的动态变化;(3)高维数据样本的诅咒。这些限制了现有作品的检测性能和实用性。为了解决这些问题,我们提出了一种新的方法,称为深度图流支持向量数据描述(SVDD)的异常检测。具体来说,我们首先使用一个Transformer来保存时间嵌入中的监控数据的短期和长期模式。然后,我们根据传感器类型聚类这些嵌入,并利用它们来估计各种传感器之间的连接变化,以构建一个新的加权图。将时态嵌入作为节点属性映射到新的图中,形成加权属性图。我们将图输入到变分图自动编码器模型中以学习最终的时空表示。最后,我们学习一个包含正常嵌入的超球体,并通过计算超球体和数据样本之间的距离来预测系统状态。大量的实验验证了我们的模型的优越性,它将F1分数提高了35.87%,AUC提高了19.32%,同时在训练和推理方面比最佳基线快了32倍。
2023-02-24 cs.LG
Robust PCA for Anomaly Detection and Data Imputation in Seasonal Time Series
Quantmetry(Quantmetry公司);ENSIIE(法国国立高等工业工程学校);Université Paris Saclay(巴黎萨克雷大学)
我们提出了一个强大的主成分分析(RPCA)框架,以恢复低秩和稀疏矩阵的时间观测。我们开发了一个在线版本的批量时态算法,以处理更大的数据集或流数据。我们实证比较所提出的方法与不同的RPCA框架,并显示其在实际情况下的有效性。
2022-08-03 cs.LG stat.ML
Weakly-Supervised Anomaly Detection in Surveillance Videos Based on Two-Stream I3D Convolution Network
The University of Western Ontario(西安大略大学)
本文提出基于双流 I3D 卷积网络和多示例学习(MIL)的弱监督异常检测框架,通过排序机制处理视频片段,显著提升监控视频中异常检测的准确性与效率,减少对人工标注的依赖。
2024-11-13 cs.CV cs.LG
Hardware Architecture Proposal for TEDA algorithm to Data Streaming Anomaly Detection
Federal University of Rio Grande do Norte(里约热内卢联邦大学?不对,等下,Rio Grande do Norte是北里奥格兰德,对,Federal University of Rio Grande do Norte是北里奥格兰德联邦大学);Federal Institute of Education, Science and Technology of Rio Grande do Norte(北里奥格兰德联邦教育、科学与技术学院);University of Granada(格拉纳达大学);Harvard University(哈佛大学)
实时数据的数量,如时间序列和流数据,今天可用的持续增长。能够在数据到达时对其进行分析可以带来巨大的附加值。然而,它也需要大量的计算工作和新的加速技术。作为一种可能的解决方案,本文提出了一种硬件架构的典型性和偏心数据分析(TEDA)算法实现现场可编程门阵列(FPGA)用于数据流异常检测。TEDA是基于一种新的方法,在数据流环境中的离群值检测。为了验证这些建议,提出的硬件的占用和吞吐量的结果。此外,还给出了位精度的仿真结果.本项目以Xilinx Virtex-6 xc 6vlx 240 t-1ff 1156为目标FPGA。
2020-03-08 cs.DC cs.LG eess.SP
The Analysis of Online Event Streams: Predicting the Next Activity for Anomaly Detection
Utrecht University(乌得勒支大学)
流程挖掘中的异常检测主要关注流程执行中的异常情况或事件。由此产生的诊断用于提供防止欺诈行为的措施,以及获得用于改进流程合规性和安全性的建议。大多数现有的技术集中在检测离线设置中的异常情况。然而,为了及时识别潜在的异常并立即采取对策,有必要实时在线检测事件级异常。在本文中,我们提出了使用下一个活动预测方法来解决在线事件异常检测问题。更具体地说,我们研究了使用ML模型(如RF和XGBoost)和深度模型(如LSTM)来预测下一个活动的概率,并将预测的事件视为不太可能的异常。我们在在线环境中将这些预测异常检测方法与四种经典的无监督异常检测方法(例如隔离森林和LOF)进行了比较。我们的评估表明,使用ML模型的方法往往优于使用深度模型的方法,而这两种方法在检测异常事件方面都优于经典的无监督方法。
2022-03-17 cs.DB cs.LG
Online Transition-Based Feature Generation for Anomaly Detection in Concurrent Data Streams
University of Liverpool(利物浦大学)
本文提出TFGen在线特征生成技术,可处理多源并发活动数据流,高效生成带历史编码的特征,以解决异常检测中领域适配、全局结构发现等关键问题。
2023-08-17 cs.DB cs.LG
IDK-S: Incremental Distributional Kernel for Streaming Anomaly Detection
IDK-S通过增量分布核方法实现流异常检测的高准确性和高效处理。
2025-12-05 cs.LG
RED-F: Reconstruction-Elimination based Dual-stream Contrastive Forecasting for Multivariate Time Series Anomaly Prediction
School of Computer Science (National Pilot Software Engineering School), Beijing University of Posts and Telecommunications(计算机学院(国家级试点软件工程学院),北京邮电大学);China Telecom Research Institute Beijing(中国电信研究院北京分院);Department of Computer Science, Missouri University of Science and Technology(计算机学院,密苏里科技大学)
RED-F通过重建-消除模型和双流对比预测模型,提升多变量时间序列异常预测的准确性与鲁棒性。
2026-01-12 cs.LG
F-FADE: Frequency Factorization for Anomaly Detection in Edge Streams
Stanford University(斯坦福大学);Purdue University(普渡大学);Barracuda Networks(梭子鱼网络公司)
边缘流通常用于捕获动态网络中的交互,例如电子邮件、社交或计算机网络。边缘流中异常或罕见事件的检测问题有着广泛的应用。然而,由于缺乏标签,交互的高度动态性以及网络中时间和结构变化的纠缠,它带来了许多挑战。目前的方法在解决上述挑战和有效处理大量相互作用的能力方面是有限的。在这里,我们提出了F-FADE,边缘流中的异常检测的一种新方法,它使用了一种新的频率因子分解技术,有效地模拟节点对之间的相互作用的频率的时间演化分布。然后,基于观察到的每个传入交互的频率的可能性来确定异常。F-FADE能够在在线流媒体设置中处理具有时间和结构变化的各种异常,同时仅需要恒定的内存。我们在一个合成网络和六个真实动态网络上的实验表明,F-FADE实现了最先进的性能,并且可以检测到以前的方法无法发现的异常。
2021-02-05 cs.LG cs.SI
Dive into Time-Series Anomaly Detection: A Decade Review
Inria(法国国家信息与自动化研究所);DI ENS(巴黎高等师范学院数字研究所);PSL(巴黎文理研究大学);CNRS(法国国家科学研究中心);The Ohio State University(俄亥俄州立大学);Université Paris Cité(巴黎西岱大学);IUF(法国大学研究院)
本文综述了近十年时间序列异常检测研究,提出以过程为中心的分类法对现有方法进行系统归类,并通过文献元分析总结该领域的主要发展趋势。
2024-12-29 cs.AI cs.DB cs.LG