Evaluating Real-time Anomaly Detection Algorithms - the Numenta Anomaly Benchmark
Numenta, Inc.(Numenta公司)
世界上的大部分数据都是流式的时间序列数据,其中异常在关键情况下提供了重要信息;在金融,IT,安全,医疗和能源等领域的例子比比皆是。然而,检测流数据中的异常是一项艰巨的任务,需要检测器实时的【形】处理数据,而不是批量处理数据,并在进行预测的同时进行学习。没有基准来充分测试和评分实时的【形】异常检测器的有效性。在这里,我们提出了Numenta Anomaly Benchmark(NAB),它试图提供一个受控的和可重复的开源工具环境,以测试和测量流数据上的异常检测算法。完美的检测器将尽快检测到所有异常,不会触发错误警报,处理各种领域的真实时间序列数据,并自动适应不断变化的统计数据。奖励这些特征在NAB中被正式化,使用为流数据设计的评分算法。NAB在具有标记的真实时间序列数据的基准数据集上评估检测器。我们提出了这些组件,并给出了几个开源的,商业使用的算法的结果和分析。NAB的目标是提供一个标准的开源框架,研究社区可以使用该框架比较和评估用于检测流数据中异常的不同算法。
2015-11-17 cs.AI cs.LG
Online anomaly detection using statistical leverage for streaming business process events
Ulsan National Institute of Science and Technology (UNIST)(蔚山国家科学技术研究所)
虽然最近在文献中出现了几种用于在离线设置中检测事件日志中的跟踪级异常的技术,但目前缺乏在线设置的这种技术。在线设置中的事件日志异常检测对于发现流程执行中的异常至关重要,一旦异常发生,就可以立即采取早期纠正措施。本文介绍了一种新的方法,事件日志异常检测的事件流,使用统计杠杆。杠杆作用已被广泛用于统计,以制定措施,以确定离群值,它已在本文中的事件流数据的特定场景。所提出的方法已在人工和真实事件流上进行了评估。
2021-03-01 cs.LG stat.CO
The Analysis of Online Event Streams: Predicting the Next Activity for Anomaly Detection
Utrecht University(乌得勒支大学)
流程挖掘中的异常检测主要关注流程执行中的异常情况或事件。由此产生的诊断用于提供防止欺诈行为的措施,以及获得用于改进流程合规性和安全性的建议。大多数现有的技术集中在检测离线设置中的异常情况。然而,为了及时识别潜在的异常并立即采取对策,有必要实时在线检测事件级异常。在本文中,我们提出了使用下一个活动预测方法来解决在线事件异常检测问题。更具体地说,我们研究了使用ML模型(如RF和XGBoost)和深度模型(如LSTM)来预测下一个活动的概率,并将预测的事件视为不太可能的异常。我们在在线环境中将这些预测异常检测方法与四种经典的无监督异常检测方法(例如隔离森林和LOF)进行了比较。我们的评估表明,使用ML模型的方法往往优于使用深度模型的方法,而这两种方法在检测异常事件方面都优于经典的无监督方法。
2022-03-17 cs.DB cs.LG
Fast and Multi-aspect Mining of Complex Time-stamped Event Streams
Osaka University(大阪大学);Fujitsu(富士通);RIKEN(理化学研究所)
本文提出 CubeScope 方法,用于在高阶张量事件流中高效挖掘 regimes 和 components 两类模式,并支持异常检测,在真实数据上验证了其准确性和速度优势。
2023-07-06 cs.AI cs.IT cs.LG
Trivial Graph Features and Classical Learning are Enough to Detect Random Anomalies
CNRS, LIP6 Sorbonne Université Paris, France(CNRS,LIP6,索邦大学,巴黎,法国);Efrei Research Lab Efrei Paris Panthéon-Assas Université Villejuif, France(Efrei研究实验室,Efrei巴黎Panthéon-Assas大学, Villejuif,法国)
本文提出利用平凡图特征和经典学习技术有效检测随机异常,具有低计算成本和高可解释性,为异常检测提供了新思路。
2026-03-02 cs.LG
Deep Learning Approach to Anomaly Detection in Enterprise ETL Processes with Autoencoders
Cornell University(康奈尔大学);The George Washington University(乔治华盛顿大学);University of Southern California(南加州大学);Washington University in St. Louis(圣路易斯华盛顿大学)
针对企业级ETL数据流异常问题,提出基于深度自编码器的检测方法,通过重构误差和潜在空间正则化约束捕获潜在分布模式,在AUC、ACC等指标上表现优越,为企业数据处理提供可靠支持。
2025-11-01 cs.LG
Real-Time Anomaly Detection in Video Streams
Paris 8 University(巴黎第八大学);U. Paris 8(巴黎第八大学);U. Strasbourg(斯特拉斯堡大学);U. Paris Est Créteil(巴黎东部克雷泰伊大学);U. Paris Saclay(巴黎萨克雷大学);U. Lyon 1(里昂第一大学);Othello(奥赛罗公司)
本研究针对视频流实时危险检测问题,提出结合时空分析的新方法,整合目标检测等技术并扩展可解释性技术,所提架构支持二/多分类,通过特定模型组合与专有数据集训练,实现灵活可靠的实时异常检测。
2024-11-29 cs.CV cs.LG
Detecting Log Anomalies with Multi-Head Attention (LAMA)
Huawei Technologies Co., Ltd(华为技术有限公司)
异常检测是一个重要的和具有挑战性的课题,已经在不同的研究领域进行了研究。在这项工作中,我们探讨的任务日志异常检测(特别是计算机系统日志和用户行为日志)通过分析日志的顺序信息。我们提出了LAMA,一个基于多头注意力的顺序模型来处理日志流作为模板活动(事件)序列。应用下一事件预测任务来训练用于异常检测的模型。大量的实证研究表明,该模型优于现有的日志异常检测方法,包括统计和深度学习方法,验证了该方法在学习日志数据序列模式方面的有效性。
2021-01-07 cs.CR cs.LG
ARES: Anomaly Recognition Model For Edge Streams
University of Calabria(卡塔尼娅大学);ICAR-CNR(ICAR-国家研究委员会);Revelis s.r.l.(Revelis公司);Artificial Intelligence Institute, University of Waikato, NZ(瓦卡托大学人工智能研究所);LTCI, Télécom Paris, Institut Polytechnique de Paris(LTCI,巴黎电信,巴黎理工学院)
ARES是一种用于边缘流的无监督异常检测框架,结合图神经网络和半空间树,通过潜在空间捕捉异常行为并高效隔离异常,适用于实时检测和不同领域的适应性。
2026-07-31 cs.LG
Isconna: Streaming Anomaly Detection with Frequency and Patterns
National University of Singapore(新加坡国立大学)
边流是动态网络的一种常见表示形式。它可以随着时间的推移而演变,不断添加新类型的节点或边。用于异常检测的现有方法依赖于边缘出现计数或比较在历史记录中发现的模式片段。在这项工作中,我们提出了Isconna,它侧重于边缘记录的频率和模式。突发检测组件以各个时间戳之间的异常为目标,而模式检测组件突出显示跨时间戳段的异常。这两个分量一起产生三个中间分数,其被聚合成最终异常分数。Isconna并不主动探索或维护模式片段;而是测量边缘记录的连续存在和不存在。Isconna算法是一种在线算法,它不保留原始的边记录信息,只在少量的count-min sketches(CMS)中保留统计值。Isconna的空间复杂度$O(rc)$由两个用户特定的参数确定,即CMS的大小。在最坏的情况下,Isconna的时间复杂度可以达到$O(rc)$,但它可以在实践中摊销。实验表明,Isconna在六个真实世界的数据集上的性能优于五个最先进的基于频率和/或模式的基线,这些数据集具有多达2000万条边缘记录。
2021-12-01 cs.AI cs.LG
CyberCScope: Mining Skewed Tensor Streams and Online Anomaly Detection in Cybersecurity Systems
SANKEN, Osaka University(大阪大学 SANKEN)
提出流式方法CyberCScope,通过混合偏斜无限与有限维分解处理高阶张量流,实现网络安全中多类型入侵的实时检测与特征总结。
2025-03-02 cs.AI cs.CR cs.LG
Time Series Anomaly Detection; Detection of anomalous drops with limited features and sparse examples in noisy highly periodic data
Google, Inc.(谷歌公司)
Google使用来自行业合作伙伴的连续数据流,以便向用户提供准确的结果。意外的流量下降可能是潜在问题的指示,也可能是需要采取补救措施的早期警告。检测这样的丢弃是不平凡的,因为流是可变的和有噪声的,在流量数据中具有大致规则的尖峰(以许多不同的形状)。我们研究了我们是否可以预测这些数据流中的异常的问题。我们的目标是利用机器学习和统计方法对周期性但有噪声的流量模式中的异常下降进行分类。由于我们没有大量的标记示例来直接应用监督学习进行异常分类,因此我们分两部分处理这个问题。首先,我们使用TensorFlow来训练我们的各种模型,包括DNN、RNN和LSTM,以执行回归并预测时间序列中的期望值。其次,我们创建了异常检测规则,将实际值与预测值进行比较。由于这个问题需要找到持续的异常,而不仅仅是数据中的短暂延迟或瞬间不活动,因此我们的两种检测方法专注于连续的活动部分,而不仅仅是单个点。我们尝试了模型和规则的多种组合,发现使用两种异常检测方法的交集被证明是检测几乎所有模型异常的有效方法。在这个过程中,我们还发现并非所有数据都符合我们的实验假设,因为一个数据流没有周期性,因此没有基于时间的模型可以预测它。
2017-08-11 cs.LG stat.ML
CALM: A Framework for Continuous, Adaptive, and LLM-Mediated Anomaly Detection in Time-Series Streams
Google(谷歌)
本文提出 CALM 框架,基于 Apache Beam 与 TimesFm,通过持续微调闭环和 LLM-as-a-Judge 语义筛选,使时间序列流异常检测适应概念漂移,并在 TSB-UAD 上提升多数数据集 ROC AUC。
2025-08-29 cs.LG
Sketch-Based Anomaly Detection in Streaming Graphs
TurboML;National University of Singapore(新加坡国立大学);Snap Inc.(Snap公司);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
针对动态图流中边与子图异常难以同时在线检测的问题,本文扩展 count-min sketch 以保留稠密子图结构,并提出4种常数内存与时间的在线算法,在4个真实数据集上超过现有基线。
2023-07-13 cs.AI cs.DS cs.LG
Deep Autoencoders with Value-at-Risk Thresholding for Unsupervised Anomaly Detection
IBM Research -- Ireland(IBM研究院——爱尔兰)
许多现实世界的监控和监视应用程序需要在流模型中运行非平凡的异常检测。我们考虑了一种增量学习方法,其中训练了一个正常的深度自动编码(DAE)模型,并同时用于检测异常。在异常检测中,我们利用一种新的阈值机制,基于风险价值(VaR)。我们将得到的卷积神经网络(CNN)与一些子空间方法进行比较,并在Changedetection网络上给出结果。
2019-12-09 cs.CV cs.LG eess.IV
Online Structural Change-point Detection of High-dimensional Streaming Data via Dynamic Sparse Subspace Learning
Peking University(北京大学);Virginia Tech(弗吉尼亚理工大学);Shanghai Jiao Tong University(上海交通大学)
高维流数据在许多领域变得越来越普遍。它们通常位于多个低维子空间中,并且由于模式转移或异常的发生,流形结构可能在时间尺度上突然改变。然而,以实时方式检测结构变化的问题还没有得到很好的研究。为了填补这一空白,我们提出了一种动态稀疏子空间学习方法在线检测高维流数据的结构变化点。提出了一种新的多结构变点模型,并研究了估计量的渐近性质。提出了一种基于贝叶斯信息准则和变点检测精度的惩罚系数整定方法。提出了一种有效的基于剪枝精确线性时间的在线优化和变点检测算法。通过几个仿真研究和一个真实的案例研究手势数据的运动跟踪所提出的方法的有效性证明。
2022-04-12 cs.LG stat.ML
Sentinel: Scheduling Live Streams with Proactive Anomaly Detection in Crowdsourced Cloud-Edge Platforms
College of Intelligence and Computing, Tianjin University(天津大学智能与计算学院);Faculty of Digital Economics and Managements, Tianjin University of Finance and Economics(天津财经大学数字经济与管理学院);College of Computer Science and Software Engineering, Shenzhen University(深圳大学计算机科学与软件工程学院)
本文提出Sentinel框架,通过两阶段预后调度范式实现主动异常检测,解决众包云边平台直播流调度中的异常问题,显著提升收入与调度速度并降低异常频率。
2025-05-29 cs.LG
In a Streaming World, Should You Stand Still? A Comprehensive Benchmark of Anomaly Detection in Streams
EDF R&D(法国电力集团研发部);ENS, PSL University, CNRS, Inria(巴黎高等师范学院,巴黎文理研究大学,法国国家科学研究中心,法国国家信息与自动化研究所);DI ENS, ENS, PSL University, CNRS, Inria(巴黎高等师范学院计算机科学系,巴黎高等师范学院,巴黎文理研究大学,法国国家科学研究中心,法国国家信息与自动化研究所)
本研究通过大规模统一基准比较流式与静态时间序列异常检测方法,发现静态方法在多数流式场景中显著更优,并提出了分布漂移数据集TSB-drift,揭示现有流式方法设计与实际需求间的关键差距。
2026-10-01 cs.AI cs.LG
Deep Graph Stream SVDD: Anomaly Detection in Cyber-Physical Systems
University of Central Florida(中佛罗里达大学)
我们的工作重点是网络物理系统中的异常检测。现有文献有三个局限性:(1)未能捕获系统异常中的长延迟模式;(2)忽略传感器连接的动态变化;(3)高维数据样本的诅咒。这些限制了现有作品的检测性能和实用性。为了解决这些问题,我们提出了一种新的方法,称为深度图流支持向量数据描述(SVDD)的异常检测。具体来说,我们首先使用一个Transformer来保存时间嵌入中的监控数据的短期和长期模式。然后,我们根据传感器类型聚类这些嵌入,并利用它们来估计各种传感器之间的连接变化,以构建一个新的加权图。将时态嵌入作为节点属性映射到新的图中,形成加权属性图。我们将图输入到变分图自动编码器模型中以学习最终的时空表示。最后,我们学习一个包含正常嵌入的超球体,并通过计算超球体和数据样本之间的距离来预测系统状态。大量的实验验证了我们的模型的优越性,它将F1分数提高了35.87%,AUC提高了19.32%,同时在训练和推理方面比最佳基线快了32倍。
2023-02-24 cs.LG
OEBench: Investigating Open Environment Challenges in Real-World Relational Data Streams
National University of Singapore(新加坡国立大学);University of California, Berkeley(加州大学伯克利分校);Paradigm Inc.(第四范式公司)
针对现有增量学习研究多基于合成数据集评估、缺乏真实关系数据流开放环境挑战验证的问题,本文提出OEBench基准,调研55条真实数据流证实开放环境挑战普遍存在,且现有算法应对不足,相关资源已开源。
2023-12-15 cs.DB cs.LG
Detection of Anomalies in a Time Series Data using InfluxDB and Python
水和环境数据的分析是许多智能水和环境系统应用的一个重要方面,其中来自这种分析的推断在决策中起着重要作用。通常,通过敏感传感器收集的这些数据可能由于不同的原因而异常,例如系统故障,传感器检测器故障等。无论其根本原因如何,这些数据都会严重影响后续分析的结果。本文演示了时间序列数据的数据清洗和准备,并进一步提出了成本敏感的机器学习算法作为一种解决方案,以检测时间序列数据中的异常数据点。以下型号:逻辑回归,随机森林,支持向量机已被修改,以支持成本敏感的学习,惩罚错误分类的样本,从而最大限度地减少总的错误分类成本。我们的结果表明,随机森林在预测正类(即异常)方面优于其他模型。应用预测模型改进技术(如数据过采样)似乎对随机森林模型几乎没有改进。有趣的是,通过递归特征消除,我们实现了更好的模型性能,从而减少了数据中的维度。最后,通过Influxdb和Kapacitor,数据被摄取并流传输,以生成新的数据点,从而进一步评估模型对未知数据的性能,这将有助于及早识别饮用水质量的不良变化,并使供水公司能够及时纠正大量的不良变化。
2020-12-15 cs.LG stat.ML
Real-Time Adaptive Anomaly Detection in Industrial IoT Environments
CIISE, Concordia University, Montréal, QC, Canada(Concordia大学);Ericsson Research, Lund, Sweden(爱立信研究);Computer Science Programme, University of Western Cape, Capetown, South Africa(南非开普敦大学计算机科学项目)
本文提出了一种基于多源预测模型和概念漂移适应的自适应异常检测方法,用于工业物联网环境中的实时异常检测,提升了检测准确率和系统可扩展性。
2026-01-06 cs.LG
Explainable Online Unsupervised Anomaly Detection for Cyber-Physical Systems via Causal Discovery from Time Series
University of Verona(维罗纳大学)
本文提出一种基于时间序列因果发现的网络物理系统在线无监督异常检测方法,通过学习正常因果图并评估实时数据中因果链接的持久性,不仅提升了训练效率和准确率,还实现了异常源的可解释识别。
2024-07-28 cs.LG cs.SY eess.SY
Anomaly Detection for an E-commerce Pricing System
Walmart Labs(沃尔玛实验室)
与实体店相比,在线零售商执行大量的价格更新。即使是一些错误定价的项目也会对业务产生重大影响,并导致客户信任的丧失。以自动实时方式早期检测异常是这种定价系统的重要组成部分。在本文中,我们描述了无监督和监督的异常检测方法,我们开发和部署的大型在线定价系统在沃尔玛。我们的系统可以检测批量和实时流媒体设置中的异常情况,并根据优先级和业务影响对标记的项目进行审查和操作。我们发现,拥有正确的架构设计对于促进大规模模型性能至关重要,而业务影响和速度是影响大规模系统生产环境中模型选择、参数选择和优先级排序的重要因素。我们使用真实世界的零售数据对测试集上各种方法的性能进行了分析,并将我们的方法全面部署到生产中。我们发现,我们的方法能够以高精度检测到最重要的异常。
2019-06-01 cs.LG stat.ML
Design of Explainability Module with Experts in the Loop for Visualization and Dynamic Adjustment of Continual Learning
University of Kassel(卡塞尔大学)
持续学习可以使神经网络通过在任务变化的场景中顺序地学习新任务来进化。然而,在我们将这种技术应用于现实世界的应用之前,在进一步的研究中应该克服两个普遍和相关的挑战。首先,从应用程序中的数据流中新收集的新奇内容可能包含对持续学习没有意义的异常。我们不应将其视为更新的新任务,而是必须过滤掉这些异常,以减少极高熵数据对收敛进程的干扰。其次,较少的努力已经投入到持续学习的可解释性的研究,这导致了缺乏透明度和可信度的更新神经网络。对持续学习的过程和结果进行详尽的解释,可以帮助专家进行判断和决策。因此,我们提出了一个可解释性模块的概念设计与专家在回路的基础上的技术,如降维,可视化和评价策略。这项工作旨在通过充分解释和可视化所识别的异常和更新的神经网络来克服上述挑战。通过该模块,专家可以在异常过滤、超参数动态调整、数据备份等方面更有信心地进行决策。
2022-02-14 cs.LG
RePAD: Real-time Proactive Anomaly Detection for Time Series
Norwegian University of Science and Technology(挪威科技大学);Simula Research Laboratory(Simula研究实验室)
在过去的十年中,许多异常检测方法已被引入到不同的领域,如网络监控,欺诈检测和入侵检测。然而,它们需要理解数据模式,并且通常需要很长的离线时间来为目标数据构建模型或网络。在没有人工干预和领域知识的情况下为流式时间序列提供实时的和主动的异常检测是非常有价值的,因为它大大减少了人工努力,并且使得能够在灾难性损坏、故障或其他有害事件发生之前采取适当的对策。然而,这一问题尚未得到很好的研究。为了解决这个问题,本文提出了RePAD,这是一种基于长短期记忆(LSTM)的流时间序列实时的主动异常检测算法。RePAD利用短期历史数据点来预测和确定即将到来的数据点是否是异常可能在不久的将来发生的迹象。通过随时间动态调整检测阈值,RePAD能够容忍时间序列中的微小模式变化,并主动或及时检测异常。基于从Numenta Anomaly Benchmark收集的两个时间序列数据集的实验表明,RePAD能够主动检测异常并在没有人为干预和领域知识的情况下实时的提供早期预警。
2023-01-09 cs.LG stat.ML
Unsupervised anomaly detection on cybersecurity data streams: a case with BETH dataset
RTU MIREA(俄罗斯技术大学密瑞亚)
针对网络安全数据流异常检测需求,本文基于BETH数据集测试三类Python流机器学习库的十种算法,评估其ROC-AUC与处理效率,筛选出潜力算法并指明后续研究方向。
2025-06-16 cs.CR cs.LG
Fast Re-Trainable Attention Autoencoder for Liquid Sensor Anomaly Detection at the Edge
University of California, Irvine(加利福尼亚大学欧文分校)
本文提出一种边缘可部署的注意力单类自编码器流程,仅用30分钟正常数据训练即可检测实验室液体传感器异常,模型约31 kB并在无AVX的x86设备上实现低于2秒推理,整体工作流一小时内完成,支持快速适配新液体或传感器。
2025-07-05 cs.LG
Weakly-Supervised Anomaly Detection in the Milky Way
Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室);University of California, Berkeley(加州大学伯克利分校);Rutgers University(罗格斯大学);SLAC National Accelerator Laboratory(SLAC国家加速器实验室);Bosch Research North America(博世北美研究院)
本文将弱监督异常检测方法 CWoLa 应用于 Gaia 十亿级恒星数据,在无标签和无天体物理先验的情况下识别冷恒星流,并成功检出模拟流与 GD-1。
2023-05-05 astro-ph.GA cs.LG hep-ph
RED-F: Reconstruction-Elimination based Dual-stream Contrastive Forecasting for Multivariate Time Series Anomaly Prediction
School of Computer Science (National Pilot Software Engineering School), Beijing University of Posts and Telecommunications(计算机学院(国家级试点软件工程学院),北京邮电大学);China Telecom Research Institute Beijing(中国电信研究院北京分院);Department of Computer Science, Missouri University of Science and Technology(计算机学院,密苏里科技大学)
RED-F通过重建-消除模型和双流对比预测模型,提升多变量时间序列异常预测的准确性与鲁棒性。
2026-01-12 cs.LG
Detecting Anomalies in Dynamic Graphs via Memory enhanced Normality
School of Computer Science Northwestern Polytechnical University Xi'an, China;School of Electrical Engineering \& Computer Science University of Electronic Science;School of Electrical Engineering \& Computer Science The University of Queensland Brisbane, Australia
针对动态图异常检测中现有方法存在的模式定位不准、时空模式未区分、计算成本高的问题,提出时空记忆增强图自编码器STRIPE,通过分离的时空记忆网络捕获正常模式原型,结合互注意力融合特征与图流重建实现检测,在六个基准数据集上取得AUC提升5.8%、训练速度提升4.62倍的效果。
2024-08-15 cs.AI cs.LG
Low Latency Anomaly Detection and Bayesian Network Prediction of Anomaly Likelihood
我们开发了一个有监督的机器学习模型,可以实时的检测系统中的异常。我们的模型将无限的数据流处理成时间序列,然后形成低延迟异常检测模型的基础。此外,我们扩展我们的初步目标,只是异常检测到同步异常预测。我们通过开发一个贝叶斯网络框架来解决这个非常具有挑战性的问题,该框架捕获了在我们方法的第一部分中校准的滞后回归量的参数信息,并使用该结构来学习局部条件概率分布。
2016-11-11 cs.LG stat.ML
Weakly-Supervised Anomaly Detection in Surveillance Videos Based on Two-Stream I3D Convolution Network
The University of Western Ontario(西安大略大学)
本文提出基于双流 I3D 卷积网络和多示例学习(MIL)的弱监督异常检测框架,通过排序机制处理视频片段,显著提升监控视频中异常检测的准确性与效率,减少对人工标注的依赖。
2024-11-13 cs.CV cs.LG
RadArnomaly: Protecting Radar Systems from Data Manipulation Attacks
Ben-Gurion University of the Negev(内盖夫本-古里安大学);IAI ELTA Systems(以色列航空工业公司埃尔塔系统公司)
雷达系统主要用于跟踪飞机、导弹、卫星和船只。在许多情况下,关于由雷达系统检测到的对象的信息被发送到外围消耗系统(诸如导弹系统或由操作员使用的图形用户界面)并由其使用。这些系统处理数据流,并根据收到的数据做出实时的操作决策。有鉴于此,雷达系统提供的信息的可靠性和可用性变得越来越重要。虽然网络安全领域一直在不断发展,但以前没有研究集中在雷达系统中的异常检测。在本文中,我们提出了一种基于深度学习的方法,用于检测雷达系统数据流中的异常。我们提出了一种新的技术,它以无监督的方式学习数字特征和分类特征的嵌入表示之间的相关性。所提出的技术,它允许在数据流中的关键字段的恶意操作的检测,是由一个定时间隔异常检测机制提出的检测消息丢弃尝试的补充。实际雷达系统数据被用来评估所提出的方法。我们的实验表明,该方法对各种数据流操纵攻击(平均检测率为88%,1.59%的误报)和消息丢弃攻击(平均检测率为92%,2.2%的误报)的高检测准确率。
2021-06-13 cs.CR cs.LG
Real-time and adaptive anomaly detection algorithm for cyclostationary models
Wrocław University of Science and Technology(弗罗茨瓦夫理工大学);AGH University(AGH大学);Brandenburg University of Technology(勃兰登堡工业大学)
本文提出PeriodicCALM,一种针对周期平稳数据流的实时异常检测框架,通过引入周期依赖性变化忽略规则脉冲,在模拟和真实压缩机振动信号上优于基线CALM,提升检测精度和训练效率。
2026-09-10 cs.LG stat.ME
Anomaly Detection at Scale: The Case for Deep Distributional Time Series Models
Amazon Research(亚马逊研究院)
本文介绍了一种用于检测时间序列数据中异常的新方法,主要应用于监控(微)服务和云资源的健康状况。在我们的方法中的主要新颖之处是,而不是建模的时间序列组成的真实值或向量的真实值,我们模型的时间序列的概率分布的真实值(或向量)。这种对概率分布时间序列的扩展允许该技术应用于常见场景,其中数据由进入服务的请求生成,然后以固定的时间频率聚合。我们的方法适合于流式异常检测,并可扩展到数百万个时间序列上的异常监测。我们展示了我们的方法在合成和公共真实世界数据上的优越准确性。在Yahoo Webscope数据集上,我们在4个数据集中的3个数据集中表现优于最先进的技术,并且我们表明,对于真实世界的数据集,我们的表现优于流行的开源异常检测工具,平均提高高达17%。
2020-07-30 cs.LG stat.ML
Federated Koopman-Reservoir Learning for Large-Scale Multivariate Time-Series Anomaly Detection
School of Computer Science, the University of Sydney(悉尼大学计算机科学学院);School of Computing, Kyung Hee University(庆熙大学计算机学院)
针对大规模分布式 MVTS 异常检测的异构与隐私挑战,提出无监督联邦框架 FedKO,融合 Koopman 理论与储备池计算,并以双层优化训练共享模型,实现更优检测及通信、内存开销降低。
2025-03-14 cs.DC cs.LG
From Load Tests to Live Streams: Graph Embedding-Based Anomaly Detection in Microservice Architectures
Amazon Prime Video(亚马逊Prime视频)
本文提出基于图嵌入的异常检测系统,通过无监督节点级图嵌入识别未被代表的服务,利用GCN-GAE学习结构表示并基于余弦相似度检测异常,展示出早期检测能力和合成异常注入框架的高精度与低误报率。
2026-04-14 cs.AI cs.LG cs.MM
MAD-GAN: Multivariate Anomaly Detection for Time Series Data with Generative Adversarial Networks
National University of Singapore(新加坡国立大学);University of California, Berkeley(加州大学伯克利分校);ST Electronics (Info Security) Pte Ltd(新科电子(信息安全)私人有限公司)
网络传感器和执行器在许多现实世界的系统,如智能建筑,工厂,发电厂和数据中心中的流行产生了大量的多变量时间序列数据,这些系统。丰富的传感器数据可以通过异常检测持续监测入侵事件。然而,传统的基于阈值的异常检测方法是不够的,由于这些系统的动态复杂性,而监督机器学习方法是无法利用大量的数据,由于缺乏标记的数据。另一方面,当前的无监督机器学习方法还没有充分利用系统中的多个变量(传感器/致动器)之间的时空相关性和其他依赖性来检测异常。在这项工作中,我们提出了一种无监督的多变量异常检测方法的基础上生成的对抗生成对抗网络(GANs)。我们提出的MAD-GAN框架不是独立地处理每个数据流,而是同时考虑整个变量集,以捕获变量之间的潜在相互作用。我们还充分利用生成器和生成器产生的GAN,使用一种新的异常分数称为DR分数检测异常的歧视和重建。我们已经使用从现实世界CPS收集的两个最近的数据集测试了我们提出的MAD-GAN:安全水处理(SWaT)和水分配(WADI)数据集。我们的实验结果表明,所提出的MAD-GAN是有效的报告异常所造成的各种网络入侵相比,在这些复杂的现实世界的系统。
2019-01-15 cs.LG stat.ML
NetBurst: Event-Centric Forecasting of Bursty, Intermittent Time Series
University of California, Santa Barbara(加州大学圣巴bara分校);Cisco Research(思科研究);Lawrence Berkeley National Laboratory(伯克利国家实验室);Northwestern University(西北大学)
针对网络遥测数据中罕见突发和长间隔低活动的“野性”统计特性,提出NetBurst事件中心管道,通过压缩低活动期、分离突发时序和幅度流学习统一表示,在预测误差、突发分布匹配和异常描述性上显著优于Chronos-2等基线。
2026-06-11 cs.LG cs.NI
A Novel Anomaly Detection Method for Multimodal WSN Data Flow via a Dynamic Graph Neural Network
Guilin University of Electronic Technology(桂林电子科技大学)
异常检测是通过分析无线传感器网络(WSN)数据流的时间和空间特征来判别系统异常的一种方法,是保证WSN可靠性的关键技术之一。目前,图神经网络(GNNs)已成为流行的最先进的方法进行异常检测的无线传感器网络数据流。然而,现有的基于GNNs的异常检测方法没有同时考虑WSN数据流的多节点、多模态、多时间等时空特征,严重影响了其有效性。针对多模态无线传感器网络数据流的异常检测问题,提出了一种新的异常检测模型。该模型利用3个高斯神经网络分别提取无线传感器网络数据流的时间特征、不同模态之间的相关性特征和传感器节点位置之间的空间特征。具体而言,首先,从每个传感器节点提取的时间特征和模态相关特征被融合成一个向量表示,该向量表示进一步与空间特征聚合,即,最后,对传感器网络节点的当前时间序列数据进行预测,并根据融合特征识别异常状态。在公开数据集上的仿真结果表明,该方法的F1值达到0.90,比具有长短期记忆(LSTM)的图卷积网络(GCN)的F1值提高了14.2%.
2022-02-19 cs.AI cs.LG
Harmful algal bloom forecasting. A comparison between stream and batch learning
Universidade da Coruña(拉科鲁尼亚大学);Centro de investigación CITIC(CITIC研究中心);University of A Coruña(拉科鲁尼亚大学);Instituto de Investigaciones Mariñas (IIM-CSIC)(海洋研究所(CSIC));Centro de Estudos do Ambiente e do Mar(环境与海洋研究中心);University of Aveiro(阿威罗大学)
本文针对有害藻华预测中历史数据受限和概念漂移问题,提出基于 CROCO 海洋模型输出的机器学习工作流,比较七种算法在批量与流式学习范式下的表现,发现可解释流式模型 DoME 在 3 天预测中平均 R2 达 0.77,效果最佳。
2024-02-20 cs.AI cs.LG
MAD: Self-Supervised Masked Anomaly Detection Task for Multivariate Time Series
GE Research(通用电气研究院)
在本文中,我们介绍了掩蔽异常检测(MAD),一个通用的自监督学习任务的多元时间序列异常检测。随着来自工业系统的传感器数据的可用性的增加,能够从多变量时间序列数据流中检测异常是非常重要的。由于在现实世界中的应用异常的稀缺性,大多数文献一直专注于建模的正常性。学习的正常表示可以增强异常检测,因为模型已经学会捕获某些关键的底层数据。一个典型的公式是学习预测模型,即,使用时间序列数据窗口来预测未来的数据值。在本文中,我们提出了另一种自监督学习任务。通过随机屏蔽一部分输入并训练模型来使用剩余的输入来估计它们,MAD是对传统的从左到右的下一步预测(NSP)任务的改进。我们的实验结果表明,MAD可以实现更好的异常检测率比传统的NSP方法时,使用完全相同的神经网络(NN)的基础模型,并可以修改运行速度NSP模型在测试时间在相同的硬件,从而使其成为一个理想的升级许多现有的基于NSP的NN异常检测模型。
2022-05-04 cs.AI cs.LG cs.NE
Lightweight Multi-scale Hierarchical Anomaly Detection and Localization for Geospatial Big Data Applications at the Edge
Mississippi State University(密西西比州立大学)
针对边缘端地理空间大数据实时异常检测的存储处理通信挑战,本文提出结合H3离散全球网格系统与多尺度下钻逻辑的轻量型方法,可降低99.7%计算开销,高效识别空间持续异常信号,提炼海量数据为可行动洞见。
2026-08-25 cs.LG cs.SY eess.SP