No Free Lunch But A Cheaper Supper: A General Framework for Streaming Anomaly Detection
Halmstad University（哈尔姆斯塔德大学）
近年来，在时间流数据中检测异常已经引起了越来越多的研究兴趣。在数据采掘界已经开发了多种算法，这些算法可以分为两类（即，一般性和特别性）。在大多数情况下，一般的方法假设一个尺寸适合所有的解决方案模型，其中单个异常检测器可以检测任何域中的所有异常。到目前为止，还没有一种通用方法被证明在不同的异常类型、用例和数据集上优于其他方法。在本文中，我们提出了SAFARI，制定了一个通用的框架，抽象和统一的基本任务流异常检测，它提供了一个灵活的和可扩展的异常检测过程，以克服一刀切的解决方案的局限性。SAFARI通过允许我们隔离不同算法的共享和独特特征对检测性能的影响，有助于促进更精细的算法比较。使用SAFARI，我们已经实现了各种异常检测器，并确定了一个研究差距，促使我们在这项工作中提出一种新的学习策略。我们对使用SAFARI组成的20个检测器进行了广泛的评估研究，并使用具有不同属性的真实世界基准数据集比较了它们的性能。结果表明，没有一个优越的检测器，以及为每一种情况下，证明我们的假设，“没有免费的午餐”在流异常检测的世界。最后，我们深入讨论了每种方法的优点和缺点，并得出一组结论，以指导未来的SAFARI用户。
2020-04-18 cs.AI cs.LG stat.ML
Collaborative Streaming Anomaly Detection with Interactive Explanations and Ensemble Consensus
GECAD, ISEP, Polytechnic of Porto（波尔图理工学院，ISEP，GECAD）；SISTRADE Software Consulting（SISTRADE软件咨询公司）
该系统通过异构检测器加权共识与替代模型解释，将人类分析师纳入决策循环，在工业数据流上实现稳健异常检测与可操作交互。
2026-09-22 cs.LG
Integrated Clustering and Anomaly Detection (INCAD) for Streaming Data (Revised)
University at Buffalo, State University of New York (SUNY)（纽约州立大学布法罗分校）
目前大多数基于聚类的异常检测方法使用评分模式和阈值来分类异常。这些方法通常针对具有“已知”数目的聚类的目标特定数据集。本文提供了一种流式聚类和异常检测算法，不需要严格的任意阈值的异常分数或知识的集群的数量，同时执行概率异常检测和聚类。这确保了集群形成不受异常数据的存在的影响，从而导致“正常与异常”行为的更可靠的定义。开发INCAD模型背后的动机和导致流模型的路径进行了讨论。
2019-11-01 cs.LG stat.ML
An Efficient Anomaly Detection Approach using Cube Sampling with Streaming Data
IIT Indore（印度理工学院印多尔分校）
异常检测在入侵检测、健康监测、故障诊断、传感器网络事件检测等领域都有着重要的应用。隔离森林（或iForest）方法是用于检测异常的众所周知的技术。然而，当处理动态流数据时，它是无效的，这在当今各种各样的应用领域中变得越来越普遍。在这项工作中，我们提出了一个有效的基于iForest的方法，使用立方体采样，是有效的流数据的异常检测扩展我们以前的工作。在初始阶段使用立方体抽样来选择接近平衡的样本，在保持效率的同时显著降低存储要求。在此之后，通过滑动窗口技术来解决数据的流性质，该技术生成连续的数据块以进行系统处理。本文的创新之处在于在iForest中应用Cube抽样并计算包含概率。所提出的方法在检测异常方面与现有的最先进的方法同样成功，需要显著更少的存储和时间复杂度。我们使用标准数据集对所提出的方法进行了实证评估，并证明它在ROC曲线下面积（AUC-ROC）方面优于传统方法，并且可以处理高维流数据。
2021-10-05 cs.LG
A Graph-based Framework for Online Time Series Anomaly Detection Using Model Ensemble
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Nanjing Normal University（南京师范大学）
本文提出GDME框架，通过动态图结构和模型集成实现在线时间序列异常检测，实验显示其在检测性能和计算效率上均优于现有方法。
2026-01-04 cs.AI cs.LG
PySAD: A Streaming Anomaly Detection Framework in Python
Imperial College London（伦敦帝国学院）；Bilkent University（比尔肯大学）
PySAD 是一个 Python 流式异常检测框架，通过统一架构实现有界内存、单遍处理和常数时间复杂度的实时检测，集成 17+ 算法并兼容 PyOD 和 scikit-learn。
2025-05-25 cs.LG stat.ML
Streaming Anomaly Detection
National University of Singapore（新加坡国立大学）
异常检测对于在无数系统中发现可疑行为至关重要。我们需要实时检测异常情况，即在收到数据后立即确定传入实体是否异常，以最大限度地减少恶意活动的影响并尽快开始恢复。因此，能够以流式方式检测异常的在线算法至关重要。我们首先提出了MIDAS，它使用一个计数最小的草图，以在线的方式检测动态图中的异常边缘，使用恒定的时间和内存。然后，我们提出了两个变体，MIDAS-R，它结合了时间和空间的关系，和MIDAS-F，其目的是过滤掉异常的边缘，以防止它们从负面影响的内部数据结构。然后，我们将计数最小草图扩展到高阶草图，以捕获图数据中的复杂关系，并将检测可疑稠密子图问题减少到在恒定时间内找到稠密子矩阵。使用这个草图，我们提出了四个流式方法来检测边缘和子图异常。接下来，我们将图形设置扩展到多方面数据。我们提出了MStream检测多方面数据流中可解释的异常。我们进一步提出了MStream-PCA，MStream-IB和MStream-AE，以纳入特征之间的相关性。最后，我们考虑多维数据流与概念漂移，并提出MemStream。MemStream利用去噪自动编码器的强大功能来学习表示，并利用内存模块来学习数据中动态变化的趋势，而无需标签。我们证明了有效的漂移处理的内存大小的理论界。此外，当到达流变得与训练数据充分不同时，我们允许快速再训练。此外，MemStream使用两种架构设计选择来抵抗内存中毒。
2023-01-30 cs.AI cs.LG
Correlated Anomaly Detection from Large Streaming Data
Drexel University（德雷塞尔大学）；Temple University（天普大学）；Amazon Inc.（亚马逊公司）
流数据的相关异常检测（CAD）是一种群体异常检测，是僵尸网络检测、金融事件检测、工业过程监控等实时数据采掘应用中的一项重要任务。在以往的研究中，这类检测的主要方法是通过计算相关矩阵的顶部特征值，例如Lanczos算法。然而，本文提出了大数据集的主分数退化现象，然后从数学和实践上证明，即使相关异常的数量随着数据大小以合理的速度增长，当前基于PS的方法也可能在大规模流数据上失败;在现实中，异常往往是数据的少数，并且这个问题可能会更严重。我们提出了一个框架，两个新的随机算法rPS和gPS更好地检测相关的各种相关强度的大型流数据的异常。实验表明，高和平衡的召回率和估计的准确性，我们的框架异常检测从一个大型的服务器日志数据集和美国股票每日价格数据集相比，直接的主要得分评估和其他一些最近的群体异常检测算法。此外，我们的技术显着提高了计算效率和可扩展性的主要得分计算。
2019-01-14 cs.LG stat.ML
Mahalanobis PatchCore: Covariance-Aware and Streaming-Compatible Industrial Anomaly Detection
Department of Engineering, University of Ferrara（费拉拉大学工程学院）
提出马氏距离 PatchCore，通过协方差估计和流式处理改进 PatchCore，在保持性能的同时降低峰值内存并提升工业检测精度。
2026-05-26 cs.AI cs.CV cs.LG
Anomaly detection and classification for streaming data using PDEs
McGill University（麦吉尔大学）；University of Minnesota（明尼苏达大学）
非支配排序，也被称为Pareto深度分析（PDA），被广泛用于多目标优化，最近发现在多准则异常检测的重要应用。最近，一个偏微分方程（PDE）连续极限被发现的非支配排序导致一个非常快速的近似排序算法，称为偏微分方程为基础的排名。在本文中，我们提出了一个快速的实时流版本的PDA算法的异常检测，利用PDE连续极限的计算优势。此外，我们推导出新的PDE连续极限排序点内的非支配层，并显示如何新的PDE可以用来分类异常的基础上，该标准更显着违反。我们还证明了基于偏微分方程的排名的统计收敛速度，并提出了合成和真实数据的数值实验结果。
2017-03-15 cs.CV cs.DB cs.LG
fSEAD: a Composable FPGA-based Streaming Ensemble Anomaly Detection Library
The University of Sydney（悉尼大学）
本文提出基于FPGA的流式集成异常检测库fSEAD，通过部分可重构区域、HLS和DFX实现可组合、可扩展的异常检测器集成，在四个数据集上相比CPU实现获得3到8倍加速。
2024-06-10 cs.AI cs.AR cs.LG
Binary Anomaly Detection in Streaming IoT Traffic under Concept Drift
National Institute of Informatics（日本国立信息机构）；Technical University of Munich（慕尼黑技术大学）
本研究针对概念漂移下的流式物联网流量二分类异常检测问题，对比批量与流式学习方法，证实基于树的流式算法在保证检测性能的同时可大幅降低计算成本，也指出现有数据集存在流量异构性不足的局限。
2025-10-31 cs.CR cs.LG
On the Runtime-Efficacy Trade-off of Anomaly Detection Techniques for Real-Time Streaming Data
MZ Inc.（MZ公司）
不断增长的数据量和速度，加上终端用户注意力的持续下降，突出了对实时分析的迫切需求。在这方面，异常检测作为一种应用程序以及验证数据保真度的手段起着关键作用。虽然异常检测的主题已经在许多学科中研究了100多年，例如但不限于天文学，统计学，制造业，计量经济学，市场营销，大多数现有技术不能像在实时数据流上那样使用。此外，生产数据集缺乏对性能的表征-实时性和准确性，使得模型选择非常具有挑战性。为此，我们提出了一个深入的分析，面向实时流数据，异常检测技术。考虑到实时性和准确性的要求，本文提出的分析应作为选择“最佳”异常检测技术的指导。据我们所知，这是异常检测技术的第一个特征，提出了非常不同的领域，使用生产数据集对应于广泛的应用领域。
2017-10-12 cs.IR cs.LG eess.SP
Online anomaly detection using statistical leverage for streaming business process events
Ulsan National Institute of Science and Technology (UNIST)（蔚山国家科学技术研究所）
虽然最近在文献中出现了几种用于在离线设置中检测事件日志中的跟踪级异常的技术，但目前缺乏在线设置的这种技术。在线设置中的事件日志异常检测对于发现流程执行中的异常至关重要，一旦异常发生，就可以立即采取早期纠正措施。本文介绍了一种新的方法，事件日志异常检测的事件流，使用统计杠杆。杠杆作用已被广泛用于统计，以制定措施，以确定离群值，它已在本文中的事件流数据的特定场景。所提出的方法已在人工和真实事件流上进行了评估。
2021-03-01 cs.LG stat.CO
Sketch-Based Anomaly Detection in Streaming Graphs
TurboML；National University of Singapore（新加坡国立大学）；Snap Inc.（Snap公司）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
针对动态图流中边与子图异常难以同时在线检测的问题，本文扩展 count-min sketch 以保留稠密子图结构，并提出4种常数内存与时间的在线算法，在4个真实数据集上超过现有基线。
2023-07-13 cs.AI cs.DS cs.LG
InQMAD: Incremental Quantum Measurement Anomaly Detection
MindLab（思维实验室）；Universidad Nacional de Colombia（哥伦比亚国立大学）
流异常检测是指在数据流中检测异常数据样本的问题。这个问题带来了经典和深度异常检测方法无法应对的挑战，例如概念漂移和持续学习。现有技术的流异常检测方法依赖于使用散列函数或最近邻的固定存储器，其可能无法像移动平均中那样约束高频值或移除无缝离群值，并且无法在端到端深度学习架构中进行训练。我们提出了一种新的增量异常检测方法，该方法基于随机傅立叶特征和量子测量机制以及可以被视为指数移动平均密度的密度矩阵进行连续密度估计。它可以处理潜在的无限数据，其更新复杂度是常数$O(1)$。针对12个最先进的流异常检测算法，使用12个流数据集的系统评价。
2022-10-11 cs.LG stat.ML
Hardware Architecture Proposal for TEDA algorithm to Data Streaming Anomaly Detection
Federal University of Rio Grande do Norte（里约热内卢联邦大学？不对，等下，Rio Grande do Norte是北里奥格兰德，对，Federal University of Rio Grande do Norte是北里奥格兰德联邦大学）；Federal Institute of Education, Science and Technology of Rio Grande do Norte（北里奥格兰德联邦教育、科学与技术学院）；University of Granada（格拉纳达大学）；Harvard University（哈佛大学）
实时数据的数量，如时间序列和流数据，今天可用的持续增长。能够在数据到达时对其进行分析可以带来巨大的附加值。然而，它也需要大量的计算工作和新的加速技术。作为一种可能的解决方案，本文提出了一种硬件架构的典型性和偏心数据分析（TEDA）算法实现现场可编程门阵列（FPGA）用于数据流异常检测。TEDA是基于一种新的方法，在数据流环境中的离群值检测。为了验证这些建议，提出的硬件的占用和吞吐量的结果。此外，还给出了位精度的仿真结果.本项目以Xilinx Virtex-6 xc 6vlx 240 t-1ff 1156为目标FPGA。
2020-03-08 cs.DC cs.LG eess.SP
IDK-S: Incremental Distributional Kernel for Streaming Anomaly Detection
IDK-S通过增量分布核方法实现流异常检测的高准确性和高效处理。
2025-12-05 cs.LG
Adaptive Model Pooling for Online Deep Anomaly Detection from a Complex Evolving Data Stream
UIUC（伊利诺伊大学厄巴纳-香槟分校）；KAIST（韩国科学技术院）；University of Vermont（佛蒙特大学）
数据流的在线异常检测对于许多应用程序的安全性至关重要，但由于物联网设备和基于云的基础设施的复杂和不断变化的数据流，它正面临着严峻的挑战。不幸的是，现有的方法对于这些挑战来说太短了;在线异常检测方法承担着处理复杂性的负担，而离线深度异常检测方法则受到不断变化的数据分布的影响。本文提出了一个在线深度异常检测框架ARCUS，它可以用任何基于自动编码器的深度异常检测方法来实例化。它处理复杂和不断变化的数据流使用自适应模型池的方法与两个新的技术：概念驱动的推理和漂移感知模型池更新;前者检测异常的组合模型最适合的复杂性，后者适应模型池动态地适应不断变化的数据流。在对10个高维和概念漂移的数据集进行的综合实验中，ARCUS将最先进的基于自动编码器的方法和最先进的流异常检测方法的流变体的异常检测精度分别提高了22%和37%。
2022-06-09 cs.AI cs.DB cs.LG
Autoencoder-based Anomaly Detection in Streaming Data with Incremental Learning and Concept Drift Adaptation
KIOS Research and Innovation Center of Excellence（KIOS卓越研究与创新中心）；University of Cyprus（塞浦路斯大学）
本文提出基于自编码器的增量学习与漂移检测方法strAEm++DD，用于流式数据异常检测，在严重类别不平衡下显著优于现有方法。
2023-09-05 cs.LG cs.SY eess.SY
PatchTrAD: A Patch-Based Transformer focusing on Patch-Wise Reconstruction Error for Time Series Anomaly Detection
INSA Rouen（鲁昂国立应用科学学院）；Univ Rouen（鲁昂大学）；Normandie Univ（诺曼底大学）
本文提出PatchTrAD，一种在重构框架下结合分块与Transformer编码器的时间序列异常检测模型，在多个基准上达到与前沿深度学习模型相当的检测性能，并提升推理效率。
2025-06-10 cs.AI cs.LG
Adaptive-GraphSketch: Real-Time Edge Anomaly Detection via Multi-Layer Tensor Sketching and Temporal Decay
Department of Computer Science Tennessee Technological University（计算机科学系 田纳西技术大学）
本文提出轻量级可扩展框架 ADAPTIVE-GRAPHSKETCH，结合多张量素描、Count-Min Sketch 与贝叶斯推断进行实时边异常检测，在多个数据集上超越现有基线，兼具高精度与高处理速度。
2025-09-15 cs.LG
Anomaly Detection in Big Data
Indian Institute of Technology Roorkee（印度理工学院鲁尔基分校）
异常被定义为系统不符合正常行为的状态。例如，核反应堆通道中的中子发射超过指定阈值是异常的。大数据是指\emph{high volume, streaming, heterogeneous, distributed}（通常是\emph{sparse}）的数据集。如今，大数据并不罕见。例如，根据互联网实时统计，每天发布的推文数量超过5亿条。由于数据爆炸的数据负载领域，传统的异常检测技术开发的小数据集上的大规模数据集的规模差。因此，我们采用另一种方法来解决大数据中的异常检测。从本质上讲，有两种方法可以在大数据中扩展异常检测。第一种是基于\emph{online}学习，第二种是基于\emph{distributed}学习。本文的目标是在有效检测异常的同时解决大数据问题。为此，本文首先以大数据的\emph{streaming}问题为研究对象，提出了被动攻击GMEAN（PAGMEAN）算法。虽然在线学习算法可以很好地扩展大量的数据点和维度，但当数据分布在多个位置时，它们无法处理数据;这在当今非常常见。因此，我们提出了使用ADMM的固有分布式异常检测算法。最后，我们提出了一个核电站数据异常检测的案例研究。
2022-03-03 cs.LG
Active Anomaly Detection via Ensembles
Washington State University（华盛顿州立大学）
在异常检测的关键应用中，包括计算机安全和欺诈预防，异常检测器必须可由分析人员配置，以最大限度地减少误报。配置异常检测器的一个重要方法是为少数实例提供真实标签。我们研究了标签有效的主动学习自动调整异常检测集成的问题，并作出了四个主要贡献。首先，我们提出了一个重要的见解异常检测器合奏自然适合主动学习。这种见解使我们能够将贪婪查询策略与不确定性采样联系起来，并对标签效率产生影响。其次，我们提出了一种新的形式主义，称为紧凑的描述来描述所发现的异常，并表明它也可以用来提高多样性的实例呈现给分析师没有损失的异常发现率。第三，我们提出了一种新的数据漂移检测算法，不仅检测漂移鲁棒，而且还允许我们采取纠正措施，以适应检测器的原则性方式。第四，我们提出了广泛的实验，以评估我们的见解和算法在批处理和流设置。我们的研究结果表明，除了发现显着更多的异常比国家的最先进的无监督基线，我们的主动学习算法下的流数据设置与批量设置具有竞争力。
2018-09-17 cs.LG stat.ML
RePAD: Real-time Proactive Anomaly Detection for Time Series
Norwegian University of Science and Technology（挪威科技大学）；Simula Research Laboratory（Simula研究实验室）
在过去的十年中，许多异常检测方法已被引入到不同的领域，如网络监控，欺诈检测和入侵检测。然而，它们需要理解数据模式，并且通常需要很长的离线时间来为目标数据构建模型或网络。在没有人工干预和领域知识的情况下为流式时间序列提供实时的和主动的异常检测是非常有价值的，因为它大大减少了人工努力，并且使得能够在灾难性损坏、故障或其他有害事件发生之前采取适当的对策。然而，这一问题尚未得到很好的研究。为了解决这个问题，本文提出了RePAD，这是一种基于长短期记忆（LSTM）的流时间序列实时的主动异常检测算法。RePAD利用短期历史数据点来预测和确定即将到来的数据点是否是异常可能在不久的将来发生的迹象。通过随时间动态调整检测阈值，RePAD能够容忍时间序列中的微小模式变化，并主动或及时检测异常。基于从Numenta Anomaly Benchmark收集的两个时间序列数据集的实验表明，RePAD能够主动检测异常并在没有人为干预和领域知识的情况下实时的提供早期预警。
2023-01-09 cs.LG stat.ML
Robust PCA for Anomaly Detection and Data Imputation in Seasonal Time Series
Quantmetry（Quantmetry公司）；ENSIIE（法国国立高等工业工程学校）；Université Paris Saclay（巴黎萨克雷大学）
我们提出了一个强大的主成分分析（RPCA）框架，以恢复低秩和稀疏矩阵的时间观测。我们开发了一个在线版本的批量时态算法，以处理更大的数据集或流数据。我们实证比较所提出的方法与不同的RPCA框架，并显示其在实际情况下的有效性。
2022-08-03 cs.LG stat.ML
Online Isolation Forest
Politecnico di Milano（米兰理工大学）；University of Waikato（怀卡托大学）
针对流式异常检测中离线方法需反复访问数据、在线方法依赖周期重训的问题，提出 Online-iForest 以持续跟踪数据分布，并在保持检测性能的同时显著提升效率。
2025-05-14 cs.AI cs.LG stat.ML
CLAD: Efficient Log Anomaly Detection Directly on Compressed Representations
Guangzhou University（广州大学）
CLAD是首个在压缩字节流上直接进行日志异常检测的深度学习框架，通过稀疏字节模式和多尺度偏差提取，实现高效检测并提升F1分数至0.9909。
2026-04-14 cs.DB cs.LG
Open Challenges in Time Series Anomaly Detection: An Industry Perspective
Microsoft（微软）
本文从行业视角指出当前时间序列异常检测研究定义脱离实际，基于云系统调查提出流式算法、人在回路、点过程、条件异常和群体分析等开放挑战，并呼吁开展理论与应用研究及构建新数据集和基准。
2025-02-08 cs.LG
CyberCScope: Mining Skewed Tensor Streams and Online Anomaly Detection in Cybersecurity Systems
SANKEN, Osaka University（大阪大学 SANKEN）
提出流式方法CyberCScope，通过混合偏斜无限与有限维分解处理高阶张量流，实现网络安全中多类型入侵的实时检测与特征总结。
2025-03-02 cs.AI cs.CR cs.LG
Exploring Block Anomaly Detection In HDFS Log Data Analysis
本研究针对HDFS日志人工异常检测复杂枯燥的问题，提出结合LLM-BiLSTM模型与Kafka流式管道的检测方案，实现HDFS块异常的快速准确检测。
2026-08-03 cs.DC cs.LG cs.SE
Structure-based Anomaly Detection and Clustering
本文提出多种基于结构的无监督异常检测与聚类方法，覆盖静态、流式数据及网络安全场景，在精度、效率等方面优于现有方法，部分已落地应用。
2025-05-19 cs.AI cs.CV cs.LG
Efficient Anomaly Detection via Matrix Sketching
Stanford University（斯坦福大学）；VMware Research（威睿研究院）
我们认为，在高维数据中使用流行的PCA异常分数发现异常的问题。用于计算这些分数的朴素算法显式地计算协方差矩阵的PCA，其在数据的维度中使用空间二次。我们给出了第一个流算法，使用的空间是线性或次线性的维度。我们证明一般结果表明，\emph{any}草图的矩阵，满足一定的运营商规范的保证，可以用来近似这些分数。我们实例化这些结果与强大的矩阵素描技术，如频繁的方向和随机投影，以获得有效和实用的算法，这些问题，我们验证了现实世界的数据集。我们的主要技术贡献是证明了这些测度计算中产生的算子的矩阵扰动不等式。
2018-11-27 cs.AI cs.LG stat.ML
Deep Autoencoders with Value-at-Risk Thresholding for Unsupervised Anomaly Detection
IBM Research -- Ireland（IBM研究院——爱尔兰）
许多现实世界的监控和监视应用程序需要在流模型中运行非平凡的异常检测。我们考虑了一种增量学习方法，其中训练了一个正常的深度自动编码（DAE）模型，并同时用于检测异常。在异常检测中，我们利用一种新的阈值机制，基于风险价值（VaR）。我们将得到的卷积神经网络（CNN）与一些子空间方法进行比较，并在Changedetection网络上给出结果。
2019-12-09 cs.CV cs.LG eess.IV
Dive into Time-Series Anomaly Detection: A Decade Review
Inria（法国国家信息与自动化研究所）；DI ENS（巴黎高等师范学院数字研究所）；PSL（巴黎文理研究大学）；CNRS（法国国家科学研究中心）；The Ohio State University（俄亥俄州立大学）；Université Paris Cité（巴黎西岱大学）；IUF（法国大学研究院）
本文综述了近十年时间序列异常检测研究，提出以过程为中心的分类法对现有方法进行系统归类，并通过文献元分析总结该领域的主要发展趋势。
2024-12-29 cs.AI cs.DB cs.LG
Real-Time Energy Pricing in New Zealand: An Evolving Stream Analysis
University of Waikato（怀卡托大学）；Victoria University of Wellington（惠灵顿维多利亚大学）；Télécom Paris（巴黎电信学院）；IP Paris（巴黎理工学院）
本文引入了来自新西兰EMI网站的新颖能源价格实时流数据集，以解决流回归学习任务的数据稀缺问题，并通过广泛的回归、概念漂移检测等实验验证了其效用。
2024-08-29 cs.AI cs.LG
Deep Baseline Network for Time Series Modeling and Anomaly Detection
Alibaba Group（阿里巴巴集团）
近年来，深度学习在时间序列中的应用越来越多。对于时间序列异常检测场景，如金融、物联网、数据中心运营等，时间序列通常显示出非常灵活的基线，这取决于各种外部因素。异常现象通过远离基线而显露出来。然而，检测并不总是容易的，由于一些挑战，包括基线偏移，缺乏标签，噪声干扰，流数据中的实时的检测，结果的可解释性等，在本文中，我们开发了一种新的深度架构，以正确地提取基线的时间序列，即深度基线网络（DBLN）。通过使用这种深度网络，我们可以轻松地定位基线位置，然后提供可靠和可解释的异常检测结果。在合成数据集和公开真实数据集上的实验结果表明，与现有方法相比，该算法具有更好的性能，具有良好的实际应用价值。
2022-10-09 cs.LG
MSTREAM: Fast Anomaly Detection in Multi-Aspect Streams
National University of Singapore（新加坡国立大学）；IIT Bombay（印度理工学院孟买分校）；Purdue University（普渡大学）；IIT Kanpur（印度理工学院坎普尔分校）
给定多方面数据设置中的条目流，即，条目具有多个维度，我们如何以无监督的方式检测异常活动？例如，在入侵检测设置中，现有的工作试图检测动态图流中的异常事件或边缘，但这不允许我们考虑每个条目的附加属性。我们的工作的目的是定义一个流多方面的数据异常检测框架，称为MSTREAM，它可以检测不寻常的组异常，因为它们发生，在一个动态的方式。MSTREAM具有以下特性：（a）它检测多方面数据中的异常，包括分类和数字属性;（b）它是在线的，因此在恒定的时间和恒定的内存中处理每个记录;（c）它可以捕获数据的多个方面之间的相关性。MSTREAM在KDDCUP 99、CICIDS-DoS、UNSW-NB 15和CICIDS-DDoS数据集上进行了评估，其性能优于最先进的基线。
2021-03-30 cs.AI cs.LG stat.ML
Isolation Mondrian Forest for Batch and Online Anomaly Detection
University of Waterloo（滑铁卢大学）；SoundHound；Facebook
我们提出了一种新的方法，命名为隔离蒙德里安森林（iMondrian森林），批量和在线异常检测。所提出的方法是一种新的混合隔离森林和蒙德里安森林，这是现有的方法，批量异常检测和在线随机森林，分别。iMondrian森林采用了隔离的思想，使用树中节点的深度，并在Mondrian森林结构中实现它。结果是一种新的数据结构，其可以在线方式接受流数据，同时用于异常检测。我们的实验表明，iMondrian森林在批处理设置中的性能大多优于隔离森林，并且与其他批处理和在线异常检测方法相比具有更好或相当的性能。
2020-08-27 cs.LG stat.ML
Anomaly Detection for Network Connection Logs
D. J. Sanghvi College of Engineering（D.J.桑格维工程学院）；European Organisation for Nuclear Research（欧洲核子研究组织）
我们利用基于ELK、Spark和Hadoop的流架构，以近乎实时的方式收集、存储和分析数据库连接日志。该系统使用无监督学习调查离群值;日志数据的广泛采用的聚类和分类算法，通过离群值的可视化突出每个模型中的细微变化。到达一个新的解决方案来评估未标记的，未经过滤的连接日志，我们提出了一种方法，可以外推到一个通用的系统，分析连接日志在一个大型的基础设施，包括数千个单独的节点，并产生数百行日志每秒。
2018-12-01 cs.DC cs.LG stat.ML
Unsupervised Anomaly Detection in Stream Data with Online Evolving Spiking Neural Networks
Warsaw University of Technology（华沙理工大学）；TECNALIA（泰克纳利亚）；University of the Basque Country (UPV/EHU)（巴斯克大学(UPV/EHU)）
流数据中的无监督异常发现是一个具有实际应用价值的研究课题。然而，在许多情况下，不容易收集具有标记的异常的足够训练数据用于异常检测器的监督学习，以便稍后部署它来识别流数据中的真实异常。因此，重要的是设计能够在不访问标记的训练数据的情况下正确地检测异常的异常检测器。我们的想法是适应在线进化脉冲神经网络（OeSNN）分类器的异常检测任务。因此，我们提供了一个在线进化的脉冲神经网络的无监督异常检测算法（OeSNN-UAD），它，不像OeSNN，工作在一个无监督的方式，不分离输出神经元到不相交的决策类。OeSNN-UAD使用我们提出的新的两步异常检测方法。此外，我们推导出OeSNN的神经元模型和输入层编码的新的理论性质，这使得我们的OeSNN-UAD方法能够更有效地检测异常。所提出的OeSNN-UAD检测器与Numenta Anomaly Benchmark和Yahoo Anomaly Datasets存储库中的流数据中的异常的最先进的无监督和半监督检测器进行了实验比较。我们的方法优于文献中提供的其他解决方案的情况下，从Numenta异常基准存储库的数据流。此外，在雅虎异常基准存储库的真实数据文件的情况下，OeSNN-UAD优于其他选定的算法，而在雅虎异常基准合成数据文件的情况下，它提供了有竞争力的结果，最近在文献中报道的结果。
2021-03-08 cs.AI cs.LG cs.NE
Interpretable Anomaly Detection with Mondrian P{ó}lya Forests on Data Streams
University of Warwick（华威大学）；University of Cambridge（剑桥大学）；Amazon（亚马逊）
大规模异常检测是一个极具挑战性和实用性的问题。当数据很大且高维时，很难检测出哪些观测结果不符合预期行为。最近的工作已经结合了（随机）$k$ \emph{d-trees}的变化，以总结异常检测的数据。然而，这些方法依赖于不容易解释的ad-hoc评分函数，使得难以评估检测到的异常的严重性或在没有标记的异常的情况下选择合理的阈值。为了解决这些问题，我们将这些方法置于一个概率框架中，我们称之为蒙德里安\Polya{}森林，用于估计生成数据的潜在概率密度函数，并使其比以前的工作具有更大的可解释性。此外，我们开发了一个内存效率的变种，能够在现代流媒体环境中运行。我们的实验表明，这些方法实现了最先进的性能，同时提供统计上可解释的异常分数。
2020-08-04 cs.LG stat.ML
SDOoop: Capturing Periodical Patterns and Out-of-phase Anomalies in Streaming Data Analysis
Institute of Telecommunications TU Wien（维也纳技术大学电信研究所）
本文提出 SDOoop 方法，通过扩展 SDO 流式版本保留数据结构的时间信息，以恒定时空复杂度检测流数据中的周期性模式与异相异常，并在入侵检测和自然科学数据上取得与最先进方法相当或更优的性能。
2024-09-04 cs.LG
Anomaly Detection Based on Isolation Mechanisms: A Survey
Deakin University（迪肯大学）；Macquarie University（麦考瑞大学）；Nanjing University（南京大学）
本文综述了基于隔离机制的无监督异常检测方法，分析其数据划分策略、异常评分函数等细节，探讨不同场景下的扩展应用，并指出开放挑战与未来方向。
2024-03-16 cs.LG
Sentinel: Scheduling Live Streams with Proactive Anomaly Detection in Crowdsourced Cloud-Edge Platforms
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学院）；Faculty of Digital Economics and Managements, Tianjin University of Finance and Economics（天津财经大学数字经济与管理学院）；College of Computer Science and Software Engineering, Shenzhen University（深圳大学计算机科学与软件工程学院）
本文提出Sentinel框架，通过两阶段预后调度范式实现主动异常检测，解决众包云边平台直播流调度中的异常问题，显著提升收入与调度速度并降低异常频率。
2025-05-29 cs.LG
ReRe: A Lightweight Real-time Ready-to-Go Anomaly Detection Approach for Time Series
Norwegian University of Science and Technology（挪威科技大学）；Simula Research Laboratory（西穆拉研究实验室）
异常检测是入侵检测、网络监控、系统健康监控、物联网医疗等领域的一个活跃的研究课题。然而，许多现有的异常检测方法需要人工干预或领域知识，并且可能具有较高的计算复杂度，从而阻碍了它们在现实世界场景中的适用性。因此，能够实时的【形】检测异常的轻量级和随时可用的方法是非常受欢迎的。这种方法可以很容易地和立即应用到任何商品机器上执行时间序列异常检测。这种方法可以及时提供异常警报，从而能够尽早采取适当的对策。考虑到这些目标，本文介绍了ReRe，这是一个实时的【形】准备去主动异常检测算法的流时间序列。ReRe采用两个轻量级的长短期记忆（LSTM）模型，基于短期历史数据点和两个长期自适应阈值来预测和联合确定即将到来的数据点是否异常。基于真实时间序列数据集的实验表明，ReRe算法在不需要人工干预或领域知识的情况下，具有良好的实时的【形】异常检测性能.
2022-12-04 cs.LG stat.ML
Real-Time Adaptive Anomaly Detection in Industrial IoT Environments
CIISE, Concordia University, Montréal, QC, Canada（Concordia大学）；Ericsson Research, Lund, Sweden（爱立信研究）；Computer Science Programme, University of Western Cape, Capetown, South Africa（南非开普敦大学计算机科学项目）
本文提出了一种基于多源预测模型和概念漂移适应的自适应异常检测方法，用于工业物联网环境中的实时异常检测，提升了检测准确率和系统可扩展性。
2026-01-06 cs.LG
Anomaly Detection at Scale: The Case for Deep Distributional Time Series Models
Amazon Research（亚马逊研究院）
本文介绍了一种用于检测时间序列数据中异常的新方法，主要应用于监控（微）服务和云资源的健康状况。在我们的方法中的主要新颖之处是，而不是建模的时间序列组成的真实值或向量的真实值，我们模型的时间序列的概率分布的真实值（或向量）。这种对概率分布时间序列的扩展允许该技术应用于常见场景，其中数据由进入服务的请求生成，然后以固定的时间频率聚合。我们的方法适合于流式异常检测，并可扩展到数百万个时间序列上的异常监测。我们展示了我们的方法在合成和公共真实世界数据上的优越准确性。在Yahoo Webscope数据集上，我们在4个数据集中的3个数据集中表现优于最先进的技术，并且我们表明，对于真实世界的数据集，我们的表现优于流行的开源异常检测工具，平均提高高达17%。
2020-07-30 cs.LG stat.ML
A Lightweight Concept Drift Detection and Adaptation Framework for IoT Data Streams
Western University（西安大略大学）
近年来，随着“智能技术”的日益普及，物联网（IoT）设备和系统的数量大幅激增。各种物联网服务和功能都基于物联网流数据的分析。然而，由于物联网系统的动态特性和物联网数据流不断变化的模式，物联网数据分析面临着概念漂移的挑战。在本文中，我们提出了一个自适应物联网流数据分析框架，用于基于优化的LightGBM和概念漂移适应的异常检测用例。提出了一种新的漂移自适应方法优化自适应滑动窗口（OASW），以适应在线物联网数据流的模式变化。在两个公共数据集上的实验表明，与其他最先进的方法相比，我们提出的自适应LightGBM模型具有较高的准确性和效率。所提出的自适应LightGBM模型可以在没有人为干预的情况下对物联网数据流进行连续学习和漂移适应。
2021-04-21 cs.AI cs.LG
An Efficient Outlier Detection Algorithm for Data Streaming
California State University, San Bernardino（加州州立大学圣贝纳迪诺分校）；John A. Paulson School of Engineering and Applied Sciences, Harvard University（哈佛大学约翰·A·保尔森工程与应用科学学院）；University of California, Riverside（加州大学河滨分校）
本文提出高效增量局部异常因子（EILOF）算法，仅计算新点的 LOF 分数而不更新现有点，在降低流式异常检测计算成本的同时，随数据量增加系统性地提升检测精度并优于 ILOF。
2025-01-02 cs.LG stat.AP stat.CO
Adaptive State-Space Mamba for Real-Time Sensor Data Anomaly Detection
本研究提出自适应状态空间Mamba（ASSM）框架，通过自适应门控机制动态调节隐状态更新，实现流式传感器数据的实时异常检测，在多数据集上性能优于现有基线，且可扩展至其他时间序列任务。
2025-07-29 cs.LG
Extending Isolation Forest for Anomaly Detection in Big Data via K-Means
York University（约克大学）；iSecurity Consulting Inc（iSecurity咨询公司）；Dapasoft Inc（Dapasoft公司）
工业信息技术（IT）基础设施往往容易受到网络攻击。为了确保工业环境中计算机系统的安全性，需要建立有效的入侵检测系统来监视网络物理系统（例如，计算机网络）进行恶意活动。本文旨在建立这样的入侵检测系统，以保护计算机网络免受网络攻击。更具体地说，我们提出了一种新的无监督机器学习方法，结合K-Means算法和隔离森林，用于工业大数据场景中的异常检测。由于我们的目标是为工业领域的大数据场景构建入侵检测系统，因此我们利用Apache Spark框架来实现我们提出的模型，该模型在Elasticsearch中存储的大型网络流量数据（约1.23亿网络流量实例）中进行了训练。此外，我们评估我们提出的模型上的实时流媒体数据，发现我们提出的系统可以用于实时异常检测在工业设置。此外，我们还解决了在大型数据集上训练模型时面临的不同挑战，并明确描述了如何解决这些问题。基于我们在现实世界网络流量数据中异常检测的不同用例中的经验评估，我们观察到我们提出的系统可以有效地检测大数据场景中的异常。最后，我们在几个学术数据集上评估了我们提出的模型，并与其他模型进行了比较，发现它提供了与其他最先进方法相当的性能。
2021-04-27 cs.AI cs.CR cs.LG
AnoF-Diff: One-Step Diffusion-Based Anomaly Detection for Forceful Tool Use
University of Michigan（密歇根大学）
AnoF-Diff 利用一步扩散模型提取力-力矩特征进行时间序列异常检测，在四个强力工具使用任务上相比现有方法具有更高 F1-score、AUROC 和噪声鲁棒性，并支持在线异常检测。
2025-09-18 cs.LG cs.RO
Beat the Counter First: A Baseline for Temporal-Graph Anomaly Detectors
该研究针对时序图异常检测，提出无参数的SimpleCount单特征基准，经多数据集实验表明其性能优于部分复杂模型且计算成本低，建议异常检测增益需结合计算成本与单特征基准评估。
2026-08-18 cs.LG
