Time-Series Anomaly Detection Service at Microsoft
University of Chinese Academy of Sciences(中国科学院大学);Peking University(北京大学);Microsoft(微软)
大型公司需要实时的监控其应用程序和服务的各种指标(例如,页面浏览量和收入)。在微软,我们开发了一种时间序列异常检测服务,帮助客户持续监控时间序列,并及时提醒潜在的事件。在本文中,我们介绍了我们的异常检测服务的管道和算法,它被设计为准确,高效和通用。该流水线由三个主要模块组成,包括数据摄取、实验平台和在线计算。针对时间序列异常检测问题,提出了一种基于谱残差(SR)和卷积神经网络(CNN)的异常检测算法。我们的工作是第一次尝试借用SR模型从视觉显著性检测领域的时间序列异常检测。此外,我们创新性地将SR和CNN结合在一起,以提高SR模型的性能。与公共数据集和Microsoft生产数据的最新基线相比,我们的方法实现了卓越的实验结果。
2019-06-10 cs.LG stat.ML
DeepSTA: A Spatial-Temporal Attention Network for Logistics Delivery Timely Rate Prediction in Anomaly Conditions
BNRist, Department of Electronic Engineering, Tsinghua University(北京理工大学电子工程系,清华大学);JD Logistics(京东物流)
提出深度时空注意力模型 DeepSTA,通过异常时空学习模块和异常模式注意力模块解决异常条件下物流配送及时率预测问题,在真实数据集上 MAE 和 MSE 显著优于基线。
2025-05-01 cs.AI cs.LG
Contrastive Learning-Based Dependency Modeling for Anomaly Detection in Cloud Services
University of Pennsylvania(宾夕法尼亚大学);Georgia Institute of Technology(佐治亚理工学院);Northeastern University(东北大学);Trine University(特里恩大学)
本文提出融合对比学习与依赖图建模的云服务异常检测方法,通过图卷积聚合与时间一致性约束增强表示,实验证明在关键指标上优于现有方法且鲁棒性强。
2025-10-15 cs.LG
LLM Assisted Anomaly Detection Service for Site Reliability Engineers: Enhancing Cloud Infrastructure Resilience
IBM Infrastructure(IBM基础设施部);IBM Research(IBM研究院);IBM API Hub(IBM API中心);IBM TJ Watson Research Center(IBM TJ沃森研究中心)
本文提出一种带通用API的可扩展异常检测服务,利用LLMs理解云组件故障模式,提供多种时间序列异常检测算法,帮助SREs主动识别问题以减少停机时间,并计划扩展至零样本检测。
2025-01-28 cs.AI cs.LG
Refining the Optimization Target for Automatic Univariate Time Series Anomaly Detection in Monitoring Services
eBay Inc.(eBay公司)
针对工业时间序列异常检测需大量标注与手动调参的问题,提出含三类优化目标的自动参数优化框架,无需先验与标注即可适配多模型,在线及公开数据集实验均验证了其有效性。
2023-07-20 cs.LG
Twin Graph-based Anomaly Detection via Attentive Multi-Modal Learning for Microservice System
Anhui University of Technology(安徽工业大学);Ant Group(蚂蚁集团)
针对微服务系统单模态异常检测易漏报错报的问题,提出基于微服务系统孪生图的半监督方法MSTGAD,融合多模态特征并结合时空注意力transformer实现精准实时异常检测,代码已开源。
2023-10-07 cs.LG cs.SE
A2Log: Attentive Augmented Log Anomaly Detection
Technische Universität Berlin(柏林工业大学);Huawei(华为)
异常检测对于IT服务的可靠性和可服务性变得越来越重要。由于日志行记录IT服务执行期间的事件,因此它们是诊断的主要来源。因此,无监督方法提供了显着的好处,因为不是所有的异常都可以在训练时知道。现有的无监督方法需要异常的例子,以获得一个合适的决策边界所需的异常检测任务。这一要求造成了实际限制。因此,我们开发了A2Log,这是一种无监督的异常检测方法,包括两个步骤:异常评分和异常决策。首先,我们利用一个自我注意神经网络来执行每个日志消息的评分。其次,我们设置决策边界的基础上的数据增强的可用正常的训练数据。该方法在三个公开的数据集和一个行业数据集上进行了评估。我们表明,我们的方法优于现有的方法。此外,我们利用现有的异常的例子来设置最佳的决策边界,以获得强基线。我们表明,我们的方法,确定决策边界,而不利用异常的例子,可以达到分数的强基线。
2021-09-20 cs.LG
Abuse and Fraud Detection in Streaming Services Using Heuristic-Aware Machine Learning
Netflix(网飞公司)
这项工作提出了一个欺诈和滥用检测框架流媒体服务建模用户流媒体行为。目标是发现异常和可疑事件,并通过创建描述用户行为的模型来扩展调查工作。我们研究了使用半监督以及监督的异常检测方法。在半监督方法中,通过仅利用一组经过验证的无异常数据样本,我们展示了使用一类分类算法以及自动编码器深度神经网络进行异常检测。在有监督的异常检测任务中,我们提出了一个所谓的统计感知的数据标记策略,用于创建标记的数据样本。我们执行二进制分类以及多类多标签分类任务,不仅用于检测异常样本,还用于识别与每个异常样本相关的潜在异常行为。最后,使用一个系统的特征重要性研究,我们提供了一套基本的功能,表征不同的流欺诈类别的见解。据我们所知,这是第一篇使用机器学习方法在真实世界规模的流媒体服务中进行欺诈和滥用检测的论文。
2022-03-04 cs.AI cs.LG
Artificial Intelligence-Based Multiscale Temporal Modeling for Anomaly Detection in Cloud Services
University of Southern California(南加州大学);Carnegie Mellon University(卡内基梅隆大学);Northeastern University(东北大学);Rice University(莱斯大学);Trine University(特里恩大学)
针对云服务异常检测中时间建模和尺度感知特征表示的局限性,提出集成多尺度特征感知的Transformer架构方法,通过改进Transformer模块、多尺度特征构建与融合,在关键指标上优于基线模型且鲁棒性强。
2025-08-25 cs.LG
MELODY: Robust Semi-Supervised Hybrid Model for Entity-Level Online Anomaly Detection with Multivariate Time Series
AWS AI Labs(亚马逊人工智能实验室)
针对软件部署实体级异常检测中异构性、低延迟、定义模糊和标注有限等挑战,本文提出半监督混合模型MELODY,通过在线特征提取与深度单类模型实现异常检测,在真实云数据上F1相对提升7.6%至56.5%。
2024-06-06 cs.LG
A Survey of Time Series Anomaly Detection Methods in the AIOps Domain
Nankai University(南开大学);Microsoft Research(微软研究院)
本文综述了 AIOps 领域的时间序列异常检测方法,涵盖基于 KPIs 的监控分析、先进检测技术及利用 AI 自动化运营工作流的方案,并探讨了未来研究方向。
2023-08-01 cs.LG eess.SP
Practical data monitoring in the internet-services domain
大规模监控、异常检测和度量的根本原因分析是互联网服务行业的基本要求。为了满足持续监控数百万个指标的需求,大型互联网公司每天都在使用许多异常检测方法。然而,尽管在准确和有效地检测指标异常方面取得了重大进展,但指标数量的庞大规模意味着仍然存在大量需要调查的假警报。本文提出了一个可靠的大规模异常检测的框架。它比现有的方法更准确,并且可以轻松解释模型,从而实现互联网服务领域的实际数据监控。
2022-03-17 cs.CR cs.LG stat.AP
EventADL: Open-Box Anomaly Detection and Localization Framework for Events in Cloud-Based Service Systems
RMIT University(皇家墨尔本理工大学);Amazon Web Services(亚马逊网络服务)
本文提出EventADL框架,通过分析520个真实事件,利用事件语义模式和频率模式实现云服务系统的异常检测与根因定位,实验表明其在异常检测和根因定位上表现优异。
2026-05-01 cs.AI cs.LG
Anomaly-Flow: A Multi-domain Federated Generative Adversarial Network for Distributed Denial-of-Service Detection
Aeronautics Institute of Technology (ITA)(航空技术学院);Federal University of Minas Gerais(米纳斯吉拉斯联邦大学)
针对多域环境下现有机器学习DDoS检测方案部署受限的问题,提出结合联邦学习与生成对抗网络的Anomaly-Flow框架,在保护数据隐私的同时实现跨域协同检测,性能优于基线模型,为协同网络防御研究奠定基础。
2025-03-18 cs.CR cs.LG
Anomaly Detection for IoT Global Connectivity
2 University of W\"urzburg, Germany
本文提出了无监督异常检测解决方案ANCHOR,通过统计规则与机器深度学习模型分析被动信令流量,帮助大型全球漫游平台主动识别物联网连接问题,实现早期预警与解决。
2025-08-13 cs.AI cs.LG cs.NI
Sequential Deep Learning Architectures for Anomaly Detection in Virtual Network Function Chains
Handong Global University(韩东全球大学);POSTECH(浦项科技大学)
软件定义网络(SDN)和网络功能虚拟化(NFV)已经使得能够有效地提供网络服务。然而,他们也提出了新的任务来监控和确保虚拟化服务的状态,异常检测就是其中之一。已经有许多数据驱动的方法来实现用于服务功能链(SFC)中的虚拟网络功能的异常检测系统(ADS)。在本文中,我们的目标是为ADS开发更先进的深度学习模型。先前的方法使用诸如随机森林(RF)、梯度提升机(GBM)或深度神经网络(DNN)的学习算法。然而,这些模型没有利用数据中的顺序依赖性。此外,它们也受到限制,因为它们只能适用于它们接受培训的证监会环境。因此,我们提出了几个顺序的深度学习模型来学习具有可变长度的链中的虚拟网络功能(VNF)的时序模式和顺序模式。因此,所建议的模型提高了检测性能,并适用于具有不同数量的VNF的SFC。
2021-09-29 cs.LG cs.NI
Automatic Anomaly Detection in the Cloud Via Statistical Learning
Twitter Inc.(Twitter公司)
在诸如社交网络和web搜索的web服务的上下文中,性能和高可用性已经成为用户保持的越来越重要的驱动因素。外源和/或内源因素通常会导致异常,这使得在保持高可用性的同时提供高性能变得非常具有挑战性。假设面向服务的体系结构(SOA)通常具有大量的服务,每个服务都有一个大的度量集,异常的自动检测是不平凡的。虽然存在大量的异常检测的先前研究,现有的技术是不适用于社会网络数据的上下文中,由于在时间序列数据中的固有的季节性和趋势分量。为此,我们开发了两种新的统计技术,用于自动检测云基础设施数据中的异常。具体而言,这些技术采用统计学习来检测应用程序和系统度量中的异常。季节性分解用于过滤时间序列的趋势和季节性成分,然后使用稳健的统计指标-中位数和中位数绝对偏差(MAD)-以准确检测异常,即使在存在季节性峰值的情况下。我们从三个不同的角度证明了所提出的技术的有效性,即,容量规划、用户行为和监督学习。特别是,我们使用生产数据进行评估,并在每种情况下报告精度,召回率和F-测量。
2017-04-24 cs.LG
A Methodological Report on Anomaly Detection on Dynamic Knowledge Graphs
University of Rouen Normandy(鲁昂诺曼底大学)
本文针对 Kubernetes 微服务环境下的动态知识图谱异常检测问题,利用序列、层次和跨服务依赖三种图表示,测试多种机器学习与深度学习模型,并提出基于集成学习的方法,在 ISWC 2024 数据集上显著优于基线。
2024-11-11 cs.AI cs.LG
Graph Neural AI with Temporal Dynamics for Comprehensive Anomaly Detection in Microservices
Boston University(波士顿大学);Carnegie Mellon University(卡内基梅隆大学);University of California, San Diego(加利福尼亚大学圣迭戈分校);Hofstra University(霍夫斯特拉大学);University of Southern California(南加州大学)
本文提出一种结合图神经网络与门控循环单元的微服务异常检测与根因追踪统一框架,通过结构与时序联合建模以及节点和路径级异常评分,在多项指标上优于基线方法。
2025-11-05 cs.LG
ClouDens: Operational Context-Aware Anomaly Detection for Large-scale Cloud System Monitoring
Department of Computer Science, Gran Sasso Science Institute(计算机科学系,格兰萨索科学研究所);University of Bergen(卑尔根大学);Department of Computer Science, Toronto Metropolitan University(计算机科学系,多伦多 Metropolitan 大学);Department of Computer Science, Electrical Engineering and Mathematical Sciences, Western Norway University of Applied Sciences(计算机科学、电气工程和数学科学系,西挪威应用科学大学)
针对大规模云系统监控中异常检测难题,提出ClouDens框架。它利用遥测日志模式中的操作上下文属性,将高维日志划分子集,构建上下文感知图,采用时空图神经网络进行异常检测,在相关数据集上表现良好,为云系统监控异常检测提供指导。
2026-07-21 cs.LG cs.NI
PULL: Reactive Log Anomaly Detection Based On Iterative PU Learning
Technische Universität Berlin(柏林工业大学)
由于现代IT服务的复杂性,故障可能是多种多样的,发生在任何阶段,并且难以检测。因此,将异常检测应用于日志等监控数据,可以获得相关见解,以稳步改善IT服务并消除故障。然而,现有的异常检测方法,提供高精度往往依赖于标记的训练数据,这是耗时的,以获得在实践中。因此,我们提出了PADER,一个迭代日志分析方法的反应性异常检测的基础上估计的故障时间窗口提供的监测系统,而不是标记的数据。我们的基于注意力的模型使用了一种新的弱监督深度学习目标函数,该目标函数考虑了不平衡的数据,并对正样本和未知样本(PU学习)应用迭代学习策略来识别异常日志。我们的评估表明,PSTOM在三个不同的数据集上始终优于十个基准基线,并且即使在不精确的故障时间窗口内也能检测到F1分数超过0.99的异常日志消息。
2023-01-25 cs.LG
OrionBench: Benchmarking Time Series Generative Models in the Service of the End-User
MIT LIDS(麻省理工学院 LIDS);IRD ESPACE-DEV(法国发展研究所 ESPACE-DEV)
本文提出OrionBench,一个以终端用户为中心、持续维护的无监督时间序列异常检测基准测试框架,通过通用抽象、超参数标准化和频繁发布,解决了现有基准测试一次性执行且模型覆盖有限的问题。
2024-11-24 cs.LG
Anomaly Resilient Temporal QoS Prediction using Hypergraph Convoluted Transformer Network
本文提出基于超图卷积变换器网络的实时信任框架,解决服务质量预测中的数据稀疏和冷启动问题,通过捕捉高阶相关性提升预测精度。
2026-03-17 cs.LG
Anomaly Detection in Cloud Components
Ryerson University(瑞尔森大学)
云平台,在引擎盖下,由硬件和软件组件的复杂互连堆栈组成。这些组件中的每一个都可能发生故障,这可能导致停机。我们的目标是通过分析资源利用率指标来早期检测此类故障,从而提高云服务的质量。我们测试了基于Gated-Recurrent-Unit的自动编码器,使用似然函数检测各种多维时间序列中的异常,并实现了高性能。
2020-08-07 cs.DC cs.LG cs.SE
Sentinel: Scheduling Live Streams with Proactive Anomaly Detection in Crowdsourced Cloud-Edge Platforms
College of Intelligence and Computing, Tianjin University(天津大学智能与计算学院);Faculty of Digital Economics and Managements, Tianjin University of Finance and Economics(天津财经大学数字经济与管理学院);College of Computer Science and Software Engineering, Shenzhen University(深圳大学计算机科学与软件工程学院)
本文提出Sentinel框架,通过两阶段预后调度范式实现主动异常检测,解决众包云边平台直播流调度中的异常问题,显著提升收入与调度速度并降低异常频率。
2025-05-29 cs.LG
Unsupervised Anomaly Detection in Multivariate Time Series across Heterogeneous Domains
Ecole Polytechnique(巴黎综合理工学院)
针对AIOps场景中多元时间序列正常行为域偏移问题,提出基于域泛化的DIVAD方法学习域不变表示,在Exathlon等基准上F1分数显著提升。
2025-03-29 cs.LG
ARRQP: Anomaly Resilient Real-time QoS Prediction Framework with Graph Convolution
Indian Institute of Technology Indore(印度理工学院印多尔分校)
针对QoS预测中存在的离群点、数据稀疏、灰羊实例和冷启动等异常问题,提出融合图卷积、鲁棒损失与抗稀疏灰羊检测的ARRQP框架,在WS-DREAM数据集上实现了准确实时的预测。
2023-09-22 cs.LG
GAL-MAD: Towards Explainable Anomaly Detection in Microservice Applications Using Graph Attention Networks
Department of Computer Science and Engineering(计算机科学与工程系);University of Moratuwa(穆塔瓦大学)
本文提出GAL-MAD模型,结合图注意力网络和LSTM捕获微服务时空依赖,利用SHAP值定位异常根因,在RS-Anomic数据集上实现了高准确率与可解释的异常检测。
2025-04-26 cs.AI cs.LG cs.SE
FC-ADL: Efficient Microservice Anomaly Detection and Localisation Through Functional Connectivity
University of Sussex(苏塞克斯大学)
FC-ADL通过功能连接概念,高效检测和定位微服务异常,适用于大规模部署。
2025-11-30 cs.DC cs.LG cs.SE
Anomaly Detection at Scale: The Case for Deep Distributional Time Series Models
Amazon Research(亚马逊研究院)
本文介绍了一种用于检测时间序列数据中异常的新方法,主要应用于监控(微)服务和云资源的健康状况。在我们的方法中的主要新颖之处是,而不是建模的时间序列组成的真实值或向量的真实值,我们模型的时间序列的概率分布的真实值(或向量)。这种对概率分布时间序列的扩展允许该技术应用于常见场景,其中数据由进入服务的请求生成,然后以固定的时间频率聚合。我们的方法适合于流式异常检测,并可扩展到数百万个时间序列上的异常监测。我们展示了我们的方法在合成和公共真实世界数据上的优越准确性。在Yahoo Webscope数据集上,我们在4个数据集中的3个数据集中表现优于最先进的技术,并且我们表明,对于真实世界的数据集,我们的表现优于流行的开源异常检测工具,平均提高高达17%。
2020-07-30 cs.LG stat.ML
Proactive Network Maintenance using Fast, Accurate Anomaly Localization and Classification on 1-D Data Series
CableLabs(电缆实验室)
主动网络维护(PNM)是使用来自网络的数据来识别和定位网络故障的概念,其中许多或所有故障可能恶化为服务故障。网络故障和服务故障之间的分离提供了对网络中的问题的早期检测,以允许PNM发生。因此,PNM是一种健康管理(PHM)。一维数据序列异常的定位和分类问题已研究多年。我们引入了一种新的算法,该算法利用深度卷积神经网络来有效准确地检测数据序列上的异常和事件,在我们的评估中达到了97.82%的平均精度(mAP)。
2020-07-17 cs.CV cs.LG eess.SP
Automated Model Selection for Time-Series Anomaly Detection
Microsoft(微软)
时间序列异常检测是学术界和工业界的热门课题。许多公司需要监控其应用程序和服务的数千个时间信号,并需要及时获得潜在事件的即时反馈和警报。这项任务是具有挑战性的,因为时间序列的复杂特性,这是混乱的,随机的,往往没有适当的标签。由于缺乏标签,这禁止训练监督模型,并且单个模型很难适应不同的时间序列。在本文中,我们提出了一个解决方案来解决这些问题。我们提出了一个自动化的模型选择框架,自动找到最合适的检测模型与适当的参数输入数据。模型选择层是可扩展的,因为当新的检测器可用于服务时,它可以被更新而不需要太多的工作。最后,我们结合了一个定制的调整算法,以灵活地过滤异常,以满足客户的标准。在真实数据集上的实验表明了该方法的有效性。
2020-08-25 cs.LG eess.SP
RobustTAD: Robust Time Series Anomaly Detection via Decomposition and Convolutional Neural Networks
DAMO Academy, Alibaba Group Inc.(阿里巴巴集团达摩院)
阿里巴巴集团对大量不同的时间序列数据进行监控和管理,需要一种有效且可扩展的时间序列异常检测服务。在本文中,我们提出了RobustRisk,一个鲁棒的时间序列异常检测框架,通过集成强大的季节趋势分解和卷积神经网络的时间序列数据。季节趋势分解可以有效地处理时间序列中的复杂模式,同时大大简化了神经网络的结构,这是一个具有跳跃连接的编码器-解码器结构。该结构能够有效地从时间序列中提取多尺度信息,在异常检测中具有重要的应用价值。由于时间序列异常检测中标记数据的有限性,本文系统地研究了时域和频域的数据增强方法。利用时间序列异常检测问题的不平衡性,在损失函数中引入了基于标签的权重和基于值的权重。与广泛使用的基于预测的异常检测算法、基于分解的算法、传统的统计算法以及最近的基于神经网络的算法相比,RobustRobust在公共基准数据集上的性能明显更好。它被部署为公共在线服务,并广泛应用于阿里巴巴集团的不同业务场景。
2021-09-18 cs.LG eess.SP stat.AP
ChronoGraph: A Real-World Graph-Based Multivariate Time Series Dataset
Bitdefender;University of Bucharest(布加勒斯特大学);University of Stuttgart(斯图加特大学);International Max Planck Research School for Intelligent Systems(智能系统国际马克斯·普朗克研究学校)
ChronoGraph是一个基于图的多变量时间序列数据集,用于研究微服务系统中的结构感知预测和事件感知评估。
2025-11-27 cs.AI cs.LG
PUL-Inter-slice Defender: An Anomaly Detection Solution for Distributed Slice Mobility Attacks
Concordia University(康科德大学);Ericsson(爱立信)
针对5G网络切片间切换易遭分布式切片移动攻击的问题,提出结合长短期记忆自动编码器与K-Means聚类的PUL-Inter-Slice Defender异常检测方案,在污染训练数据下仍实现超98.50%的F1分数,性能优于同类方案。
2025-10-02 cs.LG
MOSPAT: AutoML based Model Selection and Parameter Tuning for Time Series Anomaly Detection
Meta
组织利用异常和变点检测算法来检测用户行为或服务可用性和性能的变化。许多现成的检测算法虽然有效,但不能容易地用于大型组织,其中数千名用户监视数百万个用例和具有不同时间序列特征和异常模式的指标。对于每个用例,算法和参数的选择都需要精确:手动调优无法扩展,自动调优需要基本事实,而这很少可用。在本文中,我们探讨MOSPAT,一个端到端的自动化的机器学习为基础的模型和参数选择的方法,结合生成模型,以产生标记的数据。我们的可扩展端到端系统允许大型组织中的个人用户根据其特定用例和数据特征定制时间序列监控,而无需异常检测算法的专业知识或费力的手动标记。我们对真实数据和合成数据的大量实验表明,该方法始终优于使用任何单一算法。
2022-05-24 cs.LG
Network Traffic Decomposition for Anomaly Detection
University of Sydney(悉尼大学);NICTA(澳大利亚国家信息与通信技术研究院)
在本文中,我们专注于检测网络异常,如拒绝服务(DoS)攻击和端口扫描在一个统一的方式。虽然在网络异常检测方面已经有了大量的研究,但目前最先进的方法只能以牺牲其他异常为代价来检测一类异常。我们将使用的关键工具是基于轨迹/汉克尔矩阵的谱分解,该矩阵能够检测所观察到的网络流量数据中存在的相关性之间和内部的偏差。对合成和真实网络痕迹的详细实验表明,与竞争方法相比,检测能力有了显着提高。在这个过程中,我们还解决了异常检测系统的鲁棒性问题的原则方式。
2014-03-02 cs.LG cs.NI
DeCorus: Hierarchical Multivariate Anomaly Detection at Cloud-Scale
IBM Research Haifa(IBM海法研究院)
多变量异常检测可以用于识别计算系统的大量遥测数据内的中断。然而,开发一个有效的异常检测器,可以为用户提供相关的信息是一个具有挑战性的问题。我们介绍我们的方法,分层多元异常检测称为DeCorus,统计多元异常检测器,实现线性复杂度。它扩展了标准的统计技术,以提高其在噪声信号中发现相关异常的能力,并利用系统操作员通常拥有的领域知识类型来计算系统级异常分数。我们描述了DeCorus的实现,DeCorus是一个在线日志异常检测工具,用于在云服务提供商处部署的网络设备系统日志消息。我们使用真实世界的数据集,包括$1.5$十亿网络设备系统日志消息和数百个事件票的特点的性能DeCorus和比较其能力,检测事件与五个替代异常检测器。虽然DeCorus优于其他异常检测器,但它们都受到我们数据集的挑战。我们将分享DeCorus如何在现场提供价值,以及我们计划如何提高其事件检测准确性。
2022-02-14 cs.DC cs.LG
Exploring Block Anomaly Detection In HDFS Log Data Analysis
本研究针对HDFS日志人工异常检测复杂枯燥的问题,提出结合LLM-BiLSTM模型与Kafka流式管道的检测方案,实现HDFS块异常的快速准确检测。
2026-08-03 cs.DC cs.LG cs.SE
Time Series Anomaly Detection with CNN for Environmental Sensors in Healthcare-IoT
University of Limerick(利默里克大学);Illinois State University(伊利诺伊州立大学)
本文提出在医疗保健物联网中使用CNN检测时间序列异常,并通过Cooja模拟环境传感器DDoS攻击,实现92%的检测准确率。
2024-07-30 cs.CR cs.CV cs.LG
Federated Semi-Supervised Classification of Multimedia Flows for 3D Networks
University of Pisa(比萨大学);CNR, Institute of Informatics and Telematics(意大利国家研究委员会信息学与电信研究所);CNR, Institute of Information Science and Technologies(意大利国家研究委员会信息科学与技术研究所)
自动业务分类在业务工程中正日益变得重要,因为加密传输信息(例如,在HTTP加密隧道之后)防止中间结点访问端到端分组报头。然而,该信息对于流量整形、网络切片和服务质量(QoS)管理、防止网络入侵和异常检测至关重要。3D网络提供多条路由,可以保证不同级别的QoS。因此,服务分类和分离对于通过适当的网络干线向每个业务子流保证所需的QoS水平是必不可少的。本文提出了一种联合特征选择和特征约简学习方案,以半监督协作方式对网络流量进行分类。3D网络的联合网关有助于增强网络流量的全局知识,以提高异常和入侵检测以及新流量的服务识别的准确性。
2022-05-01 cs.LG cs.NI
LogPurge: Log Data Purification for Anomaly Detection via Rule-Enhanced Filtering
Nankai University(南开大学);Huawei(华为);Tsinghua University(清华大学)
针对日志异常检测中干净训练数据获取成本高、现有自动清洗方法未结合日志特性的问题,提出规则增强的两阶段过滤净化框架LogPurge,在多数据集上实现了更优的异常净化与检测性能。
2025-11-18 cs.LG cs.SE
An Automated Data Engineering Pipeline for Anomaly Detection of IoT Sensor Data
University of Western Ontario(西安大略大学)
片上系统(SoC)技术、物联网(IoT)、云计算、人工智能等领域的快速发展,为改善和解决当前问题带来了更多可能。通过数据分析和使用机器学习/深度学习,可以学习底层模式,并根据从物联网传感器生成的海量数据中学到的知识做出决策。当与云计算相结合时,整个管道可以自动化,并且无需人工控制和操作。本文研究并提出了一种用于物联网传感器数据异常检测的自动化数据工程管道的实现。该过程涉及使用物联网传感器、树莓派、亚马逊网络服务(AWS)和多种机器学习技术,旨在为灵巧家庭安全系统识别异常情况。
2021-09-28 cs.CR cs.LG
Towards Explainable Anomaly Detection in Shared Mobility Systems
University of Padova(帕多瓦大学)
本文提出融合多源数据的可解释异常检测框架,结合孤立森林与DIFFI算法,在共享出行系统中实现站点级异常分析并揭示外部因素影响。
2025-07-21 cs.AI cs.LG
Anomaly Detection in a Large-scale Cloud Platform
IBM Canada Lab(IBM加拿大实验室);IBM(IBM公司);Ryerson University(瑞尔森大学)
云计算无处不在:越来越多的公司正在将工作负载迁移到云中。然而,这种普及率的上升对云服务提供商提出了挑战,因为他们需要有效地监控其不断增长的产品的质量。为了应对这一挑战,我们为IBM Cloud Platform设计并实现了一个自动化监控系统。该监控系统利用深度学习神经网络同时近实时检测多个平台组件中的异常。在运行系统一年后,我们观察到,所提出的解决方案将DevOps团队的时间和人力资源从手动监控数千个云组件中解放出来。此外,它通过降低云中断的风险来提高客户满意度。在本文中,我们将分享我们的解决方案架构、实施说明以及在监控系统发展过程中出现的最佳实践。其他研究人员和从业人员可以利用它们来构建复杂系统的异常检测器。
2021-02-11 cs.DC cs.LG cs.SE
Log-based Anomaly Detection of Enterprise Software: An Empirical Study
University of Calgary(卡尔加里大学);York University(约克大学)
本文在规模较小且结构松散的工业日志数据集上实证评估多种先进异常检测模型,分析数据泄漏、缺陷类型和训练集大小对模型有效性的影响。
2023-10-31 cs.LG cs.SE
Statistical learning for change point and anomaly detection in graphs
Leibniz University Hannover(汉诺威莱布尼茨大学);University of Göttingen(哥廷根大学)
在通信、工程和工业等不同的领域中,出现了可以用静态和动态图形表示的复杂系统。在分析动态网络结构时,一个有趣的问题是监测其发展中的变化。统计学习包括基于人工智能和传统统计学的方法,可以用来在这一研究领域取得进展。然而,大多数方法只适用于一个或另一个框架。在本文中,我们讨论了将这两个学科结合在一起的可能性,以创建增强的网络监控程序,重点是结合统计过程控制和深度学习算法的例子。随着网络数据的变化点和异常检测的介绍,我们建议监测救护车服务的响应时间,联合应用分位数函数值的控制图和图卷积网络。
2020-11-10 cs.LG stat.ME
Real-Time Adaptive Anomaly Detection in Industrial IoT Environments
CIISE, Concordia University, Montréal, QC, Canada(Concordia大学);Ericsson Research, Lund, Sweden(爱立信研究);Computer Science Programme, University of Western Cape, Capetown, South Africa(南非开普敦大学计算机科学项目)
本文提出了一种基于多源预测模型和概念漂移适应的自适应异常检测方法,用于工业物联网环境中的实时异常检测,提升了检测准确率和系统可扩展性。
2026-01-06 cs.LG
Argos: Agentic Time-Series Anomaly Detection with Autonomous Rule Generation via Large Language Models
University of Washington(华盛顿大学);Microsoft Research(微软研究院);Boston University(波士顿大学)
Argos利用大语言模型自主生成可解释、可复现的异常规则,通过多主体协作训练并部署,实现云基础设施时间序列异常检测,在公开和内部数据集上F1分数最高提升9.5%和28.3%。
2025-01-24 cs.DC cs.LG cs.MA
SD-CGAN: Conditional Sinkhorn Divergence GAN for DDoS Anomaly Detection in IoT Networks
SD-CGAN通过引入Sinkhorn分歧和合成数据增强技术,提升物联网边缘网络中DDoS异常检测的准确性和效率。
2025-11-28 cs.CR cs.LG
Label Augmentation via Time-based Knowledge Distillation for Financial Anomaly Detection
University of Alabama in Huntsville(阿拉巴马大学亨茨维尔分校);Columbia University(哥伦比亚大学)
检测异常对金融服务行业变得越来越重要。异常事件通常表示非法活动,例如欺诈、身份盗窃、网络入侵、帐户接管和洗钱。由于底层模式的动态性,金融异常检测用例面临着严峻的挑战,特别是在对抗性环境中,例如不断变化的欺诈策略。虽然使用新模式重新训练模型是绝对必要的;但跟上快速变化会带来其他挑战,因为它会使模型远离旧模式或不断增加训练数据的大小。由此产生的数据增长难以管理,并且降低了模型对最新攻击的响应的敏捷性。由于数据大小的限制和需要跟踪最新的模式,在实践中,旧的时间段往往会被丢弃,这反过来又会导致漏洞。在这项研究中,我们提出了一种标签增强方法,利用旧模型的学习来提升最新模型。实验结果表明,该方法提供了一个显着减少训练时间,同时提供潜在的性能改善。
2021-01-05 cs.LG
Coupled IGMM-GANs for deep multimodal anomaly detection in human mobility data
University of Colorado at Boulder(科罗拉多大学博尔德分校);University of Maryland, College Park(马里兰大学帕克分校);IUPUI(印第安纳大学与普渡大学印第安纳波利斯联合分校)
检测人类移动数据中的异常活动具有许多应用,包括道路危险感测、基于远程信息处理的保险以及出租车服务和乘车共享中的欺诈检测。在本文中,我们解决了异常人类轨迹研究中出现的两个挑战:1)缺乏关于异常定义的地面真实数据,2)现有方法对重要预处理和特征工程的依赖。虽然生成对抗网络似乎很适合解决这些挑战,但我们发现现有的基于GAN的异常检测算法由于无法处理多模态模式而表现不佳。为此,我们引入了一个无限高斯混合模型与(双向)生成对抗网络,IGMM-GAN,这是能够生成合成的,但现实的,人类移动数据,同时有利于多模态异常检测。通过估计人类轨迹空间上的生成概率密度,我们能够生成逼真的合成数据集,这些数据集可用于对现有的异常检测方法进行基准测试。估计的多峰密度还允许我们用于检测异常轨迹的离群值的自然定义。我们说明了我们的方法及其改进现有的GAN异常检测几个人类移动数据集,随着MNIST。
2018-09-08 cs.LG stat.ML
Anomaly Detection and Interpretation using Multimodal Autoencoder and Sparse Optimization
NTT Corporation(日本电报电话公司);International Christian University(国际基督教大学);Toyo University(东洋大学)
自动化异常检测对于管理信息和通信技术(信通技术)系统以维持可靠的服务并尽量减少运营商的负担至关重要。为了检测与正常状态不同的变化和不断出现的异常,了解信通技术系统监测的跨域数据之间的正常关系至关重要。因此,使用自动编码器(AE)的基于深度学习的异常检测对于这种复杂的学习是有希望的;然而,其解释仍然存在问题。由于导致检测到的异常的输入数据的维度没有在AE中直接指示,因此它们不适合于定位由大量设备组成的大型ICT系统中的异常。我们提出了一种算法,使用稀疏优化估计贡献维度检测到的AE异常。我们还提出了一个多模态AE(MAE),有效地学习跨域数据之间的关系,这可能会导致非线性和数据类型之间的可学习性的差异。我们评估了我们的算法与几个数据集,包括实际测量数据与传统算法相比,并确认了我们的估计算法在指定异常数据的贡献维度和我们的MAE在检测跨域数据中的异常的优越性。
2018-12-18 cs.LG stat.ML
Failure-tolerant Distributed Learning for Anomaly Detection in Wireless Networks
The University of Melbourne(墨尔本大学);Northrop Grumman Corporation(诺斯罗普·格鲁曼公司)
对分布式技术的分析通常集中在其效率上,而不考虑其鲁棒性(或缺乏鲁棒性)。当设备或中央服务器可能发生故障时,这种考虑尤其重要,这可能会削弱分布式系统。当这种故障出现在无线通信网络中时,它们使用/提供的重要服务(如异常检测)可能无法操作,并且可能导致一连串的安全问题。在本文中,我们提出了一种新的方法来解决这些风险相结合的平面和星形拓扑结构,结合两者的性能和可靠性的好处。我们把这种方法称为“Tol-FL”,因为它与联邦学习技术相比具有更高的容错性。我们的方法既限制了设备故障风险,又在考虑客户端和服务器故障的一系列现实设置中,在异常检测AUROC方面比以前的方法高出8%,同时降低了通信成本。该性能表明Tol-FL是一种非常适合用于异常检测的分布式模型训练的方法,特别是在无线网络领域。
2023-03-23 cs.AI cs.DC cs.LG