CAMLPAD: Cybersecurity Autonomous Machine Learning Platform for Anomaly Detection
Academy of Science(科学院);TJHSST
随着机器学习和网络安全在数字生态系统的背景下持续爆炸,网络安全数据的复杂性与复杂且规避的机器学习算法相结合,导致在设计用于智能自动异常分类的端到端系统时遇到巨大困难。另一方面,传统的系统使用基本的统计技术,往往不准确,导致集中式数据分析平台薄弱。在本文中,我们提出了一个新的系统,解决这两个问题,名为CAMLPAD,网络安全自主机器学习平台异常检测。CAMLPAD系统简化的整体方法首先使用elasticsearch实时的检索大量不同种类的网络安全数据,然后运行几种机器学习算法,即隔离森林,基于直方图的离群值得分(HBOS),基于聚类的局部离群值因子(CBLOF)和K均值聚类,以处理数据。接下来,使用Kibana将计算出的异常可视化,并为其分配一个离群值分数,该分数作为是否应向系统管理员发送网络中存在潜在异常的警报的指标。在模拟环境中对我们的平台进行全面测试后,CAMLPAD系统达到了95%的调整后rand分数,显示了系统可靠的准确性和精度。总而言之,CAMLPAD系统为实时的网络安全异常检测提供了一种准确、简化的方法,提供了一种有可能彻底改变网络安全领域的新型解决方案。
2019-07-23 cs.CR cs.LG cs.NI
Learning to Detect Cyber Attacks: Neural Anomaly Detection for Cybersecurity with Theoretical Insights
Data Science Institute, Columbia University(哥伦比亚大学数据科学研究所);School of Cybersecurity and Privacy, Georgia Institute of Technology(佐治亚理工学院网络安全与隐私学院);H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology(佐治亚理工学院H·米尔顿·斯图尔特工业与系统工程学院)
针对新型网络攻击规避防御的问题,提出仅用正常样本结合合成异常监督训练的神经网络异常检测方法,在多领域任务中表现稳健,尤其提升了未见过网络攻击的检测能力。
2026-07-31 cs.CR cs.LG math.ST
Few-shot Weakly-supervised Cybersecurity Anomaly Detection
Singapore Technologies Engineering(新加坡科技工程有限公司)
本文针对网络安全异常检测中标注数据稀缺的问题,提出一种增强的少样本弱监督深度学习框架,融合数据增强、表示学习和序数回归,并在三个基准数据集上验证了其性能。
2023-04-15 cs.AI cs.CR cs.LG
Quantum Autoencoders for Anomaly Detection in Cybersecurity
Disruptive Technologies Office(颠覆性技术办公室);Home Team Science & Technology Agency(家庭团队科技局)
本研究将量子自编码器应用于网络安全异常检测,在BETH数据集上,8特征QAE在数据有限时F1达0.87,优于经典自编码器的0.77,展示了量子优势。
2025-10-22 cs.CR cs.ET cs.LG
Federated Anomaly Detection and Mitigation for EV Charging Forecasting Under Cyberattacks
ICT Convergence Research Center(信息通信融合研究中心);Kumoh National Institute of Technology(Kumoh国立技术学院);IT-Convergence Engineering(信息融合工程)
本文提出一种联邦学习框架,用于在遭受网络攻击时实现电动汽车充电预测中的异常检测与缓解,通过保护隐私、检测攻击并提升预测准确性。
2025-11-22 cs.CR cs.LG
Causal Graph Profiling via Structural Divergence for Robust Anomaly Detection in Cyber-Physical Systems
Arizona State University(亚利桑那州立大学);University of Kansas(堪萨斯大学)
针对信息物理系统中传统异常检测方法易受分布偏移和类别不平衡影响的问题,提出基于因果图的异常检测框架 CGAD,通过动态贝叶斯网络学习因果不变图结构并利用结构差异检测异常,在四个工业数据集上显著提升了 F1 和 ROC-AUC 得分。
2025-08-13 cs.CR cs.LG
ACE -- An Anomaly Contribution Explainer for Cyber-Security Applications
Purdue University(普渡大学);Micro Focus(微焦点)
在本文中,我们介绍了异常贡献解释器或ACE,一个工具来解释安全异常检测模型的模型功能,通过回归框架,及其变体,ACE-KL,突出了重要的异常贡献者。ACE和ACE-KL通过构建专门的线性模型来局部近似黑盒模型生成的异常分数,从而在诊断哪些属性对异常有显著影响方面提供见解。我们使用这些异常检测模型进行了实验,以检测合成数据和真实数据上的安全异常。特别是,我们评估了三个公共数据集的性能:CERT内部威胁,netflow日志和Android恶意软件。实验结果是令人鼓舞的:我们的方法始终确定正确的贡献功能的合成数据,其中地面真相是可用的;同样,对于真实的数据集,我们的方法点的方向的安全分析师异常的根本原因,包括在一种情况下,导致发现以前被忽视的网络扫描活动。我们已经公开了我们的源代码。
2020-02-29 cs.CR cs.LG stat.ML
Detecting the Unexpected: AI-Driven Anomaly Detection in Smart Bridge Monitoring
本文提出基于AI的智能桥梁监控异常检测方法,利用实时传感器数据训练简单机器学习模型,实验表明DBSCAN模型在准确检测桥梁事故方面表现优异,提升了公共安全。
2026-03-30 cs.LG
Time Series Anomaly Detection for Cyber-Physical Systems via Neural System Identification and Bayesian Filtering
Siemens AG(西门子股份公司)
AIoT技术的最新进展已经导致利用机器学习算法来检测网络物理系统(CPS)的操作故障的日益普及。在其基本形式中,异常检测模块监视来自物理设备的传感器测量和致动器状态,并且检测这些测量中的异常以识别异常操作状态。然而,建立有效的异常检测模型CPS是相当具有挑战性的,因为该模型必须准确地检测异常的高度复杂的系统动态和未知量的传感器噪声的存在。在这项工作中,我们提出了一种新的时间序列异常检测方法,称为神经系统辨识和贝叶斯过滤(NSIBF),其中一个特制的神经网络架构构成的系统辨识,即,在动态状态空间模型中捕获CPS的动态;然后贝叶斯滤波算法自然地应用于“识别的”状态空间模型之上,用于通过随时间递归地跟踪系统的隐藏状态的不确定性来进行鲁棒异常检测。我们提供了定性和定量的实验与所提出的方法在合成和三个现实世界的CPS数据集,显示NSIBF相比有利的国家的最先进的方法,在CPS异常检测有很大的改进。
2022-01-07 cs.CR cs.LG stat.ML
Robustness Testing of Data and Knowledge Driven Anomaly Detection in Cyber-Physical Systems
University of Virginia(弗吉尼亚大学)
网络物理系统(CPS)的复杂性日益增加,在确保安全性方面面临挑战,因此越来越多地使用深度学习方法来进行准确和可扩展的异常检测。然而,机器学习(ML)模型在预测意外数据时往往性能低下,并且容易受到意外或恶意扰动的影响。虽然深度学习模型的鲁棒性测试在图像分类和语音识别等应用中得到了广泛的探索,但对CPS中ML驱动的安全监控关注较少。本文提出了初步结果评估的鲁棒性ML为基础的异常检测方法在安全关键的CPS对两种类型的意外和恶意的输入扰动,使用基于高斯的噪声模型和快速梯度符号法(FGSM)。我们检验了整合领域知识(例如,对于不安全的系统行为)与ML模型的结合可以在不牺牲准确性和透明度的情况下提高异常检测的鲁棒性。针对糖尿病管理的人工胰腺系统(APS)的两个案例研究的实验结果表明,使用领域知识训练的基于ML的安全监控器可以平均减少高达54.2%的鲁棒性错误,并保持平均F1分数高,同时提高透明度。
2022-05-03 cs.AI cs.LG
Modeling Normal Is All You Need: Joint Latent Clustering for Anomaly Detection in Multimodal Cyber-Physical Systems
Holon Institute of Technology (HIT)(霍隆技术学院);Afeka Academic College of Engineering(阿法卡工程学院)
研究多模态网络物理系统异常检测,提出联合潜在聚类方法,通过MIIM假设集、公平协议及潜在评分建模正常行为,在三个真实数据集上表现优异,优于其他深度检测器。
2026-08-11 cs.LG
CyberCScope: Mining Skewed Tensor Streams and Online Anomaly Detection in Cybersecurity Systems
SANKEN, Osaka University(大阪大学 SANKEN)
提出流式方法CyberCScope,通过混合偏斜无限与有限维分解处理高阶张量流,实现网络安全中多类型入侵的实时检测与特征总结。
2025-03-02 cs.AI cs.CR cs.LG
AnomalyExplainer Explainable AI for LLM-based anomaly detection using BERTViz and Captum
University of Oulu(奥卢大学)
本研究针对基于LLM的网络安全异常检测存在的信任不足问题,提出结合BERTViz、Captum可视化工具与注意力自然语言报告的AnomalyExplainer框架,在HDFS数据集上RoBERTa准确率达99.6%,可提升异常检测可解释性与网络安全工作效率。
2025-08-26 cs.LG
An unsupervised spatiotemporal graphical modeling approach to anomaly detection in distributed CPS
Iowa State University(爱荷华州立大学)
现代分布式网络物理系统(CPS)遇到了各种各样的物理故障和网络异常,在许多情况下,由于子系统之间的强连接性,它们很容易受到灾难性故障传播的影响。本文提出了一种新的数据驱动的框架,系统范围内的异常检测,以解决这些问题。该框架是基于一个时空特征提取计划建立在符号动力学的概念,发现和代表CPS的子系统之间的因果关系的相互作用。提取的时空特征,然后通过限制玻尔兹曼机(RBM)学习系统范围的模式。结果表明:(1)非标称状态下的RBM自由能与标称状态下的RBM自由能不同,可以用于异常检测;(2)该框架可以用一个图模型捕获多个标称模式;(3)仿真数据和集成建筑系统的案例研究验证了该方法的有效性。
2016-05-20 cs.LG
Adaptive Anomaly Detection for Identifying Attacks in Cyber-Physical Systems: A Systematic Literature Review
本文作为首篇系统性文献综述,收集并分析了2013至2023年关于信息物理系统中自适应异常检测(AAD)的65篇论文,提出新分类法,发现现有研究很少同时兼顾数据处理与模型自适应,并指出了局限与未来方向。
2025-01-03 cs.CR cs.LG
Enhancing Cybersecurity in IoT Networks: A Deep Learning Approach to Anomaly Detection
Hebei Finance University(河北金融学院)
针对物联网扩张带来的网络安全威胁升级问题,提出融合LSTM与注意力机制的深度学习异常检测模型,在多类公开数据集上表现优于现有基线。
2024-12-11 cs.CR cs.LG
Ensemble Learning based Anomaly Detection for IoT Cybersecurity via Bayesian Hyperparameters Sensitivity Analysis
Western Sydney University(西悉尼大学);The University of Sydney(悉尼大学);Central Queensland University(中央昆士兰大学)
针对物联网异构数据下的网络安全异常检测难题,提出结合贝叶斯超参数优化的集成学习统一框架,相比传统方法具备更高预测准确率。
2023-07-20 cs.LG cs.SI stat.ML
Enhanced semi-supervised stamping process monitoring with physically-informed feature extraction
Sun Yat-sen University(中山大学)
本文针对高速冲压过程批次异常问题,提出融合物理信息与数据驱动的半监督异常监控框架,仅用正常样本建模并设计偏差分数,在真实冲压数据上验证了其优越性。
2025-05-09 cs.LG
Anomaly Detection for Real-World Cyber-Physical Security using Quantum Hybrid Support Vector Machines
University of Tennessee(田纳西大学);GE Vernova Advanced Research Center(GE Vernova先进研究中心)
本文提出结合强预处理与利用参数化量子电路保真度的量子混合 SVM,用于 CPS 传感器数据的网络攻击异常检测,在 HAI CPS 数据集上取得 0.86 的 F-1 分数和 87% 准确率。
2024-09-08 cs.CR cs.LG quant-ph
Refining the Optimization Target for Automatic Univariate Time Series Anomaly Detection in Monitoring Services
eBay Inc.(eBay公司)
针对工业时间序列异常检测需大量标注与手动调参的问题,提出含三类优化目标的自动参数优化框架,无需先验与标注即可适配多模型,在线及公开数据集实验均验证了其有效性。
2023-07-20 cs.LG
Unsupervised anomaly detection on cybersecurity data streams: a case with BETH dataset
RTU MIREA(俄罗斯技术大学密瑞亚)
针对网络安全数据流异常检测需求,本文基于BETH数据集测试三类Python流机器学习库的十种算法,评估其ROC-AUC与处理效率,筛选出潜力算法并指明后续研究方向。
2025-06-16 cs.CR cs.LG
Domain-Prior-Regularized Graph Modeling for Anomaly Detection in Cyber-Physical Systems
针对网络物理系统多变量传感器时间序列异常检测,提出DPR-GM框架,利用大语言模型提取传感器对物理耦合,经皮尔逊相关性调制和传感器级可靠性加权,在SKAB基准测试中优于多种基线。
2026-07-29 cs.AI cs.LG
Metric Matters: A Formal Evaluation of Similarity Measures in Active Learning for Cyber Threat Intelligence
New York University, NYUAD, Division of Science(纽约大学、NYUAD、科学学院)
针对APT检测中的类别不平衡问题,提出基于注意力自编码器和相似性搜索的主动学习异常检测框架,形式化评估多种相似性度量,证明度量选择显著影响收敛、准确率与标签效率。
2025-08-26 cs.AI cs.LG cs.NE
Rethinking Spatio-Temporal Anomaly Detection: A Vision for Causality-Driven Cybersecurity
Arizona State University(亚利桑那州立大学);University of Kansas(堪萨斯大学)
本文针对黑盒深度学习在时空异常检测中可解释性差、适应性和鲁棒性不足的问题,提出基于因果学习的视角,通过因果图分析、多视图融合和持续因果图学习三个方向,构建可扩展、自适应且可解释的网络安全异常检测系统。
2025-07-10 cs.AI cs.ET cs.LG
Hybrid Temporal Differential Consistency Autoencoder for Efficient and Sustainable Anomaly Detection in Cyber-Physical Systems
JOANNEUM RESEARCH Forschungsgesellschaft mbH(JOANNEUM RESEARCH 研究会);TU Graz(格拉茨技术大学)
本文提出混合时序差分一致性自编码器 hybrid TDC-AE,通过结合确定性节点与统计节点捕捉系统动态,在无需领域知识的情况下将异常检测时间缩短3%,并超越BATADAL挑战赛领先者,实现高效可持续的CPS异常检测。
2025-09-19 cs.AI cs.CR cs.LG
Cyber Anomaly Detection Using Graph-node Role-dynamics
Boston Fusion Corp.(波士顿融合公司)
入侵检测系统(IDS)产生了关于网络安全的有价值的知识,但是大量的假警报和缺乏方法来捕获警报之间的相互依赖性阻碍了它们在网络防御中的效用。在这里,我们探索了一种基于图形的方法,用于融合多个IDS生成的警报(例如,Snort、OSSEC和Bro)。我们的方法生成一个加权图的警报字段(而不是网络拓扑结构),使明确的多个警报,IDS系统和其他网络工件之间的连接。我们使用这种多模态图来识别网络警报模式的异常变化。为了检测异常,我们应用角色动态方法,该方法已成功识别社交媒体,电子邮件和IP通信图中的异常。在网络域中,融合的IDS警报图中的每个节点(警报字段)被分配基于该节点的特征的跨一小组角色的概率分布。网络攻击应该触发IDS警报并导致节点功能的更改,但角色不是单独跟踪每个警报字段节点的每个功能,而是提供这些功能更改的简洁,综合摘要。我们测量每个节点的概率角色分配随时间的变化,并确定异常偏离预期的角色。我们使用模拟来测试我们的方法,包括三周的正常背景流量,以及在模拟结束时发生的网络攻击。本文提出了一种新的方法,多模态数据融合和一个新的应用程序的角色动力学在网络安全领域。我们的研究结果表明,当考虑我们的异常指标,而不是IDS警报本身时,误报率大幅下降,从而减少警报疲劳,并为网络防御中的威胁情报提供了一个有前途的途径。
2019-01-16 cs.CR cs.LG stat.ML
Deep-RBF Networks for Anomaly Detection in Automotive Cyber-Physical Systems
Microsoft Corporation(微软公司);Vanderbilt University(范德堡大学)
深度神经网络(DNN)广泛用于实现汽车网络物理系统(CPS)中的自主相关任务。然而,这些网络已经被证明对异常输入做出错误的预测,这可能是由于分布外(OOD)数据或对抗攻击造成的。为了检测这些异常,通常会训练一个称为保证监视器的单独DNN,并与控制器DNN并行使用,从而增加了资源负担和延迟。我们假设,一个单一的网络,可以执行控制器的预测和异常检测是必要的,以减少资源需求。深度径向基函数(RBF)网络提供了一个拒绝类以及类预测,可用于在运行时检测异常。然而,RBF激活函数的使用限制了这些网络仅用于分类任务的适用性。在本文中,我们展示了深度RBF网络如何用于检测CPS回归任务中的异常,例如连续转向预测。此外,我们使用流行的DNN(如NVIDIA DAVE-II和ResNet 20)设计深度RBF网络,然后使用产生的拒绝类来检测对抗攻击,如物理攻击和数据中毒攻击。最后,我们使用名为DeepNNCar的硬件CPS测试平台和真实世界的德国交通标志基准(GTSB)数据集来评估这些攻击和训练的深度RBF网络。我们的研究结果表明,深度RBF网络可以在短时间内鲁棒地检测到这些攻击,而无需额外的资源需求。
2021-08-23 cs.AI cs.LG
Physics-Informed Convolutional Autoencoder for Cyber Anomaly Detection in Power Distribution Grids
West Virginia University(西弗吉尼亚大学)
针对配电网隐蔽网络攻击,本文提出将基尔霍夫定律融入损失函数的多变量 PIConvAE,并在 IEEE 13/123 节点系统中验证其精度、收敛速度和攻击检测能力。
2023-12-08 cs.CR cs.LG cs.SY
Self-Verifying Anomaly Detection using Explainable AI for Cybersecurity of DER Networks
Iowa State University(爱荷华州立大学)
针对分布式能源网络,提出基于XAI的自验证异常检测框架ExCYDER,结合LightGBM与SHAP验证警报,实现高准确率与可解释性。
2026-09-14 cs.AI cs.CR cs.LG
Adversarial Augmentation and Active Sampling for Robust Cyber Anomaly Detection
New York University, NYUAD, Division of Science.(纽约大学,NYUAD,科学学院)
针对APT检测中标注数据稀缺的问题,本文提出结合注意力对抗双自动编码器与主动学习的异常检测框架,在多系统真实不平衡数据集上实现了检测率的显著提升,降低了标注成本。
2025-09-05 cs.AI cs.CR cs.CY
Digital Twin-based Anomaly Detection with Curriculum Learning in Cyber-physical Systems
Simula Research Laboratory(西姆拉研究实验室);University of Oslo(奥斯陆大学)
针对CPS异常检测中训练数据难度不一的问题,本文提出LATTICE,在数字孪生方法ATTAIN中引入由易到难的课程学习,并在五个真实数据集上验证其F1、训练时间和延迟表现。
2023-09-27 cs.CR cs.LG cs.SE
Towards eco friendly cybersecurity: machine learning based anomaly detection with carbon and energy metrics
Gannon University(甘农大学);Western Illinois University(西伊利诺伊大学);University of South Wales(南威尔士大学);Washington University of Science and Technology(华盛顿科技大学);International American University(国际美国大学);California State University, Dominguez Hills(加州州立大学多明格斯山分校);University of New Haven(纽黑文大学)
本研究提出一种结合碳和能耗指标的环保型网络安全框架,通过优化机器学习模型提升检测效率并降低环境影响。
2025-12-31 cs.CR cs.CY cs.LG
Anomaly detection with superexperts under delayed feedback
The Alan Turing Institute(艾伦·图灵研究所);WMG Cyber Security Centre, University of Warwick(华威大学WMG网络安全中心)
数据和网络物理系统的连通性日益增强,导致网络攻击数量不断增加。需要通过查明异常活动来实时检测此类攻击,以便有效和迅速地部署缓解行动和应急行动。我们提出了一种新的方法,聚合无监督的异常检测算法,并将反馈时,它变得可用。我们将这种方法应用于开源的真实数据集,并表明,这两个聚合模型,我们称之为专家,并纳入反馈显着提高性能。所提出的方法的一个重要属性是它们的理论保证,即它们的性能接近最佳超级专家,可以在最佳性能专家之间切换,在累积平均损失方面。
2021-04-22 cs.LG stat.ML
Performance of Machine Learning Classifiers for Anomaly Detection in Cyber Security Applications
IU International University of Applied Sciences(国际应用科学大学)
本研究在KDDCUP99和Credit Card Fraud 2013数据集上评估了多种机器学习模型在网络安全异常检测中的性能,发现XGB和MLP优于生成模型,并指出IterativeImputer不适用于大型数据集。
2025-04-26 cs.CR cs.LG
Cyber-Physical Anomaly Detection in IoT-Enabled Smart Grids Using Machine Learning and Metaheuristic Feature Optimization
Department of Mathematical and Computer Sciences, University of Sarajevo(萨拉热窝大学数学与计算机科学系);Singidunum University(辛吉杜姆大学);Trinity University(特里尼蒂大学);Sinergija University(辛格里雅大学)
本文研究了如何利用机器学习和元启发式特征优化方法,在物联网智能电网中检测网络-物理异常,通过评估多个基线模型,发现基于树的集成模型在该数据集上表现最佳,且经过特征优化后,模型在准确率和AUC指标上均有显著提升。
2026-05-21 cs.AI cs.LG
Anomaly Detection and Early Warning Mechanism for Intelligent Monitoring Systems in Multi-Cloud Environments Based on LLM
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对多云环境智能监控的安全可靠需求,提出融合LLM上下文理解、多级特征提取与传统机器学习的异常检测预警机制,提升检测准确性、实时性及云基础设施弹性。
2025-06-09 cs.AI cs.LG
ML-based Anomaly Detection in Optical Fiber Monitoring
ADVA Optical Networking SE(ADVA光网络公司)
光网络中安全可靠的数据通信是高速互联网的关键。提出了一种数据驱动的光网络异常检测和故障识别方法,用于诊断光纤断裂和光窃听等物理攻击。所提出的方法包括基于自动编码器的异常检测和基于注意力的双向门控递归单元算法的光纤故障识别和定位。我们验证了我们的方法的效率,在各种攻击情况下,使用真实的操作数据的实验。
2022-02-23 cs.CR cs.LG eess.IV
Leveraging a Probabilistic PCA Model to Understand the Multivariate Statistical Network Monitoring Framework for Network Security Anomaly Detection
Universidad de Granada(格拉纳达大学)
网络异常检测是当今一个非常相关的研究领域,特别是由于其在网络安全领域的多种应用。基于变分自编码器和生成式对抗网络的新模型的推动促使人们重新评估传统的异常检测技术。然而,必须能够从多年评估网络安全数据以进行异常检测的经验的角度来理解这些新模型。在本文中,我们重新审视基于PCA的异常检测技术从概率生成模型的角度来看,并贡献一个数学模型,将它们联系起来。具体来说,我们从概率PCA模型开始,并解释其与多元统计网络监测(MSNM)框架的联系。MSNM最近被成功地提出作为将工业过程异常检测经验纳入网络领域的一种手段。我们使用两个不同的数据集来评估数学模型。第一个是为了更好地理解所提出的分析而创建的合成数据集,第二个是UGR'16,是专门设计的用于网络安全异常检测的真实流量数据集。我们得出的结论,我们认为是有用的生成模型应用于网络安全检测。
2023-02-02 cs.LG stat.ML
Modeling Quantum Autoencoder Trainable Kernel for IoT Anomaly Detection
Quantum Research Group at School of IT, Deakin University(信息学院量子研究组,德堪大学)
本文提出量子自编码器与量子支持向量分类结合的物联网异常检测方法,展示了在当前NISQ设备上的量子优势和实际应用潜力。
2025-11-26 cs.LG quant-ph
ClouDens: Operational Context-Aware Anomaly Detection for Large-scale Cloud System Monitoring
Department of Computer Science, Gran Sasso Science Institute(计算机科学系,格兰萨索科学研究所);University of Bergen(卑尔根大学);Department of Computer Science, Toronto Metropolitan University(计算机科学系,多伦多 Metropolitan 大学);Department of Computer Science, Electrical Engineering and Mathematical Sciences, Western Norway University of Applied Sciences(计算机科学、电气工程和数学科学系,西挪威应用科学大学)
针对大规模云系统监控中异常检测难题,提出ClouDens框架。它利用遥测日志模式中的操作上下文属性,将高维日志划分子集,构建上下文感知图,采用时空图神经网络进行异常检测,在相关数据集上表现良好,为云系统监控异常检测提供指导。
2026-07-21 cs.LG cs.NI
Anomaly Detection from a Tensor Train Perspective
Instituto Tecnológico de Castilla y León(卡斯蒂利亚莱昂理工学院);MONDRAGON Corporation(蒙德拉贡集团);i3B Ibermatica(i3B伊贝尔马蒂卡)
本文提出一系列基于Tensor Train表示进行数据压缩的张量网络异常检测算法,通过保留正常数据结构并删除异常数据结构进行检测,在多种数据集上验证了其有效性。
2024-09-23 cs.CR cs.ET cs.IT
Quantum Machine Learning for Anomaly Detection in Consumer Electronics
University of Tennessee(田纳西大学)
本文介绍量子机器学习在消费电子异常检测中的应用,提出通用框架并综述监督、无监督和强化学习QML算法,结合五项案例研究展示其有效性。
2024-08-30 cs.AI cs.LG quant-ph
Practical Anomaly Detection over Multivariate Monitoring Metrics for Online Services
The Chinese University of Hong Kong(香港中文大学);Sun Yat-sen University(中山大学);Huawei Cloud Computing Technology Co., Ltd(华为云计算技术有限公司)
针对现有多变量监控指标异常检测方法难以有效捕获指标依赖与历史模式的问题,提出基于协作机的CMAnomaly框架,在华为云数据上F1值达0.9494,性能更优且速度更快,并分享了部署经验。
2023-08-19 cs.LG cs.SE
Anomaly Detection using Deep Autoencoders for in-situ Wastewater Systems Monitoring Data
Swiss Federal Institute of Aquatic Science and Technology, Eawag(瑞士联邦水生科学技术研究院(Eawag));ETH Zurich(苏黎世联邦理工学院)
由于废水系统中来自现场传感器的数据量不断增加,因此有必要自动识别异常行为并确保高数据质量。提出了一种基于深度自动编码器的污水系统现场监测数据异常检测方法。自动编码器架构基于1D卷积神经网络(CNN)层,其中在数据的时间轴上对输入执行卷积。然后基于解码级的重构误差执行异常检测。该方法在污水处理过程监测数据的多变量时间序列上进行了验证。我们讨论的结果和复杂的时间序列标记异常的挑战。我们建议,我们提出的方法可以支持领域专家在识别异常。
2020-03-06 cs.LG eess.SP stat.ML
Anomaly Detection Techniques in Smart Grid Systems: A Review
Tennessee Tech University(田纳西理工大学)
本文综述智能电网异常检测的最新进展,从多方面分类现有研究、分析挑战与不足,并指出未来研究方向。
2023-06-04 cs.CR cs.LG
Quantum Machine Learning for Cyber-Physical Anomaly Detection in Unmanned Aerial Vehicles: A Leakage-Free Evaluation with Proxy-Audited Feature Sets
Corporation for Aerospace Initiatives, Research and Innovation (CASIRI)(航空航天研究与创新公司);Department of Electronics Engineering, Universidad Nacional de Colombia(国立哥伦比亚大学电子工程系);Department of Electronics Engineering, Universidad del Cauca(卡利学院电子工程系);Department of Physics, Universidad del Cauca(卡利大学物理系)
针对无人机网络物理攻击,提出无泄漏评估框架,结合分组时间协议、三模式特征审计和混合XGBoost+数据重上传分类器,验证量子增强混合方法的增量优势。
2026-05-28 cs.CR cs.LG quant-ph
Exploring Scalable, Distributed Real-Time Anomaly Detection for Bridge Health Monitoring
University of Bologna(博洛尼亚大学);University of Trento(特伦托大学);ETH Zurich(苏黎世联邦理工学院)
现代实时的【形】结构健康监测系统可以生成大量的信息,这些信息必须经过处理和评估,以检测早期异常并生成有关民用基础设施状况的及时警告和警报。如果必须从数千座建筑物中收集原始数据,则当前基于云的解决方案无法扩展。本文提出了一种用于SHM系统的高效且可扩展的异常检测管道的全栈部署,该系统不需要将原始数据发送到云端,而是依赖于边缘计算。首先,我们对异常检测的三种算法方法进行基准测试,即,主成分分析(PCA)、全连接自动编码器(FC-AE)和卷积自动编码器(C-AE)。然后,我们将它们部署在边缘传感器STM32 L4上,该传感器具有有限的计算能力。我们的方法将网络流量减少了$\approx8\cdot10^5\times$,从780 KB/小时减少到单个安装的不到10 KB/小时,并最大限度地减少了网络和云资源利用率,从而实现了监控基础设施的扩展。一个真实的案例研究,在意大利的一座公路桥,表明结合近传感器计算的异常检测算法,智能预处理,和低功耗广域网络协议(LPWAN),我们可以大大降低数据通信和云计算成本,而异常检测的准确性不会受到不利影响。
2022-03-10 cs.LG cs.NI eess.SP
LATTE: LSTM Self-Attention based Anomaly Detection in Embedded Automotive Platforms
Colorado State University(科罗拉多州立大学)
现代汽车可以被认为是复杂的分布式嵌入式系统,运行各种具有实时约束的汽车应用程序。汽车工业中朝向更大自主性的最新进展正在驱动车辆越来越多地与各种外部系统(例如,路边信标,其他车辆),这使得新兴车辆非常容易受到网络攻击。此外,汽车应用和车载网络的复杂性增加导致攻击可见性差,这使得在汽车系统中检测此类攻击特别具有挑战性。在这项工作中,我们提出了一种新的异常检测框架,称为LATTE检测网络攻击的控制器局域网(CAN)为基础的网络在汽车平台。我们提出的LATTE框架使用堆叠的长短期记忆(LSTM)预测器网络,具有新颖的注意力机制,以在设计时学习正常的操作行为。随后,一种新的检测方案(也在设计时训练)用于在运行时检测各种网络攻击(作为异常)。我们在不同的汽车攻击场景下评估了我们提出的LATTE框架,并与该领域最知名的先前作品进行了详细的比较,以展示我们方法的潜力。
2021-07-12 cs.DC cs.LG cs.SY
Data Drift Monitoring for Log Anomaly Detection Pipelines
IBM Research(IBM研究院)
本文提出一种基于贝叶斯因子的漂移检测方法,用于识别日志异常检测(LAD)模型何时需要人工介入、重训练和更新,并通过真实与模拟日志数据验证了其有效性。
2023-10-17 cs.LG cs.SY eess.SY
Leveraging Conversational Generative AI for Anomaly Detection in Digital Substations
University of Michigan – Dearborn(密歇根大学迪尔伯恩分校);National Renewable Energy Laboratory (NREL)(国家可再生能源实验室)
本研究针对数字变电站网络安全挑战,提出基于生成式AI的面向任务对话系统,用于GOOSE和SV数据集的异常检测,相比传统HITL流程和ML技术,在错误减少、效率等方面更优,提升电力系统可靠性。
2024-11-09 cs.LG cs.SY eess.SP
Practical data monitoring in the internet-services domain
大规模监控、异常检测和度量的根本原因分析是互联网服务行业的基本要求。为了满足持续监控数百万个指标的需求,大型互联网公司每天都在使用许多异常检测方法。然而,尽管在准确和有效地检测指标异常方面取得了重大进展,但指标数量的庞大规模意味着仍然存在大量需要调查的假警报。本文提出了一个可靠的大规模异常检测的框架。它比现有的方法更准确,并且可以轻松解释模型,从而实现互联网服务领域的实际数据监控。
2022-03-17 cs.CR cs.LG stat.AP
Dividing Deep Learning Model for Continuous Anomaly Detection of Inconsistent ICT Systems
NTT Network Technology Laboratories, NTT Corporation(日本电信电话公司网络技术实验室);PKSHA Technology(PK SHA技术公司)
健康监测对于维持可靠的信息和通信技术系统十分重要。基于机器学习的异常检测方法训练用于描述“正常性”的模型,有望用于监测ICT系统的状态。然而,当由于某些设备的更换而使被监视的日志数据的类型从训练数据的类型改变时,这些方法不能使用。因此,这样的方法可以消除当日志数据改变时出现的异常。为了解决这个问题,我们提出了一种基于日志数据相关性划分深度学习模型的ICT系统监控方法。我们还提出了一种算法,用于从深度学习模型中提取日志数据的相关性,并基于相关性分离日志数据。当一些日志数据发生变化时,我们的方法可以继续对不受日志数据变化影响的划分模型进行健康监测。我们提出的实验结果,包括基准数据和真实的日志数据,这表明,我们的方法使用划分的模型不降低异常检测的准确性和异常检测的模型可以被划分为继续监测网络状态,即使一些日志数据的变化。
2020-03-24 cs.LG cs.NI stat.AP
Extending Isolation Forest for Anomaly Detection in Big Data via K-Means
York University(约克大学);iSecurity Consulting Inc(iSecurity咨询公司);Dapasoft Inc(Dapasoft公司)
工业信息技术(IT)基础设施往往容易受到网络攻击。为了确保工业环境中计算机系统的安全性,需要建立有效的入侵检测系统来监视网络物理系统(例如,计算机网络)进行恶意活动。本文旨在建立这样的入侵检测系统,以保护计算机网络免受网络攻击。更具体地说,我们提出了一种新的无监督机器学习方法,结合K-Means算法和隔离森林,用于工业大数据场景中的异常检测。由于我们的目标是为工业领域的大数据场景构建入侵检测系统,因此我们利用Apache Spark框架来实现我们提出的模型,该模型在Elasticsearch中存储的大型网络流量数据(约1.23亿网络流量实例)中进行了训练。此外,我们评估我们提出的模型上的实时流媒体数据,发现我们提出的系统可以用于实时异常检测在工业设置。此外,我们还解决了在大型数据集上训练模型时面临的不同挑战,并明确描述了如何解决这些问题。基于我们在现实世界网络流量数据中异常检测的不同用例中的经验评估,我们观察到我们提出的系统可以有效地检测大数据场景中的异常。最后,我们在几个学术数据集上评估了我们提出的模型,并与其他模型进行了比较,发现它提供了与其他最先进方法相当的性能。
2021-04-27 cs.AI cs.CR cs.LG
Learning-Based Vulnerability Analysis of Cyber-Physical Systems
Duke University(杜克大学);University of Florida(佛罗里达大学)
这项工作的重点是使用深度学习的网络物理系统(CPS)的脆弱性分析。具体来说,我们考虑CPS中广泛使用的控制架构(例如,机器人技术),其中低级控制基于例如,扩展卡尔曼滤波器(EKF)和异常检测器。为了便于分析潜在的感知攻击可能产生的影响,我们的目标是开发能够设计最大限度地降低系统运行的隐形攻击的学习攻击发生器。我们展示了如何在一个基于学习的灰盒框架内解决这个问题,其中攻击者知道部分运行时信息,并介绍了两个基于前馈神经网络(FNN)的模型;两个模型都是离线训练的,使用组合了对估计误差的攻击效果和用于异常检测的残留信号的成本函数,使得训练的模型能够实时递归地生成这种有效的传感器攻击。所提出的方法的有效性说明了几个案例研究。
2022-04-07 cs.CR cs.LG cs.SY